私人会所的历史源自殖民地时代，从前不收华人会员的香港会是英国人的花园，到一众华商成立香港乡村俱乐部，见证华人家族的崛起。也有各种以运动为主题的会所：木球、赛马、游艇、高尔夫球等；或是以国家或地域作为同乡联谊的会所，美国会、印度会、葡萄牙会、上海总会。
如今，殖民地已成过去，英资财团影响力已大不如前，在香港出生的二代三代渐渐成为「香港人」，他乡已成吾乡。社会转变令会所同时面临挑战或机遇，也有运动会所早前被质疑究竟是以餐饮为主还是推广运动；另外，性别平等冲击旧有会所制度，本来只收单一性别会员的会所开始招收异性会员。
大概除了有钱也入不到会的顶级会所外，一些较小型的会所都面临会员老化或会员不足的问题。老会员还沉迷在殖民地「电影放映会」的模式，每届的委员会选举是闭门游戏，新会员参与权有限。
会所有内忧，也有外患。现在平均楼龄20年以下的私人屋苑都设有住客会所，健身室、儿童天地、多用途宴会厅等已能满足基本要求，私人会所休闲设施的吸引力相对减低。另一竞争对手是越开越多而且越有水平的高级餐厅，甚至酒店的餐厅，在中环见客户或招呼朋友，有更多其他选择的高档地方。
