余荫山房是四大名园中最袖珍的，整座园子不到2000平方米。全园以“水景”为主题，堂、馆、轩、榭、廊堤、石山，皆倚清流而建。
山房旧主邬彬与其两个儿子都是举人，阅历丰富，财力雄厚，筑园时充分调用中西材质，如西洋花纹地砖、意大利进口彩色玻璃，俱为时新花样。而半透明的土产“玻璃”，则是将蚌壳的内侧磨成平滑均匀的薄片，与云母片拼嵌而成，富有岭南特色。全园主体建筑“深柳堂”中，木刻精品荟萃，其中在紫檀木雕屏上，还留有著名宰相“刘罗锅”的书法真迹。
供宾友休憩的“卧瓢庐”为山房精华所在。室内的大窗类似现在的百叶窗设计，可推拉闭合，能通风透气。朝向庭院的满洲窗可让人一日看尽四时美景，堪称一绝：透过一层蓝色玻璃看园中，门栏窗棂好似披上薄薄一层冷霜，犹如冬日雪景；若将两扇叠在一起，通过两层蓝色玻璃看室外，满院枝叶顿时转为赭红，酷似秋日枫林；而推开窗户，南国春夏景致，扑面而至，迎窗开卷，字皆鲜碧。
园内另一大特色是“夹墙竹”，即在两堵墙壁之内栽数株粉竹，既能控制其长势，又能拂挡尘嚣。更妙的是，由内院观之，修篁如在园外，由外围赏之，又分明是园中景物，亦内亦外，暗合“亦是亦非”的中国审美哲学，乃园林“借景”手法中的高明招数。
