胡雪岩私宅占地7230平方米，东起牛羊司巷，南沿元宝街，西至袁井巷，北临望江路。四周围墙高耸入云，传闻用糯米熬汤糊砖砌成，其坚固不亚于水泥，可以防火、防水。

整座宅园的建筑设计为晚清典型的江南园林式豪宅，富丽堂皇，极尽奢华，所用材料选用了大量名贵的紫檀、酸枝、楠木、银杏、花梨、南洋杉和中国榉，做工精细，雕刻彩绘精美绝伦，达到无品不精，有形皆丽。

还请来外国技师，安装了当时上海十里洋场都还没有的电话机；当然同时引进一系列的最时新舶来品，诸如大型穿衣镜、水法流苏吊灯、西洋彩色玻璃之类。园中高阁、回廊、亭台、水池、假山，一应俱全，其中人工溶洞堆砌之精巧与规模之浩大，堪称明清第一。

故居中那间楠木厅。是胡雪岩的红颜知己罗四太太居住之所，建筑面积445平米，厅内全部由金丝楠打造。60年长一厘米的金丝楠木，被如此奢华的铺陈装饰，真可谓世间少有。

故居内最大的园林——“芝园”，是故居的精华所在。“芝园”以山水景象为主题，是雅致、诗情和画意于一体的私家园林。那回旋的明廊暗弄、亭台楼阁，高低错落，清雅和谐。更有碑廊、石栏、小桥、水亭，曲折迂回，巧夺天工，款款用心，步步是景，可谓“无景不奇”。

芝园也是胡雪岩故居中的山水华章。怪石嶙峋的假山，为国内现存最大的人工溶洞。当年胡雪岩为造这假山竟花了10万银两，从京城亲王府请来治假山石的顶尖高手，专程到灵隐飞来峰住了7天，才有了这假山的造型，意在西湖山水的浓缩，化天下景为家中景。

据载，胡雪岩尽搜美女，先后纳了十一房小妾，个个美若天仙，加上罗四太太，正好十二位，号称“东楼十二钗”。胡雪岩为这十二房姨太太挥霍掉了大量的金钱。她们分住院内长弄中各楼，按序各占一室。

到了晚上，侍女端上盛有各姬妾牙牌的银盘，胡雪岩随手翻一个，侍女就按牌上名字叫这个姬妾侍寝，宛如皇上翻牌子一样。胡雪岩每天早晨起床，由佣人端上用翡翠盘盛着的青黄赤白各色宝石若干枚，让他“养目”。每日合家大小还要去上房向他恭请晨安。

胡雪岩喜欢和众多的姬妾一起嬉戏、玩乐。他让诸妾穿上写着“车”“马”“炮”字样的红蓝马甲，登到在高台上画好的棋盘，红蓝对峙，胡雪岩和夫人在栏杆后用竹竿指挥她们，以人充当棋子。胡雪岩与太太口头对弈，姨太太和仆人们依据指令，跑向各自的位置。

胡雪岩死后，其豪宅和芝园几经转手，改颜易色。建国后这里成了杭州滑稽剧团、曲艺团、杭剧团的团部。“文革”开始后一部分办工厂，一部分作宿舍，成了居民混住的大杂院，破坏严重。近几年才把里面的单位和居民全部迁出，投入大笔资金进行维修，修旧如新，名为“胡雪岩故居”，已列入杭州市文物保护单位。