根据旅游杂志上的描述，胡雪岩故居位于杭州市河坊街，建于清同治十一年（1872年），建筑面积五千八百多平方米。
胡雪岩故居从建筑到室内家具陈设，用料之考究，堪称清末中国巨商第一宅。
古宅内有芝园、十三楼等亭台楼阁。其中有一栋小楼，全部由金丝楠木所建，但是住在这幢楼里的不是他的正妻，而是他的小妾。
中国古代施行一夫多妻制，胡雪岩发迹后娶了30多个小妾。那金丝楠木搭建的房子是他最得宠的女人住的，金丝楠木从秦朝到清朝都是皇帝专用，秦朝的时候被用来修阿房宫，直至道光之前，金丝楠木的采伐一直为皇家所垄断，将其作为御用之材。
在封建时代，商人历来都是被人看不起的，胡雪岩能用得起金丝楠木修的房子，可见他当时多么显赫。
胡雪岩打小放牛，父亲去世后，13岁的他只得出外谋生。
胡雪岩聪明勤快，做事又踏实。因此在他19岁时，得到杭州阜康钱庄老板的赏识和信任。阜康钱庄老板把他收为学徒，并把钱庄里的许多事情，交给他打理。胡雪岩初在杭州城“仁德钱庄”做跑街
就在此时，胡雪岩认识了“候补浙江盐大使”的王有龄。
王有龄出身官宦世家，但在他这一辈时，家道已经落。由于没有钱上下打点，所以他在仕途上很不如意。
胡雪岩认为王有龄将来大有作为，于是私挪了钱庄500两银子给他，让他去奔远大前程，而他自己因为挪用公款被赶出钱庄，到湖州一带贩卖粮食。
有银子开道，再加上王有龄的确很有才干，所以他很快便升任浙江巡抚。王有龄投桃报李，利用职权为胡雪岩广开便利之门。
胡雪岩借着王有龄的权力，从一个小小的钱庄做起，生意越做越大。不仅开起钱庄分号，还涉足了许多别的行业。商号亦是越来越多，很快便成了浙江一带有名气的生意人。
然而1861年，曾国藩奉命清剿太平天国，等他终于攻克了军事重镇安庆，曾国藩想一鼓作气，直捣太平军都城天京。但就在此时，镇守杭州的浙江巡抚王有龄却遭到太平军围困，求情援助。曾国藩进退两难，因为自身元气还没恢复，也不愿意错过这个进攻天京的大好时机，于是想到了左宗棠。
左宗棠和曾国藩、李鸿章、张之洞并称为晚清中兴四大名臣，1850年1月，虎门销烟被发配新疆的林则徐返回家乡，约左宗棠在长沙舟中相见；两人彻夜长谈，涉及古今形势、人物品评、“西域时政”。
1867年大清朝已是风雨飘摇，外有列强争相欺辱，内有民间起义不断，阿古柏更是在沙俄的支持下窜入新疆，建了一个名为哲德沙尔的***汗国，试图把新疆的南部从中国清朝版图上分裂出去，边疆形势刻不容缓。雪上加霜的是日本这个时候又在入侵台湾，海防问题显露，于是便有了海塞之争。
清朝两面受敌，李鸿章等人主张暂时放弃塞防，将塞防的银两用在海防上，而湖南巡抚王文韶则主张塞防，最后一派则是以左宗棠为主的海塞并重的观点，无论是新疆还是台湾都是中国的领土，不应就这样放弃。