胡雪岩虽然事业上取得了前所未有的成功，但是在个人生活问题上却是有着极其糜烂的作风，尤其是他晚年生活更是如此。

胡雪岩通过左宗棠的帮助和提拔，不但在官场上赢得了红顶戴，在生意场上也赚取了高额的利润。天命之年的胡雪岩在人生道路上可以说走得既长远又平坦。但是，任何事情好像都有它既定的规则，一旦这个规则被破坏，那么将会带来严重的后果。

胡雪岩在名利双收之后，便开始了他极度奢靡的生活。胡雪岩早在阜康钱庄做事的时候就已经娶妻成家，但是由于胡雪岩生意的不断扩大以及经常去外地办事的缘故，在他身边的女人也越来越多。

胡雪岩是一个多情的人，对他钟情的女子都知道他已有家室，却也大都心甘情愿归顺于他，并且为胡雪岩在生意场上做了很多重要的事情。可以说胡雪岩的成功，这些女人也起到了至关重要的作用。

胡雪岩平常看到漂亮的女子也不会罢休，都会想方设法娶到家里来，有时候甚至为了一时的冲动而娶妾，娶回家后却又马上休掉。清代《南亭笔记》里曾这样记载：“胡尝过一成衣铺，有女倚门而立，颇苗条，胡注目观之。女觉，乃阖门而入。胡恚，使人说其父，欲纳之为妾，其父靳而不予，许以七千元，遂成议。择其某日，宴宾客，酒罢入洞房，开尊独饮，醉后令女裸卧于床。仆擎巨烛侍其旁，胡回环审视，轩髯大笑曰：‘汝前日不使我看，今竟如何？’已而匆匆出宿他所，诘旦遣妪告于女曰：‘房中所有悉将取去，可改嫁他人，此间固无从位置也。’女如言获二万金，归诸父，遂成巨室。”

胡雪岩在生意中遇到的这些女人，几乎都是对他的事业有过帮助的人，有的后来被胡雪岩直接纳为妾，而有的则为了胡雪岩而葬送了性命。比如，孙玉喜是胡雪岩的情人，她为胡雪岩在上海贷款成功起到了举足轻重的作用，但是，最后也因此事而香消玉殒；另一个女人就是吴宝玉，当时上海著名的交际花，利用美人计帮助胡雪岩在汇丰银行先后贷款六笔，最后被胡雪岩纳为妾。还有的女子则成为胡雪岩用来交易的筹码和工具。胡雪岩在和王有龄结交之时，曾经遇到过一位千金大小姐，但是因为其父亲的罪行而深受牢狱之灾，胡雪岩因怜香惜玉而救其父出狱，但是当时胡雪岩已经深深地意识到这位小姐并非一般女子，他觉得自己无福消受，于是就想到了自己的官场好友王有龄。胡雪岩是一个精明的商人，在用人方面胡雪岩是一位精练的老手，于是他就顺水推舟做了个人情，把这位千金小姐送给了王有龄。当时王有龄虽然已经有妻室，但是见到貌美的女子依然是仰慕至极，所以对于胡雪岩把貌美女子赠送于自己的事非常感激，而胡雪岩却也正好利用这位小姐而牵制了王有龄。从此，对于王有龄的事情胡雪岩无所不知，同时也坚固了胡雪岩与王有龄的交情，使胡雪岩在以后的发展道路上越走越顺。像这位小姐一样被胡雪岩用做交换工具的女子还有很多，胡雪岩为了自己长远的利益而不惜牺牲貌美的女子，已经成为他常用的一种方式，而这些女子却都心甘情愿地为胡雪岩付出。由此可见，胡雪岩也有温柔痴情的一面。

胡雪岩一生纳妾十二人，后来人们称之为“十二金钗”，加上正房妻子一共十三人。胡雪岩为她们在自己的豪华庭院里花巨资建造了一座独特的洋楼，并命名为娇楼，让十二位妾都在那里居住，每人一院，非常雅致。胡雪岩还命人在其妾的房门上挂上标牌，每晚胡雪岩都会按揭牌的方式来选择入寝，其生活极度颓靡。

徐一士在《一士类稿》里的记载：“胡姬妾极多，于所居之室作数长弄，诸妾以次处其中，各占一室，若宫中之永巷焉。胡不甚省其名，每夕由侍俾以银盘进，盘储牙牌无数，胡随手拈得一牌，婢即按牌后所镌之姓名呼入侍寝，每夕率以为常。”

胡雪岩为他的小妾们建造这座富丽堂皇的娇楼，其中也有胡母的意愿。胡母喜欢自己的儿媳妇们都在身边，一家人住在一起，但是胡母并不知道儿子和这些媳妇整天荒**无度。胡雪岩的母亲是位朴实的母亲，而胡雪岩却不是个朴实的儿子，如果胡母早知道儿子会这样奢侈糜烂，也就不会发其意愿了。

胡雪岩不但妻妾众多，而且其发明享乐的花样也是众多。比如，他发明了让自己的妾们穿上印有“车”、“将”等字样的衣服，让其到高台上，而胡雪岩则在下面下活棋，这种极度奢靡的生活也最终导致他的失败。