潘安性情浮躁，追名逐利，他母亲多次劝他“应该知足，不能冒险行事”，但潘安听不进去。

当年，潘安的父亲潘芘任琅琊国（封国）内史（封国内的太守）的时候，作为潘家侍从的孙秀服侍潘安。孙秀喜欢耍小聪明，为人狡诈，但潘安也不是省油灯，多次对孙秀侮辱殴打，打倒在地还不够，还要踢上几脚才过瘾。

后来孙秀得到司马伦的欣赏，一路升官，最后成为中书令，辅佐朝政。官阶在孙秀之下的潘安时常想起当年的那些往事，内心很不安。有一天他忍不住问孙秀道：“孙令还记得以前我们相处的日子吗？”孙秀回答道：“刻骨铭心，未曾敢忘！”这下，潘安可就明白自己的下场会是怎样了。

与孙秀结下梁子的不只有潘安。石崇有个小妾，名叫梁绿珠，她天生丽质，国色天香，为绝世美女，是石崇当年出使交州的时候，在广西用三斛珍珠买回来的。绿珠不但美若天仙，而且跳舞、吹笛、写词、谱曲样样精通，还非常善解人意，深得石崇宠爱。当年“二十四友”每次在金谷园聚会，石崇都让绿珠出来跳舞斟酒，在座的都看得如痴如醉，失魂落魄。

绿珠的美艳名扬天下，孙秀当然也有听说，以前他只能在暗地里垂涎，现在跟着司马伦鸡犬升天，大权在握，他觉得自己有资本了，于是派人去向石崇索要绿珠。

石崇当时正在金谷园内游玩，他在美女环绕中登上凉台，看着对面河水潺潺流过，水流清澈见底，鱼儿在水中嬉戏，好不惬意。谁能想到，这会是他在这座豪华私人庄园度过的最后一天。

听说使者孙秀遣来要美女，石崇大方地把几十个婢妾都叫了出来，她们个个貌美若花，打扮得珠光宝气。石崇道：“这些人你随便挑。”使者没有见过绿珠，就问道：“不知道哪位是绿珠小姐？”石崇一听勃然大怒：“绿珠是我的最爱，不会给你们的。”使者劝他道：“您博古通今，应该知晓古今兴衰的道理，请三思。”石崇回答得很坚决：“绝对不行，不要再说了！”

使者回禀孙秀，孙秀便到司马伦那里告状，说石崇曾经帮助司马允谋反，潘安、欧阳建（石崇的外甥，以前曾经弹劾司马伦）也暗中参与。司马伦听后果然大怒，决心要诛杀他们。

金谷园内，石崇正在楼上欢宴，突然看到一队甲士过来，知道是刚刚拒绝孙秀惹下的麻烦，便对旁边的绿珠叹道：“我今天是因为你才获罪的啊！”绿珠哭着说：“那我现在就死在大人面前，报答大人的知遇之恩！”说完，她纵身一跳，落地而亡，石崇阻拦不及，万分懊恼。

石崇被甲士收押，以为不过是要被流放到交州、广州这样的蛮荒之地罢了，没料到竟直接被投入到了死牢。石崇长叹道：“那鼠辈看上了我的财产。”看守他军士听了，忍不住问：“你既然知道钱财能招来祸患，为什么不早点散发了呢？”石崇无言以对。

石崇正在监牢，忽然看见一个熟悉的面孔也被押了进来，他大惊：“安仁，你也到了这里啊！”潘安苦笑道：“咱们俩足可谓‘白首同所归’了。”这是潘安在金谷园写的《金谷诗》里的一句：“投分寄石友，白首同所归。”没想到一语成谶。

石崇、潘安都被灭了三族，死时石崇五十二岁，潘安五十四岁。