由于抗战爆发后，沿海工业城市及较为富庶的地区相继被日军占据，海上交通断绝，后方物资日益匮乏，因而戴笠在两年前便向蒋介石建议，在财政部专门设立一个物资调解机构，统筹办理物资内运，设法争取沦陷区物资，以利抗战。由于财政部以种种理由搪塞，该机构直至1943年年初方尘埃落定，这就是当年4月正式成立的财政部货运管理局，蒋介石指派戴笠为管理局局长。

在胡蝶来曾家岩公馆探视的时候，戴笠将这一任命告诉了胡蝶。胡蝶一时没明白戴笠的意思，因为他的兼职太多了，多一个少一个在她眼里算不了什么，难不成要庆贺一番吗？

戴笠自我解嘲地笑笑说：

“这个货运管理局管的是货物的运进运出，潘先生是商人，对这一行应该比较熟悉。”

胡蝶恍然大悟，原来戴笠要给潘有声安排一个事做。这件事她曾经想过，只是在戴笠面前张不开嘴，如今戴笠自己提出来，自然是满心欢喜。

“只是，具体做这个工作的人员，都是分散在各地的。”

戴笠的言外之意是，给潘有声安排的这个工作不在重庆。这一点胡蝶自然能理解，军统人员无论公开身份还是隐秘身份，大多数都分散在各地以及沦陷区甚至海外，留在重庆的只是很少一部分人；管控沦陷区的货物进出，更不可能在大后方的重庆。

倘若没有戴、胡二人如火如荼发展的亲密关系，这个安排在当时的情况下不会有任何人产生疑问。但眼下，即使戴、胡二人，也有一种心照不宣的默契。

征得胡蝶同意后，戴笠任命潘有声为货运管理局广东区货运处专员。潘有声是商人，乐得得到一份肥差——有官做，有钱赚，有福享，没准还能借职务之便做回老本行，大发一笔。于是，很快乐颠颠地赴昆明上任去了。

潘有声走了，戴笠与胡蝶的关系也开始进入一个新阶段。这或许是戴笠平生第一次真正品尝到爱情的滋味，第一次有了一日不见如隔三秋的感觉，也是自毛秀丛去世后，第一次有了结婚的念头。

但结婚并不现实，首先军统的规矩自己要率先遵守；其次双方都是名人，必须顾及影响，尤其胡蝶有家庭，离婚之事不能操之过急。而不离婚两人又要在一起，一旦传出去影响更坏，这就需要保密，直至抗战胜利。

漱庐是一个较为开放的环境，时间长了会有胡蝶文艺界的朋友前来拜访，为了保密起见，戴笠将胡蝶转移到了郊外的杨家山公馆，从此两人开始了长达三年多的秘密同居岁月。

由于杨家山山多地窄，胡蝶不喜欢这个地方，戴笠又选择在枇杷山神仙洞为胡蝶建造公馆。新公馆落成之前，戴笠偕胡蝶前往查看，十分满意地对胡蝶说：

“我最喜欢这个地方，神仙洞里住神仙！”

说到神仙，他不由自主地想到那对“富春江上神仙侣”，如今早已劳燕分飞，而王映霞回重庆后也已嫁作他人妇，郁达夫在新加坡沦陷后逃难到了苏门答腊，世事变迁之快，令人目不暇接。当然他这辈子也没有想到，他与胡蝶这对“神仙眷侣”竟也是来日无多了。

为了让胡蝶少走山坡路，戴笠吩咐同行的总务处长沈醉，修建一条可直达公馆门口的车道。并策划在公馆前面修一片花园，由他本人亲自设计和布置，在花园里种上各种奇花异草。

1944年年初，公馆竣工，戴笠将胡蝶移居神仙洞公馆，成为名副其实的金屋藏娇。

为保密和安全起见，戴笠特地从老家招来男女青年多名，男青年负责警卫，女青年负责照顾胡蝶的饮食起居，并请他在老家保安村的朋友柴鹿鸣做总管。

当年戴笠南下报考军校，柴鹿鸣协助他骗过母亲蓝月喜，在村头相送，鼓励他“扛面红旗回来”，对戴笠是一种很大的激励。

戴笠发迹后，特地将柴鹿鸣接到南京，做了特务处总务股股长。到重庆后，柴鹿鸣已年届花甲，做事情手脚已不是很灵便，况且戴笠也不会让他做粗活，特地安排他在公馆做内务管理，管管日常开支，指点一下女佣。如今，柴鹿鸣又跟随胡蝶来到神仙洞公馆做总管。

这些被带出来的江山老乡，从偏远的农村来到陪都重庆，既解决了温饱问题，又能得到薪水，他们都视戴笠为恩人，对戴笠忠心耿耿，对他的私生活都守口如瓶。加上四周设有岗哨，外人难以靠近，戴笠与胡蝶在重庆同居几年，也只有戴笠的少数心腹知道此事，大多数军统人员都不详其情。

照理说胡蝶丢失的东西得到了补偿，与戴笠也已同居，行李被劫案也该不了了之了，而实际并非如此。

尽管戴笠不相信杨惠敏是劫匪，却为了照顾胡蝶的感受，在无任何证据证明杨惠敏与江东抢劫案有关的情况下，命令下属将杨惠敏及其未婚夫赵乐逮捕并押解到重庆，关押在重庆石灰市看守所。

这个抗日女英雄，这个集骄傲与荣誉于一身的女孩，一生的命运从此被改写！

阴差阳错的赶上珍珠港事变，让这个前程一片光明的女孩留学梦碎；一片热心参加赈济会，不辞辛劳地抢救难民，又带来一场牢狱之灾。这个一向坚强的女孩，面对人格的巨大侮辱和人生的强烈反差，再也无法坚强，在大牢里终日以泪洗面。

虽然查无对证，虽然一次次审理均无线索显示杨惠敏与胡蝶行李被劫有关，但有戴笠压着，杨惠敏的案子一直不能结案，她本人也由石灰市看守所转解息烽，又从息烽押往重庆渣滓洞，直到戴笠殒命军统换了掌门人，她才得以释放。

1949年杨惠敏移居台湾，在学校当了一名体育老师。自蒙冤入狱，原本前程似锦的爱国女英雄从此默默无闻。

谈及自己的冤屈，杨惠敏说：“胡蝶把我毁了，她毁了我一生灿烂的前程！她杀死了一颗赤忱火热的爱国心，她侮辱了我冒险献旗给八百壮士的壮举，她以小人之心伤害了正人君子的自尊……我恨死这无知的演戏的女人！”

而胡蝶在回忆录中，却只字未提丢失行李之事，更无只言片语涉及戴笠，甚至将赴渝时间延后一年之久，其用意不言而喻。毕竟，昔日的“权贵”早已灰飞烟灭，何况戴笠又是一个极富争议的人物。