王映霞究竟与许绍棣有没有过关系？她为什么不愿与丈夫郁达夫同房？先看《毁家诗纪》的第四首：
寒风阵阵雨潇潇，千里行人去路遥。
不是有家归未得，鸣鸠已占凤凰巢。
这一首说得十分明白了，一个人冒着风雨远离家乡，为什么要离家？是因为没有家吗？他原来是有家的，只是这个家已经鸠占鹊巢。
这首诗写得如大白话，但却不是郁达夫本人写的，理由来自诗的自注，我还是按照白话文的意思大概翻译下：这是我在福州天王殿里求得的一张签诗。我们到庙里上香拜佛求签，求签往往是一首诗，我也去过庙里，但是我没有求过签，也不上香，也不跪拜，我更多是欣赏里面的建筑，去看看那些佛像，感受一下伽蓝的味道。但曾经有人为我也去求过签，当然这种小儿女的心态，我也能够理解。
按照常理，去庙里求签的人，都是心里有事，纠结的郁达夫概不能外，没想到求到的是一首鸠占鹊巢的签，可想而知他的心情。因为那时候他刚好接到国民政府政治部第三厅厅长郭沫若的邀请，准备前往武汉担任外宣处处长，他必须得先从福州返回浙江，再接上家人前往武汉。也就是在福州动身的前夜，他在天王殿里求得了这张签。诗句奇怪，难以理解，但是又有一种不好的预感。
郁达夫来不及多想，就动身了，时间是1938年1月。连日大雨，好容易辗转到了丽水，准备接家人一起走，不料晚间王映霞竟拒绝与郁达夫同房。郁达夫想了半天才明白，这是因为许绍棣这几天没有去临时省政府办公，仍然在丽水的省政府宿舍留宿的缘故，因为如前文所说，他们两家当时是楼上楼下。当然，这只是郁达夫单方面的猜测。
次日，许绍棣去金华开会，郁达夫也去了方岩，会见了许多友人，入晚回来，王映霞仍拒绝与之同宿，说是例假来了，“分宿为佳”，郁达夫没办法，只好耐着性子等。第三天，许绍棣从金华回来了，王映霞像变了一个人似的，搭车前往迎接，许绍棣又要从丽水转到另外一个地方去公干，王映霞二话没说就跟走了，当晚在碧湖过了一夜。次日午后，二人同返丽水。
被戴了这么一顶绿帽子的郁达夫，当然不甘心，他表示这才想到了“人言之啧啧”，怪自己太糊涂，于是找到王映霞，请她自己决定，要么随自己去武汉，要么跟许绍棣在一起。接下来的两天，据郁达夫的观察，王映霞与许绍棣就这事交涉了很久，许绍棣推脱再三，不肯正式迎娶王映霞，春梦一场没奈何，王映霞只好挥泪作别，和郁达夫一同去了武汉。
说起来，夫妻之间的事情非常微妙和隐秘，作为外人很难去掌握真实情况。如果其中一方把这些事公开出来，固然作为八卦可以惹人注目，但其实这就是一面之词，你不能偏听，一定要保持冷静。
上文讲到的是郁达夫在诗歌中的讲述，接下来可以再看看另一位当事人王映霞有什么要说的。据她在自传里回忆：自从搬到杭州后，往来的朋友较多，许绍棣也是其中之一，但仅此而已。至于流传的什么丽水同居之事，纯属造谣。同时还列举出朋友胡建中的辩词：“以绍棣为人之方正清廉，许王两家儿女亲属同居者之多，以及他们每次相见，都有别的朋友在场，在十目所视之下，我确信他们的关系，仅止于爱慕和别后的通信。”
这条辩词其实透露了两层意思：王映霞和许绍棣的确有那种暧昧的情感，至少一方可能是爱着一方的，不然也不会在分别后通书信；但绝对是君子发乎于情，止乎于礼。不过后来王映霞自己又谈道：“近来有人将两封不是我写的信，栽在我的头上。”即后来一直流传到20世纪80年代的所谓两封王映霞写给许绍棣的情书。问题是，谁在捏造这两封情书呢？这是个谜，虽然经过证明勘证，这两封信确实是假的。
这大概就是王映霞晚年特别在意的一件事，毕竟郁达夫在中国近代文学史上的地位很高，他既然公开刊载自己的诗歌来讲自己的婚变，那么作为弱者的妻子，要站出来写自传为自己辩护，也可以理解。而且王映霞在自传里已经承认了“爱慕”这两个字。这里需要说明一点的是，所谓“爱慕”在老式语言里，是惺惺相惜，有好感的意思，与今天所说的爱情中的“爱”有一定的区别。
在这里，可以换位思考一下：王映霞与许绍棣长时间住楼上楼下，一位彬彬有礼，一位操持家务，男才女貌，但碍于家庭社会身份，两人的相处处在一个比较含蓄又特别靠近的阶段，就这一点来说，也不算奇怪。所以，能证实二人关系的东西，就落在了“通信”上，因为爱慕只是旁人的观察，通信写了什么，才是重要的。
就这一点，王映霞在自传中诉说到，她与许绍棣通信的主题，主要是她为近代史上另外一位著名的艺术家孙多慈做红娘，介绍许绍棣与她认识。孙多慈曾是徐悲鸿的学生，也闹过一场师生恋，无疾而终。孙多慈万般无奈，委托好友替自己介绍新男友，结果最后辗转到了王映霞这里，王就准备向孙多慈介绍许绍棣。
说起来，王映霞最开始认识郁达夫的时候，郁达夫也有婚姻。当时王映霞住在郁达夫朋友家里，郁达夫见到她后，就展开了猛烈的追求。她的朋友本与其家人相识，不太支持这样的事情，便想了一招，为王映霞介绍新的男朋友章克标。根据章克标后来的回忆，郁达夫听到这个消息后，就直接找上他说，“你别跟王映霞谈恋爱，你跟他谈恋爱，让我很难办！”这就等于受了威胁。章克标当时在文坛初出茅庐，声名远不及郁达夫，只好宣布放弃。