志摩死后，徐申如每月给陆小曼两百块钱生活费，可小曼还拖着表妹吴锦一家三口，她自己没有工作能力，卖画又非长久之计。没过多久，徐申如连这两百块钱都不给了，原因是翁瑞午在小曼家逗留至深夜。

陈巨来在《安持人物琐忆》中描述说：“志摩死后，小曼家中除瑞午外，常客只余及大雨夫妇及瘦铁与赵家璧、陈小蝶数人耳。当时每夕瑞午必至深夜始回家中，抗战后他为造船所处长，我为杨虎秘书，均有特别通行证者，只我们两人谈至夜十二时后亦不妨。一日，时过了二点了，余催瑞午同走，他云：汽车略有损坏，一人在二楼烟榻上权睡一宵罢，自此遂常常如此，小曼自上三楼，任他独宿矣。及那月底，徐申如送来三百元附了一条云：知翁君已与你同居，下月停止了云云。后始知徐老以钱买通弄口看门者，将翁一举一动，都向之作汇报的。当时翁大怒，毫不客气，搬上三楼，但另设一榻而睡者，自此以后小曼生活，由其负担矣。”

1931年11月，徐志摩在北上前曾经和翁瑞午长谈，希望他能好好照顾小曼，后来志摩飞机失事，再没回来，从那之后，一直是翁瑞午在照顾小曼，直到自己去世。

刚开始，翁瑞午是造船厂会计处处长，收入丰厚，后来得了肺病，离职在家，他和陆小曼的生活开始变得拮据，两人的主要经济来源是翁瑞午卖掉的古董和他香港的二女儿翁文光寄来的钱。

一天晚上，翁瑞午正小心翼翼守护着小曼，胡适来了，直接进入屋内，对翁瑞午完全不予理睬。清高的才子哪看得起这类沦落之人，可小曼却知道他的好。胡适直到抗战胜利后仍不死心，寄信给小曼：可从速来南京，由他安排新的生活。小曼看后，说：“瑞午虽贫困至极，始终照顾得无微不至，二十多年了，吾何能把他逐走？”

小曼并没有给胡适回信，她觉得胡适在这个时候提出这样违背心性的条件，真是白白相识一场。看来志摩的临终托付算是托对了人的，翁瑞午几十年如一日对小曼不离不弃，没有半点虚伪。

为讨佳人欢心，翁瑞午先变卖家中的古玩字画，后又卖掉了茶山和房产，到最后竟然到了倾家**产的地步，可见对小曼用情至深。他并非胡适眼中的花花公子，不过是有些贪欢。待小曼年老色衰、颊萎腮瘪、形如枯槁、体力无几之时，没人再想起那个风华绝代的名媛，他仍然不离不弃，待她如初。

陈巨来为翁瑞午镌刻一方三十二字的圆朱印闲章，印文：“吉金寿石，藏书乐画。校碑补帖，玩磁弄玉。击剑抚琴，吟诗谱曲，均是瑞午平生所好。”可见，他确实不是普通的官宦子弟可以相比的，他也是小曼的隐形老师，谋篇布局、笔墨设色、落款题跋，无不尽心尽力。两人交往，更似知己。

陆小曼对鸦片的依赖越来越大，一次，国民党禁毒抄家，发现小曼家中有烟具，直接将她关了起来，第二天，翁瑞午打通关节把她保了出来。陆小曼是个意志薄弱的女人，她不懂如何刚强，只知道内心伤痛通过自我麻痹的方式去逃避。

其实小曼最初和翁瑞午的确是清白的：“我与翁最初绝无苟且瓜葛，后来志摩坠机死，我伤心之极，身体大坏。尽管确有许多追求者，也有许多人劝我改嫁，我都不愿，就因我始终深爱志摩。但是由于旧病更甚，翁医治更频，他又作为老友劝慰，在我家长住不归，年长日久，遂委身矣。但我向他约法三章：‘不许他抛弃发妻，我们不正式结婚。’我对翁其实并无爱情，只有感情。”一句“并无爱情，只有感情”道出了小曼的心声。二人常年相濡以沫，早就习惯了彼此，他们相伴三十余年，对彼此的依赖可想而知。

后来，翁瑞午犯了错误，他的字画也基本卖完了，到了晚年，他们的生活十分拮据，但仍然一起过了下来。苏雪林曾在1959年见过陆小曼一面，她回忆说：“翁瑞午站在她榻前，频频问茶问水，倒也像个痴情种子。”几乎在所有人的回忆中，翁瑞午对陆小曼都是关怀备至的。

一觉醒来，有你，生活似乎还有些酸甜滋味。每个人都害怕寂寞，都需要安全感，然而，能给你安全感的人并不多。小曼和王庚是父母之命，和志摩是相爱相杀，和翁瑞午是相知相伴。