为共同抗日，李四光来到了庐山参加会议；而为摸清当局的基本态度，他首先去见了汪精卫。其实早在日本留学和孙中山组建南京临时政府期间，他就认识汪精卫，打过多次交道，彼此之间比较熟悉。
见到汪精卫，他免去客套与寒暄，单刀直入地分析目前形势，最后提出坚决抗日的主张。他说：“打，一定要打！现在不打，别无出路！”
“老兄，不要激动嘛。”汪精卫知道李四光是直来直去的硬汉子，又是扬名国际的大科学家，耐心听完之后，狡猾地讲了一通“打不得”的歪道理，妄图说服李四光。
两人在客厅里针锋相对辩论起来。汪精卫辩不过李四光，最后不得不摆出领袖的官架子，怒道：“你是书呆子，懂得什么？”
李四光气愤得一拍桌子站起来，冲着汪精卫大声喊叫：“好！让事实证明，看谁说得对！”李四光头也不回地走出了客厅。出来后，他直接来到老朋友李一平在庐山创办的交庐精舍。
“忘年之交”李一平比李四光年轻15岁，原任国民革命军总政治部社会科科长。他借助当时广东省主席陈铭枢的关系，奔走于国民党上层人士之间，呼吁结束军阀割据的混乱局面，被称为“政坛怪杰”。然而，军阀混战、政局动**日益加剧，他痛感自己回天无力，于1930年称病，脱离了国民党军政界，在庐山创办学堂，实践“教育救国”的志愿。
交庐精舍原是外国人开的旅馆，停业后出售，李一平和林森、陈铭枢、李四光等好友集资买下来办学校，取名“交庐精舍”，意思是朋友交往的好地方，也含有佛经典故——李一平后来还担任过中国佛教协会常务理事一职。先期重点培养的是陈铭枢的八个晚辈，包括陈铭枢的长子陈广生。授课上，先教《四书》、《五经》，然后是数理化，皆用中、英文教学。李四光因为常来甚至常驻庐山，也一度教过他们化学。八位学子皆有所成，陈广生后来去英国求学，再后来成为天津冶金研究所的总工程师。其他各位，有的成为科学家，有的追随国民党去了台湾，有一位去了延安，解放后成为国务院一位副部长。
人各有志，尽管八位学子都是陈铭枢的晚辈，但有教无类的李一平为他们的人生开拓了一个海纳百川的心胸，此后的人生选择，全凭学子自己掌握，历史给出了不一样的答案即是鲜明例证。
交庐精舍后来日益闻名，更多的政要及本地农家送来子女，贫苦子弟前来入学则完全免费。黄炎培、林语堂曾撰文赞扬学校的办学方针。李一平一方面组织学生读书学习，一方面积极宣传抗日主张，教育引导学生走抗日救国道路，不少学生从这里走上抗战前线。遗憾的是，这所学校最终被蒋介石以“聚众讲学，图谋不轨”的罪名强令解散。建国后，李一平被周总理点名任命为国务院参事。
却说李一平看到李四光的脸色不好，已经料到他与汪精卫的会见大概不算愉快，便问：“怎么样？现在的这位汪院长给你的印象如何？”
“此人可杀！”李四光咬牙切齿地下了明确结论。
“是呀，汪可杀，蒋亦该杀！”李一平胸中原有的块垒也被触动，激愤地说道：“指望蒋、汪合流团结抗战，白日做梦哟……”
不过，李四光这次也没算白来。他看清了汪、蒋的政治嘴脸，发誓以后绝不与这两人进行任何来往。在今后漫长的岁月中，我们将会看到李四光对诺言的惊人践行！
让李四光甚感安慰的是，女儿此时正在交庐精舍读书，一家三口正好借此机会享受一番天伦之乐！
7月16日，首次谈话会在庐山牯岭图书馆隆重举行。汪精卫主持座谈，蒋介石发表讲话，并设盛宴招待了与会人员。从始至终，蒋介石一直感到奇怪的是，李四光明明已来庐山，怎么却一直没有见到？
他不知道，李四光在同汪精卫谈崩之后，在交庐精舍气愤填膺地发了一顿牢骚，这还不够，他又独自跑到太乙峰哭了很久！兴废由人事，山川空地形。他为中华民族的未来而痛哭！
人们都为李四光捏把汗。拒绝出席蒋委员长的宴会那还了得！这在当时的知识界极为罕见。蒋介石毕竟是蒋中正，他似乎并不恼火，显示出大度的领袖胸怀。此后，凡他亲临的各界名流盛会，他依然照例邀请李四光，另一方面，李四光也仍旧是拒绝出席。这是一幅有趣的历史图景，漫长，而持续。
一次，蒋介石亲自来到中央研究院，参加这里的院务会议，又以委员长的名义举行盛宴，还把李四光的坐席定在自己身边。
会上，没有见到李四光；身边的宴席座位，也是空空的。他只好问翁文灏：“怎么，李四光先生还没来？”
“喔，对不住委员长。方才我派人去请了，听说他患了重感冒，正发高烧呢。真是不凑巧，请委员长原谅……”翁文灏冒着“欺君之罪”，斗胆用谎言保护这位“不识抬举”的好朋友。李四光深受感动，后来他回忆说：“翁公算是救了我一条命啊！”
谈到现代中国的科学家，地质学界无疑最令人刮目相看。从丁文江到翁文灏、李四光，不仅专业上响当当，而且个个行政能力极强，都是治国平天下之才。丁文江在1925-1926年间当过淞沪商埠督办公署的总办，相当于上海市长；李四光是新中国的首任地质部长；加上做过浙江省主席、国民党中央组织部长、教育部长、行政院副院长的朱家骅，真是让人有“风景这边独好”的感慨。这其中，不愿当官却官运亨通的翁文灏，似乎最让普通人羡慕：他官至“宰相”一级，所谓“一人之下，万人之上”，可谓达到了传统士大夫仕途的极致。坊间津津乐道地质学界为中国贡献了两位总理，一位是温家宝，一位就是翁文灏。
人与人的差异也正在这里。占据极多第一头衔的中国地质学奠基人之一的翁文灏，本来对仕途毫无觊觎之心，相比中国地质学三杰之一的丁文江最大旨趣是做“治世之能臣”，中国第一位地质学博士翁文灏其实本分得多。尽管他也关心政治，但仅止于在《独立评论》上发发议论，骨子里还是书生本色，蒋介石多次相邀都被他拒绝。然而，1934年春节，翁文灏在浙江武康境内遭遇车祸，蒋介石得报，命令医院不惜一切代价抢救，还派来医生，接来家属，将这个体重仅九十磅的垂危病人从死神手中夺了回来!知遇之恩加上救命之恩，翁文灏终于踏入了蒋家王朝的仕途，最终做到行政院长的高官。
我们可以说蒋介石有钻营，可以说翁文灏有无奈，但如果我们将其对比于李四光，那么，对原则性的坚守，立时泾渭分明。
有趣的是，李四光与翁文灏同为我国地球科学、特别是地质学的主要奠基人，都是我国近现代科学事业的重要倡导者与组织者。翁文灏生于1889年7月26日，死于1971年1月27日；李四光生于1889年10月26日，死于1971年4月29日。他们同年生，同年逝世，表面看，翁早生3个月，早逝3个月零2天，而实际算下来，他们的寿命刚好都是81岁零185天！
历史如此巧合。
或许，蒋介石这时还不想要李四光的命，必须让他活着为他所用。蒋介石了解李四光，也可以说特别敬重李四光。他们都是当年的留日生，都在日本参加了中国同盟会，都追随孙中山，都在孙中山领导下投入了辛亥革命，年龄也只差一两岁。现在，自己成了“一国之君”，李四光是拥有国际影响的大科学家，这样的人才他能舍弃吗？即便从笼络人心和点缀门面着眼，他也必须把李四光牢牢抓在自己手里。