江东、淮西宣抚使刘光世，由于平时骄惰逸乐，纵情酒色，以致得了风痹之症，所以他于绍兴七年三月上疏奏请免除军政任务。刘光世所统带的军队，高宗最初打算交给岳飞统领，并诏告刘光世的手下王德听命于岳飞。但张浚却说岳飞所统带的部队过于庞大，以后恐怕难以驾驭，高宗又诏命王德暂时听命于都督府，并诏告岳飞到都督府议事。

岳飞于夏初抵达都督府，拜见张浚。张浚虽然已经把刘光世的部队暂时分为六个分队，但是还没有找到统领的人，见岳飞前来，就询问岳飞。

岳飞说：“都督您应该是胸有成竹了。”

张浚说：“王德久在淮西，淮西军必然畏服。我想以他为都统制，以郦琼为他的副手，再由吕祉以都督府参谋名义予以统领，您觉得怎么样？”

岳飞说：“淮西一军大多是叛亡盗贼的人，反复无常，而王德与郦琼平日也不和睦，如今一旦使王德位居郦琼之上，郦琼必定不服，而发生意气之争。至于吕参谋，终究是一个书生，不熟悉军队的事情，也恐怕难以服众。”

张浚说道：“那你说怎么办呢？”

岳飞说：“恐怕需要在大将中选择可以胜任的人。”

张浚又问：“你觉得张宣抚怎么样？”

岳飞沉思一会儿说：“张宣抚曾是我的旧日长官。张宣抚虽然是国家老将，只是平日为人暴躁寡谋，估计不是很合适。”

张浚已经面露不悦之色，缓缓说道：“杨沂中是后起之秀，你应当没有意见了吧？”

岳飞说道：“杨沂中、王德、郦琼等人，都属于一时的英雄，但没有一个人能让他们畏服。”

张浚脸色变得很难看，冷笑着说道：“我明白了，在你看来，除了你之外，再没有人能统率这支队伍了。”

岳飞很生气地说：“都督您以军国大事问我，岳飞我能不如实禀告吗？而都督您反认为我想做统帅，这实在是对我的误解!”他立刻上奏折请求解除兵权，让张宪暂管军事，自己回到母亲的坟墓旁守孝去了。

张浚认为岳飞是诚心与他作对，就上疏说岳飞处心积虑，想要合并刘光世军队。张浚一边让兵部侍郎张宗元作为湖北宣抚判官，监管岳飞军队，一边又指令王德为淮西都统制，郦琼为副手，另派吕祉前往庐州节制。

王德等人刚一上任，郦琼就给他难堪，吕祉既不能调和，又不能左右偏袒，只有返回原地了。而王德与郦琼又各自列状互相诋毁，请求都督府主持公道。张浚没有办法，就将王德召回建康，让军队暂隶属于都督府。八月初，张浚让吕祉去会合郦琼。郦琼等将领见吕祉又来了，就向吕祉诉说自己被张浚冷落。吕祉安慰他说道：“张丞相为人大度，如果能够阵前立功，即使大过也不计较，何况这些小的事情呢！请放心，我会为你说话的，保你们没事。”郦琼等人听他说完，也都深为感动，军中一片和谐。

吕祉一番话安抚了郦琼等人，却始终认为郦琼难以制伏，就奏请罢免郦琼与统制官的兵权。不料此事却被书吏泄露给了郦琼，所以郦琼途中截获了奏疏，看完之后一腔怒火无处发泄，心中对吕祉咬牙切齿。恰巧此时，朝廷命令张浚为淮西宣抚使，宣抚司设在盱眙；杨沂中为淮西制置使，刘锜为副，制置司设在庐州，召郦琼前往。郦琼十分紧张，于是决定叛变。

第二天清晨，众将领都来拜见吕祉，郦琼从袖中取出吕祉的奏章，给中军统制张璟看了，说道：“我不知道我们有什么罪状，而吕参谋你却无端诬蔑，奏请朝廷，实在令人不解!”

吕祉见秘密泄露，就想回到内堂，却被郦琼抢上一步，如同老鹰捉小鸡般握住吕祉两手，让人绑了。

张璟上前劝阻说道：“凡事总可商量，怎么能绑了朝廷命官呢？”

郦琼厉声道：“朝廷如此糊涂，只听信奸人的谗言，我还留做什么呢？你们如果不想死，就随我投奔齐王去!”

张璟呵斥他说：“你想造反吗!”

郦琼笑着说道：“什么是造反？良禽择木而栖，贤臣择主而事。识时务者为俊杰。”

这时兵马钤辖乔仲福、统制官刘永衡等人齐声说道：“乱臣贼子人人得而诛之，我们岂能让你张狂呢!”

话刚说完，郦琼拔出剑来，指挥手下军士来杀乔仲福等人，张璟和乔仲福等人也拔剑在手。双方一阵混战，张璟数人毕竟寡不敌众，尽数被杀。

郦琼率领领着四万多人的军队，挟持着吕祉向北投奔刘豫去了。到了三塔，距淮河仅30里，吕祉下马不走了，他说道：“刘豫是叛国之贼，我怎么能见他!”

众人逼迫吕祉上马，吕祉哪里肯依，说道：“我要是死，就死在这里。”

郦琼没想置吕祉于死地，然而吕祉又大声呼喊：“刘豫是叛逆之臣，众所周知，你们当中怎么能没有英雄呢，怎么可以追随他去做叛国之贼呢？”这番话确实打动了不少人，有一千多人也不肯向前走了。

郦琼怕吕祉继续动摇军心，拔剑刺死了吕祉。众人无奈，只有跟随着渡过了淮河，投奔刘豫去了。

郦琼率大军投奔刘豫，使朝廷内外深受震动。而张浚现在才后悔没有听信岳飞的话，以致发生这种变动，于是他打算引咎辞职。

高宗问他说：“那谁能担当你这职位呢？秦桧能够继任吗？”

张浚答道：“臣以前以为秦桧是不可多得的治世人才，最近与他共事，才知道他不能担当重任。”

高宗又问：“我想再度起用赵鼎怎么样？”

张浚拜倒说：“陛下英明。”

高宗立刻下诏任命赵鼎为尚书左仆射兼枢密使，任命张浚为观文殿学士，提举江州太平兴国宫，撤除了都督府。

秦桧本以为张浚必定会荐举自己继任，没成想却是事与愿违，张浚并非没有荐举，而且还加以阻拦，内心极为愤怒，就私下唆使言官交覃弹劾张浚。

高宗本就是个无恩寡义的人，听了言官的劾奏，又被这些谗言迷惑，就打算让张浚去边远州郡守备。

赵鼎劝阻说道：“张浚的老母亲年纪大了，而且张浚还有救驾的功劳。”

高宗不高兴地说道：“功与罪怎么能相提并论呢？朕知道，有功当赏，有罪当罚。”

高宗没有听从赵鼎的劝告，下旨贬谪张浚去了岭南。赵鼎拿着圣旨不下殿，并约了同僚共同奏请高宗不要将张浚贬谪，高宗还是不肯。

赵鼎冒死进谏，其他大臣也替张浚说情，高宗只好将张浚降职为秘书少监，居住永州（现湖南永州）。

秦桧听说张浚因为赵鼎他们的劝阻而没有被贬谪，心里悻悻不乐，决定要找机会出了这口恶气。