兀术正准备渡过黄河的时候，有个北宋时的太学生却要求进见，对兀术说：“太子毋走！京城可守也！岳少保且退矣！”兀术忙问：“岳少保以五百骑破吾精兵十万，京师中外日夜望其来，何谓可守？”太学生说：“不然，自古未有权臣在内，而大将能立功于外者！以愚观之，岳少保祸且不免，况欲成功乎？”

兀术经此人提醒后，决定暂不过河。而秦桧也早在暗中策划迫使岳飞撤军的事了。他们谋划的重要步骤是，让张俊从亳州退还寿春，命令韩世忠稳守淮东，不得继续前进，驻屯顺昌的刘锜远调江南太平州等。所有这些，都是为了置岳飞于侧面受敌、孤军无援的境地。就在郾城大捷捷报报上朝廷的时刻，秦桧串通张俊、杨沂中，策动并唆使谏官罗汝楫向高宗上疏，说：“兵微将少，民困国乏，岳某若深入，岂不危也。愿陛下降诏，且令班师。”

高宗遂降诏，令岳飞班师。

七月十八日，即张宪从临颍杀向开封之时，宋廷传来班师诏。岳飞鉴于当时完胜的战局，上书争辩，大略为：“契勘金虏重兵尽聚东京，屡经败衄，锐气沮丧，内外震骇。闻之谍者，虏欲弃其辎重，疾走渡河。况今豪杰向风，士卒用命，天时人事，强弱已见，功及垂成，时不再来，机难轻失。臣日夜料之熟矣，惟陛下图之。”

隔了两三日，大军先锋已进抵朱仙镇，完颜兀术已逃出开封之时，岳飞却在一天之内接连收到十二道用金字牌递发的班师诏，诏旨措辞严峻：命大军即刻班师，岳飞本人去临安朝见。据学者王曾瑜考证，高宗发十二道金牌的时间，大约是在七月初十左右，即他得到七月初二克复西京河南府捷报不久。

岳飞接到如此荒唐的诏令，愤惋泣下：“十年之力，废于一旦！”然而在朝廷高压钳制之下，岳飞不得不下令班师。百姓闻讯拦阻在岳飞的马前，哭诉说担心金兵反攻倒算：“我等戴香盆、运粮草以迎官军，金人悉知之。相公去，我辈无噍类矣。”岳飞无奈，含泪取诏书出示众人，说：“吾不得擅留。”于是哭声震野。大军撤至蔡州时，当地人民要求与部队一起行动，岳飞最终决定留军五日，以掩护当地百姓迁移襄汉。大军班师鄂州，岳飞则往临安朝见。北方忠义军孤掌难鸣，兀术回到开封，整军弹压，又攻取了被宋军收复的河南地区。岳飞在班师途中得知噩耗，不由得仰天悲叹：“所得诸郡，一旦都休！社稷江山，难以中兴！乾坤世界，无由再复！”

岳飞回到行朝，不再像以往慷慨陈词，只是再三恳请朝廷解除其军职，归田而居。高宗以“未有息戈之期”为由不许。

绍兴十一年（1141年）正月，完颜兀术再度领军南下。二月，岳飞领兵第三次驰援淮西。这也是他最后一次参与抗金战斗。