虽被逐出军营，但岳飞的抗金决心并未因此动摇。南宋建炎元年（1127年）八月，岳飞渡河北上，奔赴抗金前线——北京大名府，经过河北西路招抚使干办公事赵九龄推荐，会见了当时“声满河朔”，正多方收揽英才抗金的招抚使张所。这是他第四次从军。张所知悉岳飞的遭遇后，十分同情，便留他在“帐前使唤”。由于岳飞的非凡见识、高超武艺，张所终于决定破格提拔他。先是“以白身借补修武郎”，继而又升为统领，后又升为统制，分隶于名将王彦部下。

然而高宗、黄、汪等为了向金人乞和，有意打压朝中的抗金力量：先是坚决主张抗金的李纲被罢相，继而张所也因此前曾弹劾黄潜善而遭贬谪发配岭南，最终死于贬途。被张所派去收复卫州等地的王彦、岳飞一军，也因河北西路招抚司的撤销而成为孤军。

李纲罢相后，东京开封府的留守宗泽就事实上成为抗金的中心人物。宗泽和北方的民间自发抗金武装建立了广泛的联系，收编了号称百万人的大军，积储了足供半年食用的粮草。宗泽委任王彦为“制置两河军事”，王彦便派人命岳飞所部“赴荣河把隘”。岳飞和王彦难以共事，便决定率领部伍南下东京开封府，再次接受宗泽的领导。宗泽爱惜岳飞的才干，体谅他的爱国之心，原谅了岳飞的违反军纪（指率队离王彦之事），留在营中听候差遣。

腊月（1128年1月），金军大举南侵，进犯孟州汜水关。宗泽即派岳飞为踏白使，让他率领五百骑兵前往侦察。岳飞在汜水关一带击败金军，凯旋后，即被宗泽任命为统领，不久又提升为统制。

宗泽死后，杜充继任东京留守。其人“性残忍好杀，而短于谋略”，置宗泽生前的计划于不顾，北伐终告夭折。

建炎三年（1129年）正月，岳飞奉东京留守司的命令从守卫北宋皇陵的驻地西京河南府返回开封。杜充出于排斥异己的动机，命岳飞向守城将领张用、王善袭击。时王善驻扎城东，张用驻扎城南，岳飞、桑仲、李宝诸人驻扎城西，均负有守卫京师重任。岳飞不愿自相残杀，婉言推辞，但杜充以军法问斩相威胁，勒令岳飞出兵。岳飞有以往擅自脱离王彦的教训，无法抗命，只能出战，南薰门之战，以八百人击退张、王部数万人，以功升武经大夫。杜充又派马皋等继续追击张、王部，却被打败。王善攻打淮宁，张用不从，引军离去，自此成为游寇，后终被岳飞收降。自春至夏，岳飞随陈淬多次与王善作战，王善率部东流西窜，最后降金。岳飞因多次战功先后转武略、武德大夫，授英州刺史。

上年八月开始南侵的金军，于是年正月又先后攻下徐州、淮阳、泗州，进袭扬州。二月初三日，南迁扬州的宋高宗得到金军攻陷天长军（安徽天长）的消息，惊惶失措，落荒逃至杭州。五月，苗刘兵变被镇压后，高宗移驾建康。就在高宗移驾建康时，杜充借“勤王”之名，行脱离危险之实，准备离开开封，前往建康。

岳飞于六月下旬刚回军开封，就接到杜充南撤的命令。岳飞向杜充苦谏：“中原地尺寸不可弃，今一举足，此地非我有，他日欲复取之，非捐数十万众不可得也。”杜充不听。岳飞无奈，只得率军随之南下。开封随后于次年二月陷落。