高宗对杜充放弃开封的举动不加责罚，反而还命他负责长江防务，升任右相。高宗在建康稍事逗留，就又返回杭州，并派使臣杜时亮向金营呈送《致元帅书》。

如此屈辱的书信，并未取得金人的怜悯。1129年秋，金军又兵分多路向南进犯。完颜挞懒（汉名昌）领军进攻淮南，完颜兀术（汉名宗弼）则领军直接进攻江南，直捣赵构所在的临安（杭州），企图一举灭亡南宋，占领整个宋朝领土。

十一月初，兀术占领长江北岸和县。金军沿长江北岸东进，与李成合攻乌江，离建康不到百里。杜充向朝廷上报“督师诣采石防守”，却深居简出不做准备。岳飞入杜充寝阁，苦劝再三至于流涕，但也无济于事。

听到金军渡江的消息后，杜充才派都统制陈淬率岳飞、戚方等将官统兵两万奔赴马家渡，又派王燮的一万三千人策应。陈淬率军力战，岳飞率右军和金国汉军万夫长对阵，王燮却不战而逃，陈淬战死，诸将皆溃，岳飞苦战无援，整军退屯建康东北的钟山。杜充又弃建康，逃往真州，不久降金。建康失陷。

马家渡之战后，岳飞决定脱离杜充，独自转战金军后方。时岳飞的部下有叛逃者，岳飞向他们慷慨陈词，士卒皆被感动，愿随岳飞作战。杜充投敌，宋军纷纷溃散。溃军中一些北方将领不愿再战，欲推举岳飞为主帅，一同投金。岳飞假意应允，乘其不备，带亲信数人与之相斗，一连击败数十人；岳飞又对众军严肃训诫了一番，众皆心悦诚服，军心遂定。

兀术占领建康府后，亲率主力追赶宋高宗。高宗由越州逃向明州，随后又从明州乘船，逃到海上避难。

完颜兀术由建康进军，接连攻下溧水、广德、安吉、湖州，直取杭州，岳飞则领军在其后方，伺机给予痛击。岳飞遣刘经率兵千人夜袭溧阳，顺利攻克了被金军占领的溧阳县城。岳飞亲自领军转战广德境中，六战皆捷。驻军广德军的钟村，军粮用尽，将士忍饥，却不敢扰民。

建炎四年（1130年）初春，宜兴正被溃军骚扰，县令请岳飞来宜兴，说：“县中存粮，可供一万军士吃十年！”二月，岳飞进驻宜兴，屯于张渚镇。在广德和宜兴，岳飞收降了因政局混乱而在当地为匪的多支部队以及金军强征来的河北、河东等地签军。岳飞不歧视、苛待他们，伪军们都传话说：“此岳爷爷军。”争来降附。岳飞抗金英勇，爱民如亲，宜兴人民感恩戴德。他们说：“父母生我也易，公之保我也难。”

二月，金军以舟师浮海，穷追高宗三百里未获。兀术借口“搜山检海已毕”，纵兵烧掠明州、临安等城，携带所掠全部金银财宝，从大运河水陆并进，经秀州（浙江嘉兴）、平江（江苏苏州）等地向北撤退。经过常州时，岳飞率军从宜兴赶来截击。岳飞四战皆捷，擒万户少主孛堇等十一人。常州截击战之后，岳飞首次得到朝廷诏令，命他配合镇江韩世忠，从左翼进击金军，伺机收复建康。

金军在水路与韩世忠相持达四十日，被困于黄天**，因奸细献策才得以入江。陆路上，岳飞在四月二十五日于建康城南三十里的清水亭首战大捷，金兵横尸十五里。

五月初，岳飞在建康南面的牛头山扎营，在夜间以百人敢死队骚扰金军，金军伤亡甚大。兀术准备放弃建康，先在城中大肆杀掠和破坏，然后从建康西北的靖安镇（亦称龙湾）向北岸的宣化镇渡江。岳飞领骑三百、步兵二千冲下牛头山，大破金军，进据新城。又追至靖安，消灭了未及渡江的金军。建康得以收复。

建康战役历时半月，岳家军仅斩女真兵就“无虑三千”，擒获二十多名军官。这是岳家军的首次辉煌胜利。