绍兴二年九月初一，秦桧奸计没有得逞，被罢官免职。

秦桧归国后，向高宗说，留在北方的南方人回到南方，留在南方的北方人回到北方（河北的归金朝，中原的归刘豫）。这话当然让他感叹，因为朝臣中许多都是北方人，自高宗开大元帅府于北京，即追随南来的。

同年八月，范宗尹被免了相职，秦桧很想继任，就大肆宣扬：如果用我为相，我将主张两件事可以震动天下。高宗果然被他蛊惑，拜他为尚书右仆射、同平章事兼知枢密院。

秦桧任了相职，便将他所谓可以震动天下的两件事，拟了一份奏章呈现给高宗，请高宗颁行天下。这两件事的其中之一为：南北方之士大夫可以互通家书，这所谓的“家书”，不仅是要开放边禁，互通有无，而且意在为投敌、投伪之无耻汉奸开脱，认为他们都是为了一时之计，出于不得已。

而另一件事就是让那些山东河北诸郡渡江无归的人，开具原籍所在，遣送还乡。他拟的奏章中说道：“军兴以来，河北、山东忠义之徒，自相结约立功。其后蕃兵深扰，逐头项人，渐次渡江，今各所在，屯聚就粮。议者欲兴兵讨伐，肤唯黎元**，罪在朕躬。既未能率以还北，岂宜轻肆杀戮。应河北、山东渡江无归之人，并令所在招抚，开具乡土所在，当议遣官纠率起发。”

高宗看完奏章之后，并不同意秦桧的办法，就留着没有发出去。后来，金朝曾派和议使李永寿、王诏南下，所谈七事中的第一件事，便是全部北方人返乡，这与秦桧所拟办法正相吻合，这足以证明秦桧确实在私通金人。

秦桧担任相位一职以来，并没有任何建树，所谓可以震动天下的两件事，实在是不切实际。而他只是一味主张和议，并排斥异己，他让自己的亲信江跻、吴表臣、程玛、张焘、胡安国、刘一止，林待聘、楼炤等人把持言路。

此时左相吕颐浩奉命都督江淮荆浙各地军事，在镇江设置都督府，多年来听说秦桧的奸谋劣迹，就在绍兴三年八月返回临安，荐举黄龟年为殿中侍御史、刘菜为右司谏。黄龟年立刻列陈事实，弹劾秦桧“专主和议，阻止恢复，植党专权，渐不可长”。高宗在很多人的检举之下，也逐渐发现秦桧并不是所谓的“忠义过人”，而是另有奸谋，就免去秦桧所兼各职，罢为观文殿学士，提举江州太平观闲职；秦桧的私党胡安国等也同时罢去。

秦桧被罢官，岳飞听到后满心欢心。并不是他对秦桧有什么私人恩怨，而是由于秦桧自入相以来，一味主张议和，与岳飞主张完全不同。

秦桧被罢免后，朝内已无人再提倡和议，取而代之的是讨伐汉奸刘豫的呼声。

绍兴三年二月，高宗特派使臣拿着金蕉酒器赏赐给岳飞，并宣召他前往临安天子住处，后来临安之行暂时搁置了。

这时虔州（今江西赣县）、吉州（今江西吉安）一带，起义声四起。江西安抚大使李回、广东宣论明秦、知梧州文彦明以及江西宣谕刘大中等，奏请镇压虔、吉等起义军，并指出如果由岳飞负责，必可成功。

三月初，朝廷命令岳飞镇压虔、吉等地的起义军。

虔、吉一带共有大小起义的首领三百余人。吉州以彭友、李洞天为首，联合第二头目的八人，号称十大王，在吉州以南边界的武陵、烈源、陈田三处扎寨；虔州则有陈顋、罗闲等十人，集结数十万人，里外互相支援。

岳飞先派人去招安，这些起义军大部分人都不肯接受投靠朝廷的说法。于是岳飞派遣张宪等分头搜捕盘据在山区小头领，最后才去围捕吉州的十大王。

四月，岳飞率领部队逼近吉州，得到消息称，彭友等人现在吉州县界武陵、烈源、陈田等三处设立寨栅。彭友听说岳飞要到了，就说：“人人都说岳飞智勇天下第一，我却不信。看我去如何捣毁他。岳飞如果败在我手里，其他人又能拿我有什么办法呢？”

岳飞分派统旗官张宪率兵取武陵；王贵率兵取陈田；自率骑兵取烈源，烈源为起义军主力所在，彭友等十大王半数在此。

岳飞来到阵前，那彭友等人正纵马往来，全不把岳飞放在眼里。岳飞挽起弓，搭上箭，看得清楚，一箭射中彭友右手，彭友拿不住刀，掉落在地上。彭友大惊失色，回马便走，岳飞马快，已飞奔到他背后，用手一抓，便把彭友擒下马来，扔到地上，立刻有军士将他绑了。

敌人刚要偷袭，岳飞这杆枪像长了眼睛一般，一个个刺下马来，军队也拥上前来厮杀。乌合之众，如何抵挡岳家军神勇，纷纷向固石洞溃退。而武陵、陈田两处起义军，也被张宪、王贵分别破了。

这固石洞是彭友等人的根据地，储积十分丰富。洞在山腰上，山势耸峙险峻，四周环水，只有一条小径可以进出，险阻重重，易守而难攻。

岳飞把数百名精骑兵罗列在山下，个个挽弓搭箭，蓄势以待。然后派300名敢死士，于破晓时分，持着藤牌朴刀杀上山去。山下一片擂鼓呐喊，助长敢死士的声势。这300名敢死士个个身长力大，而且都熟习岳家拳，人人一身好武艺，把敌军杀得溃散。敌军也不知来了多少人，一时大乱，纷纷向山下逃奔，到了山下见到骑兵个个都弓上弦，刀出鞘，杀气腾腾，不由得跪在地上，高喊饶命。

岳飞下令，投降的人可免死。山上的敌军知道已经无路可逃，全都弃械投降。

最初的时候，朝廷曾因为隆佑太后在虔州受到惊吓，密旨命令岳飞，虔州城一破，全城屠戮。

隆佑是宋哲宗废弃的皇后孟氏，靖康二年，金人立张邦昌为楚帝，张邦昌见全国上下拥护的人少，就请隆佑太后垂帘听政。高宗登基之后，被尊为太后。建炎二年，金兀术渡江南下，高宗在海上逃亡，隆佑太后由卫士保护，从建康逃到虔州。因卫士与当地民众发生冲突，土豪率领着民兵将城团团围住，喊杀声使太后大受惊恐。直到援军抵达，才解了虔州之围，隆佑得以脱险。所以高宗对虔州恨之入骨。

岳飞平定了虔、吉起义军，上章报捷，并请求只杀首领，赦免从众。高宗不准。岳飞又连请数次，高宗才有些犹豫，就让岳飞酌情裁决。等到岳飞入城处置俘虏，除诛杀了重罪贼酋数人之外，对其余人宣称奉诏赦免。一时间，全城民众欢声如雷。

九月十三，岳飞抵达临安，高宗传口谕，岳飞可以系着金带上殿。入见高宗之后，高宗对岳飞再三夸赞，并赐给他衣甲、马监、弓箭各一副，金线战袍，金带手刀、银缠枪、战马、海皮鞍各一个。又赐御书“精忠岳飞”绣旗一面，命令行师的时候竖立在中军显眼的地方。

岳飞对高宗的知遇之恩深有感触，但身为大将，却不能挥兵北上，歼胡虏，收两京，迎还二圣，以解主上之忧。不禁百感交集，遂赋《满江红》词一首：

怒发冲冠，凭栏处，潇潇雨歇。抬望眼，仰天长啸，壮怀激烈。三十功名尘与土，八千里路云和月。莫等闲，白了少年头，空悲切！

靖康耻，犹未雪；臣子恨，何时灭？驾长车，踏破贺兰山缺。壮志饥餐胡虏肉，笑谈渴饮匈奴血。待从头，收拾旧山河，朝天阙！

九月十五，岳飞被授予镇南军承宣使，充江南西路沿江制置使，屯驻江州（今江西九江）。

九月二十四，拜官为江南西路舒蕲州制置使，置司江州。同时拜命置司的还有三人，刘光世置司池州（今安徽贵池），韩世忠置司镇江，王躞置司鄂州（今湖北武昌）。

以往，诸将虽然各自拥兵自重，但是只屯成据点，而没有责任区划。现在分遣诸将，各据要职，专门负责某一地区，设置衙署。

岳飞由于长期要驻守江州，就买了几亩田地，将家眷接到江州来居住，这样可以早晚侍奉老母。