当曾国荃听到皇帝下的第二道指责他的谕旨之后，一下子病倒了。

曾国藩听说后前来看望，见他没有什么大碍便放心了。于是他便和弟弟交谈了一番。曾国荃恨清政府奖赏不公，他带兵打仗枪林弹雨，冒死前进，仅仅为了逃走的几个太平军就得到一身不是，而杭州城被破时，陈炳文率数万太平军逃出城去，清政府怎么没有追究左宗棠的任何责任呢？

曾国荃不提左宗棠便罢，一提左宗棠，曾国藩气就不打一处来。因为正是左宗棠向皇帝汇报了太平天国幼主从天京逃跑一事的。平时自己对左宗棠也不薄，为什么他却背后向皇帝告黑状呢？这位和自己结交了三十年的老朋友，竟然毫不留情，在背后向他“捅刀子”。

最让曾国藩束手无策的是皇帝让他们交出天京城里所有的金银财宝，这可愁坏了曾国藩哥俩。曾国荃告诉了曾国藩实话，说天京城的确有不少金银财宝，但都被湘军们抢走了，并且各自都运回了老家，怎么可能收得回呢？

曾国荃越说越生气，皇帝还要求把李秀成等人押送京师，但李秀成早被杀死了。情急之下他就劝曾国藩学赵匡胤，搞兵变，夺皇位。而且，他还对当前的兵权形势进行了一番分析：曾国荃的吉字营有五万兵，彭玉麟、杨载福水师有两万人，鲍超、张运兰、萧启江共五万人，大清的那些清兵及绿营兵都不堪一击，不是湘军的对手。

曾国藩没等他说完就捂住了曾国荃的嘴巴。他知道，如果这一番话传到清政府的耳朵里就会是死罪。曾国藩深知，清政府对洋人的欺凌软弱无能，对吏治的败坏无计可施，但对汉官的防范有的是办法。其实，清政府早就防备他来这一手，所以在各重地加了重兵，且占据了有利地势。湘军号称三十万，可是听他调动的也只不过十万。这十万之中，李鸿章也不一定会站在自己这边，关键时刻他还是会选择清政府。

清政府建制两百多年，像曾氏这样功高盖主、手握重兵的汉人又有几人呢？清政府要给曾氏点颜色看看也就不足为怪了。也就是说，这事放在谁身上谁都不会轻松。但曾国藩转念一想，也能原谅清政府的所作所为。如果听信曾国荃的话，要学赵匡胤起兵造反岂不正中太后和皇帝下怀，他们早有防备，若真反起来只有死路一条；如果乖乖顺从皇意，还能维持现状，保住功臣之名，侯爵之位，只不过心中受些气而已。

想到这里，曾国藩觉得眼下最重要的就是让朝廷对自己放心，于是他就决心裁撤湘军，因为他手下十几万人的军队正是让清政府最不放心的。当时在三千里长江上下，没有一船不挂着曾字旗。这可是自清朝开国以来没有的事，可见皇帝和太后的担心也是正常的。再说湘军原本就不是国家的正规军，而是为了消灭太平军才组建的，现在太平军被消灭了，湘军自然也该解散了。

此想法一出，他便上报了朝廷。很快，朝廷就批准了。于是，曾国藩把湘军分散到各地，一部分赴援江西，一部分守江宁，一部分为城外游击师。到同治四年（1865年）二月，曾国藩手里只有少量老湘军了。

由于天京城内的财宝已被湘军洗劫一空，不能再收回充实国库，正好湘军一裁，这部分军饷也不需要了，于是曾国藩就以停止湘军军饷作为了交换条件。

同治三年（1864年）七月二十日，曾国藩奏请裁军，九日之后，又奏请停解湘军军饷，第一笔停解的是广东厘金，然后是停解江西的军饷，随后，曾国藩又奏请停解了湖南的厘金。鉴于曾国藩主动申请停解军饷，清政府便不再追问天京的金银了，同时也平息了外界对曾国藩及湘军的攻击。

但是事情至此还没有结束，朝野上下都在指责曾国荃的不是，说他是“老饕”，而且御史朱镇、廖世民等人纷纷弹劾曾国藩、曾国荃兄弟俩，并列出了曾国荃及湘军抢夺天京、杀害无辜百姓的种种罪行，让朝廷对曾氏兄弟及湘军将领们给予严惩。

曾国藩得知后，立刻书信一封派人送给曾国荃，让他作好回家的准备，同时他还代曾国荃申请开缺回湖南老家。八天之后，朝廷便作出批复同意曾国藩的上奏，让曾国荃开缺回湖南。

同治三年（1864年）九月八日，曾国藩回到南京，把两江总督衙门设在了南京的英王府。当天宾朋满座，举杯欢庆。此时的曾国荃几杯酒下肚之后，感慨万分，想想自己拼命杀敌，最终却被开回老家，越想越难过，就失声痛哭起来。

十月四日，满腹委屈的曾国荃回到了老家。从此他以书帖为乐。当捻军复起之时，清政府又下旨让他入京，但却被他以病回拒了。次年又被授为山西巡抚，但他仍未接受。后来虽然接受了湖北巡抚，可被清政府伤透了心的他又找理由回了老家，决心再也不为清政府卖命了。