曾国藩到衡州建湘军，咸丰皇帝不太清楚。但江忠源了如指掌，江忠源后来把曾国藩的宏图大展报告给了中央政府。咸丰并无不满，因为当时正是用兵之计。1853年11月，太平天国西征大军向武汉推进，咸丰下令要曾国藩率海陆军增援湖北。

曾国藩懊恼江忠源的大嘴巴，当时水军刚刚成立，连打鱼都困难，何况是打仗。曾国藩对江忠源抱怨说：“我原意是等把水陆两军练好后再上报朝廷，你的嘴怎么就没把门的，提前透露出去了？”

江忠源回信说：“我说你啊，读理学读傻了吧。朱熹说先知后行，但知行应该合一，去战场练兵要远比你在操场上练兵进步得快。况且……”江忠源嘲讽道，“皇上只是让你去配合正规军作战，没让你担当主力，你慌张个什么劲？”

曾国藩最讨厌的就是这句话，不当主力我去干什么，正规军根本就打不了仗，我去配合他们送死吗？

他当然可以不搭理江忠源，但对咸丰却马虎不得。琢磨了一天，想到了如何搪塞咸丰。他对咸丰说：“衡州周边匪徒有春风吹又生之势，我若离开，他们和太平军连成一气，后果不堪设想啊，所以我不能走。”

不多久，曾国藩又收到咸丰的圣旨。咸丰说：“长毛贼在进攻安徽庐州，你即刻带上你的人入安徽，支援庐州。”曾国藩拿上次的回信复制一回，发了出去。1854年2月，咸丰的圣旨又来了：“长毛贼进攻黄州，曾国藩你他娘的赶紧带人去增援。”

曾国藩三次不出兵，不是懦弱，更不是保存实力。他很明白一个道理，太平军骁勇善战，名将众多，没有一支劲旅绝不能去碰他们。而且和太平军一决雌雄的战场是在水上，他的水师还羽毛未丰，绝不能高飞。

他给咸丰回信说：“衡州乃湖南省之重地，我若离开贼必来，容我剿灭衡州附近土匪后，再出山。”

曾国藩摇摇摆摆的“千呼万唤不出来”，咸丰终于发了雷霆之怒。他给曾国藩回信，语气充满了讥讽：“你真是吹牛不打草稿，好像衡州离了你就会从世上消失一样。我也和你打过交道，我只是想问一句，你的才能行吗？平常牛气冲天，以为天下人都不如你。如果你的话能抵上你一半才能，我还真放心，倘若遇事后一败涂地，岂不是贻笑天下。好吧，我暂时相信你的话和你的才能是相匹配的，你出山给我看啊！”

收到咸丰的信，曾国藩心里翻江倒海。皇上竟然说他吹牛，而且还说得这么露骨，真让他无地自容。他反复思量，上下考量，用尽全部感情给咸丰写了封回信。在陈述了船炮未备、兵勇不齐的情况之后，他突然慷慨激昂起来：“我知道自己才疏学浅，只能用一颗忠诚不避死的心报答您，至于成败利钝，全不在放在心上。如果皇上真要我出军，那我就出军。但我敢肯定，必是死路一条。到那时您会对我超级失望，我仍是死路一条，与其那样死路一条，不如现在您就治我个畏惧不前的罪名，这样我虽死，却能保住千万人性命，死而无憾。”

写到这里，曾国藩想起自担任团练大臣后在长沙受的屈辱，又想到来衡州后的白手起家，不但步履维艰，还得到无数的讥讽嘲骂，他不禁眼眶湿润，继续写道：“湖南官员不理解我，给我难堪，皇上您也不理解我，非让我出兵自取其辱，一旦我兵败，必会被人唾骂至死。身死却不能报效国家，一想到这里，我在大半夜都能哭醒。希望皇上能理解我的进退两难境地，不要逼我出军，要不了多久，我羽毛一丰，定会建下破天荒之大功，以报圣恩。”

咸丰被这封信感动了，不再催他出军，同时还安慰他：“成败利钝固不可逆睹，但你心可昭日月，并非只有我知。”

曾国藩收到咸丰的信后，当着湘军将领们的面，嚎啕大哭，拿着信给众人观看，哽咽着说：“皇上真是怜悯我等啊，皇上万岁！”

皇上在遥远的北京怜悯他，解决不了他眼前的麻烦。麻烦来自王錱，王錱向他发出了挑战。王錱是湘军的元老级人物，开始和曾国藩合作时很融洽，王錱才能出众，雄心勃勃。曾国藩当初在长沙时见人就夸王錱志大才高，前途无量。

王錱虽然雄心勃勃，但胸有主张，他是理学家罗泽南的弟子，深深懂得规矩的道理。他本来和曾国藩的关系不错，可自到衡州后，关系渐渐恶化。曾国藩来衡州是打着为江忠源练兵的旗号，但很快王錱就发现，曾国藩是在为自己练兵，他要建一支曾家军。

咸丰第一次催曾国藩增援湖北时，王錱就鼓动曾国藩出兵，曾国藩死都不出。太平军很快攻占汉口、汉阳，长沙人心浮动。湖南巡抚骆秉章也写信给曾国藩，要他来长沙协防。曾国藩理都不理，王錱拍案而起，带着他的那一营五百人从衡州奔回长沙。一到长沙，王錱就大肆招募士兵，将他的一营扩充到三千人。

骆秉章对此大力支持，因为长沙兵力不足，又指望不上曾国藩。曾国藩却很不高兴，因为王錱招募士兵的事并未向他汇报。但他隐忍不发，不久后，在新任湖广总督吴文镕的左右周旋下，太平军退屯黄州，长沙局势缓和下来。曾国藩马上去信责备王錱，“你名义上算是从前大团的人，在衡州咱们也建立了上下级关系。你在长沙招募士兵，却不向我报告，是何道理？我现在郑重告诫你，我在湘军里给你留了三个营的空额，你迅速带你的人回来。”

王錱气得怪叫：“三个营就才一千五百人，你这是要我裁撤一半兵力啊。我回去你个鬼啊。”

曾国藩见王錱毫无动静，又去信说，“你的士兵必须减员，选出三个营长来，不必你指挥，指挥权由组织决定。另外，你速来衡州参加会操，开出一份名单，把不肯来的人写上，以后我不会要他们了。”

王錱继续生气，且拒绝回信曾国藩。曾国藩矢志不移，意志顽强地给王錱写信。1854年2月，彻底搞定咸丰的催促后，曾国藩决定和王錱摊牌：“咱们奉朝廷之命，兴君子之师，章程必须划一，怎可参差错乱，各立山头。你如果要立山头，别打着湘军的旗号。”这封信仍未得到回音，曾国藩怒了，派出四名将领去接替王錱的四个营军官职务，同时命令王錱只统帅一营。

王錱这回不生气了，反而对曾国藩的一厢情愿大笑不已。曾国藩看着狼狈而回的被派去的四名军官，恼羞成怒地给骆秉章写信，夹枪带棒地说：“王錱这厮反了，背后肯定有人撑腰。我把话放这里，您如果同意他归我督带，就必须受我节制。倘若他不想受我节制，您又命令不了他，那我在此宣布，湘军从前不曾，现在不曾，将来也不会有王錱这个人！”

就这样，湘军的祖师爷之一王錱被曾国藩逐了出去，曾国藩通过驱逐王錱，再次稳固了他的领导地位。