正当左宗棠的事业稳步向前的时候，他偏激憨直的性格差点要了他的命。在左宗棠的家乡，流传着这样一个传说：在左宗棠出生当晚，左宗棠的祖母杨氏夜梦一仙人坠于院内，自称牵牛之星。随后不过几时，左宗棠呱呱坠地，便有了牵牛星下凡一说。这样的话当然是老年人用来哄小孩的，然而左宗棠却是真的常常以“牛”自居。因为牛憨直实在，性子又倔，这点和左宗棠颇为相似。
左宗棠在家中排行老三，当上大官之后，有一次，几个老家的乡党带着小孩来探望他。因为左宗棠是个将军肚，他便问客人们说：“你们猜我这肚子里装的是什么？”老乡们羡慕地说：“是些个鱼肉海鲜什么的吧。”左宗棠摇摇头说：“不对，装的是绝大经纶。”众人一听，啧啧称赞：“这把个金轮吞掉了，真是可惜啊。”左宗棠又问左右：“你们说我这肚子里装的什么？”有人说是十万甲兵，有人说是满腹文章，可是大家一个劲地拍，这个马屁还是拍不响。最后，一个小卒蹦出一句：“老爷肚子里装的都是牛绊筋！”这下左宗棠拍案大笑，正中其意。原来湖南人将一种牛吃的草称做牛绊筋，左宗棠喜欢牛，也常对外称自己是“牵牛星转世”，这就是“谀辞不赏，贬语得欢”的典故。
左宗棠喜欢牛，性子里也多带了些牛脾气。所以常常因此得罪了很多人。胡林翼就曾这样评价他：“过于矫激，面折人过，不少宽假。”有几个流传已久的段子，也可以稍作佐证。
话说左宗棠恃才傲物，又骄狂自负，自比武侯，即常常把自己比做诸葛亮，还放言“今亮”必胜“古亮”，狂妄之心溢于言表。有一回和下属林寿图谈到诸葛亮时，左宗棠大赞孔明如何料事如神，决胜千里之外，说得天花乱坠，口沫飞溅。林寿图就说：“此诸葛之所以为亮也。”左宗棠听了很高兴，又继续说现在好些人也都把自己比做诸葛亮，真是不自量力，自取其辱，林寿图又趁机说：“此葛亮之所以为诸也！”一句话，把正在自吹自擂的左宗棠噎了个半死。
左宗棠性格刚强，对人说话也很不客气。有一次和他发生矛盾的，是一个二品武官，名叫樊燮。说起来樊燮也还是很有来头的，不仅官位很高，还和湖广总督官文有姻亲关系。那么官文又是什么人呢？此人系旗人，长于军人世家，朝廷对于越来越强大的汉族官员渐渐不放心了，就派这个旗人总督湖广，也“照看”一下当地的汉人官员。所以朝廷对官文的信任是高于普通官员的。
左宗棠初次和樊燮发生争执是在骆秉章的府上。当时朝廷调樊燮领兵赴川，于是樊燮就到骆秉章府上辞行。见到巡抚大人之后，樊燮施礼请安，却没有问一旁的左宗棠。左宗棠素来好面子，当下就脸色一沉，大声喝问道：“本省武官，无论大小，见了我都要请安，你怎么还站着？”樊燮先是一愣，继而不由得勃然变色，说道：“我是朝廷总兵，官居二品，可从来没有听说过要武官给一个师爷请安的！”左宗棠顿时感到颜面尽失，断然呵斥了一句：“王八蛋，滚出去！”愤愤之余，还有要动武的意思。这算做是两人矛盾的初始。
这个樊燮平日里也是作威作福，作为武官，他出门不骑马，坐轿子舒服，他就指着八人抬的大轿到处跑，即便是阅兵，他都是坐在轿子里看。樊燮生得肥胖，体重快二百五十斤了，所以永州城百姓都知道有这样一号人物，顺着就给了他一句歇后语：樊总兵阅兵——坐着看。这樊燮不单单犯了武将不坐轿的禁令，还私自抽调士兵去自己家做杂役，因为他自己喜好些花草，他就派这些军人去给自家锄草浇水，甚至连家中小妾的衣服都是这些军士给洗。
看看当时的长沙，原本就非常贫苦，樊燮这样做就相当于找了些免费奴婢，给自己节省下了一大笔钱。再加上他时常克扣军人粮饷，中饱私囊，因此在当地名声极差。永州知府黄文琛曾多次上告他，但是本子一到了官文那里就被压下来，如同石沉大海。
左宗棠在长沙，原本就为府库钱粮忙得寝食难安，他翻开卷宗，细细查看后，发现仅挪用官银一项，樊燮就占了九百多两，铜钱三千三百余串，官米粮物，损失更多。左宗棠勃然大怒，立即拿着卷宗找到骆秉章，后者签了押，上疏弹劾樊燮。
还是骆秉章的资格老，他的本子直抵京城，皇帝下旨先将樊燮撤职查办，押赴长沙审理，一待查清，再行处置。这下樊燮有些慌了，连忙找亲信商议对策，并找到了湖广总督官文帮忙。另外，他还向都察院写本子，说永州知府黄文琛同左宗棠诬告他。恰好湖南布政使文格也对左宗棠平日里专横独断、狂妄自大的性格很不满意，于是就在暗里帮助樊燮。布政使属于从二品，官也不小。当下官文等人就抛下樊燮的罪行不管，单单上告左宗棠，在折子里说左宗棠是“劣幕”，湖南巡抚衙门“一印两用”。前一个“劣幕”矛头直指左宗棠，后一个“一印两用”则是要扳倒以骆秉章为首的、湖南以新兴汉人为代表的官僚势力。
自咸丰皇帝登基以来，国力日渐衰落，全国各地战火不断，八旗军节节败退，不得已的情况下朝廷起用了一批汉族官员。然而咸丰皇帝对于这些汉人又不能完全信任，于是产生了一种既依赖又防范的心理。
不单单是天子，各地的满族官员对于汉官也是处处排挤压制，当年曾国藩办湘军搞团练，率军到江西镇压太平军，江西巡抚文俊却把他视为负担，非但拒绝提供粮饷，还以粮草为诱饵，让湘军悍将毕金科攻打防范森严的景德镇，致使毕金科死于非命，令曾国藩损失了一员大将。文俊之子霍隆武是在同太平军的战斗中被打死的，但即便如此，身为旗人，文俊依然对帮他“剿寇”、“报仇”的曾国藩很不友好，处处刁难。清末统治阶级间的满汉对立，由此可见一斑。
这样一来，咸丰皇帝有些紧张了，官文是他安插到长江流域的耳目，并且这些参左宗棠的是“自己旗人”，于是偏向哪一方，在咸丰心里早就有了数：左宗棠仅仅是一个举人，以一个师爷身份就在湖南说一不二，这祖宗传下来的百年基业眼看就要这帮汉人说了算了。想到这里，他马上给官文下了一道密旨，说只要左宗棠有些违法之事，就可以就地处死。