外国侵略者总是贪得无厌的。他们为了控制中国的军权，曾经不厌其烦地频频要求为中国训练陆军，同时，也极力钻营，谋求插手中国的海军。

早在咸丰六年(1856),英国人李泰国就曾要求清政府购买英国炮船镇压太平军。他的建议未被接受。咸丰十一年(1861),奕诉接受了英国人赫德的条陈，奏请购买外国船炮，助攻长江流域的太平军。同治元年(1862),总理衙门奏称购买船炮需银八十万两，请饬各海关分筹，得到了慈禧的批准，同年六月十三日(1862年7月9日),英国海军大臣批准海军大校阿思本在中国政府任职，统带中国购置的第一支近代化的海军舰队。此外，英国政府还授予李泰国三等男爵勋章，表彰他向中国出卖军舰的功绩。这支舰队包括中号军舰三只，小号军舰四只，运输船一只。该年十一月二十七日，总税务司李泰国擅自代表中国政府与阿思本订立协定，规定由阿思本统领中国所置舰队，定期四年，一切由李泰国从中负责，由阿思本全权指挥，不直接接受中国政府之命令。舰队所用的全部舵工、炮手、水手及司火人员均由阿思本招募。

按照国际通惯例，这些军舰要悬挂国旗。但中国自古以来，只有属国或自己的某方面军才用得上旗帜徽号，而中国本身并没有国旗，因为它自认为“天朝大国”,没有必要与别的什么国家相区别。李泰国为这些军舰设计了一种国旗，图案是绿地上在有两条相交叉的黄色对角线，然后提请恭亲王考虑。奕诉认为有制定一面国旗的必要，但他不同意李泰国的设计，提出了一个新的设计图案：一面黄色三角形的旗帜中绘着一只龙，龙头昂扬于旗帜的上方。奕诉把这个图案通知各国公使及李泰国。李泰国接受了这个基本构图，但认为作为国旗，三角形旗给人以气魄狭小，不够庄严的感觉。于是把两个图案糅合在一起，定为绿地的长方形旗面上，交叉两条黄色带，当中是绘有蓝色龙的黄三角形。

当这支舰队行将来到中国时，慈禧命曾国藩为这支舰队配备勇丁，曾国藩派总兵蔡国祥为管带官，炮手、水勇由蔡国祥招募。曾国藩得慈禧允准后，派蔡国祥到湖北省境招募六百余人。五月二十三日，慈禧寄谕曾国藩，附有章程五条，其中有一条写道： “随时挑选中国人上船学习。”曾国藩认为这“并非在船常住，已与奏准配用楚勇之案不相符合”。李鸿章写信给曾国藩说： “此事有李泰国主持，引用英国弁兵六百余，船炮又非我所素习，总理衙门乃欲派一总统以分其权，又奏令吾师与鸿章节制调遣，谓可随时驾驭，不致授人以柄，岂非掩耳盗铃。”曾国藩认为这样一来轮船实已非中国所有，建议“将此船分赏各国，不索原价，亦足使李泰国失其所恃而折其骄气也”。

八月，阿思本率舰队至上海。十三日，阿思本接到由李泰国转交的恭亲王委任，任命他为副管带。阿思本将舰队带到芝罘。然后亲自跑到北京找李泰国，请李泰国争取将他们以前签订的那份合同完全兑现。李泰国到总理衙门交涉，力图使舰队仍由阿思本一手控制。奕诉抛开李泰国，直接找英国驻华公使卜鲁斯会商。

阿思本在北京等了三个星期，不见清政府有批准合同的动向，自动提议解散舰队。奕诉请美国驻华公使蒲安臣出面翰旋，卜鲁斯要将舰船撤回英国，奕诉说这是中国购买之物，自应留为我用。卜鲁斯说这不是寻常商品，是英国国家军用物品，中国拒绝使用英国官兵，英国的军舰就不能出售给中国。奕诉说英国不肯出售，则应归还中国的购买费，卜鲁斯只好同意。清政府决定发给遣散官兵每人九个月薪金，赏阿思本一万两白银，总计为三十七万五千万两。决定将李泰国免职，限他在四个月内将工作交割清楚，总税务司一职由另一个英国人赫德接任。奕诉奏称： “前于外洋购买轮船，李泰国原议十三条，经驳改为五条，奏定行知各省，不料李泰国竟不执行，仍照他的十三条原议办理。曾国藩议将此船还给外国，李鸿章亦言此事之不妥。本衙门与英国公使卜鲁斯商议，将此船给还该国，该公使允许承受，并允扣还原价，本衙门又许以沿途经费由中国算与，并赏阿思本银一万两，该公使亦殊感激。其李泰国素性狡恶，贪利无厌，改令赫德接手。”

据说，咸丰十年(1860)六月，太平军进攻上海，署江苏布政使上海道员吴煦命美国人华尔组成洋枪队，协助防守。同治元年(1862),江苏巡抚薛焕将这支队伍命名为“常胜军”。同年三月，李鸿章率淮军到达上海。将薛焕调回北京任职，以李鸿章署理江苏巡抚。曾国藩奏称江苏绅士请借英、法军队进攻苏州、南京，此事断不可行。慈禧便命令李鸿章相机对华尔的“常胜军”加以裁制。闰八月，华尔在浙江慈溪被太平军击毙。英国提督何伯表示“不令该国派员会带，即将外洋火器取回，恐此军亦归无用”。接着，他又推荐美国人白齐文接统常胜军。当时，太平军正与曾国荃部湘军激战于天京外围，李鸿章即派白齐文率常胜军驰援金陵。白齐文在英国政府的唆使下有意抗命，甚至殴伤上海粮储道杨坊，抢去洋银四万余元。李鸿章与英国新任提督士迪佛立即与英国驻上海领事麦华陀办理交涉，解除了白齐文的职务，常胜军暂交英军参谋奥伦管带，中国派员会带，人数由四千五百人减为三千人，经费由每月七八万两减为四万余两，淞江城内外地方事宜，外国管带官不得干预，惩办违法兵勇，听从中国会带官主意。

白齐文于同治二年(1863)二月，进京活动，美国公使蒲安臣向总理衙门递交照会。英国新任公使威妥玛也面见奕诉，为白齐文说情。不久，蒲安臣又称白齐文自行认罪赔礼，请求恢复原官，他还表示愿意为白齐文作保。三月初五日，奕诉将此事推给了李鸿章，并称美国公使馆照会，述说白齐文悔过，商令其仍带常胜军。李鸿章写信给曾国藩说：“接总理衙门来函，商令白齐文复带常胜军，虽英、美公使代为力保，中国岂毫无法度?白齐文自京回沪，充然得意，求鸿章即委管带，已严拒之，并详复恭邸矣。朝廷纪纲须共存立，乃如此模棱畏事……"李鸿章拒绝了白齐文，乃以英国军官戈登管带常胜军。同治三年(1864),戈登进攻金坛、杨库，均为太平军所败，颇觉气馁。李鸿章将攻苏州，即调戈登部移驻昆山，不让它参与苏州的掳掠。戈登极为不满，借口苏州杀降事，扬言要与淮军开战。李鸿章不对戈登让步。新任英国提督柏郎又要求李鸿章备文认错，也被李鸿章所拒绝。直到该年四月，李鸿章派营务处补用知府丁日昌等至昆山与戈登商办遣散该部。四月十四日，慈禧为了安慰戈登，特意赏给提督军衔以示荣宠。不久，常胜军已擅散完毕。其最为得力之炮队六百人，枪队三百人，海生号兵船数十人，则一律并入了淮军。由此可见，慈禧等人的借夷建军的确丧失国家的尊严，且得不偿失。