咸丰三年（1853年），中国第一支新式地主武装——湘军诞生，湘军即陆师，相对陆师来说，水师的建立要晚一些。因为太平军的水师在进攻南京时发挥了极其重要的作用，所以由曾国藩组建的陆师无论有多强悍，对于太平军的水师也无济于事，他们只得眼看着太平军不费吹灰之力便控制了千里江面。为了对付太平军的水师，咸丰三年（1853年）冬，曾国藩上书朝廷准备组建水师，同时建造船只。在曾国藩的一手操办下，次年，湘军水师成立。新建水师拥有战船三百六十一只，船上共装大炮四百七十门，新式洋炮三百二十门。

水师的招募比陆师要曲折得多。曾国藩本打算在湘南一带招水兵，因为大部分陆兵就是从那里招来的，但现在湘乡的壮丁不是入了湘军就是参加了地方团练，剩下的人又不懂水性，这让曾国藩苦恼了一阵子。后来，湘乡一带发生了大旱，人们都吃不上饭，得知水师的军饷高，为了填饱肚子，也为了有朝一日能杀敌立功，于是人们纷纷报名，才使得水师能够早日成军。

而水师的将领招募也颇费周折。兵是有了，可水性好的将却没有。于是曾国藩就四处打听哪里有水性好的人，终于，他打听到在衡阳一带有个传奇式人物，名字叫彭玉麟，经过几番努力，彭玉麟终于前来担任营官，这样湘江水师才成军。

彭玉麟，字雪琴，祖籍衡永郴桂道衡州府衡阳县。他从小家庭贫穷，由于父亲早年去世，所以年少时的彭玉麟是在外婆家长大的。他和外婆家的养女小梅一起长大，日久天长，他们便产生了爱情，男非彼不娶，女非对方不嫁。但最终这对青梅竹马两小无猜的男女由于重重阻碍也没能走到一起。当彭玉麟由老家返回外婆家时，小梅已不在人世了。彭玉麟自然是悲痛欲绝，从此他发誓终生不娶，并以画梅来表达对小梅的思念之情。后来母亲再次追问他为何不娶，他总以无功无名为借口，幸亏其弟弟已成家有了儿女，母亲才无暇顾及此事。由于他看淡功名，加之失去小梅之痛，仅为秀才的彭玉麟便放弃了考取功名，在衡阳绿营混一差事，后又为一富商看仓库，爱读《公瑾水战法》，爱画梅。曾国藩组建水师时，他已经三十有七了，却依旧单身一人。

咸丰二年（1852年），各地武装暴动频仍，彭玉麟的老家也是如此。当时守城的官兵被这阵势吓得不知所措，幸亏彭玉麟及时赶到，他当机立断，奋勇当先，守住了城门。事后，当地让他做绿营把总，被他谢绝。之后，此举被传为佳话。

曾国藩得知此奇人不仅重情义、水性极好，还熟知《公瑾水战法》，而且跑马射箭、枪法、拳术他也都有功底，曾临战之功而不受奖赏，是水师不可多得的人才，于是曾国藩便下决心要把此人招募为水师的营官。此想法产生之后，曾国藩马上派人去请彭玉麟，让他做水师的将领。可是请了几次，彭玉麟就是不答应。无奈之下，曾国藩便想起了刘备三请诸葛亮的故事，于是他便亲自前往彭玉麟的住处，动之以情，晓之以理，苦口婆心地一番相劝之后，才请得彭玉麟出山，答应做了水师的统帅并兼一营官。

彭玉麟入水师，为湘军水师的发展作出了极大的贡献，可谓劳苦功高。在他的率领下，水师营官和水兵们日夜训练，成为了一支训练有素、勇猛善战的湘军水师。他的贡献和曾国藩、左宗棠等人不相上下。如果说曾国藩是湘军水师的创建者，那彭玉麟便是中国近代海军的奠基人。也正是由于曾国藩的慧眼识才，才让彭玉麟充分发挥了自身价值，为国家作出了巨大的贡献。

水师另一营官杨载福，湖南善化人。杨家从祖辈上起便开始习武，其父也任一官职。杨载福自幼水性极好，长大后其水性更是有了长足的长进。因参加镇压农民起义而被升为千总，后被曾国藩调入湘军任水师营官。

彭玉麟和杨载福为湘军水师的发展不遗余力地贡献着自己的才智。他们二人每日刻苦训练水兵，并指挥练习水战。在他们的日夜训练下，咸丰四年（1854年）一月，一支真正的湘军水师终于在众人的期待中诞生了。