前秦的军队遭遇兵败，在淝水（今安徽寿县南的淝河）西岸摆开阵势，严防晋军，晋军无法渡河。
谢玄眉头一皱，计上心来，他派人对苻融说：“您带军前来，深入我国国境，却临水布阵，这是想打持久战的架势，并不是要速战速决啊。可我不想等了，您让您的士兵向后撤退一下，让我军过河，然后两军一决雌雄，我与您勒马观看，不知可否？”
前秦很多将领都说不应该后撤：“我众敌寡，只要我们守住河岸，等待后续部队来到，然后再发动攻击，就一定能取胜。这是万全之策。”苻坚却道：“我们不妨后撤一点让他们渡河，等他们渡到一半，我们用铁骑上前掩杀，焉有不胜之理！”苻融表示认同苻坚的意见。他们两个都同意了，别人也不敢再说什么，于是苻融挥动指挥旗，命令部队后撤。
这一撤，就撤出了问题。因为前秦军在洛涧遭遇失败，很多将士心有余悸，特别是处在后面的部队，他们听到苻融命令后撤的消息，也不知道具体怎么回事，以为是又打败仗了，于是慌忙开拔，刚开始还有点秩序，但很快，整支队伍就因紧张变得混乱起来。
正在这时候，假降的朱序在队伍中大喊一声：“秦军败了！”这一声不要紧，可把大家的魂都吓出来了，所有人都撒开了腿拼命逃窜，唯恐自己逃得慢了——苻坚的这支伐晋队伍本身就是由各族拼凑出来的，大家心思不一，很多人并不是真正想为氐族卖命。
谢玄一看机会到了，下令火速过河。很快，谢玄、谢琰和桓伊等率领着八千精锐的士兵渡过了淝水，开始追击秦军。
苻融骑着马想制止士兵逃跑，可这怎么能制止得住？在如潮水般退去的队伍里，苻融马失前蹄，摔倒在地，被赶来的晋军砍掉脑袋。前秦军一看主帅被杀，更是丢盔弃甲，四散奔逃。
谢玄等人乘胜追击，一直追到青冈（今安徽寿县西），前秦士兵被杀的，或因自相践踏而死的不计其数。这些逃兵惊慌失措，听到风声和仙鹤的鸣叫声，都以为是晋军追杀的声音。他们不敢歇息，昼夜不停地跑，不少人鞋子都跑丢了，脚底磨出了水泡。这时候天气已经比较冷了，士兵们又冷又饿，一路上又死了十之七八。朱序和前凉王张天锡都趁机逃到了晋军那里。
这一仗，晋军缴获了苻坚所乘坐的用云母装饰的车子，其他收缴的军需物资堆积如山，牛马骡子骆驼等有十几万头。之后，晋军又夺取了寿阳，生擒了前秦守将郭褒。
苻坚十分狼狈。他在乱军中身中流箭，差点落马丧命，幸亏汗血宝马跑得快，拖着他逃到了淮河之北。苻坚感到饥饿非常，正好有老百姓认识他，一老者给他送来了煲好的汤和猪腿肉，苻坚也顾不得形象了，用手抓起来就往嘴里送，老者乐了，说道：“陛下不用紧张，追兵已经远去了。”苻坚道：“真好吃，我从来没有吃过这样的美食！”他吃完后用手擦了擦嘴，要赏赐给老者十匹布帛，十斤绵，但老者不肯要：“陛下就好像是臣的父亲，哪有儿子给父亲饭，还要求回报的呢！”说罢扭头就走了。
苻坚很是惭愧，对张夫人说：“如果当初我听了你和众臣的话，哪里会有今天呢？我还有什么面目再去统治天下！”说着说着眼泪就下来了。张夫人劝慰他道：“胜败乃兵家常事，陛下不必挂怀于心，留得青山在，不愁没柴烧。”
前秦军全线溃败，只有慕容垂统率的三万人完好无损，苻坚便率一千多名骑兵逃到了慕容垂那里。慕容垂的长子慕容宝说道：“天赐良机，机不可失失不再来，大燕国复兴有望，父亲不要为了过去他的一点小恩惠，而忘记复国大业！”慕容垂叹息道：“你说得很对，但他一片诚心来投我，我怎么能够伤害他呢？如果老天要抛弃他，以后还有机会，不愁他不灭亡。先让他回去吧，这样我们既报答了他当年收留之恩，也用道义取信了天下，一举两得。”
慕容垂的弟弟慕容德说道：“弱肉强食，古往今来都是这样，秦强大的时候灭了燕，秦弱的时候，我们正好报仇雪耻，这算不上忘恩负义。希望哥哥借机推翻氐人的统治，光复大燕！这机会不应该失去！如果你把数万人的部队拱手送给对方，是错过了天时，会自取其害，哥哥你就不要再迟疑了。”
慕容垂说道：“我从前被慕容评所不容，逃难到了秦国，备受苻坚礼遇；后被王猛陷害，我无法争辩，秦王又原谅了我，这其中的恩情之深，我不能忘记！如果秦国运数已尽，我必定扫平关东，让那里的土地尽数归我，关西之地不是我们的，自有人取之。我们还是先观望一下。”
慕容垂的亲信部将绝大多数都劝他杀死苻坚，夺取领地，但慕容垂态度坚决，一概不听，还命令把三万部队交给苻坚指挥。
慕容暐在郧城驻守，得到苻坚失败的消息，吓得屁滚尿流，单人独骑跑到了荥阳。慕容德找到他，要求他复兴燕国，慕容暐胆小怕事，自然拒绝了。
打败前秦的捷报传到建康的时候，谢安正在和客人下围棋，他很淡定地拿起捷报看了看，顺手就把它放到了一边，并没有表现出兴奋之情，然后继续下围棋。客人问他怎么回事，他不慌不忙地说：“小娃们已经破敌了。”不过这不是说他不激动。下完围棋，送走客人，要返回屋内的时候，谢安竟然忘记了还有道门槛，兴奋地把木鞋下面的屐齿都碰断了。
谢安因为指挥有功，被朝廷晋升为太保，其他有功之人也都得到升迁：谢石为尚书令，谢玄为假节、前将军，刘牢之为龙骧将军、彭城内史，朱序为琅琊内史，张天锡为散骑常侍。