3月14日，李鸿章率参议李经方，参赞马建忠、伍廷芳、罗丰禄、美国顾问科士达等随员一百多人，前往日本马关议和。20日，李鸿章与日本首相伊藤博文、外相陆奥宗光在马关春帆楼开始谈判，双方交换全权证书，李鸿章劝日本不要“寻仇不已”，要求先议停战协定。第二天，双方举行第二次谈判，商议停战之事。伊藤提出停战条件：日军占领大沽、天津、山海关，解除上述各地清军武装，日军管理天津至山海关铁路，清政府负担停战期内日本军费。在这种情况下，李鸿章被迫要求先不谈停战，只议议和条款。对此伊藤限定李鸿章于3日内答复停战要求。24日，李鸿章正式备文拒绝日本提出的停战条件，要求先谈议和条款。伊藤允许第二天提出议和条件。当李鸿章在返回寓所的途中，被一早已隐伏的日本浪人小山丰太郎用枪击中左颧、血流不止，顿时晕倒。小山是日本自由党方面的打手，他们认为议和时机未到，不占领北京是日本的耻辱，所以有意来破坏议和，以此扩大对华战争。李鸿章被刺后，伊藤、陆奥感到人心已变，不能再战，如果此时谈判破裂，对日极为不利，同时，也担心因此招致列强干涉。于是在28日，陆奥与李鸿章在病榻前议定无条件停战。30日，中日签订为期21天的停战条约，但范围不包括澎湖和台湾。但是，两天后日本首次公布议和条件，提出和约底稿，条件苛刻，并限4日内答复。李鸿章为此进行了多次争辨，先后两次向日本送说帖，逐条请求减让。4月9日，李鸿章提出体面修正案，允割辽南、安东、宽甸、凤凰、岫岩四地与澎湖列岛，赔款一亿两，新订商约“以中国与泰西各国现行约章为本”。次日，李鸿章与伊藤举行第四次谈判，日本提出修改稿，将辽东割地由北纬41°以南缩至营口、海城、凤凰城、安平河以南，将赔款由3万万两减为2万万两，商埠由七处减为四处，声称此为尽头条款，中国只有答应或不答应而已，不能减少。同时又威吓：如果谈判破裂，中国全权大臣一旦离去此地，是否再能安然出入北京城门，亦不以保证。李鸿章急忙请旨应付。清廷闻讯后，答应割台湾一半，但是，一定要争回牛庄、营口。日方得到李鸿章的答复后，继续进行恫吓，并运兵至大连湾加以威胁。4月10日，清政府致电李鸿章：倘无可再商，即与订约。李鸿章连续发回三封电文，催促清政府照日方改款定约。14日，清廷批准李鸿章“遵前旨与之下约”。第二天，中日双方举行最后一次谈判，李鸿章与伊藤博文议定《中日马关新约》（即中日《马关条约》），共十一款，附有《另约》《议订专条》。

《马关条约》主要内容是：（一）中国承认朝鲜完全独立自主。（二）割让辽东半岛、台湾全岛及所有附属各岛屿和澎湖列岛。（三）中国赔偿日本军费二万万两白银，分八次交完，三年之内全数清还。（四）开放沙市、重庆、苏州、杭州为商埠，“以中国与泰西各国现行约章为本，订立两国通商行船条约及陆路通商章程。新订约章未经实行之前，所有日本政府官吏、臣民及商业、工艺、行船船只，陆路通商等，与中国最为优待之国礼遇护视一律无异”。（五）允许日本在中国通商口岸设立工厂，任便从事各项工艺制造；产品远销中国内地时，只按进口货纳税，并准在内地设栈寄存。条约还规定日本于条约批准后三个月内撤退，但为保证中国履行条款，日军暂时占领威海卫。在另约中又规定：第一，所有暂行驻守威海卫的日本军队驻守军费，“中国自本约批准互换之日起，每一周年届满，贴交四分之一——库平银50万两”。第二，在威海卫，应将刘公岛及威海卫口湾沿岸40里以内地方，为日本国军队驻守之区。无论其为何处中国军队不宜逼近或驻扎，以杜生衅之端。第三，日本军队所驻地方，“治理之务仍归中国官员管理；但遇有日本国军队司令官为军队卫养安宁军纪及分布管理等事必须施行之处，一经出示颁行，则于中国官员亦当责守”。

4月22日，光绪皇帝看到李鸿章派专人送来的条约之本，鉴于割地一事太苛刻，曾拒绝批准，但他毫无实力，顶不住内外压力，延至5月2日，不得不批准《马关条约》。第二天任命伍廷芳、联芳为换约大臣。5月8日，伍廷芳、联芳与日本伊东美久治在烟台换约，《马关条约》开始生效。