战略计划拟订好后，1876年夏，西征大军陆续开向阿古柏的“哲德沙尔”王国。自肃州到哈密之间，有一道绵延千里的大沙漠，流沙滚滚，行军十分困难，路上又很缺水，大部队在这上面行走是很危险的，唯有将部队分成小批，一批一批地行进比较保险。于是左宗棠就将部下两万余人分成两路，由刘锦堂、金顺为统领，以千人为单位分编，隔一日发一队，最后到哈密会师。

阿古柏听到清军西进的消息后，令马人得、马明、白彦虎等人分别把守乌鲁木齐等处阻击清军，自己则率大军在托克逊督战。

当时，乌鲁木齐是新疆北部重要的军事据点和风向标，乌鲁木齐一旦攻克，整个北疆也就成了囊中之物了。距离乌鲁木齐不远，另有一个军事据点古牧地，由白彦虎、马明带兵把守。古牧地相当于乌鲁木齐的外卫，于是刘锦堂和金顺便商议如何攻取古牧地。当时的情况是，从清军驻地开往古牧地有两条路可走，大路满是戈壁荒滩，没有水源，小路虽然水源充足，但是早已由白彦虎等人设卡把守了。

刘锦堂和金顺经过一番商议之后，决定以声东击西之计智取古牧地。刘锦堂在大路边上掘井筑垒，装出一副要从大路进军的样子，马明、白彦虎果然上当，把主要精力都放在了大路上，因此小路守备便十分疲弱；与此同时，金顺瞅准敌军把精力放在大路的空当，率部衔枚疾走，改从小路突袭过来。驻扎在这里的守军以为神兵天降，一阵惊呼，散去了大半，其余残部稍作抵抗之后也都作鸟兽散了，于是清军顺利抵达古牧地。由刘锦堂驻城东南角，金顺驻城西北角，广造炮台、箭塔，同时用火药疯狂地轰炸城墙，昼夜不断。

光绪二年八月十七日黎明，古牧地南面城墙被轰开了一道大口子，刘锦堂一马当先，直透敌阵，势不可当，接着清军蜂拥而入，气势如虹。城内守军人如潮退，纷纷溃败。白彦虎先一步逃走，败奔乌鲁木齐，清军歼敌六千余人，古牧地被顺利拿下。

打下古牧地之后，乌鲁木齐就在眼前，刘、金二人马不停蹄，乘胜追击，挟大胜之威尾随白彦虎直奔乌鲁木齐。白彦虎惊魂未定，不敢迎战，城内大小将士也都士气涣散，清军在城外刚刚鸣了几炮，城中就乱成一锅粥，一哄而散了。就这样，到八月十八日，清军几乎兵不血刃地进驻了乌鲁木齐。当刘锦堂的捷报传到左宗棠那里时，如此轻易地攻下了乌鲁木齐，甚至使左宗棠有些意外。

攻克乌鲁木齐，北疆就等于去了一大半。阿古柏这时候已经急得如同热锅上的蚂蚁一样了，他一面抢修托克逊、吐鲁番、达坂的工事，一面纠合此前被清军击散的败军，缩入城中固守。此时，留守北疆的顽固驻军主要集中在玛纳斯南城，大将金顺领兵攻打一月有余，也没能将其拿下。刘锦堂、荣全先后驰援，到了同年十一月六日，终于打破了玛纳斯南城。至此，北疆全部收复。

在清军大举攻打阿古柏的时候，英、俄有些坐不住了，于是俄国在这个时候提出了进行边疆交涉。慈禧听到消息后有些疑虑，就派人去问左宗棠。左宗棠的回复是，现在先将沙俄撂到一边，待新疆全境收复之后再说。慈禧看看也没有其他的好主意，也就这样应了。而英国那边更为嚣张，英国公使竟然明目张胆地跑到总理衙门去给阿古柏求情，还暗中示意说，清军这样攻打阿古柏，俄国迟早是要插手的，假如这个时候罢兵言和，阿古柏就对大清称臣，只是不纳贡。

有了前军屡战屡胜的底子，总理衙门的回话也硬气了许多，总理衙门说，阿古柏是窃取南疆的入侵者，如果要降，必须交出元凶；投降一事，请阿古柏自己去和左宗棠交涉吧！英国人碰了钉子，心中气恼，但却只能恨阿古柏成不了大事，左宗棠太不开窍。他们一面禁止上海英商卖给西征军枪械弹药，一面利用报纸制造西征军兵败的假消息，以此来动摇清政府的决心。然而这样的把戏，终究没有挽回阿古柏的败局。