建炎四年（1130年）秋，金军大举进攻南宋，江淮局势顿时吃紧，为了牵制金军东路主力金兀术所部，以避免金军再次渡江南下危及南宋政权，张浚决定主动出击，在西北发动攻势。但张浚是个文臣，并不懂军事，在没有经过认真准备的情况下就贸然让刘锡、刘锜、赵哲、吴玠等五路大军屯于陕西富平，令刘锡为统帅，欲与入陕金军决战。当时，吴玠和刘锜均不同意如此草率行事。为此，吴玠入谏说：“兵以利动，此间一带平原，敌人多为骑兵，容易为其所乘，恐有害无利，应先据高阜，凭险为营，方保万全。”但是，张浚完全没有把吴玠的准确分析放在眼里，因为人多势众，他自大地认为：“我众彼寡，又有苇泽相阻，纵有敌骑前来，也无从驰骋，何必转陟高阜呢！”作为统帅的刘锡因为众人意见不一也拿不定主意，就在他犹豫之际，金兵已经蜂拥而至，他们皆担柴兜土，填投苇泽中，霎时间泥淖俱满，跟平地一样。于是，金军骑兵轻易就越过障碍，进逼宋军各营。随后，金兀术也奉令自六合率部赶到，与金将娄恃分左右翼，列阵挑战。吴玠、刘锜在左翼与金兀术军大战，吴、刘身先士卒，奋勇驰杀，金军渐渐后退。但没想到的是右翼的赵哲临阵溃逃，使吴、刘陷入了金军的左右夹攻之中，最终，宋军大败。不久，陕西几乎全境失守。

富平之战，是宋金战争中规模最大的一次战役，也是宋朝损失最大的一次战役。这次战役的失败，揭开了吴玠独自领兵抗金生涯的序幕，也终于给了吴玠不再受节制而得以一展身手的机会。

富平战役之后，吴玠受命为陕西都统制，他集拢散兵屯粮退保大散关（今宝鸡西南）以东的和尚原，积粟列栅，训练士卒，以死扼守入蜀通道。吴玠还和他的士兵们歃血为盟，从此吴玠部队军心稳定，战斗力渐强。经过精心策划，绍兴元年（1131年）五月，金军东路从凤翔西上，西路自阶州（今甘肃武都）、成州（今成县）东出大散关，合攻和尚原。有人劝吴玠退入汉中，以避其锋。吴玠愤然予以驳斥，慨然说：“我在此，敌不敢越我而进，保此地就是保蜀。”吴玠对和尚原的战略地位十分了解，和尚原位于大散关以东，四面陡峭，顶上平宽，进可攻，退可守，金兵想要攻蜀就得先攻和尚原。不久，西路金军先到和尚原北山，分两路从正面和侧后面进攻，吴玠率士卒坚守阵地，以逸待劳，他激励将士轮番作战、休息，依托地形以弓弩杀伤金兵。四战四捷，士气大振。金兵都是骑兵，吴玠就命令将士专挑山高沟深的地方伏击。和尚原都是山谷，路狭多石，战马发挥不了作用，金军被迫舍马步战，而山地战金军远远不是宋军的对手。连战三天，金军战败后退往西南的黄牛堡，又遇大风雨雹，无奈只得退回凤州。东路金军攻打箭笞关（今陕西千阳南），也被吴玠事先派出的部队顽强击退。同时吴玠又派出一小部绕小路迂回到金兵后面，奇袭金兵，金军大败。

金军第一次攻打和尚原以失败告终，吴玠以功升陕西诸路都统制。

金军统帅金兀术闻败，十分震怒，当年十月，他亲率金兵十万，“造浮梁跨渭水，自宝鸡连三十里（结连珠营），垒石为城”，与吴玠相拒。为了引诱金兀术到和尚原，宋军主动放弃神岔关。十日中午时分，到达和尚原的金兵马上发起进攻。此时的宋军早就做足了准备，个个胸有成竹，他们依托有利地形予以阻击，使用床子弩轮番射杀，顿时箭射如雨。金军的两次冲锋都被打退。黄昏时分，金兵开始撤退，吴玠又趁他们慌乱的时候派兵绕到后面进行掩杀。晚上，吴玠又命令优秀射手拿着强弓，看到金营哪里有火光就射向哪里，吓得金兵不敢点火，饭都吃不成。二更时分，吴玠干脆袭击金兵大营，又累又饿的金兵被杀得鬼哭狼嚎。四更时分，劫寨获胜归来的宋军意犹未尽，士气正旺，在与来接应他们的宋军会合后又向大散关的金兵发动进攻，金军又被杀得大败。此时的金兀术就像泄了气的皮球，而金兵早已人疲马乏。次日凌晨，金兵后撤。吴玠早已做了准备，听到金兵后撤的消息，马上下令全线反攻。从和尚原到神岔关，金兵死伤累累，尸横遍地。连金兀术也身中两箭，为了逃命，他竟然剃掉胡须换了衣服才逃走，为的是防止被宋军认出。至此，和尚原大战以金兵的惨败告终。史称，金兀术“自入中原，其败衄未尝如此也”。

捷报传开，举国欢呼。这是宋军自“靖康之变”以来同金军作战的第一次大捷，意义之重大可想而知。宋高宗赵构自然也很高兴，派遣使者授予吴玠镇西军节度使之职，当时，吴玠年仅39岁。