和尚原惨败，金军非常不甘心，他们一心想着复仇。为此，绍兴二年（1132年）底，金陕西经略使完颜杲率军十余万，继续在川陕向南宋大举进攻，为了进展顺利，金军绕开和尚原，企图从宋军防守薄弱的饶凤关（今陕西石泉西北）入川。饶凤关是连接秦楚蜀的道路，东南有一百多里，人烟稀少，但它是入陕的重要关口之一，地理位置十分重要。

十二月，金军攻破商州（今陕西商县）。次年正月初九，金兵为了迷惑金州守兵，声称要攻取汉阴，守将王彦果然中计，分兵据守汉阴周围要塞，金兵因此乘隙攻陷金州（今陕西安康）。宋知兴元府（今陕西汉中）刘子羽闻金州失陷，估计金兵要攻击饶凤关，急派统制官田晟率兵扼守饶凤关，以阻金军来路，并向吴玠紧急求援。此时的吴玠已经兼任川陕宣抚处置使司都统制，接到消息后，吴玠当即率两千精骑自河池（今甘肃徽县）日夜兼程300里赶在金兵之前到达饶凤关。

到了饶凤关，吴玠顾不上休息，一面紧急筹划城防，一面派人给金军主帅完颜杲送去一颗黄柑，附语：“大军远来，聊逢止渴。今日决战，各忠所事。”本来已经准备进攻饶凤关的完颜杲大惊，叫道：“吴玠，你怎么来得这么快啊（尔来何速耶）！”完颜杲以为吴玠做了准备，迟迟不敢进攻，吴玠乘机抽调人马，增援饶凤关。

绍兴三年（1133年）二月初五，完颜杲终于下定决心进攻饶凤关，金军人披重甲，开始登山攻关。此时，宋军早已做好了充分准备。吴玠令所部及前来增援的洋州（今陕西洋县）义士与王彦所率领的八字军三万余人，凭借险要地势，以强弓劲弩，轮番发射，顽强坚守六昼夜，金军伤亡惨重，被迫停止攻击。到了十一日，吴玠的部下居然出了个叛徒，有个因为怯战险些被吴玠杀了的小军校溜出饶凤关投降了金兵，并乘夜引导部分金军自蝉溪岭绕到饶凤关后偷袭宋军郭仲荀部，攻破了郭仲荀的大营，然后居高临下进攻饶凤关，同时完颜杲率金军从正面进攻。宋军腹背受敌，纷纷溃逃，吴玠用刀砍了几个最先逃跑的士兵，想组织宋军反击，但宋军溃逃太多，吴玠无奈，只得撤退，收余部退守西县（今陕西勉县西），而王彦则率军奔达州（今四川达县市）。十三日，兴元府被金军攻破。刘子羽在撤退时放火焚城，率余部退至三泉（今陕西宁强西北）。兴元府只剩下一片废墟，金军什么便宜也没占到。

金军虽然取得了一定的胜利，但由于所带粮草不多，而当地人民也积极配合宋军坚壁清野，使得金军粮食供应非常紧张，时间一长，他们不得不开始杀马充饥。不久，军中又爆发瘟疫，大量士兵相继死去，金主帅完颜杲终于待不下去了，决定撤退。这一切都在吴玠预料之中，于是他回师河池，准备断金军的归路。果然，四月初，在金军北撤的时候，吴玠乘机派兵于武休关（今陕西留坝东南）袭击金军后队，金军不备，被斩及坠涧死者数千人，残余部队丢弃所获辎重而去。金军撤退到和尚原后，当地守将吴璘和增援的杨从义率军又重挫金军，并不断掩杀金兵。这下，完颜杲再也没有攻打和尚原的心思了。随后宋军一路强杀夺回了汉中和金州。此时吴玠因功进检校少保。

饶凤关之战后，吴玠认为和尚原距离四川太远，为保守仙人关（今甘肃省徽县东南），收缩兵力全力防守，遂主动放弃和尚原等营寨，移师驻守仙人关，在关右侧筑垒，称“杀金坪”，并在地势险要处筑隘，设置第二道防线，严阵以待；而其弟吴璘则领军驻守于不远处的七方关（今康县东北），随时待援。仙人关西临嘉陵江，南接略阳北界，北有虞关紧接铁山栈道，是关中、天水进入汉中的要地，也是由陕入川的重要咽喉。

绍兴四年（1134年）二月，经过短暂的准备，金军大举入侵南宋，由金军主帅金兀术率领金和伪齐十万人马，分三路进犯，攻破和尚原，转趋仙人关。金军意在一举攻占仙人关，打开进入蜀川的大门，占领蜀川，进而沿长江东下消灭南宋王朝，入主中原。金军从铁山（今徽县南，亦名青泥岭）开始凿山开道，循岭东下，向仙人关而来，吴玠兄弟率军据险死守。

三月，金兵开始进犯仙人关，吴玠首先率万余人迎击金兵。与此同时，其弟吴璘也由七方关昼夜兼程来援，在路上遇到金兵，转战七昼夜后才与吴玠会合。金兵进攻越加猛烈，但都被吴玠兄弟一一击退。金兵改用云梯攻垒，吴玠派杨政指挥刀枪手阻击，并撞碎金兵的云梯，以阻击金军攻垒，又令士兵持长矛刺杀敌人。吴璘见战斗愈来愈激烈，形势非常紧张，为鼓舞士气，他用刀在地上画了一道线，对将士们说：“我与你们一道坚守此地，决不后退，若谁后退，定斩不饶！”于是他身先士卒，全力击杀敌人，大大激发了将士们的勇气，个个奋勇当先。金兵见正面攻不下宋军堡垒，就将大军分为两队从东西两面夹击宋军。吴玠指挥宋军左挡右阻，与金兵苦战，由于连连激战，加上人数对比处于劣势，宋军将士显露疲态，于是吴玠主动放弃第一道防线，退守第二道防线。金兵步步紧逼，连续急攻，金兀术还令士兵披重铠两层，用铁钩相连，鱼贯而上。吴玠与其弟督军死战，以劲弓强弩大量杀伤金军，金兵尸骸枕藉，仍然冒死进攻。

坚持到第三天，金兵筋疲力尽，吴玠乘机反击，反击奏效后，他又乘势扩大战果，派张彦等将劫横山寨，杀敌千余人，又命王俊于河池设伏兵，再败金军。金军被迫退回凤翔府。

当晚，吴玠在四面山上燃起熊熊烈火，将整个山岭、沟谷照得灯火通明，并令士兵将战鼓敲得惊天动地；同时派王喜、王武诸将率精兵锐卒，持长刀、大斧，分紫、白二色旗帜，猝然杀入金兵大营。一时间，金军阵脚大乱，溃不成军，金将韩常被乱箭射伤左眼，侥幸逃脱。金兀术看招架不住，领残兵连夜逃走。此前，吴玠已遣统制张彦在横山截击金兵，又令统制王俊领一支人马埋伏于河池，扼住金兵退路。金兵败退的时候又遇张彦、王俊截击，惨败，死伤无数。金兀术率残部退回凤翔分兵屯田，作长久打算，数年间不敢轻易攻打入蜀门户仙人关。至此，金军南下的企图彻底破灭。

吴氏兄弟因屡败金军，声威大震，名扬陇蜀，朝廷下诏拜吴玠为检校少师，任命他为川陕宣抚使，领二镇（奉宁、保静）节度使。

绍兴五年（1135年）十二月，南宋进行军制改革，设行营护军以统主力部队，吴玠所部由地方军“四川宣抚司军”首次被编为朝廷直属的主力部队，编为行营右护军，右护军成为南宋的西北长城。此后，川陕边境宋金双方大体都以守为主，相对平静。

吴玠与敌对垒数年，为减轻民众负担，几次淘汰冗员，紧缩开支，实行屯田，开发水利，发展当地的农业生产。因此，他深得陇蜀人民的敬佩和拥戴。

绍兴九年（1139年），宋高宗以吴玠功高，授开府仪同三司，晋升为四川宣抚使。不久吴玠病重，卒于仙人关，年仅47岁。宋高宗赠吴玠少师，钱三十万，后谥武安。宋孝宗淳熙三年（1176年），追封吴玠为涪王。