吴玠和岳飞是同时代人，他出身卑微，父亲吴扆少年从军，为水洛城寨卒，寨卒相当于乡兵的一种。由于作战勇敢，吴扆从一名普通士兵逐渐升至指挥使。吴扆为人宽容大度，但有时未免宽厚过头，对部下的管教就失之严厉，因此军纪不整。在一次对敌作战时，吴扆手下的士兵竟然怯战逃跑，致使宋军吃了败仗。吴扆的上司——水洛城的寨主非常生气，但念在吴扆平时的功劳，只是对他处以杖刑。吴扆觉得这是一种羞辱，从此做事常常心不在焉。就是这心不在焉，使他在一次作战时，猝不及防被一箭射死。吴扆死后葬在水洛城，因而吴玠全家就徙居水洛城。

都说环境造就人，这话一点不假，从吴玠身上就可以清楚地看出环境对人的影响。据《宋史·地理》记载，陕西“被边之地，以鞍马、射猎为事。其人劲悍而质木。”由于地理位置的特殊，秦陇自古便是匈奴、突厥等游牧民族与汉族对垒的战场。长期的战争使这里的氛围完全不同于中原，而吴玠居住的水洛城，更是一个以军人为职业的地区，这里除了士兵就是士兵的家属。吴玠就生长在这种环境下，这使得他为人“深毅有志节，知兵善射骑，读书能通大义”，而且为人慷慨豪爽，具有典型的军人气质。

大约在政和元年（1111年），吴玠“以良家子”入伍从军，隶属于泾原军（方镇名，治所在今甘肃省平凉）。不久，他便在抗击西夏的战争中，立下战功，升为进义副尉，权（代理）队将。后参与镇压方腊起义军及河北起义军，屡立战功，逐渐升为忠训郎，任权泾原第十一正将。

靖康元年（1126年），西夏犯边，侵扰怀德军（今宁夏固原北），吴玠率百余人打败西夏军，斩获颇多，因其武勇晋升为泾原路第二副将，在军中初露锋芒。

建炎二年（1128年）四月，金兵进犯陕西，直趋泾原。吴玠受陕西制置使曲端之命，率军迎击，至青溪岭（今甘肃泾川西南），一鼓击退金兵。因此次战功，他升任权泾原路兵马都监兼知怀德军。十一月，吴玠又奉命东进，收复华州（今陕西省华县），随后又在鸣犊镇（今西安东南）镇压了史斌叛乱，因功升任右武大夫，这时的吴玠已经开始成为中级军官了。

建炎三年（1129年）初，吴玠升迁为忠州刺史。十一月，川陕宣抚处置使张浚巡视川陕，由于刘子羽的推荐，张浚会见了吴玠兄弟，见吴玠兄弟颇具才勇，十分器重，遂任命吴玠为泾原路统制。

建炎四年（1130年）初，吴玠又升任泾原路马步军副总管，成为一路的副统兵官。不久，金军西路副帅完颜杲率军进犯麻亭镇（今陕西彬县南），吴玠与张中孚、李彦琪等奉都统制曲端之命在彭原店阻击，而曲端则拥大军屯驻于后方的宜禄（今长武）。吴玠等与金军恶战，初战告捷，但在金军的再次攻击下，吴玠所部前军稍有退却，而曲端不但不进兵支援，反而立即退往泾州（今甘肃泾川），吴玠遂战败。金军乘胜进占邠州（今陕西彬县），在进行烧杀后又退走。此战，曲端身为主帅应对战事负主要责任，但他却反以吴玠违背他的节制而将吴玠降为怀德军知军。但不久，张浚即升吴玠为秦凤路副总管兼知凤翔府。