奋起抗辽
1114年，阿骨打在掌握了辽朝东北边防的实情后，毅然决定对辽用兵，发动了对辽边城的攻击。诸军集于涞流水，阿骨打登山誓师，揭露辽朝罪恶，又激励女真将士：“汝等同心尽力，有功者，奴婢部曲为良，庶人官之，先有官者叙进，轻重视功。”诸军士气高涨。至辽境，与辽部署的渤海守军激战，阿骨打身先士卒，诸军勇气倍增，辽军大溃。遂乘胜进军宁江州（今吉林扶余东石城子），阿骨打以2500人誓师，攻克宁江州。宁江州之战的胜利，使女真人受到极大鼓舞，部分女真贵族提出了建国自立的主张。
辽朝在宁江州失利后，遣军屯驻距宁江州不远的出河店（今黑龙江肇源西）以备女真。阿骨打利用辽军的麻痹思想，出其不意抢渡鸭子河（松花江一段），以甲士1000多人突袭辽军于出河店，又获全胜。出河店战役对辽朝的影响很大：天祚帝受到北院枢密使萧奉先的蒙骗，按照萧奉先的建议赦免了战败的兵将，使诸军认为“战则有死而无功，退则有生而无罪”，从此以后士无斗志，遇敌即溃逃。
在统一女真诸部和抗辽斗争中，女真贵族锻炼和培育了一批能征善战的将领，组织了一支敢打敢拼的军队，在宁江州、出河店两次大战后，又以俘获的人口、装备充实了军力，实力迅速发展。辽人曾说过：“女真兵满万，则不可敌。”至此，这支令辽军丧胆的女真军，兵力骤增至万人。
与辽军的两次较量，使女真人对辽朝政治的腐败、军事的无能、士气的低落、民心的涣散有了更进一步的认识。
议和之路
完颜阿骨打率领的女真军队虽然出师告捷，但是，他们面对强大的辽王朝，还没有胜利的把握。在这种情况下，阿骨打一方面于1115年建国，国号为金，建元立国，另一方面以“和议佐攻战”，进一步发展了自己的实力。当时的态势是：不只是辽朝五京尚未受到任何威胁，就连辽朝控制的女真的军事重镇黄龙府（今吉林农安县）也还没有被女真人攻克。在这种情形下，完颜阿骨打才决定与辽朝进行和议，讨价还价。
从1115年正月开始的议和活动，持续到当年九月。其间双方使节至少往返4次，但各自提出的条件相距太远，谈判没有结果。
继攻陷东京之后，1117年，金军又攻陷了长春州，辽东北面诸军不战自溃，紧接着，泰州（今吉林白城市东南）也被攻下。长春州是辽朝皇帝春季捺钵之处，而辽朝的二元政治体制，使得捺钵成为辽朝的政治中心。攻下长春州，对于辽、女真都是一个相当重大的事件。至此，女真贵族认为已经具备了与辽分庭抗礼的资格。阿骨打一方面巩固新得的州县，一方面派出和谈使者，要求得到辽朝承认，女真完全摆脱辽朝的控制。
阿骨打认为此时女真人的力量还没有强大到取辽而代之的地步，于是和辽又进行了一系列的议和活动。此次议和大约始于1118年初，一直持续到1120年三月，围绕着册封问题讨价还价，双方互遣使节不下十次。1120年春，宋金达成夹攻辽朝的“海上之盟”，双方约定翌年共同夹击辽国。此时女真人才终于下定灭辽的决心。同年三月，完颜阿骨打“诏咸州路都统司曰：‘朕以辽国和议无成，将以四月二十五日进师。’”四月，阿骨打率军亲征辽上京临潢府（今内蒙古巴林左旗南），拉开了与辽决战的架势。
取辽代之
北宋的介入，改变了女真对辽的态度，使他们由初期脱离辽朝控制，进一步发展为取辽而代之。1120年三月，金朝单方面停止议和，五月，陷辽上京，同时分兵攻庆州。
1121年，辽都统耶律余睹降，金对辽军情、国情有了更深入的了解，增强了必胜的信心。十二月，太祖以幼弟忽鲁勃极烈完颜杲为内外诸军都统，大举伐辽，以实现“内外一统”的政治目标。
1122年正月，金军陷辽中京（今内蒙古宁城西大明城）。天祚帝逃往西京（今山西大同市）。三月，金军西进，天祚帝遁入夹山，耶律淳在燕京（今北京市）称天锡皇帝。四月金军攻陷西京。六月，耶律淳死，北辽萧后遣使上表请立秦王（天祚帝子耶律定），没有得到准许。此时，辽的归化、奉圣和蔚州相继投降，金太祖阿骨打率军攻南京。十二月，北辽留守燕京的汉官枢密使左企弓等以城降，阿骨打率军入城。1123年，北辽平州节度使时立爱以州降。燕京既然已经攻下，根据与北宋的协议，金军将当地居民、财物席卷北撤。至此，辽五京皆不守，女真的进攻目标便是追袭逃进夹山的辽天祚帝。
女真国号为“金”。关于“金”国号的由来，目前主要有这样几种意见：一种解释是“辽以镔铁为号，取其坚也。镔铁虽坚，终亦变坏，惟金不变不坏。金之色白，完颜部色尚白，于是国号大金”。金代中叶以后，关于“大金”国号又衍生出一种新的解释，大金国号附会金德，“本朝太祖以金为国号，又自国初至今八十余年，以丑为腊。若止以金为德运，则合天心、合人道、合祖训”。还有专家认为“大金”一名源自女真完颜部世代生息的按出虎水（今黑龙江阿什河），女真语称“金”为按出虎，按出虎水以产金而得名，“大金”国号即来自按出虎水。这种解释史料依据确凿，较为可信。
1123年八月，金太祖阿骨打逝世，其弟谙班勃极烈吴乞买即位，为金太宗，九月改元天会。他一面巩固已占领的州县，继续扩大战果，一面使西南、西北路都统经略西夏，与之建立宗藩关系。1125年，金俘虏了辽天祚帝，辽朝灭亡。