建安十六年（211），魏、蜀、吴三国鼎立的局面已形成。曹操控制了中原，西凉马超不除，终是他的一大后患，然而用兵关中，又师出无名，因为马超以及韩遂等关中各部，在名义上是受曹操统辖的。为了达到出兵关中的目的，曹操用激将法命钟繇讨伐汉中张鲁，暗中却命大将夏侯渊出兵河东，与钟繇会师关中。曹操的行动激怒了马超。“是时，关中诸将疑繇自袭，马超遂与韩遂、杨秋、李堪、成宜等叛”（《三国志·武帝纪》），这就是历史上的马超反西凉。马超等人谋反，曹操讨伐他们就有了借口。

马超反叛后，屯兵潼关。曹操慑于马超的勇猛和多谋，不敢与之硬战，命令部下：“关西兵精悍，坚壁勿与战。”（《三国志·武帝纪》）同年七月，曹操暗中派遣徐晃、朱灵从蒲阪津（今山西永济）夜渡黄河，立营河西，以截断马超的退路，但马超对此早有预防，他提出对曹“宜于渭北拒之，不过二十日，河东谷尽，彼必走矣”（本传裴注《略典》）。然而，马超的这一良策，为韩遂所阻，未能实施。后来曹操得知马超之策后，曾惊呼：“马儿不死，吾无葬地也。”（本传裴注《山阳公载记》）在徐晃、朱灵暗渡黄河的同时，曹操也亲自从潼关北渡渭水，马超在岸上追曹操舟楫，纵骑以箭追射，矢如雨下，曹操几乎命丧于箭镞之下。曹操渡过渭河后，“连车树栅”“循河为甬道而南”，坚壁不战，使善习长矛的西凉兵“不得以刺”。马超求战不得，割地不成，军心遂渐骄而涣散。最后，曹操使用“离间计”，挑起马超与韩遂互相猜疑，使关中诸将力量大大削弱，曹操乘机击败了马超。马腾及其宗族二百余人后来也遭曹操“所诛略尽”。

马超战败后，退还陇上。曹操也因北方有事，引军东还。西凉冀城（今甘肃甘谷）杨阜素知马超骁勇，曾对曹操说：“超有信、布之勇，甚得羌、胡心，西州畏之，若大军还，不严为之备，陇上诸郡非国家之有也。”（《三国志·杨阜传》）曹操兵退之后不久，建安十七年（212）初，马超果然率领西凉各路武装攻打陇上郡县，“陇上郡县皆应之”。建安十七年八月，马超占据冀城，并“自称征西将军，领并州牧，督凉州军事”。同年九月，杨阜同姜叙、梁宽、赵衢等合谋以图马超。“阜、叙起于卤城，超出攻之，不能下，宽、衢闭冀城门，超不得入。进退狼狈”，马超见大势已去，不得已去汉中投奔张鲁。