当时，江东的会稽、吴郡、丹阳、豫章、庐陵、庐江等六郡为孙氏地盘。但是，这六郡中很多县处于深山险地，为山越占领，不从号令。山越即秦汉时代的百越，由于统治者的剥削和压迫，逃奔山林，以血缘关系群居。在汉末群雄割据时，他们拥“宗帅”自立，组成“宗部”“宗伍”，大者数万家，小者数千户，拒绝向官府纳税服役。山越人强悍好武，勇于作战，难以对付。

孙权初承兄业，即“分部诸将，镇抚山越”，但收效不大。建安八年（203）他发兵征讨，使征虏中郎将吕范平鄱阳（今江西鄱阳），**寇中郎将程普讨乐安（今江西德兴）。同时，孙权派将到山越群居，难以治理的县镇守。例如：以建昌都尉太史慈领海昏（今江西永修），别部司马韩当为安乐长，周泰为宜春（今江西宜春）长，吕蒙为广德（今安徽广德）长。韩当在乐安，“山越畏服”，周泰在宜春，“食其征赋”。这些将领镇服了山越。同时，孙权又派南部都尉贺齐征讨建安（今福建建瓯）、汉兴（今福建蒲城）、南平（今福建南平）的山越，“斩首六千级，名帅尽擒，复立县邑，料出兵万人”（《三国志·贺齐传》）。建安十年（205），贺齐又奉命讨上饶（今江西上饶）一带的山越，平定后，分以为建平县（今福建建阳）。经过两次大的征剿，山越的反抗暂时减弱。

为占据荆州，建安八年（203），孙权领兵攻打江夏郡。江夏太守黄祖退至夏口（今湖北武汉），闭城不出。孙权攻而不克，因丹阳、豫章、庐陵三郡的山越动乱而回兵。建安十二年（207），再次领兵攻黄祖，孙权因其母病故，掳江夏百姓而还。

黄祖手下将领甘宁来投奔孙权。他建策夺取荆州，以“渐规巴蜀”；而图取荆州之计，又当“先取黄祖”。他要孙权尽早起兵，不可落于曹操之后。这番话与鲁肃的见解不谋而合。张昭反对出兵远征，甘宁指责他不图进取。孙权十分赏识和信赖甘宁，向他举杯敬酒说：“兴霸，征讨黄祖之任，如同此酒，决定托付给卿。卿当勉建方略，打败黄祖，建立功勋，何必计较张长史之言？”（《三国志·甘宁传》）建安十三年（208）春，孙权亲率大军征黄祖。经过激战，击杀黄祖，夺得江夏。孙权还没有来得及继续西进，曹操就率大军南下，抢先来夺荆州了。