黄盖字公覆，零陵泉陵（今湖南永州零陵区）人。年幼时父母双亡，他茕茕孑立，形影相吊，饱尝了人间苦难。尽管生活艰辛，但他常常利用打柴的休息时间，勤于学问，而特别好论兵事。

黄盖最早曾以孝廉被举荐，做过郡吏。孙坚起兵时，即随孙坚“南破山贼，北走董卓”，被授予别部司马之职。汉献帝初平二年（191），孙坚被黄祖的士兵用暗箭射死，黄盖继续跟随其子孙策和孙权，转战南北，驰骋疆场。

黄盖追随孙坚、孙策、孙权打天下，是江东创业的宿将之一，效命三世，献出了他的一生。他长期为地方长吏，历任九县，为巩固江东政权，做出了卓越的成绩。

当时，江东一带居住着大量的山越人，这是一个人数众多的少数民族，大部分是秦和西汉时期的闽越、南越人的后裔。他们分别散处在今江苏南部及浙江、安徽、福建、江西等地山区，以宗族形式组织在一起，好武习战。他们承受着孙吴政权的沉重负担，加之曹操派奸细煽动，山越经常发动暴动。他们凭借深山幽谷的险阻地势，攻击城邑，杀虏长吏，给孙吴的统治造成了严重的威胁。当时，江东一些县城被山越人进攻、扰乱，孙权就派智勇双全的黄盖去镇守。黄盖每到一处，绝不轻率行事，总是根据具体情势，策划谋略，以致所到之处，皆能平定扰乱。因而，派他前去镇守过的九个县，都相继出现安定的局面。