裴矩，山西闻喜人，生于有“华丽血时代”之称的南北朝之际。

他幼年时，既贵且苦。贵在他是河东望族裴氏之后，祖父两辈在北魏、北齐均为高官；苦在他幼而失怙，打小在叔父裴让之家寄人篱下。

裴矩自小聪颖好学，勤勉励志，倘若天下承平，他必定会走上一条当时世家大族子弟通行的宦海坦途，然而一场飞来横祸打乱了他的生命轨迹：叔父裴让之刚正不阿，在北齐清河郡守任内处死了民愤极大的贪官石转贵、孙舍兴等人，触怒权贵，遭诬陷惨死。

这事极大地刺激了裴矩，也为他种下了“但不犯人”的性格之种。

裴矩初登历史舞台，是在北齐担任一些类似司州兵曹从事之类的小官。他命运的转折点出现在北周灭北齐之后，那时他傍上了一棵“大树”，成为时任定州总管杨坚的幕僚，颇受倚重。

很快，杨坚成为北周丞相，进而在开皇元年（581年）篡周建隋，史称隋文帝。裴矩押对了宝，跟对了人，升任给事郎，主管内史省事务。这个官职虽然仍不算太大，但可以与闻枢机，因此他地位日重。

开皇八年（588年），隋文帝任命晋王杨广挂帅伐陈，裴矩任元帅府记室伴行。灭陈之役成为裴矩与杨广的首次合作，为后来他们之间的荒唐君臣关系埋下伏笔。

能力出众的裴矩，很快迎来人生中的第一个高光时刻。

开皇十年（590年），裴矩受命巡抚岭南。他还没出发，高智慧、汪文进等人便在江南反叛，吴越之地一时烽烟四起。文人出身的裴矩行至南康无法前行，就地拼凑了数千人，会同朝廷平叛大军，先后在大庾岭、原长岭等地击破叛军，斩杀叛将，并一直打到南海之远，进而安抚了岭南二十余州，为隋朝安定南方立下大功。隋文帝激赞不已，旋即升裴矩为民部侍郎。

而后，裴矩从南及北，开始在“外交”领域显露才华。

面对强大一时的北方突厥，裴矩充分运用“离间分化”的策略，先让都蓝可汗与妻子大义公主内讧，然后鼓动都蓝可汗、达头可汗、启民可汗三位突厥首领互相攻击，彼此削弱。在这样的计策下，隋军坐收渔利，一举击败突厥，成功平定北方，裴矩也因功再升尚书左丞。