刘晔年少时就志气不凡。七岁时，其母病危，临终告诫他：“你父亲的宠妾有谄害之性，你长大了替我把她除掉。”刘晔牢记母亲遗言，十三岁时果真杀了父妾，跑到母亲墓前祭拜。这事使得全家惊恐。父亲大怒，派人捉拿他。刘晔并不惊慌，拜谢父亲说：“这是亡母的嘱托，我不得不除，请父亲责罚。”父亲见他行事果断，又敢负责任，内心里很赞赏，也就不再责怪。汝南名士许劭十分称赞刘晔，认为他有“佐世之才”。

刘晔不仅有谋，还有几分豪气。他二十多岁时，扬州地方有许多拥兵自重的割据者，如郑宝、张多、许乾等，都各拥部曲。其中郑宝更是一方之霸，他阴谋驱略淮南百姓到长江之南去占山为王，但又怕引起公愤，于是迫胁刘晔出面倡导。刘晔也正想借此机会铲除郑宝，却苦无良策。恰好这时曹操派使者来扬州察看。刘晔于是邀请使者来家做客，告知郑宝，诱其下山。郑宝果然带领数百人牵牛治酒来拜候使臣，观其动向。刘晔见时机已到，便令家僮将郑家的数百随从安排在中门外坐，设酒饭招待，另请郑宝到内室喝酒，秘密吩咐手下人在敬酒时砍杀郑宝。然郑宝性不甘酒，对眼前情形，观察得很清楚，敬酒的吓得不敢下手。此时，稍有怠慢就会发生变故。刘晔就自拔佩刀砍杀郑宝，斩其首级，威胁郑宝随从兵众说：“曹公有令，敢有乱动者，与郑宝同罪。”众兵士见状，惊恐万分，纷纷奔逃回营。当时，郑宝营中还有其他将领和精兵数千，刘晔立即乘郑宝的马，率数名家僮，径直来到郑宝营门，对其首领恩威并施，喻以祸福，劝降了郑宝部属。刘晔进一步安抚众人，于是皆心悦诚服，推他为主帅。刘晔不便拥兵，把这支队伍全部交归庐江太守刘勋。

当时，刘勋在庐江势力较大，成为意欲称霸江东的孙策的眼中钉。孙策见刘勋贪婪而无远见，便派使者卑辞奉献，劝刘勋伐上缭，以便调虎离山。孙策使者说：“上缭很富足，因屡次欺侮我小国，我们想借你的兵士报仇，为你的外援，灭了上缭全归庐江。”刘勋听此言，又得孙策奉献的许多珠宝、葛布，大喜。全军庆贺，只有谋臣刘晔面带愁容。刘勋问其故。刘晔说：“上缭地方虽小，但城坚池深，易守难攻，若孙策乘其空虚，袭我后方，则主公大势去矣。”贪利的刘勋哪里肯听，兴兵伐上缭。孙策果然乘虚袭其后，刘勋穷迫，只好去投奔曹操。不久，刘晔也投归了曹操。