谏官之难在于：提出不同的意见需要有勇气，特别是有关性命之事。换句话说，谏官要想赢定人生胜局，必须要有胆略。魏征被李世民起用之后，对于初唐的形势提出了与他人不同的政见，他要求李世民偃修武文，以诚信治理天下。李世民采纳了他的建议，让百生休养生息，为“贞观之治”奠定了基础。
魏征与王两人，都是已经被杀的皇太子李建成的死党，现在又都被李世民继续起用。其中原因在于这两人都是富有才能，并愿意为李世民效力尽忠。特别是魏征，家居中原，隋末又参加过瓦岗军，在山东地区是个颇有影响的人物。还有一个李责力（即徐世责力，入唐后受赐李姓），虽然不是秦王府的旧人，但都是很会带兵打仗的将才，而且在山东地区的势力和影响还超过魏征。重用这样的人物，李世民的考虑，自然主要是从稳定局势治平天下出发的。这样做可以调动文武大臣的忠君之心，听到不同方面的意见，而不致于被当年的秦王府亲信们所蒙蔽。
“玄武门之变”后，朝野上下人心惶惶，先太子李建成的一些死党逃到河北地区，联络当地的豪杰，伺机反叛。李世民对这些人采取了镇压政策。魏征向李世民建议道：“对他们不能一概加以问罪处置，应以安抚为上策。陛下不向他们显示大公无私之心，祸患便不能根除。”太宗觉得魏征言之有理，就对他说：“朕派你到河北去安抚他们。”并立即下令：凡是前太子和齐王府的旧人，一律赦免，不再追究。
魏征受命为安抚特使，前往河北。临行前，太宗授于他遇事酌情处理的权力。散布在河北地区的李建成党羽，大多数人是魏征所熟悉的，所以太宗派他去，是最恰当的现身说法人选。当魏征行至磁州（今河北磁县）时，正好遇见两辆囚车，押着李建成的侍卫李卫安和李元吉的护军李思行往长安去。魏征同他的副使商量说：“我们动身时，皇上已下达诏令，对这些人一律赦免不再追究。又要将这两人押到长安去治罪，那还会有谁相信皇上的诏令呢？”我们奉命来安抚人心，他们也是不会相信的。古时大夫奉命出使，凡是对国家有利的事情，就可以自行作主处理。我们出发时，皇上也给予相机行事的权力，我们就应该不负皇命，完成任务。”副使听后，也同意魏征的处理，将李卫安和李思行释放，然后写成奏文上报太宗。当魏征完成安抚山东的使命，回到长安后，太宗非常满意，君臣之间的关系也日益亲密起来。
太宗即位之初，国家经过隋末动乱和平定割据的战争，元气大损，民生凋敝。特别是黄河中下游地区，在十余年的战火浩劫之后，十分的荒凉残破。隋朝全盛时全国户籍簿上有将近九百万户，而唐初只剩下二百万户多点，还不及隋朝的四分之一。如何恢复生产发展经济，使国家尽快振兴起来，这是太宗君臣面前的头等国政事务。要想百姓富裕，国家兴盛，必须大力发展农耕，同时朝廷也必须制定并执行有效的政策。为此，唐太宗日夜忧心，经常召集大臣一起讨论前代的治乱兴衰历史，他感叹道：“如今正当大乱之后，天下恐怕一时难得治理好啊！”
魏征上言分析道：“百姓历经战乱，愁苦不堪，这样就容易教化。这就如同饥饿的人要准备食物，口渴的人要寻找水源，来得更快。”
太宗听后仍然摇头，“古人早就说过，善人治理国家，也需要百年功夫，才能克服残暴，免除杀戮。”
魏征接着说：“那并不是指圣明之人而言。圣明的人治理国家，就像发出声音一样，很快就会有回声，一年之内必能见到效果。如果三年才见成绩，那已经是太晚了。”
宰相封德彝听了魏征的话，很不以为然，对太宗说：“魏征所言，不过书痴说梦，只会扰乱国家，陛下切莫轻信。自夏、商、周三代以后，人心不古，世风日下，刻薄奸诈之徒，越来越多。秦时用严刑峻法，汉代又行王霸之道，都想治理好天下，但却都没有成功。”
魏征反驳封德彝说：“五帝和三王不必交换百姓来施行教化，照五帝的方法就能实现五帝的政治，照三王的方法就能实现三王的政治，要害在于怎么办。黄帝讨伐蚩尤，经过七十次战争，平定了乱事。九黎作乱，颛顼就讨伐他们，得胜之后天下也就平定了。夏桀胡作非为，商汤将他赶走。商纣残暴无道，周武王起兵讨伐他，商汤和武王都亲眼看到了太平。如果说自三代之后，人心一天比一天奸诈，再不会回复到敦厚朴实，那么到今天岂不都变成鬼了，还如何谈得上治理国家呢？”
魏征转向太宗继续说道：“臣以为，隋朝只所以短命而亡，是由于扰民太甚。我朝新立，虽不如隋时富裕，但天下安定，人心思治，这是陛下很少扰民的结果。总结隋亡的教训，就是静之则安，动之则乱。如果百姓想休养生息，而朝廷却要征发徭役，百姓生活困顿而要他们负担很重的赋税，国家的衰亡就会因此而起。当今之政，应当偃武修文，减轻百姓的赋役负担，减省刑罚，让他们致力于农耕生产。这是达到国家治理的根本所在，请陛下慎重考虑！”
唐太宗听完魏征一席话，连连点头，坚定了信心。他毫不迟疑地决定采纳魏征的建议，偃武修文，以诚信治理天下。太宗求治心切，有时单独召见魏征，在他的寝宫里商议政事。魏征感激太宗对他的特别恩遇，总是将心中的话，毫无保留地讲出来。由于魏征的建议切实中肯，深合太宗的心意，不久就被提升为尚书右丞（尚书省的官员），仍兼原任谏议大夫，参与尚书省的政务，并监察朝政得失。
魏征日渐受到太宗的信任和器重，招来一些朝臣的嫉妒，太宗左右的亲信大臣中有人诬告魏征包庇自己的亲戚。太宗派温彦博去查办，结果不是那么回事。温彦博向太宗汇报说：“魏征作为臣子，不能检点自己的行为，远避嫌疑，所以才受到这种没有根据的毁谤。这是应该受到责备的。”太宗便让温彦博去警告魏征要引以为戒。
次日，魏征上朝对太宗奏言道：“臣听说君臣一心，叫作一体。君臣上下以诚相待，才能使国家达到治理。哪里有丢开大公无私的精神，只在检点行为上费心思下功夫的！如果朝廷上下都走这样的路，国家的兴亡就不能预料了。”
太宗听了一惊，说道：“朕明白了。”
魏征叩头又说：“臣希望陛下让臣做良臣，而不要让臣做忠臣。”
太宗有些不解，问道：“忠臣和良臣有不同之处吗？”
魏征回答：“古代尧和舜的臣子稷、契、皋陶，就是良臣；夏桀的臣子关龙逢、殷纣的臣子比干，就是忠臣。良臣本身享有美名，君主获得光辉的声誉，子孙相传，国运无穷。忠臣本身遭难被杀，君主落得个昏庸残暴的恶名，国亡家灭，只不过取得个空名罢了。这就是良臣和忠臣的区别。”
太宗听了连声称好。“对！对！朕再问你，君主走什么途径才能明智，犯什么过失就会昏暗？”
魏征畅言作答：“君主所以明智，在于能够听取各方面的意见；君主所以昏暗，是由于只听信一方面的话。古代尧、舜当政，开放四方言路，使自己能看到各方面的事情，听到各方面的言论，当时虽然有共工和鲧这样的奸人，也没有受他们的蒙蔽；虽然有些人言行不符，也没有被他们迷惑。秦二世深居宫中，专信赵高，结果秦的统治迅速崩溃，天下人纷纷起来造反，但还不知道。南朝梁武帝相信朱异，侯景领兵打到京城，他还被蒙在鼓里。隋炀帝相信虞世基，天下到处起事，他一点也不清楚。所以说，君主能够倾听各方面的意见，奸邪之徒就无法蒙蔽，下情才能上达。”
太宗感慨道：“君主理政，事务繁多，如果一人独断，不听取臣下的意见，是不可能处理好的。君主若有过失，大臣就应该及时进谏。”为了表彰魏征的忠耿公直，太宗下令赐绢五百匹。