从今天起，你这个教书先生就是一名北伐军的革命军人了！

——陈赓：《谭政大将》

在陈赓的介绍下，谭政加入了国民革命军，并将自己的名字改成了谭政，从此教书先生谭世名就成了军人谭政，他的命运也在不知不觉中与中国革命的命运联系在了一起。由于谭政文化程度高，是个小“秀才”，就在特务营担任文书一职，不久又任国民革命军第二方面军警卫团第二营书记官。可是，就在谭政入伍一个月后，蒋介石在上海发动了“四一二”反革命政变，大批工人和共产党员遭到迫害，全国陷入白色恐怖中。1927年8月1日，南昌起义爆发，打响了武装反抗国民党反动统治的第一枪。9月，湘赣边秋收起义爆发，谭政随警卫团参加了起义。这是谭政第一次参加战斗，他看到共产党员冲锋在前，冒着枪林弹雨指挥战斗，救治伤员，掩埋牺牲的同志，他们的模范行为震撼着谭政的心，更加坚定了他为革命献身的决心。后来，他又随部队上了井冈山，并在井冈山上宣誓，成为一名光荣的共产党员。

在井冈山，他有机会近距离接触毛泽东，感受伟人在革命初期所表现出的宏韬伟略。有一天，团政治部主任告诉他：“毛泽东同志要你到他那里去一趟。”谭政以为毛泽东要他去汇报工作，马上赶到了毛泽东的住处。没想到，毛泽东见到谭政却和他亲切地攀谈起来。“你是东山学堂毕业的，当过小学教员，拿枪杆子以后是一直在军队当书记官吗？”“是，我一直做文书工作。”谭政答道。“你这个书记官不错嘛，三湾改编被编到军官队，不少人跑掉了，你没有跑，上了井冈山，还入了党。我听说，你的古文基础好，字也写得工整，也算咱们工农革命军的一位秀才啰。我看你就到前委来做书记官吧。”前委是工农革命军的最高指挥机关，谭政听了十分激动，立刻答道：“前委在哪里呢？我这就去报到！”毛泽东望着书生气十足的谭政笑着说：“前委就在这儿，我一个书记，你一个秘书，还有个警卫员同志，晓得了么？”“嘿嘿。”谭政也为自己的唐突而笑了。就这样，谭政来到了毛泽东身边，成为第一位给毛泽东当秘书的人。

之后，谭政便跟随在毛泽东身边，给毛泽东誊抄文件，跟他一起出席会议，做会议记录，进行调查研究，写调查报告等。在这期间，他充分见识了毛泽东的指挥才能和领导才能，自己也受益匪浅，这为他以后做军队政治工作打下了良好的基础。