公元1562年，海瑞终于走上了仕途。他被任命到淳安当知县。在淳安，他领略到了什么叫作“遍身罗绮者，不是养蚕人”。淳安的富豪们占据了全县大部分田地，却一点税都不交，农民们有时颗粒无收，却要大量缴税。于是海瑞下令重新丈量土地，减轻了农民的负担。淳安的百姓感恩戴德，背地里称他为“海青天”。

淳安地方虽小，但案件却多。海瑞在办理案件时刚正不阿，不因权贵而倾斜。有一次，浙江总督胡宗宪的儿子办事路过淳安，当地的吏驿不知道怎么得罪了他，他就把吏驿倒挂起来。海瑞听说了此事，把胡公子抓了起来。胡公子表明身份，希望震慑住海瑞。海瑞一拍桌子，喊道：“胡说，胡总督每次来视察的时候，从来不惊扰当地的百姓。你现在盛装出行，还带了这么多金银珠宝，一定不是胡总督的儿子。”说罢没收了胡公子的金子，并派人通知胡宗宪，说有人冒充他的儿子。胡宗宪早就听说过海瑞的名声，只能忍气吞声，没有发怒。

都御使鄢懋卿(20)出巡浙淮两地，所到之处都要狠狠搜刮一笔。路过淳安县时，却被泼了冷水，原来海瑞虽然享受朝廷俸禄，但是十分节俭，让家人自己种菜吃，只有老母过生日时，才肯买二斤肉。因此，怎么会拿出钱财来款待他们，只给他们吃粗茶淡饭。鄢懋卿拉着脸表示不满，海瑞却说：“你们来了这么多人，我这个县衙太小了，实在容不下你们。”鄢懋卿知道海瑞软硬不吃，只好灰溜溜地离开了。

海瑞的正直得罪了不少人，因此屡遭陷害。不过，海瑞正直的名声越传越远，那些污蔑不攻自破，海瑞每次被免官后不久，不但能洗清罪名，还能获得升迁。