一直扯顺风旗弄得山呼海啸的张璁，终于尝到了罢官的滋味。当他来到通州张家湾，在此上运河船返回故乡时，写了《舟发张家湾》一诗：

离家十三载，入阁四五年。

冠裳叨一品，礼乐际三千。

遇主真明圣，为臣愧不贤。

明农何敢望，尚有旧耕田。

想到自己将要回家当田舍翁了，张璁心有不甘，却又无可奈何。一路行来，不觉到了天津。忽然，有快马来到码头，一人跳下马来登上张璁的归船，传达世宗的旨意，要他即刻返棹回京。

九月一日，张璁回到京城。却说张、桂二人免职后，世宗又后悔起来。他内心中对桂萼的以权谋私已产生了厌恶，但对张璁仍有好感。两人离京后，他下旨将告状的三位给事中下法司审问，然后派人去把张璁追回来，而桂萼则听凭其去。这两人虽然是一条绳上的蚂蚱，但人品确有不同。桂萼性贪，张璁却保持清廉。桂萼阴谋多，张璁所作所为虽有小人行迹，但出的招数都是阳谋，这也是他最终获得世宗独宠的缘由。

张璁八月十四日离开内阁，九月一日回来，前后相差半个月，世宗不但亲切地接见了他，还给他送了一个特大的礼包：首辅的乌纱帽。

在张璁回来之前，杨一清因屡遭张、桂同党攻击而申请退休，世宗准了他，这也是招回张璁的原因之一。

研究世宗朱厚熜与阁臣张璁的性格，有很多相似之处：世宗执拗，撞到南墙不回头；张璁倔强，睚眦必报。世宗当皇帝，如同一场白日梦；张璁当首辅，如同天上掉馅饼。这两个人弄到一处，是另一类的风云际会，犹如大战风车的唐·吉诃德有了一个忠心耿耿的仆人桑丘。但是，两人除了惺惺相惜，有时也争得面红耳赤。世宗一急了，就以罢官来威胁；张璁不高兴了，就以辞职来要挟。从嘉靖八年到十四年这六年时间内，张璁三次被免职，最短一个月，最长达到一年。在三起三落中，张璁我行我素。满朝文武在看惯了张璁可恨的一面后，也看到了他可爱的一面。

嘉靖十二年（1533）发生的张延龄案件，让人们看到了另一个张璁。

张延龄是死去的孝宗皇帝的大舅子。他的妹妹是孝宗的皇后，她的儿子武宗死后，被封为昭圣皇太后。世宗登基后，通过大礼案让自己的生母成为兴献皇太后。但是，昭圣皇太后对这位王妃出身的皇太后并未表示尊重，世宗因此怀恨在心。后来，有人告发被封为建昌侯的张延龄敲诈钱财，并逼死人命。世宗想借此报复，决定以谋逆罪名将张延龄处死，并借此机会诛灭张氏家族。昭圣皇太后听说后，便去找世宗求情，世宗拒不见她。

张璁看过所有审判的案宗后，求见世宗说：“张延龄是个守财奴而已，怎么可能谋反呢？如果以谋逆治他的罪，岂不伤了昭圣皇太后的心？”明世宗回答说：“天下是太祖高皇帝的天下，孝宗皇帝也要遵守高皇帝制定的法规。爱卿担心伤伯母的心，就不怕伤高皇帝的心吗？”张璁回奏说：“陛下继承皇位后，采用臣的建议称昭圣皇太后为伯母皇太后，您今天这样做，岂不是让你的伯母皇太后得不到善终吗？如果张延龄叛逆罪成立，必须诛灭全族，那么，昭圣皇太后也在被杀之列，陛下将如何处理呢？”

由于张璁的坚持，张延龄终究没有被定成叛逆罪，一场皇室内的巨祸由于他的斡旋而消释。

前面已经讲过，张璁最大的一个优点就是清廉。用现在的话说，路线上的错误，他天天都犯，而品行上的错误，却终生不犯。他入阁之初，便针对吏治腐败问题给世宗上了一道疏，名为《禁革贪风》：

臣闻治之道，莫先于爱民，愿治之君，必严于赃禁。昔唐陆贽之告德宗曰：“民者，邦之本也；财者，民之心也。其心伤则其本伤，其本伤则枝干颠瘁矣。”近来中外交结，贪墨成风。夫贪以藏奸，奸以兆祸……

在这篇奏疏中，张璁列举了许多官员贪墨的例子与手段，希望世宗痛下决心加以肃清。

由于痛恨贪官鱼肉百姓，张璁任首辅期间促成两件大事：一是清理皇室勋戚的庄田；二是将派往各地当镇守大臣的太监尽数召回。这两样都是善政。