僧人文觉禅师不仅住于宫中，雍正还命他参与议论国家最机密的要务，“倚之如左右手”。据说年羹尧、隆科多、允裸、允糖等人的案子，他都出了主意。雍正十一年(1733),文觉年满七十，雍正命他前往江南朝山，行程中， “仪卫尊严等王公”,所过地方的官员多对他顶礼膜拜，文华殿大学士、吏部尚书、江南河道总督嵇曾筠、税关监督年希尧等都以弟子礼相见。由此可见，他因密参帷幄具有较高的地位，只不过始终没有公开政治身份罢了。

雍正三年(1725)五月，雍正讲“近日直隶宣化府、江南苏州俯等处竟有僧人假称朕旨，在彼招摇生事”。比丘何以敢于冒称圣旨?而且又不只一起?和尚弘素是雍正的老相识，他的门徒在外地要刊刻《金刚经》,据说是雍正在藩邸赐予弘素的，还有雍亲王亲书的序文。雍正叫把序文送京观看，不承认是他写的。是否为他所书，今已不得而知。这件事和前述正修自称替僧相联系，二者都是和尚，皆争言与皇帝有密切关系。雍正对迦陵性音的态度，前后有绝大的变化。雍正四年(1726),雍正说他登基后，性音不图权势，到庐山隐居寺修行， “谨守清规，谢绝尘境”,与江西官吏绝无往还，一居四年，默默圆寂。又说性音对佛学“深悟圆通，能阐微妙”“其语录乃近代僧人之罕能者”。为了表彰他的真修翼善之功，下命追赠国师，赐予谥号，其语录收入经藏。数年之后，雍正竟来了一个一百八十度大转弯，说他早看出性音品行不端， “好干世法”,所以在即位后即令其出京，以保护法门的清规。性音的语录也是“含糊处不少”,不是“彻底利生之作”,于是性音不能作为“人天师范”,削黜封号，语录撤出藏经。不仅如此，还命地方官查访，不许性音门徒“将朕当年藩邸之旧迹私记作留，违者重治其罪”。这些和尚声称与皇帝有瓜葛，雍正或不承认，或加斥责，究其原因，是他们假借与皇帝关系之名，干预政务，雍正对他们的排斥，是不允许他们从政，或超过他允许的范围的干政，但也从反面说明确有僧人参与政事。

雍正的引用僧人和信佛，很自然地引起一些笃信儒学而又正直的大臣的不满，并借用各种方式表达他们的意见。雍正五年(1727),青年时曾为沙门的沈近思升任左都御史，雍正问他“你必定精通佛教宗旨，不妨陈说一些”。沈近思回奏“臣少年潦倒时逃于佛门，待到进入黄宫，专心于经世之学，以报效国家，那有闲情顾及佛学。臣知道皇上圣明天纵，早悟大乘之学，但是万机庶务，系于圣躬一身，是以臣愿皇上为尧舜，不愿皇上为释迦”。臣就是懂得佛学，也不敢向主上妄陈， “以分睿虑”。这一番儒家道理，那时人认为是光明正大的，迫使雍正改容称是。在沈近思以前，侍郎李级尚得雍正宠幸时，也谏言佛教无补于天下国家。据记载，有一次，雍正赐宴，九卿侍坐，为讨得皇帝欢心，大家竟谈禅学，这时雍正问户部侍郎赵殿最，你也能谈这个吗?赵回奏没有学过，雍正笑着说你不妨试着讲一下，随即以一佛语问他，赵殿最不愿说佛法，就用儒家的观念加以解释，雍正被弄得哭笑不得，只好对群臣说，他“真钝根也”。另一日，雍正问翰林院检讨任启运佛教经论，任启运奏称“臣未之学”。雍正只好讪讪地说“朕知卿非尧舜之道不陈耳”。当文觉禅师颐指南下，地方官趋迎之时，漕运总督魏廷珍独不为礼，且上疏声称“臣不能从佛法”,以示抗议。陆生楠在被任命主事前的引见时，呈递的奏折上说“五经，四书中如惠迪吉，从逆凶，何以异于佛老”。据雍正讲，这是讥刺他崇尚佛老。这些官员是从维持朝纲的大题目出发，主张独尊儒术，排斥释氏。

一些官员提出抑佛的具体建议，有的还付诸实行。雍正三年(1725),御史钱以瑛奏请敕下各省督抚，勒令僧尼还俗。直隶唐山县令驱逐和尚，强夺僧舍，改为民房。有的地方官建言把寺宇改为书院，发展儒学。有的要求重申禁止私度为僧的条令。

雍正对百官的反佛言行，虽然有时暴跳如雷，然而在处理上还是有所克制。如直隶一个赶逐僧道的知县，被他下旨拿问，侍郎留保为之委婉解颐，说僧道都是无法生活的穷人，寺庙实际上是他们的收容所，皇帝容留他们，就如同周文王视民如伤的意思一样，不过是把他们当作鳏寡孤独加以照顾，然而那个学究式的县令不能领会皇上的圣意，难免犯错误。雍正见他说得堂而皇之，捧了自己，又堵了自己的嘴，于是，便没有严惩那个知县。

面对群臣仅佛言行，雍正极力为自己信佛辨解。他说佛教的善应感报的学说，有“补于人之身心” “然于治天下之道则实无裨益”。又说“凡体国经邦一应庶务自有古帝王治世大法，佛氏见性明心之学与世无涉”,所以没有“密用僧人赞助之理”。他甚至信口胡说“试问黄冠缁衣之徒，何人为朕所听信优待乎”。但他也清楚用缁衣之事总有人知晓，就又为沙门参政作解说。他说其祖顺治征召禅僧玉林诱入内廷，研究佛学，就像黄帝到崆峒山访问广成子，讲求治身之要。黄帝是圣王，所有的行为都是正确的，因此顺治延揽僧人，是师法黄帝，当然没有错。言外之意是说，我效法古圣王，师法祖宗，与僧衲过从有何过失!抵赖、辩解也说明他不敢公开地以佛教作为执掌朝纲的政治势力，他信佛、崇佛，也是有所节制的。中国历史上统治阶级中总有一部分人反佛，形成了传统，密用僧人是不光彩的事情，因此雍正不能不有所顾忌，从而不能恣意信佛、用佛。