让他代为票拟办事，朝臣有事请示也总是让他们去问儿子，时人皆称之为“小阁老”，曰“严阁老当家，小阁老主事”。后来严嵩倒台还是因为严世蕃因母丧回家守制，不能再帮他在内阁处理政务，严嵩年老昏聩，拟旨办差屡屡不当上意，才渐渐不为嘉靖所喜，圣眷也就慢慢淡了。这样一位跟他老爹一样，只知道忠于皇上，管他什么礼法天良的“好同志”自然也不能遗忘，他便问吕芳：“前些日子严嵩的儿子严世蕃与翰林院那帮人闹得不成样子，你也是说与朕知道的。事体繁杂，朕倒忘了他如今在哪个衙门任职……”
“回主子，严世蕃时任工部营造司主事。”
“才是个六品主事吗？好，时下京城大战将起，加强城防军备少不得他营造司出力，你去告诉他……”朱厚熜想了想说：“不，你还是悄悄去告诉严嵩，就说朕说了，纵使《永乐大典》浩如烟海，他也不必抄到老死，让他择其精华辑录简本，半年一年里就要让朕看到！”
这样说一是留有余地，因为他毕竟没有拿定主意让严嵩这个大奸臣再次进入内阁；二来也可以试探一下严氏父子揣摩圣意的本事，若是严嵩能想到自己还有回内阁的机会，他自然会督促儿子拼命办差，把北京城修得固若金汤，让鞑靼骑兵和仇鸾的