他觉得兹事体大，一时也不敢贸然决断，不得不撇开朝廷重臣，找来自己的大伴吕芳商议此事。
吕芳暗中受命职掌锦衣卫，也因未曾及时侦知荣王之事被朱厚熜认为是失职，却没有受到任何惩处，朱厚熜反而好言好语宽慰了他一番，令吕芳心中十分惭愧，当初因为皇上撤裁东厂、从司礼监手中收回批红大权而产生的那么一点怨气荡然无存，仍象当年一样悉心为主子殚精竭虑排忧解难。相对之下，他的话就比前后两任首辅中肯的多了：“公布荣王千岁之罪行，确实有损天家颜面、朝廷威仪，但此事闹成这个样子，已在荆州乃至江南诸省传得沸沸扬扬，不日还将传遍天下。唯今之计，只有当机立断，依律严惩重处荣王千岁，或可挽回天家颜面并澄清主子圣名于万一。但请主子恕奴婢直言，荣王千岁固然该死，却又不能死，他若一死，剩余皇室宗亲就万难心安，若是再出了瑞王之事，主子便要承受全天下的哓哓众口，圣名亦是不免有损……”
若说一开始，朱厚熜还不认为收拾荣王阿宝那个百无一用的荒唐王爷会影响全国安定团结的大局的话，听到吕芳提起瑞王，让他也不免踌躇了——嘉靖二十四年年底，朝廷将参与谋逆的藩王宗室发配至海外并改易了《宗人法》，远在陕西汉中府建藩的瑞