见皇上已经不耐烦，吕芳不敢再装假，沉吟着说：“诚如严老先生所言，海瑞在朝野清流士林中颇有人望。依奴婢之愚见，若是将他罢官撤职，势必会招致朝野上下的非议责难；但若是下旨褒美，既拂了夏老先生的面子，更令天下藩王宗室寒心，也不妥当。只是，海瑞任职湖广期间，与同僚多有不睦，今次受了荣王千岁那样的当众羞辱，那些没有识见的小人势必轻慢于他，他也万难再在巡按任上有所作为，主子还是给他挪个位子为好。”
接着，他又赶紧补充说道：“海瑞既有才干，又有慨然以澄清天下为己任的志向，主子一直看好并悉心栽培他，也正是看中了他慷慨任事，不计家身的千古名臣风范。将这样的人调任闲职，既是浪费人才，又有违主子初衷，更让人觉得主子处事不公，有损主子千秋圣名……”
朱厚熜感慨地说：“朕为难的就是这个。他这人最是迂腐顽固，抚民一方难免与上司衙门生出龌龊；又一向鄙视经济之道，不利于推行朝廷重商恤商的新政。朕思虑再三，也只有把他放在监察御史的位子上，用他来举劾不法、惩贪肃奸。可你也说了，他已万难在湖广官场立足，要么调任他省，要么回都察院，可这么一来，朕总是觉得有些亏欠了他，毕竟他是为了朝廷之事受