惜的是，朱厚熜想让徐渭进画院供职，为穷困潦倒的他谋一条衣食无忧，安心艺术创作的殷勤美意，不但被朝臣们误解，就连远在绍兴的徐渭本人也不领情——当那位假扮成丝绸商人的镇抚司暗探再次突然出现在徐渭的面前，声称自己已经为他打通关节，可以举荐他入画院供职时，徐渭先是错愕了好一阵子，继而感动得无以复加，最后却还是婉言谢绝了。
那位假扮成丝绸商人的镇抚司暗探受高振东指派一趟又一趟地往绍兴跑，早就窝了一肚子火；而且，他若是不能说服徐渭，回去之后就无法向三爷交代，因此对徐渭三爷的好意这种“狗咬吕洞宾，不识好人心”的态度十分生气，怒道：“你这个拗相公！莫非供职画院，竟比不得你在这里卖字鬻画的好？看看你现在的穷酸样儿！守着你这个破字画摊，整日价吃风屙屁，还要受人白眼，可若是三天不开张，家里就要吊起锅子当锣敲！穷成那个样子，还充什么英雄好汉！”
那位暗探说的一点也不夸大其辞，徐渭头上戴着一顶旧毡帽，一身粗布衣裳已经洗得发白，几乎看不出原来颜色，经常伏案写字做画的缘故，右边的手肘处还打了一个偌大的补丁，脚下那双旧黑布鞋跟头上的毡帽一样，也都是补丁摞着补丁。更有甚者，眼下已进冬月，他的