程中，有不少官员为了逢迎圣意，强令百姓将稻田改为桑田。其时江南诸省刚刚历经了一场大的战乱，正在人心浮荡之时，有不少丝绸作坊关门歇业，百姓担心将稻田改种了桑苗，养了蚕，缫出的丝却卖不出去，都不愿意这么做，许多地方官府衙门就以拒绝发放朝廷赈灾粮食相威胁，个别州县更为过分，不但动用衙役断水毁田、纵马踏苗，还把那些不愿种桑养蚕的稻农抓到衙门里打板子并枷号示众，强迫治下百姓改稻为桑，致使诸省百姓苦不堪言，江南士林群情汹汹，几乎又酿成一场民变。其后不久，受命抚定江南的吕芳得知这些情状，深知推行改稻为桑的国策不可操之过急，更不宜在江南元气未复之时就贸然推行，于是一边紧急叫停，一边八百里加急上呈奏疏，奏报朝廷。朱厚熜闻之震怒，下旨将几个方法过于简单粗暴、激起了民怨的州官县令罢官撤职，也不再提说在江南推行改稻为桑之国策一事，这才免除了江南百姓的一大苦楚，将一场民变消弭于无形之中。
徐渭是浙江绍兴人氏，未中式之前，在街头摆摊卖字画为生，十分了解民间百姓的疾苦和朝廷当年推行改稻为桑国策所引起的民怨，闻说朝廷又要在江南诸省大力推行改稻为桑，还要把浙江一省一半的稻田改为桑田，十分担心会重蹈嘉靖二十