由此平步青云，被擢升为正四品巡按御史，在湖广开府建衙，由七品芝麻官成为了一省三台长（注：巡抚称“抚台”、巡按称“按台”、学政称“学台”，职权分司，互不统属，都是一省的方面大员。）之一。因此，海瑞一直对高拱心存感激，听到高拱这么说，忙说道道：“嫌弃不敢。我只穿布衣。”
虽然是逊谢之意，语气却过于生硬，高拱隐隐有些不快，沉声说道：“是我唐突了。”
听出高拱话语之中的不快，海瑞连忙解释说道：“肃卿兄误会了，我没有那个意思。海南天热，没有人穿绸衣。穷乡僻壤，习惯而已。”
高拱虽说面色缓和了一点，却仍说道：“习惯归习惯，总要讲个入乡随俗才是，不要什么时候都摆出一副‘举世皆浊我独清’的样子，弄得我和叔大兄与你走在一处，也浑身不自在起来了。”