兴未竭便想再多巡视几个地方，夏言因劝阻嘉靖巡行被责令退休；三是不久之后，他又因奏章中不慎出现了错别字，被责令退休。
夏言因得到嘉靖皇帝的宠信而得以飞速升官，嘉靖皇帝喜欢作诗，写好之后还让他点评，回诗酬和。按说圣眷如此之浓，不应该有那样坎坷的遭遇，可他却是一个典型的“只会谋国，不善谋身”的人。他虽然也擅长写青词，却不信奉道教，嘉靖皇帝曾经赐给他和严嵩各一领道袍、一顶道冠，他只是随意谢恩，却没有穿道袍，而严嵩不但天天穿着道袍，还把道冠用轻纱笼起进行修饰，就从这件虽然很小但却对比分明的事情上，就让嘉靖皇帝对他产生了看法，加之他刚直性峻，在皇上面前也持礼端庄不卑不亢；严嵩却是一副低眉顺眼、诚惶诚恐的样子，嘉靖皇帝自然就看严嵩越来越顺眼，对他越来越不满，最终导致了他被革职。
听到吕芳介绍夏言三起三落的经过，朱厚熜自嘲地说：“父有诤子，家室之福；君有诤臣，社稷之福；朕以前怎么就不懂得这么简单的道理呢？”
好我的主子万岁爷哎，几天之前的你可不是一个喜欢诤臣的皇帝啊！
当然这样的话吕芳只能在心里说一说，表面上还是很严肃地说：“一人之下，万人之上，