英殿大学士、入阁拜相之后，便开始挖空心思，排挤夏言，经常抓住夏言的一些小差错，勾结其他官员诬蔑构陷，终于成功地赶走了夏言。
朱厚熜听得啧啧称奇，感慨地说：“这严嵩恩将仇报，真真不是个东西，朕让他下岗还真没冤枉他！”
夏言被革职之时已被勒令还乡，不觉已闲居三月之久，虽然在江西贵溪老家含饴弄孙，寄情山水林泉，但身在江湖，心存魏阙，少不得也有重情重义的门生故吏不避严嵩等人的猜忌，时时写信告之京师朝局动向。当他得知皇上重新临朝理事的消息，心里又是激动又是伤感；接着又听说了皇上将严嵩逐出内阁的消息，这等快心之事不禁让他动了“老骥伏枥，志在千里”的心思，想重回朝廷位列阁揆，在皇上身边调和鼎鼐，协理阴阳。可是想起那几次的官场蹉跌都是因那位喜怒无常的皇上而起，也有些心灰意冷，把往昔那种辅佐明主开创伟业的凌云之志都压了下去。
就在这个时候，京城司礼监派人八百里加急给他送来了一道圣旨，召他还朝复任内阁首辅。
君父之命，臣子不敢辞，接到圣旨之后，他当即收拾行装，启程回京。一路上，他竟还如年前赴京赶考一般，责令从人晓行昏宿，全然忘记了自己已经是一个年逾花