见儿子皱着眉头疑惑不解的样子，严嵩便说：“你爹方才提到回乡守制，避居钤山潜心读书。论说寻常人守制依律三年，实不过二十七月，你爹为何在家乡待了整整八年？”
严嵩生于成化十六年，于弘治十八年中进士经馆选为庶吉士，正德二年散馆之后被授为翰林院编修，跻身于翰林之列，时年仅岁，可谓少年得志，一片锦绣前程似乎已在他的面前展现。但他于次年以祖父和母亲相继去世为由，回乡守制，在江西分宜介溪的钤山闲居八年，其中缘由颇耐人寻味。
严世蕃想了一想，说：“时值先皇正德帝优游倦政，权阉刘瑾等人擅权乱政，父亲不愿与之同流合污，便退隐山野，寄情林泉。”
“说的倒也不为全错。”严嵩点点头说：“为父退隐钤山也是斯时形势所迫。作为新科翰林，若是与阉党抗衡，无异于螳臂挡车，自取灭亡；若是贪恋栈位，要保得身家性命便须投靠阉党，为父所不耻为之也，此其一。其二，也因当时朝臣囿于党争，权阉刘瑾为陕西人氏，内阁首辅焦芳祖籍河南，因此朝廷中是北人的天下，南人大多受到打击和排挤。兼之焦芳因旧时与詹事府詹事、江西籍彭华多有罅隙，对江西人氏恨之入骨，家父只得借丁忧之机，托辞称病，锐意名山大川