究自己均分神策衣赐、节赐钱的事，归镇后致力农商，和妻子亲自耕作田庄，庶务便交给僚佐打理，宛如隐居；
另外面，皇帝也恼怒高岳没给自己这个九五至尊面子，所以转眼就把诸党项招讨使、押党项蕃落大使的职务给了李景略，绝口不提起用高岳重回北地剿羌。
不准皇帝自己不提，也不准其他人提。
两位宰相班宏、董晋都上疏请求重新用高岳，皇帝不回；
陆贽在嵩山寺庙为亡母守丧祈福，也给皇帝来信，不断提及这件事，皇帝装听不见。
几名年轻御史出于公义，上疏奏请让高岳回营执掌节钺，皇帝大怒，窦参会意，当即就把这几位逐出宪台，送往地方州县去任职了。
只有翰林学士卫次公，反正也得罪过皇帝一次，也不在乎第二次，但凡皇帝和学士们唱和、游赏时，必然提及高岳事，说陛下你忘记了当初醉游景云阁射竹的诺言否？
“从周聒噪，朕不耐也！”皇帝也很苦恼，最后就不带卫次公，每次游赏时就让卫在银台门当值，只是让中使把补偿的衣衫、瓜果、米粮当补助，足数给卫次公送去。
只有大女儿灵虚来省时，皇帝会从灵虚那里，拐弯抹角和高岳取得联系。