帝谥是不能系的。然而恭亲王却仍然不满，对此，咸丰帝毫不让步，认为自己做法无可厚非，对恭亲王的防范也愈发明显。
由此，亲如兄弟的俩人猜疑不和，心存芥蒂，只是碍于君臣之礼，彼此心照不宣，加上咸丰帝乳母去世，失去中间调节人，双方感情日益疏远。
皇太后的身后事操办完成后的第二天，咸丰帝借奕訢在办理皇太后葬礼时礼仪疏略，罢去了他的军机大臣、宗人府令和正黄旗满洲都统职务，退回上书房读书，不过仍令内廷行走，管理中正殿等处事务。
接下来的四五年，奕訢几乎没有受重用。比如咸丰七年，补授镶红旗蒙古都统，命管理镶红旗新旧营房事务，咸丰八年奉旨管理雍和宫事务，补授阅兵大臣。咸丰九年，补授为内大臣，管宴大臣。
恭亲王这几年做的都是一些无关痛痒的皇族事务，是故他对劝说咸丰皇帝留在北京没有信心，他对慈禧说：“亲王及御前诸公屡劝圣驾出巡，圣意颇以为然。”
慈禧说：“皇上到了热河，就会被肃顺等人控制。他现在已经病了，路上再有颠簸，随时都可能没命。而且，皇上走了，我们这些妃子也肯定要随行，到时候我们分开了，恐怕就更势单力薄，任人宰割。”