他赋闲四五年了，甚至连权臣都算不上，他完全被咸丰皇帝和肃顺等排除在了领导层之外。
虽然恭亲王那几年不得志，慈禧却暗地里和他走得更近了，劝他锻炼身体。因为慈禧知道，咸丰皇帝的身体不行，迟早会英年早逝，他们就会有机会。
恭亲王和咸丰皇帝感情疏远，这跟恭亲王极力为他的生母博尔济吉特氏争取皇太后的名分有关。
道光初年，博尔济吉特氏以贵人的身份选秀入宫，之后在不到十年的时间里连续为道光帝生育三子一女，由静贵人一路升为静妃。而在道光十二年，静妃诞育皇六子奕訢，再次晋为静贵妃，超越了资历更老的和妃和恬嫔。
道光二十年，道光帝的第三位嫡妻——孝全成皇后钮钴禄氏突然去世。道光帝非常哀恸，整整一年后，道光帝才下诏加封静贵妃为静皇贵妃，总摄后宫。
在清朝皇宫，皇贵妃位比副后，地位极尽尊贵，皇后健在时一般不立皇贵妃，此时的博尔济吉特氏执掌六宫大权，成为名副其实的六宫之首。然而道光皇帝比较钟情，念悼孝全皇后，坚持不再立中宫，所以静皇贵妃在道光朝不仅始终居于妾室，且道光修建自己妃嫔的妃园寝时更钦定次位，将静皇贵妃安排其内。即使道光帝晚年对静皇贵