天平六年正月初十，瑶贵妃安氏谋害皇嗣，罪不可恕，但由于为皇家育有一子一女，其父又长年为国征战，于国有功，皇上不忍看其中年丧女，故而只削去瑶贵妃的封号，将其永远幽禁于丽香宫，无召不得出。
虽说对外是说安贵妃谋害了代宝林的孩子被查出来了，但是只有梨伩和东祈临还有安贵妃安婉菱心中清楚，除此之外，还有安贵妃用秘药导致大皇子痴傻并且瞒了快一年的事情在里面，只不过是为了不影响大皇子和大公主，所以才对外如此宣称。
不过后宫中本来就没有傻子，众人虽然不清楚究竟是因为什么，但是都知道绝对不只是因为代宝林这一件陈年往事，必定安贵妃还有其他的事情惹怒了皇上。虽说是被幽禁于丽香宫，贵妃的份位还在，但是和被打入冷宫的废贵妃文氏并没有什么差别，只不过是待遇好上一些罢了，不过宫中的人想来捧高踩地，瑶贵妃宫里的份额估计会被克扣不少。
瑶贵妃被削去了封号，但是依旧是贵妃的份位，所以宫中以后再没有瑶贵妃，只有安贵妃，不过这个贵妃被永远幽禁，跟被废了的文贵妃也没有两样，于是许多妃嫔在私底下称瑶贵妃为废贵妃安氏。
因为丽香宫被看管起来了，所以住在丽香宫偏殿的王充