子孙因为获罪消耗了免死金牌的免罪次数而导致免死金牌被收回。
百姓不知情，只当是这些臣子怀有不轨之心，可事实上，是因为太祖根基坐稳了，要开始扫清障碍了。
原本开国初期给这些勋爵赐免死金牌就只是为了暂时性地安抚他们，好让这些人一心一意地拥戴他坐稳龙椅。
可是免死金牌这种东西，容易成为臣子犯上作乱的屏障，太祖眼里容不得沙子，所以即便那些家族里没有犯罪的子孙，他也会想方设法暗中引导他们去犯罪，然后堂而皇之地将免死金牌收回。
到了最后，开国几大功臣手里的免死金牌全都被收了回去，只剩杜家手里这最后一道。
太祖却没动杜家，一来是因为杜家并没有勋爵，手中更无实权，兴不起什么风浪。
二来，太祖到底还惦记着杜家先祖的忠心护主之情。
太祖驾崩前曾对杜家当时的家主说过，如果有一天杜家愿意主动归还这道免死金牌，便可向皇室提出一个条件，前提是不能危及江山社稷。
杜家当时的家主很有远见，并没有直接给太祖一个准确的答案，而是等回家后直接立下族规：从今往后，杜氏子孙终身不得入朝为官。
所以那道免