史弥远非常害怕，整天想着应该怎么处置赵竑，而赵竑却一点都不知道这些事，最后史弥远和杨皇后两人相互勾结，改立赵昀为帝。
如果说赵竑疏忽大意被人暗算还有情可原，但是借来的做的事情简直就是无脑了。当其丢了皇位被加封少保，进封济王，出居湖州。而这里有太学生潘壬对于史弥远擅自改立皇帝的行为非常不满，便拉上兄弟潘甫、潘丙等人联合山东红袄军李全一起发动政变，想要拥立赵竑为帝。
而赵竑也不想想凭一介书生的一通陈词，加上一个素未往来的李全及其不知真假的许诺，这政变能否成功，可他还就信了。结果没想到的是到了约定好的时间，李全以及让他的士兵却仍旧不见踪影。无奈之下，潘壬等人组织了一群盐贩和渔民，半夜进入湖州城，将黄袍加身的赵竑拥入州衙，立为皇帝。
之后潘壬以李全的名义发布榜文，声称拥有二十万精兵，即将进攻临安，并逐项举出史弥远的罪状。然而赵竑发现没有什么二十万精兵，有的只是不到百人的平民百姓。于是为求自保脱身，赵竑就一面向朝廷告知消息，一面率领州兵抓捕潘壬等人。政变之事很快就得以平息，而史弥远被吓的够呛，声称其有病却趁此机会派门客逼迫其自缢而死。
世人