出于平衡权力，牵制二省的考虑下，他仍然以被剪除了羽翼的张世杰为枢密使，从而实现文武并治的局面。
这些年来其实张世杰更多的是扮演‘影子’角色。赵昺从保护自身和政治上的需要将军队一直置于自己的绝对领导之下，后来又成立军机处几乎将枢密院的权力全部剥夺。而从能力上面考虑，他也感觉到张世杰在军事思 想上已经落伍了，难以跟上自己对军队改革的步伐。
在指挥上张世杰是步军出身，对水战战术十分生疏，焦山水战和崖山水战的两次大败就是充分说明了这一点，而琼州三面环水，缺乏战略纵深，只有依靠水军才能拒敌于外，保住最后的落脚点。另外由于火器开始在宋军中推广，已经使战争的形式发生了改变，需要新的战术和战法。而张世杰却对此接受缓慢，甚至持怀疑态度。因此他不能放心的任其指挥。
再有从战略上看，赵昺发现在经历一系列的失败后，张世杰已经丧失了进取之心，只希望能够守住琼州这一隅之地，对反攻江南，乃是收复中原缺乏信心。以致在军事理念上日趋保守，他担心由其掌军会将这种颓废之气带给将领们，但出于政治上的考虑，也只能继续以其为枢密使，以阻止士人插手军务，虽然其是挂起来的。
后