张世杰的突然生病让场面变得有些诡异起来，赵昺也不由的紧张起来，暗自攥攥拳头，才发现手心都是汗。按照大宋朝的惯例枢密院与中书门下并称二府，中书门下为政府，管理政务；枢密院为枢府，主管军事，二折同为中央政府机关。
枢密院设枢密使及副使时，其主官称知枢密院事，佐官则称同知枢密院事，或简称知院、同知院。以士人充任，副职间用武臣。宋初，中书和枢密院对掌文武二柄，宰相因不带枢密衔而不得预军事。在元丰改制时，有废枢密院、还军政于兵部之议，神宗以为“祖宗不以兵柄归有司，故专命官统之，互相维制，何可废也？”遂留之。
在庆历年间，宋对西夏用兵，一度由宰相兼任枢密使，开启了政府兼管军事的先例。在宁宗后，宰相兼任枢密使已成为惯例。直到蒙元攻陷临安，行朝建立时仍由左相陈宜中兼任枢密使，而转机出现在陈宜中出走之后，为了平衡权力，陆秀夫升任右相，以张世杰为枢密使，但是陆秀夫威望不足，朝政也被其把控，这种情况一直维系到赵昺继位。
崖山之战后，赵昺在张世杰屡战屡败的情况下发力，一举夺回了权力，陆秀夫和文天祥分任左、右相，又以应节严和刘黻为参知政事，才算稳定了朝政。而又出于平衡权力，牵制二省的考虑下，他仍然以被剪除了羽翼的张世杰为枢密使，从而实现文武并治的局面。
这些年来其实张世杰更多的是扮演‘影子’角色。赵昺从保护自身和政治上的需要将军队一直置于自己的绝对领导之下，后来又成立军机处几乎将枢密院的权力全部剥夺。而从能力上面考虑，他也感觉到张世杰在军事思想上已经落伍了，难以跟上自己对军队改革的步伐。
在指挥上张世杰是步军出身，对水战战术十分生疏，焦山水战和崖山水战的两次大败就是充分说明了这一点，而琼州三面环水，缺乏战略纵深，只有依靠水军才能拒敌于外，保住最后的落脚点。另外由于火器开始在宋军中推广，已经使战争的形式发生了改变，需要新的战术和战法。而张世杰却对此接受缓慢，甚至持怀疑态度。因此他不能放心的任其指挥。
再有从战略上看，赵昺发现在经历一系列的失败后，张世杰已经丧失了进取之心，只希望能够守住琼州这一隅之地，对反攻江南，乃是收复中原缺乏信心。以致在军事理念上日趋保守，他担心由其掌军会将这种颓废之气带给将领们，但出于政治上的考虑，也只能继续以其为枢密使，以阻止士人插手军务，虽然其是挂起来的。
后来赵昺为了提高武人地位，压制日益不安分的士人，决定实施军改，将军政归于兵部，军令归于枢密院，同时确立了以武人为枢密院使，士人为兵部尚书的架构。在军改后，出于同样的目的，赵昺依然以张世杰为枢密使，但是仍然没有放权，将兵部和枢密院都控制在自己手里。
经过这么多年，朝中看似已经接受了武人主管枢密的事实。不过赵昺知道这依然是表面现象，士人们对于军权旁落始终是耿耿于怀，只是慑于形势而不得不暂时接受现实。果然在行朝迁回临安后，便有人上书要求以文臣接管枢密院，虽然没有得逞，却也不能不让赵昺时时警惕……