在请求江万载劝说太后同意卫王开府琼州的事情上，其实不只是应节严来过，朝中还有多人通过各种渠道，以各种理由找到他，其中也不乏朝中重臣，但都为江万载一一所拒。而他之所以如此，并不只是自己一直在权衡利弊，还有一个原因便是顾忌到太后的声誉。
世人皆知度宗皇帝留有三子，嫡子赵显继位后短短两年便丢了江山，被鞑子掳往北方削了帝号。余下两位皇子在谢太后的主持下于临安失陷的前夜出逃福州，按说这两位皇子皆非嫡出，又都是不通世事的幼童，立谁为帝都说得过去。
可最终还是落到了赵昰的头上，公开解释也是说其身份高贵，自幼聪颖，至诚纯孝，年纪又稍长。但谁都也明白，论出身赵昰生母也不过是个嫔，生下皇子才被升为妃，不比赵昺生母高多少。而同为先帝的儿子，身份高贵岂不是胡言。那自幼聪颖和至诚纯孝同样是胡说八道，一个孩子能看出什么来。也只有年纪稍长还说得过去，符合立长不立幼的礼法。
于是乎在赵昰继位不久便有非议传出，言称众臣有意立赵昺为帝，但因为其生母已逝。而今先帝后妃中杨淑妃地位最高被尊为太后，因为其一意要立自己的亲子为帝，所以才在国舅杨亮节的周旋下皇位才落到了赵昰的头上。潜台词便是赵昰的皇位是抢的弟弟的，而杨太后则处事不公，偏袒自己的亲子，排挤其他皇子。
尊太后、拥立新帝的事情江万载一直参与其中，他当然清楚其中的经过，而那些非议都是谣言，除一些是别有用心的人编造的，还有便是国舅杨亮节因为争权与皇室宗亲和朝臣们交恶，从而引起众多人的不满，失败者便用传言来打击政敌的。这些谣言传播甚广，虽然最终被一一澄清，可还是给了杨太后很大的精神压力。
此后又接连发生了卫王误上疫船与朝廷大队失散，和卫王主动要求出质蒙古的事件，使得谣言再起，称太后为保亲子的帝位稳固，不惜假手他人除掉卫王。知情者清楚这两件事都与太后无关，但不知情者因为事情太过诡异，却不由不信。
一个身边有诸多内侍和侍卫看护的皇子，能躲过众人的视线，独自离开御舟，还碰巧就上了疫船，谁也不相信一个五岁的孩子在没人指引和诱惑下是万难做到；再有经历泉州之变的人都知道，卫王在元军的追杀下曾被吓晕过去，现在过了不到两个月便自己主动要去蒙古当人质，那只能说明卫王被吓傻了，或是背后有人教唆、甚至是恐吓，使其不由已而为之。
这些事情已经闹得满城风雨，把杨太后推到了舆论的风头浪尖。而琼州那鬼地方什么样，大家都心知肚明，现在别看朝臣们一力主张由卫王出镇最为妥当。但江万载明白这是因为大敌当前，众人急于离开的原因，待形势稍缓便会有人称是太后欲置卫王于死地才如此安排，否则她怎么不去琼州避难，那里去占城更为方便。
江万载清楚自己劝说太后同意由卫王开府琼州看似顺理成章，但也等同于将自己和太后在火上烤，将来没事还好，一旦卫王稍有差池便会将罪责落到他们的身上，对太后的声誉和自己的名声都有极大的影响。而他也知卫王虽然聪颖，但年纪终归还小，威望不足，容易被人挟制，若是远离朝廷独自主持一地军政，他担心其难以控制局势，惹出大麻烦来。