赵昺驻跸钱塘，这里不仅物资丰厚，且水陆交通便利，信息传递也快了很多，各地的战报报通过事务局设立在各地的联络站以信鸽交替传递，集中于绍兴站，经过整理后至多十天便能送到赵昺的案头，使他可以对全局进行把握。
如今赵孟锦和刘洙所部在夺得江阴和润州后，各留一旅军兵驻守后，水陆兵进轻取建康，当下正沿江溯流而上准备攻取当涂和芜湖。赵昺对此倒是并不担心，毕竟江浙行省的大部敌军皆以被歼，剩下的头头脑脑都被围在临安城中，如今围城后他们想传递个纸条出去都不可能，失去指挥的那些残兵不足为虑了。
江钲和韩振率领的另一支主力在湖广地区打得也十分顺利，说起来除了禁军的战斗力强外，也怪元廷自毁长城。赵昺自在琼州立足后，敌湖广行省诸军就是他们最主要的对手，而与湖广行省左丞阿里海牙则是打交道最多的，不过这几年其也是走了背字。
阿里海牙是畏兀儿人，出身于普通平民之家，早年家里穷，一次在田里干活的时候，阿里海牙曾扔下耙子叹道：“大丈夫当立功朝廷，何至效细民事畎亩乎！”是一个有志的青年。后来因为别人的推荐，阿里海牙来到忽必烈身边服务，以自己的聪明才干，逐渐得到了很高的地位。伯颜率军南征之初，阿里海牙是军中除伯颜、阿术之外，排名第三的负责人。
这么响当当的一个人物，在攻琼中连番吃瘪损兵折将不说。征讨安南和占城及日本的连番大败，让湖广行省兵力大损，而他为保镇南王脱欢又主动背了黑锅，虽然只是受到了忽必烈的训斥，可其与脱欢明显已经在忽必烈跟前失宠。
世界上往往是锦上添花的人多，雪中送碳的人少。阿里海牙失宠被许多人看在眼里，就有人开始抓他的小辫子。至元十九年，南台御史大夫相威弹劾阿里海牙占降民一千八百户为奴，阿里海牙辩称系征讨所得。想想这么点事情过去都不算事儿，现在却被翻了出来，心里有气便有上奏自言功比伯颜，要求赐养老户，可又因妄言自夸受到御史的弹劾。
忽必烈也觉得阿里海牙有些不服管了，不听其自辩，下旨命相威检核阿里海牙及湖广省参政忽都帖木儿等所占俘丁三万两千余人，并勒令其除奴籍为民。这还不算，又令中书省平章要束木奉旨钩考湖广省钱谷，阿里海牙却奏请与要束木相互钩考贪贿事。
忽必烈一听就恼了，我要查你，你却要求互查，明显是不服管教，于是再次下旨钩考事依要束木之言行之。要束木意识到自己与阿里海牙的斗争已是生死之争，那还能手软，不仅查出其据有大量的江南田土，还报称其在取湖广后，罢宋夏税，按中原例改科门摊，每户一贯二钱，比夏税增钞五万余锭，造成湖广赋税比江浙更重的后果。
听闻阿里海牙这么肆无忌惮的敛财，忽必烈暴怒之下下旨抄籍了他的家资，土地收为国有，并将他所庇逃民无主者千人发去屯田。阿里海牙气急之下，得了重病没几天便病死了，如此湖广行省成了缺兵少将的境地，根本无法抵御宋军的进攻。