不比不知道，回到宫中后赵昺更觉难受，觉得还不如在庙里待着自由、舒坦。他大婚的消息以明旨昭告天下后，自己当下的任务就是由礼部的官员教导大婚的规矩，此外就是拆阅各处送来的贺表。那些军中和地方的大吏皆是自己的铁杆亲信，当然也知道自己的规矩，不敢送金银财物，只能选些稀罕之物送来，并请旨回京希望参加盛典。
由于马上要迎接新到的女主人，东宫也在重新整修，将原忻王府的正殿改建为慈宁宫，作为正宫皇后的住所。同时还要收拾出几座院落，安置几个妃子。另外每处都要配备女官、内侍和宫女，教他们学规矩，所以整个东宫有些乱哄哄的。
虽然这些杂事自有太后和王德操心，但是赵昺看着心烦，那烧的都是钱啊！于是本着眼不见心不烦的态度，他便搬到苑中的芙蓉园中的香远堂中居住。这里紧靠小西湖东岸，离他最喜欢的湖中四面亭也就不足五十步的距离，不仅近水且清净，离前朝很近，到西宫慈元殿请安也不太远。
香远堂虽然不大，但是对于赵昺来说以足够宽敞，起码比在琼州的淡泊阁大了一倍不止。正堂在他看来有些空当，便将这里又分割成了三个部分，正中作为会客之地，左侧改成书房，右侧作为寝室，后堂则用于藏书。东偏殿依旧是他的工作室，西偏殿前厅是内侍们的职事房，后厅为储物间。
唯一让赵昺不满意的是名字，香远堂一听就是当年高宗皇帝提的，这里住的多半是教坊司的歌舞伎们，以便于在四面亭中宴饮时献歌伴舞。于是乎他命人将匾额摘下来，改名为致远堂，取‘淡泊以明志，宁静以致远’之意，与琼州的淡泊阁相呼应，以示自己不忘当年之志。
不过这里靠近湖塘，江南的冬天又是有名的湿冷难耐，赵昺还是命人将这里进行改造，仿造北方宫室取暖的方式加装了‘地龙’，利用布置在地下的烟道来提高温度，原理与现代的地暖相似。如此一来，尽管外界寒气逼人，室内却仍然温暖如春。
这日赵昺起床，推门一看昨夜竟下了一场雪，芙蓉冈上已是一片雪白，而此时雪花还在不断的飘落，尽管天气阴沉，天光未亮，他还是习惯的起床沿着后苑中的小路跑了一个时辰，待回来后便沐浴更衣前往西宫慈元宫给太后请安，并嘱咐不要将院子中的雪扫了，他回来还要赏雪。
请安已毕，杨太后见赵昺只穿着件薄薄的丝绵锦袍，又命人寻了件紫貂皮的袍子让他穿上，然后留他用了早膳。吃饭的功夫也不忘说起大婚之事，并要他好生在宫中待着，不准偷溜出去，还嘱咐王德好生看着陛下，出了事情拿其是问。然后又让人拿过新近缝制的龙袍试穿，还把新制的凤冠、霞帔拿来给他看。
赵昺尽管对这些事情不感兴趣，自己也不懂其中的道道儿，但看着太后兴致勃勃的样子，与乡间为儿子操办婚事的母亲没有二致。想想此次大婚其拿出几十万贯来，这也可以说是她多年的积蓄，其身上的衣服还是前年置办的，回到江南亦没有舍得给自己置身新衣，眼见如此心中那点儿不满也顷刻四散了。