陈氏兄弟两人看小皇帝痛心疾首的斥责吕氏集团为祸大宋，他们也是深以为然。吕氏集团之首吕文德也算是大宋的一代名将，纵观他的一生，“自奋于兵间，周旋三边，大小百战”，创造了一系列辉煌的战绩，在宋朝抵御蒙古侵略的过程中的作用是不可低估的，可谓是南宋抗蒙的中流砥柱。
宋廷对其也极为倚重，“列之于三孤，崇之以两镇”。降蒙后的刘整曾谓：“南人惟恃一黑炭团。”亦可见其在宋军方的重要地位。但是吕文德也有非常腐朽的一面，其入京朝见，由赵希静代理统帅他的军队，结果发现吕文德的军队“军无宿储，万口藉藉，愤吕掊克”。贪污军饷，将朝廷养兵之赋入为己的情况也是常态。
除了贪污腐败和素质低下以外，吕文德更为人诟病的还有阿重用私人和攀附贾似道，尤其是他大量起用自己的族人和同乡，形成庞大的军事集团，甚至将家族利益置于国家利益之上。时人称“沿边数千里皆归其控制，所在将佐列戍，皆俾其亲戚私人”。此外吕文德还爱排挤他人，刘整就是遭吕文德阴谋排挤而降蒙的，给南宋造成了重大损失乃至威胁。
在吕文德死后，其弟吕文焕成为吕氏集团的掌门人。在咸淳六年春天的时候，他率领一万五千人、兵船百余人想奇袭襄阳西北方的元军造船基地万山堡，结果被元军大将张弘范击退。此后京湖制置大使李庭芝曾经派张顺、张贵两星第前来救援，虽然突围成功，送来了城内急需的盐、布等物资。
但是张顺随后便战死，而张贵则在向叛将范文虎求援时被元军杀害。随着物资一天天被消耗，城内士兵越来越少，再加上元军的几次劝降和利诱，吕文焕最终在咸淳九年向元军投降，襄阳城宣告失守。对其的投降，蒙元如获至宝，这不仅由于襄阳的战略重要性，更加上吕氏家族在南宋举足轻重的地位。吕氏子弟不仅把握着大宋权柄，子侄遍布台阁，随着他们的投降，大宋在蒙元面前再无机密。
吕文焕降元后，蒙元优待吕文焕、招降吕氏子弟与部下，并奉旨入朝觐见忽必烈，并主动为元朝策划攻打鄂州，自请为先锋。其跟随伯颜等征讨南宋，招降沿江州郡，陷沙洋、新城、鄂州等城。当时沿江诸将多是吕氏旧部，争相望风款附，宋廷多次派人请和，吕文焕不听。一路高歌猛进，直抵都城临安，率先入城，持黄榜宣谕军民，并与吕文德之婿范文虎参拜两宫太后。
有了前车之鉴，所以陈氏兄弟对于小皇帝的忧虑深以为是。虽然吕氏军事集团在抵抗蒙古侵略过程中起了重要作用，但在吕文焕投降以后，如多米诺骨牌一般倒向元朝一方，成为导致宋亡的重要因素，因此若如吕文德培植家族军事集团一般，是不利于大宋的长远利益的，且这种局面必须要打破才能够避免重蹈覆辙……
“陛下之意属下清楚了，但是如何实施还请明示！”陈任翁已经意识到了消除军中宗党的意义，但是对如何操作却毫无头绪，施礼请教道。
“要想改变军中现状，促成变革，兵部可谓责任重大，称为主导者也为过。”赵昺捋捋思绪道，“此事的关键在于扭转军中上下的思想，打破以宗亲、乡邻为纽带的利益团体，变为效忠国家的军队，而非效忠于宗族，明白国家的利益要高于宗族的利益。”