张良素来体弱多病，自从刘邦入都关中，天下初定，他便托辞多病，闭门不出。随着刘邦皇位的渐次稳固，张良逐步从“帝者师”退居“帝者宾”的地位，遵循着可有可无、时进时止的处事原则。
在汉初刘邦翦灭异姓王的残酷斗争中，张良极少参与谋划。
在西汉皇室的明争暗斗中，张良也恪守“疏不间亲”的遗训。
汉高祖十年，汉王朝上层出现了一场新的危机。刘邦有改易太子之意。当时刘邦宠爱戚夫人，并察知吕后有异心，有代刘而王的迹象，故欲废太子孝惠，改立赵王如意）为国储。
朝野大臣，群起谏争，但丝毫不能更改刘邦初意。
眼看太子位行将被剥夺，吕后遂求救于“智囊”张良。张良考虑到太子一位，事关重要，不可轻易更立，大儒叔孙通说得好：“太子天下本，本一摇天下振动。”
再加上当时天下方定，汉朝统治根基还未稳固，各项制度还正在健全，只有顺其现状，无为而治，才能安定天下，稳保江山。
基于这个大局，张良遂对吕后说道：口舌难保太子，“商山四皓”皆八十余，节义清高，不就汉朝爵位，匿亡山林，皇上敦聘不至，但仍然高义“四皓”。
太子若卑辞固请“四皓”出山，出入宫廷以“四皓”相随，皇上必问而知之，知之则太子位可固。事果如张良言，刘邦问知伴随太子的“四皓”就是自己数请不来的隐士，今为太子左右，可见太子羽翼已丰，翅膀亦硬，奈何不得，从此再也不提易立太子一事。太子终得嗣位，吕后为此对张良也勋口敬重。
《史记》、《汉书》对张良帮助萧何筹谋划策多不记载，但亦无妨张良后期的功绩。论功行封时，按级班爵，汉高祖刘邦令张良自择齐国三万户为食邑，张良辞让，谦请封始与刘邦相遇的留地，刘邦同意了，故称张良为留侯。
张良辞封的理由是：他韩灭家败后沦为布衣，布衣得封万户、位列侯，应该满足。看到汉朝政权日益巩固，国家大事有人筹划，自己“为韩报仇强秦”的政治目的和“封万户、位列侯”的个人目标亦已达到，一生的宿愿基本满足。再加上身缠病魔，体弱多疾，又目睹彭越、韩信等有功之臣的悲惨结局，联想范蠡、文种兴越后的或逃或死，深悟“狡兔死，走狗烹；飞鸟尽，良弓藏；敌国破，谋臣亡”的哲理，惧怕既得利益的复失，更害怕韩信等人的命运落到自己身上，张良乃自请告退，摒弃人间万事，专心修道养精，崇信黄老之学，静居行气，欲轻身成仙。
北宋时期诗人黄庭坚七岁随父游黄袍山，黄庭坚造访张良退隐黄袍山的“良山道观”和“伐桂书院”时，有赋诗一首：牧童骑牛过前村，短笛横吹隔陇闻。多少长安名利客，机关用尽不如君。
明清时期有一帝王访此山，亲书“圮直德眙”，以纪念这位汉朝时期的智相。“圯直德眙”古匾现高挂于通城县黄袍山大埚的黄庭坚故居“鲁直第”的侧堂之上。
但吕后感德张良，劝他毋自苦，张良最后还是听从了吕后的劝告，仍就服人间烟火。