，结茅隐居，只不出仕，入朝为官，还作《紫芝歌》一首，以明志向，歌曰：“莫莫高山，深谷逶迤。晔晔紫芝，可以疗饥。唐虞世远，吾将何归？驷马高盖，其忧甚大。富贵之畏人兮，不如贫贱之肆志。”不愿再次出山当官，只是长期隐居在商山，自愉自乐。自在逍遥，过着清贫安乐的生活。
西汉初年，汉朝定鼎，汉高祖刘邦久闻四皓的大名。知道他们德高望重，才识过人，有意罗致，为治理国家出谋划策，以为己用。但四皓听说汉高祖轻视儒生，重视武将，心中不愿意，坚决抵制，拒绝了邀请，始终不肯出山。
后来，汉高祖刘邦欲废太子刘盈而立赵王如意。为了巩固儿子的太子地位，吕后派遣自己兄长建成侯吕释之出，求计于张良，让他出面。帮之所情。张良无奈，心想此乃皇室家务事，管之不妥，无奈之余，为之献计，说出“商山四皓”大名，汉高祖素来敬重，有意让吕后出面，请太子写一封言辞谦恭的书信，多带珠宝玉帛。配备舒适的车辆，派上能言善辩之人去诚恳聘请他们，如此这般，料来。他们应该会到，到了之后，以贵宾之礼相待，让四皓经常随太子上朝，使汉高祖看到他们，这般一来。对太子扶正大有裨益。
吕氏兄妹听说后，当真为之，让太子诚心出面