跻身主战派行列，因而得罪主和派的秦桧而遭弹劾，而后，他毅然辞去监察御史一职，归隐以青山翠岭、清流映带著称的剡之鹿门山（贵门山古称鹿门山），其时古木参天，野草丛生，时时得闻鹿鸣之声。
南宋淳熙元年，吕规叔呕心沥血创办鹿门书院，弘扬“为天地立心，为生民立命，为往圣继绝学，为万世开太平”的夙愿。
书院右边，果是一处累石而建的更楼，只见更楼拱券洞的石额上，“贵门”二个楷书大字苍健遒劲，正是宋淳熙七年朱熹所题。
宋淳熙七年，朱熹至嵊赈灾时慕名探访吕规叔于鹿门，并在鹿门书院讲学三个月，期间，因为鹿门山有“名人良足以为贵”，吕家又为“名门望族以为贵”，题写了“贵门”两字，鹿门书院自此慕名来访者络绎不绝，口口相传，“鹿门”也因而改称“贵门”，只是书院仍以“鹿门”为名。
此处更楼是吕规叔之子吕祖璟所建，内有大鼓、座钟，用以记时和危险时刻警示乡民，还有各种古代十八般兵器，供乡民平时习武强身，有外民扰乱时保家安民。
吕祖璟，字太诚；从小立志，为国振武，官至淮南安抚使，专司卫戍治边和维护社会秩序；由于安徽淮南、淮北，分由宋、金治理，淮南已属