玉山南宗除了本门核心之外，分别是余家、安家、段家和许家。其中余家实力最盛、许家相对薄弱，安家和段家处于两者之间，实力不相上下。
余家负责房地产和建筑业，是实力最强悍的一家。安家复杂物流运输业、段家负责财务投资，都是各有所长。许家操持宗门下属的农林牧渔业一块，除了为门派渔利之外，还负责门派上下的衣食住行，算是玉山南宗的总后勤。
这四个门派盘根错节、关系复杂，在玉山南宗本门都有自己的代言人，而且都有着悠久的历史传承，都为玉山南宗的发展出过大力。当日玉山派内部纷争，竞争掌门失败的大弟子林渊一怒出走，来到南方寻求发展。在创业初期，他受到了余家、安家、段家和许家先祖的大力支持，可以说情同手足。
后来林渊成了大业，就把自己门派的外围事务分别交给这四家去打理，并且约定永不相负，甚至把这种关系写进了门派的典籍。四大家族也十分争气，和玉山南宗一起奋斗，创下了不弱于玉山派本门的宏伟基业。
后来玉山派本宗和南宗和解，一南一北相互呼应，成为武林中有数的名门大派。而四大家族在玉山南宗的扶持下也开枝散叶，成了赫赫有名的实力家族。
四大家族中，余家