有时候，向栩骑着毛驴入市，向人讨吃；有时邀了全体乞儿到他家住宿，为他们设置酒食，带他们又吃有万。当时人们不知道他的深浅，纷纷都认为是个高人，毕竟一般常人看到这样比较奇怪的人，要么认为他疯，要么认为他傻，要么就会认为这个人高。
很显然，向栩既不是疯子，也不是傻子，所以大家都认为他是个高人，久而久之，他的名气甚至直接在州郡流传。而郡里最终也是闻其名声，便征召其人，其后甚至还举其为孝廉、贤良方正，有道，公府征召等，甚至他又与彭城姜肱、京兆韦著一道被征召，可是向栩都不答应。
之后，旁人见到向栩连大汉士人都在乎的为官之基，孝廉方正这些都不要，就更加认为向栩是个高人了。以至于地方州郡甚至大汉朝廷也是如，。所以，后来朝廷为此特下诏征辟其人，令其为赵国相。去赴任时，当时人说向栩一定会保持俭朴的，但向栩却改乘着华丽的马车，驾着良马，直到此时，这才有人开始怀疑他原来是个伪君子。
而向栩到任后所为，也十分验证了这句话，因为他到任以后全不看官府文书，甚至几乎就不去官署办理政务，以至于他入职以后，官舍中都长满了杂草。只是，就是这样，像向栩这样根本不干实事的人，他的官运，