里一些官僚到官钱铺赊账不还的贪污行为，得罪了不少人，有人就到乐斌面前告黑状。
乐斌不但不判明是非，赏善罚恶，反而轻信诬告，指责张集馨。
张集馨非常失望，锐气大挫。
有的官员贪污被张集馨查出来了，但案子涉及乐斌，难以深究，张集馨“只好模棱”。
张集馨身边的关系网，是以乐斌为中心的一群狐朋狗党纠结在一起织成的。
什么结拜兄弟、姻亲同乡、门生故吏、心腹幸奴，好多复杂的封建关系，都在这张关系网上盘根错节地交织着。
张集馨在处理公务时，经常能感到这张关系网的魔力:常常是办一件事，多方掣肘;触动一个人，群起而护之。
张集馨不在这个圈子里，处境就非常孤立，而且时时受到这张关系网的威胁。
他在日记里写道:“余孤立其间，刻刻危惧”，“决意引退，避其逆锋”。
正是在这种心境之下，他给自己定下了“不露圭角”的守则，挂起了那副“用黄老术，唾面自干”的对联。
就这样，张集馨由一个正直耿介之士，逐渐变成一个平庸、圆滑的官吏。
尽管这也是有违他的初衷的。