代表张遂谋觉得还是“大棒”管用，所以他一直主张对分裂主义实行严打。他认为石达开放任自流的态度无异于纵容和鼓励，老这么不打招呼就走人，不处理一下是不行了，否则大家都来跟风，几十万的部队说散就散了，到那时候“悔之晚矣”。
随着困难的不断增加和军事上的连续失败，失望甚至是绝望的情绪在军中蔓延，手下对石达开的崇拜也开始逐渐转化为怀疑。石达开觉察到将士们开始对他有怨言，但是他没有想到竟然会有这么多兄弟集体开小差。
第一支脱离石达开回归天朝的分裂行动发生在1860年初，带头大哥是宰制傅忠信和制军谭体方，后来在安徽并入李世贤的部队；第二支是花旗军，带头大哥是郑玄和李鸿昭。花旗军是加入太平军的广东地区的天地会员，因为改编后旗色花样复杂而得名，后来在江西并入李秀成的部队；第三支队伍分裂过程稍微复杂一点，后旗宰辅余忠扶因为阻止部下回归而被带头大哥余明富所杀，部队脱离石达开后活动在四川和贵州一带。
这些分家的举动石达开一直没有采取强硬措施进行制止，因为他不想对自家兄弟举起屠刀，张遂谋当初杀死蔡次贤，无非是要用武力恐吓遏制分裂的再次发生，但是不久之后他就知道自己彻底错