是将他们二人及家小逐出叙州。
赵、谭二人回到潭州，因兵败遭受到严厉的惩处，被贬到潭州下属的潭阳县担任不入品的小吏。
虽说恰恰是如此，叫他们二人在潭州被攻陷后，逃过全家被押送金陵诛杀的厄运，但两人及家小逾二十人最后还是被当作战俘处置。
两家男丁及年老的妇人都被贬入苦役营，充当修道筑城的奴工，前半年就四个老人没有能熬得过去；而家里年青的妇女则被贬入乐营。
当世对丁户管理极严，道隘关口都要盘查，赵直贤、谭育良带着几个青壮子弟逃亡容易，却不能将家里那些老弱妇孺丢下不管。
还是赵直贤当年在黔阳教授过的一名医徒，去年年初时到潭阳城采购药材遇到赵直贤，赵直贤与谭育良便拿出早年藏下来的一笔钱物，托这个徒弟将他们及家小从苦役营、乐营赎出来。
韩谦虽然是今年回到叙州才正式颁布废奴令，但之前吸引流民落户的政策一直没有变；两家人到叙州后就差不多摆脱奴籍身份，栖身当时地属辖管还存在争议、地方又相当偏僻的高椅峪。
为赎身，钱物都消耗得差不多，到高椅峪也只够置办一栋院子，两家人近二十口人，挤在仅有六间房子的院子里栖身。