府，也是归临江侯府辖管——平时的兵户安置管理、兵甲铸造、再到抽丁编伍、轮训轮战等事，都由临江侯府完全负责，这也使得龙雀军彻彻底底的变成当时还是三皇子的陛下私兵。
之后为刺探消息方便，在韩谦的建议下，侯府新设秘曹左右司专司其事。
韩谦从军府选拔兵户筹建左司，柴建从晚红楼调弟子筹建右司，但由于晚红楼弟子更擅长潜伏、刺杀等事，拙于日常的侦察、斥候，最终在军府管治下真正得以运转并发挥作用的，也只有韩谦统领的秘曹左司。
荆襄战事过后，陛下受封临江郡王，秘曹左司迁入郡王府作为藏书阁的缙云楼署理公务。
韩谦当时以郡王府文学从事率领姜获、袁国维、林海峥等人署理情报搜集、侦察斥候等事务；右司一部分人手也正式并入缙云楼听候调遣。
无论是削藩战事，还是收复金陵，缙云楼都发挥极大的作用。
即便韩谦以服丧名义，返回叙州，一部分韩谦培养起来的嫡系，被排斥出缙云楼，但也不能否认缙云楼依旧是大楚之内最为完备、强大的情报刺探、搜集体系。
不过三皇子在金陵正式登基，之前潭王府的诸多事务，都需要纳入枢密院及六部九寺等正式的朝堂