大规模战争，至东汉时匈奴已元气大伤，分裂为南北二单于，史称北单于庭为北庭(单于庭指匈奴的王庭即首都)。东汉永平十七年(74)，汉政府派戊尉耿统领数百人屯田于今北庭（吉木萨尔县北），在那个时候起，北庭正式开始建城。哪怕是西晋灭亡，北庭城一直没有沦落在胡人手中，不过随着凉国内乱，凉国重心东移，北庭城也年久失修，防御力大不如从前。
好在，北庭城生活的汉人虽然人数不多，但是却生活在群胡包围之中，生性彪悍，而且军备不错，所以勉强坚持了这么多年。不过，汉人在北庭可以控制的地方，只有北庭城周围数十里的范围。