91年北单于战败后，率残部西逃至伊黎河流域的乌孙国，在其立足后，仍然出没于天山南北，实施掠夺。公元119年，北匈奴攻陷了伊吾，杀死了汉将索班。为了对付西域的北匈奴，东汉朝廷任命班勇为西域长史，屯兵柳中，班勇于公元124年、126年两次击败北匈奴，西域的局势开始稳定。在班勇离职后，北匈奴势力又重新抬头，汉将裴岑于公元137年率军，击毙北匈奴呼衍王于巴里坤，公元151年，汉将司马达率汉军出击蒲类海，击败北匈奴新的呼衍王，呼衍王率北匈奴又向西撤退。
依附汉朝的南匈奴人，被汉朝安置在河套地区。借着汉朝的军力多次大败北匈奴，接纳大量降众，势力大增。但因部族成分复杂，难以驾驭控制，造成内部不隐，时有叛乱，多位南单于被杀。而后汉朝对南匈奴的管理越加严厉。在东汉中期以后一再发生南单于被汉官员拘捕、更换、逼死甚至杀害。
匈奴的分裂，和北匈奴被鲜卑吞并，以及南匈奴的衰败，才导致今天南匈奴有如此的境地，而如今南匈奴生存在并州地区，也是东汉初年，汉朝吞并南匈奴，南匈奴依附东汉，东汉王朝给了南匈奴生存的空间和土地，但是东汉末年，特别是黄巾起义和董卓之乱以后，
东汉王朝更