当然，草原胡人的猖獗也长久不了，到了雄才大略的汉武帝刘彻即位，靠着自刘邦以来，特别是“文景之治”的积累，汉朝人终于向着曾经给予他们耻辱的匈奴人，发出了他们复仇的怒吼。
元朔三年时，汉武帝刘彻便向匈奴重要的河西之地，下达了汉朝打败匈奴，极为重要的诏书。当时，刘彻下旨改雍州曰凉州，“以其金行，土地寒凉故也”，意思是其地处西方，时常寒凉，凉州因此而得名。
从此，古雍州正式改名凉州，成为汉代的十三州之一，其辖地中，有着汉匈之间极为重要的河西诸地。
而到了前汉元狩二年，自从汉武帝刘彻派遣骠骑将军霍去病出征，大破匈奴休屠王城，在休屠城中夺走匈奴人的圣物“祭天金人”，并且使整个武威郡彻底纳入大汉版图，增设武威郡，凉州自此便开始成为大汉不可分割的一地，下辖陇西、天水、安定、北地、酒泉、张掖、敦煌、武威、金城、西海十郡。
也正是彻底掌控凉州，开始不断斩断匈奴人通往西域的重要道路，没有西域各国的给养，匈奴至此开始了它衰败的道路。
到了元封五年，汉武帝刘彻又下令在天下十三州各置一刺史，凉州刺史部正式建立，治所在武威郡姑臧县，而姑臧也正