其后，率众起事。不久，几只队伍联合在一起，共推北宫伯玉为帅，部队人数达到了二十多万，声势惊人。
四月，叛军在边章的带领下，四处征伐，占据了凉州大部郡县。五月，他们开始进攻三辅。（三辅，是汉朝的三个郡：以长安为中心的京兆郡，长安之右的扶风郡，称为“右扶风”，长安之左的冯翊郡，称为“左冯翊”。扶风的中心是咸阳，冯翊的中心是大荔）西凉叛军实力强劲，一路势如破竹，攻无不克。汉军根本没有招架之力，连连败退，长安告急。
天子大惊，急调左车骑将军，冀州牧，槐里侯皇甫嵩西上长安，领兵迎敌。
六月，皇甫嵩到长安，领五万大军和边章韩遂等部队在三辅之地连续大战。但叛军的实力的确庞大，军队人数太多，任皇甫嵩有天大的本事，也没有办法击退敌人，只能把战线稳定在粟邑，栒邑，漆县，云邑，陈仓一线。至八月，北宫伯玉粮草不足，领军退回凉州。皇甫嵩率部也撤回到长安。不料他不但没有受到封赏，反而被朝廷借口连战无功，耗费巨大而受到重责，被撤消了一切官职，收左车骑将军印绶，削户六千，更封都乡侯，食邑二千户。
原来，皇甫嵩去年征讨黄巾首领张角部队时，率军从冀州魏郡的鄴城经过，