，其名自前汉成帝绥和元年十二月，“罢部刺史，更置州牧”时，便已有之，此为汉代州牧之设的开始。当时丞相高陵侯翟方进以为：《春秋》之义，用贵治贱，不以卑临尊。刺史位下大夫，而临二千石，轻重不相准。乃奏罢刺史，改制州牧。
其后至哀帝建平二年时，阳乡侯朱博在为御史大夫时，仍奏复刺史，因此复改为刺史，到了元寿二年后，又复为州牧，王莽时也依旧置州牧，期间州牧制度一直沿用到本朝光武帝建武十八年。
光武帝刘秀因为天下已定，需要削弱地方，加强中央集权，减少州郡长官权利已成必然，故而下令“罢州牧，置刺史”。但刘秀依旧置刺史十二人，其制比西汉稍异，不过从称谓上又恢复了西汉武帝时的叫法，直到如今，平定太平道后，大汉又重复有州牧之设。
此时虽然大汉依旧使用刺史之位，但并不是说不置州牧，一般而言，非重大特殊情况，朝廷依旧会用刺史之位治理一州。然而，太平道黄巾蛾贼祸乱天下，差点覆灭大汉的江山社稷，冀州为太平道谋反主谋张角三兄弟的大本营，若以刺史之职治理冀州，明显欠缺力度，因此此时皇甫嵩便因时而宜，被大汉朝廷授予了冀州牧之职。
至于以后刘焉建议开设州牧，只不过是