军队，就成为广义的汉军；后来在征战中契丹人损失较多，只得从中原汉人中进行补充扩建，太宗窝阔台称帝后，发民为卒用蒙古军制来组织北方汉人部队；忽必烈即位后，也曾从中原地区签军近二十万人，补充汉军；宋灭亡之际又有大批宋军降元，被元人称之为新附军或新附汉军、南军等。
所以元廷的汉军成分复杂，契丹人是主要成分，此外还有乣人、女真人、山后汉人和中原汉人及南方汉人。蒙古建国初期，没有兵种的区别，军队全为骑兵。招降到汉军之后，有了步兵，不久又将制造和使用攻城炮具的工匠、军人集中起来，称为炮军或炮手军；各军中擅长水战的人也被编组在一起，组成水军或水手军。入元之后，炮军和水军受到高度重视，尤其是水军的训练和扩编被纳入军队发展计划之内。
全国统一后，元廷对汉军和原来隶籍于蒙古军的部分色目人军队，加上分编在各军中的新附军人，重新进行了编组，设立近百个万户府、元帅府分管这些军队。除了在一些万户府中配备炮军和水军外，还设立了炮水手元帅府、炮手军匠万户府、水军万户府、水军元帅府等专门机构。这些机构和军队，大多属于地方镇戌军队系统。调入都城的炮手工匠等，则大多隶属于军器监。