秦始皇统一六国后，派遣大将蒙恬率兵三十万，从雁门出塞，“北击胡，悉收之地”（即河套地区），把匈奴赶到阴山以北，并且修筑了万里长城。当地人传说，蒙恬死后葬于县境内。现在上门王村有一座蒙恬墓遗址，其断碑尚存，还可看清：“秦蒙恬将军墓”，及“清嘉庆”等字样。据史学家考证，蒙恬墓在境内，此地乃传说而已。
汉代的雁门，更是风云多变。汉高祖刘邦时期，匈奴曾南逾勾注，直驱晋阳（太原）。为此，公元前年，刘邦亲率三十多万大军，抵达平城抗击匈奴。可惜，被匈奴用计诱入，困于平城白登山达七日之久，最后用重金财物贿赂了单于阏氏（匈奴王的妻子）才得以解脱。汉武帝继位后，面对匈奴不断猖狂的南犯，着手反击。汉朝名将卫青、霍去病、李广等都曾驰骋在雁门古塞内外，多次大败匈奴，立下汗马功劳。“猿臂将军”李广在做代郡、雁门、云中太守时，先后与匈奴交战数十次，被匈奴称为“飞将军”。
历史到了唐代，雁门古塞“胡”汉相争，群雄逐鹿，战事连绵。唐初，年事已高的薛仁贵为代州都督，镇守雁门。据说，突厥进犯云州时，薛仁贵曾率兵出击。阵前，突厥人喝问：唐将是谁？唐兵答曰：薛仁贵。突厥人以为薛仁贵早死而不信