几封，让许文宝派人去给这些在城中的心腹校尉们。
当晚，十几名刘武周心腹校尉、队正们，各自带着一些家丁来到许府聚集，于是凑了一百余人，再加上许文宝家中的百余仆丁，他们便凑了三百来人。
趁着夜色，刘武周披甲执槊，带着三百来全副武装的兵丁，突袭王仁恭的府邸，王仁恭措不及防，被乱箭射杀。
杀了王仁恭后，刘武周再趁胜夺取都督府，取得印信后，立即接管马邑城防，然后又派人去城外调自己的人马入城。
等一夜混乱后，刘武周已经开始派兵丁鸣锣敲鼓，宣告百姓，说王仁恭贪吝受贿，贪墨侵占仓粮，不肯赈济百姓，于是他奋而起兵，杀王仁恭，开粮仓赈济百姓。
接下来，马邑都督府果然开始开仓放粮，虽然每人只能领到不多粮食，但放粮的人说，接下来还会一直放粮，于是百姓欢喜。
而刘武周也趁机自立为马邑都督、太守，义武军帅。
刘武周一面派许文宝去定襄联络罗嗣业，一面也在马邑封赏手下诸将，他让妹夫、校尉苑君璋为雁门太守，以心腹校尉刘子英为楼烦太守，而随他起事的心腹校尉高满政、杨伏念等并授鹰扬郎将之职。
他还派人去招安贼首宋