太守府邸后，竟与王仁恭小妾私通，时间一久，被王仁恭察觉，只等打算捉奸在床，认证俱全，然后收拾二人。
刘武周先下手为强，利用王仁恭不开仓放粮的借口，煽动群众闹事，亲自带人出其不意，斩杀了王仁恭，然后开仓救济百姓，拉拢民心，聚众起兵。
如此一来，马邑郡就成为反隋武装之一了。
不过刘武周自知马邑在雁门关外，没有天险可守，北面是突厥，南面是隋军，腹背受敌，兵家大忌，因此，刘武周起兵之后，立即派人去突厥，觐见始毕可汗，打算送给突厥大量的金银珠宝和美女，换取突厥的支持。
马邑郡内有隋炀帝在北疆建立的行宫，里面金银珠宝无数，美女如云，刘武周派人运走，一半送往突厥给始毕可汗，一半留下做军饷。
始毕可汗凭白无故得到大量的珠宝和美人，自然极是高兴，而且还能挑拨中原人内战，削弱大隋的力量，何乐不为？于是，派人送给刘武周一千匹战马，另外派使者立刘武周为“定杨可汗”，意思是能够平定杨室的寓意。
刘武周得到始毕可汗的许诺后，择日称帝，建元为“天兴”，他的一些绿林朋友，袍泽战友都跟着水涨船高，封为将军，以杨伏念为左仆射，妹婿范君璋为