两大军镇和女真各部威胁的兀良哈三卫就不乐意了，认为俺答只顾本部族的利益，出卖了他们，终日吵闹不休。心烦意乱的俺答没有耐心抚慰他们的雅兴，本就各怀鬼胎的两族之间矛盾日渐加深。
退军塞上之后，俺答要求各部兵马暂时驻扎大同城外休整，等待再次南下趁火打劫的机会。其他各部对此没有异议，只有兀良哈三卫坚决反对——他们倾兵随俺答南下之后，明朝蓟镇、辽东两大军镇趁机兴兵进剿，俘虏了许多民众牲畜，还大举在新占之地修筑堡垒，摆出了要长期驻守的架势；明朝藩属女真各部也趁机西进，大肆烧杀抢掠，部民损失惨重。三卫担心老窝被端，就带着本部兵马自行撤回了辽东。俺答气得暴跳如雷，但因三卫并不归他统属，天要下雨，娘要嫁人，也只好随他们去了。
但是，对于鞑靼来说，兀良哈三卫是牵制明朝的一枚很重要的棋子。明朝解决了东北边境的威胁之后，就可以调集驻守蓟辽的兵力加强西北方向的防务，继续进兵河套地区，逐步蚕食俺答部的大本营。因此，听说三卫已向明朝纳贡称臣，怎能不让黄台吉心惊胆战？