宇文化及在江都城逗留了一个多月，祸乱后宫佳丽，过足了皇帝瘾。
但将领们联合上书，要求宇文化及率众北返，打回洛阳，甚至攻回长安城。
这让宇文化及犯难了，因为他得到可靠消息，洛阳已经被王世充控制，外围被三十万瓦岗军包围，要攻打洛阳，靠他十万兵马，如何能实现？
大兴城被李渊占据，建立了唐朝，改名长安城，拥兵二十万，有函谷天险，攻入关陇，又谈何容易？
因此北返，对于宇文化及而言，就是一件极其艰巨的任务，很难实现。
何况不论是洛阳，还是长安、西北军，都发布檄文，要诛杀宇文化及一家，为先帝报仇，他成为各方势力欲打击正名的对象，如同过街老鼠，人人喊打。
“北返太危险了，我们就在江都驻扎，横扫李子通，辅公拓等势力，在江南建立一个新的朝廷，不是很好吗？”宇文化及觉得，老实待在江都，才是最好的避难方法。
十万雄兵，加上地方兵马，足以自保了。
裴矩道：“这恐怕不行，目前各领兵的将军，联合上书，声称这是下层军官、将士的意愿，他们远离洛阳和关陇的家乡，思乡心切，他们凝成一股，如果大丞相不同意，