宇文化及在江都城逗留了一个多月，祸乱后宫佳丽，过足了皇帝瘾。
但将领们联合上书，要求宇文化及率众北返，打回洛阳，甚至攻回长安城。
这让宇文化及犯难了，因为他得到可靠消息，洛阳已经被王世充控制，外围被三十万瓦岗军包围，要攻打洛阳，靠他十万兵马，如何能实现？
大兴城被李渊占据，建立了唐朝，改名长安城，拥兵二十万，有函谷天险，攻入关陇，又谈何容易？
因此北返，对于宇文化及而言，就是一件极其艰巨的任务，很难实现。
何况不论是洛阳，还是长安、西北军，都发布檄文，要诛杀宇文化及一家，为先帝报仇，他成为各方势力欲打击正名的对象，如同过街老鼠，人人喊打。
“北返太危险了，我们就在江都驻扎，横扫李子通，辅公拓等势力，在江南建立一个新的朝廷，不是很好吗？”宇文化及觉得，老实待在江都，才是最好的避难方法。
十万雄兵，加上地方兵马，足以自保了。
裴矩道：“这恐怕不行，目前各领兵的将军，联合上书，声称这是下层军官、将士的意愿，他们远离洛阳和关陇的家乡，思乡心切，他们凝成一股，如果大丞相不同意，他们可能会出现大批的逃亡，或新的叛乱。”
这裴矩原来是黄门侍郎，宇文化及叛乱之后，斩杀了一些大臣，但是裴矩跟他没有多大过节，宇文家人也深知裴矩的外交才能，所以没有加害，继续任命他为黄门侍中。
除此人外，还有内史令封德彝、刑部尚书郑善果等人，也被宇文化及留下活口，继续做官，名义上辅佐傀儡皇帝杨浩，实则都要听从他的号令。
“你们以为呢？”宇文化及虽然手段黑，心计奸诈，但在大局观上还是欠缺，谋略不足，难做大事，所以在这件事上需要询问几位大臣的建议。
内史令封德彝道：“大丞相，这些禁军骁果卫可都是在关陇、洛阳一带招募，他们来到江都，对于气候不适应，又恋家乡和亲人，无心留下，由于人数太多，一旦聚在一起闹事，十万大军，很可能就会酿成另一场祸乱。”
郑善果道：“杨广不肯北返，才引起逃兵不断，军中埋怨，使得众将军的不满，联合起来兵变，如果大丞相效仿杨广，迟迟不肯北返，留恋江南的安逸，很可能会被他人所取代，所以，必须谨慎对之。”
宇文化及闻言，脸色微变，因为他不会忘记，当初那些将领凑在一起，要谋反的理由，就是杨广猜忌日重，不肯北返，要醉生梦死在江都，只等江都外的四处叛军攻入此城，然后死在此地。
这是诸将的利用的借口，也正是底层士兵最关心的问题，宇文化及自信思考，觉得自己若是不北返，很可能就是下一个杨广，会被其他将领利用军中怨沸之情，再次发动政变。