仅仅是定下太子之位其实还不足以让群臣们放心。他们对李信这“一应用度与皇子如出一辙”的特殊待遇感到不满。毕竟，这是一个曾经距离皇位如此之近的家伙。如果继续给他如同皇子一般的待遇，在名分上也说不过去，很容易引人遐想，甚至惹出事端，震动朝纲。
所以，他们同时提出了建议：希望李信能早点搬离皇宫，在宫外设府，独立居住。在他们看来，只要把李信这个只能当“王”的名分坐实，就能极大地降低造成混乱的可能性。
那时候的李信还不是现在的李信。他的思维很单纯。他从小在宫里居住，这里有他喜欢的兄弟和长辈。如此冷不丁面对全世界都要他搬出宫里的状况，他当然会觉得很难接受。
李泰非常支持李信的想法。他对李信说：“只要你坚持不肯搬离皇宫，父皇也一定不会逼你离开。这样你就可以一直住在宫里了。”
李承乾一开始没有说什么。直到眼见这件事始终得不到一个结果，朝中为了这件事争论不休的状况，他终于忍不住劝李信顾全大局，早日搬离皇宫。
那天，李信很生气。
“连你也要赶我走？”李信这样问。
李承乾不知道说什么好。他直觉地觉得如今这样的状况非常不好。李信离开皇宫是最好的结果。但是，他也没办法这么狠心地做出肯定回答。而且李泰也在一旁帮着说话。
结果，三人不欢而散。
翌日，李信主动上书，请求离宫。
李世民准奏。