爹不高兴了，娘不高兴了，大臣也站到对立面，杨勇已经成了孤家寡人，他的手已经碰到了高压线，废立只是时间问题，等待的是最后一根稻草压下来。
从心理上说，杨坚不想废太子，毕竟杨勇是他平民时期所生，而且近二十年来一直作为储君培养，培养了二十年再废掉，那不是向全天下宣告你杨坚的眼睛长瞎了吗？不到万不得已，杨坚不愿意亲手废掉自己辛苦培养的储君，只可惜，独孤皇后不这么想，杨广不这么想，杨素同样不这么想。
住在仁寿宫（离大兴一百多公里的行宫）的杨坚想了解一下杨勇的动态，就让杨素回大兴探听，这次探听让杨勇雪上加霜的日子又加了一层霜。
杨素到了东宫门口，故意在外面磨蹭半天，里面的杨勇穿戴整齐一直在耐心等待。等待着等待着，好几杯热茶都变成了凉茶，杨勇的耐心也随着茶的凉去磨没了，烦躁的表情溢于言表。
磨磨蹭蹭的杨素进来拜见时，杨勇已经烦躁到了极点，“这些人怎么这么不着四六，一点时间观念都没有呢？”
杨素不是没有时间观念，只是故意磨蹭激怒杨勇，进而造成杨勇愤怒的事实。果不其然，杨素回去报告杨坚：“太子面有怒色，似乎很不满！”
什么是小报告，这就是小报告，省略了前因，直接描述过程，最后夸大后果。“太子面有怒色”不假，但起因是杨素磨蹭耽误时间，“太子很不满”是对你杨素狗眼看人低不满，而不是对皇帝不满。不过这些已经解释不清楚了，在杨坚看来，“太子面有怒色”就是对自己不满，现在的结果已经不是“太子很生气了”，已经转化成“皇上很生气”，后果嘛，等着看。
虽说在废立太子的问题上，独孤皇后是主张废的，但拿主意的还是杨坚自己，他的安全感则是废立的根本。杨坚最终有了废立之意，最根本的还是没有了安全感。一个皇帝没有了安全感，那什么事情都有可能发生了。