有人欢喜有人忧，有人欢乐就有人愁，随着杨玄感的覆灭，清算杨玄感党羽的工作随之展开。在这个多事之秋，有一个人渐渐得到了皇帝的信任，这个人就是本朝表哥李渊。
李渊在外放任上顺风顺水，先后出任过谯、陇二州刺史，杨广继位后他又先后任岐州刺史，荥阳、楼烦太守。按照隋朝官制，岐州、荥阳都是上等的大郡，仅次于大兴、洛阳、江都这样的特别郡，李渊能做到岐州和荥阳的太守，说明表弟杨广对他还比较信任。
然而表兄弟之间的信任并没有维持多久，在李渊出任荥阳太守后不久，他就被调任到了楼烦，从一个发达大郡一下调到了一个偏远小郡，说明表弟杨广开始不信任他了，而李渊的宦海生涯似乎也到了头。在这段时间里，李渊一直很郁闷，天天生活在朝不保夕的日子里，他始终不明白，为什么表弟会把他从大郡荥阳调到偏远的楼烦？
其实什么都不为，只因为杨广的猜忌心。忌妒是杨家女人的天性，而猜忌是杨家男人的天性。李渊的妻子窦氏曾经劝李渊送皇帝几匹马，李渊摇摇头拒绝了，他知道皇帝杨广的猜忌并不是几匹马可以去除的，他所能做的只能是听天由命了。
后来，李渊被皇帝调回京城大兴，先后出任殿内少监（宫廷供应部副部长）、卫尉少卿（军械供应部副部长），跟以前地方大员的身份相比，现在的角色相当于宫廷打杂。人生的落差巨大，然而李渊也只能坦然面对。在他看来，假如你无力改变生活，那么不妨换一个角度，学会享受生活。
几年的宫廷生活下来，李渊适应了混在宫内的日子，如果不是杨玄感谋反，混子李渊可能会继续混下去，而现在日子混不下去了，杨广要起用他。
在清算杨玄感余党的过程中，杨广认定弘化郡留守元弘嗣是叛徒斛斯政的亲戚，既然是亲戚那就是同党。盘算了一圈身边的人，杨广悲哀地发现，值得他信任的人根本没有几个，没有办法，只能起用那个长得像老太太的李渊了。