虽然与恒国公府和解了，皇帝也没有再限制他的行动，但他并不经常回府，只是偶尔走动，每次回家最久也只待半日，不会久留，从表面看来并不亲密。
并非是不想与家人亲近，只是，一来宫里有个粘人精，最大容忍限度就是半日，超过半日就会找各种理由来催。二来他并不想让世人觉得他与国公府是一体的。
他与皇帝之间的事几乎已经摆到了明面上，后世会如何书写殷栾亭已经不想管了，这是他自己的选择，无论有什么后果，都该他自己承担。
不论是遗臭万年，还是真的有朝一日皇帝对他的爱意被时间消磨殆尽最终下场凄凉，都是他为当下的选择而甘愿付出的风险与代价，他选了这条路，就不会后悔，但他不想有一天因自己一身，而牵连到国公府。
皇帝对于他懒怠走动之事倒是开心赞同的很，每天大部分时间两人都呆在一起，只是有时候殷栾亭会喜欢一个人坐在湖边的亭子里喝会儿茶吹吹风，这时候皇帝也不会纠缠他，很痛快的放他一人去悠闲。