当然，对于民间流传齐王夜探瑶光寺这种谣言，高澄是断然不会承认的，如尚书令高隆之、中书令司马子如等高官也纷纷出面澄清谣言，为齐王的人品背书。
太昌十一年正月十五，元宵佳节，当夜，一名刚诞生的男婴被芸娘偷摸从瑶光寺送入齐王府。
翌日，齐王府放出消息，府中一名婢女产下齐王第四子，然而婢女因难产而亡，齐王追其为妾，但外人不知姓名。
不止生母不详，第四子连名字都未取，相比较他三位兄长，似乎极不受爱惜，虽有从瑶光寺里传出的流言称，此子生母为后废帝元朗的皇后，但也没多少人相信，因为同一时期，听望司的探子把水搅浑了。
听望司受高澄吩咐，放出各种流言，混淆视听，第四子生母究竟是谁，可以说是一天换了一个版本，其中最过分的居然说第四子是齐王与岳母，即天子生母胡智所生。
连胡智与齐王颠鸾倒凤的具体细节，都说得有板有眼，有如亲眼目睹。
甚至还有人说什么胡智与崔幼妃，即李祖娥、李祖猗之母，共侍齐王，流言越传越离谱，便也再没有人信了，连带着齐王夜探瑶光寺也被当成了类似谣言，同样少人提及，最终不见史册，连野史都没留下只言片语的记载。
可怜胡智、崔幼妃被人造谣，整日在家里抹泪，是高澄领了元仲华与李家姐妹亲自登门抚慰，才走出阴霾。
事后，高澄并没有给听望司主事追责，甚至还为他升了官，外放任了郡守，让他在地方好好磨炼，言称等将来必有大用。
这一手明升暗降，其实也透露了高澄的不满，我叫你混淆视听，没让你把胡智、崔幼妃给扯进来呀，还好小高王问心无愧，顶多也只是偶尔想过要给肤白细腻的崔幼妃抽上几鞭子，但也从未真的如高洋一般鞭打岳母。
听望司主事一职空缺后，众人原以为高澄会依照惯例从幕僚中挑选，再不济也是高欢旧僚，然而当人选出来后，众人无不大呼意外。
高澄以降将韦孝宽为正使、李远为副使，由二人主持听望司事务。
同时韦孝宽负责南方，即蜀地、江南的细作，李远负责北方，即柔然、吐谷浑、高句丽的细作。
李远尚可理解，为了拉拢陇西李氏嘛，可韦孝宽凭什么作为正使，压了李远一头。
就在众人大呼不解的时候，天子为齐王与京兆韦氏赐婚，其中韦氏女名唤韦长英，是韦孝宽长女，曾嫁西魏陇东太守皇甫穆之子皇甫道，时年十七岁。
皇甫道在抗拒东魏西征的战事中殒命，韦长英也因此守了寡。
一看这寡妇身份，满朝文武也想通了，暗地里感慨小高王初心不改，这些年虽然收了不少黄花闺女，但最好（hào）的还就是这一口。
那韦孝宽，也不过是靠裙带关系上位。
然而旁人都想错了，并非是高澄要娶韦长英，才重用韦孝宽，而是高澄要重用韦孝宽，才娶了韦长英。