後劉娥名下，此事朝廷內外皆知，唯獨孩子被矇在鼓裡。李氏去世時，晏殊寫了祭文，自然也不能捅破。劉娥去世後，趙禎知道了來龍去脈，很傷心未能與生母相認，卻也不能追究父親及養母劉娥的不是，一腔鬱悶之氣就出在了晏殊頭上：“都是晏殊可恨可惱，不在祭文中寫明，以致朕不知曉此事！”加之有大臣煽風點火、挑撥離間，趙禎想重處晏殊，就召宋祁製作罷相詔書。

晏殊因此罷相，大多數人都很同情。但宋祁這個得意門生，前夜還在老師家裡把酒言歡、狂歌縱舞，起草罷相詔書時，卻不僅頗多貶義之詞，說他“廣營產以殖貲，多役兵而規利”，而且毫不客氣地大庭廣眾之下劈頭責罵，把眾人驚得目瞪口呆。晏殊差點被氣暈過去，被貶到潁州後，憤激之下，作了一首《吊蘇哥詩》，讚揚一個不顧母親反對、追求愛情而自殺的妓女，暗喻宋祁人品卑鄙，趨炎附勢，無情無義，實連妓女都不如。

晏殊不知道的是，宋祁表面上對他刻薄，其實為了避免老師遭到嚴懲，跟仁宗皇帝爭論了很久，才使得老師得到“降二官，知潁州”的輕微處罰。

令晏殊欣慰的是，這件小小風波很快就過去了，他又回到了朝廷，仍然身任顯職，受到仁宗趙禎的禮遇。此後他基本上風平浪靜，安享富貴幾十年而終。他晚年病重，趙禎本想親自到晏府探望，但晏殊以為自己很快會痊癒，就謝絕了。晏殊去世後，趙禎因未能親見最後一面，一直深以為憾。

身居高位，又桃李遍天下，備受尊敬，晏殊的生活真真叫富貴閒適。葉夢得《避暑錄話》中說，“晏元獻喜賓客，未嘗一日不宴飲”。晏殊非常喜歡突然留客，家人們十分慌張：一下來了幾十個人，沒有提前準備筵席，這可如何是好？晏殊踱步，微笑擺手：“不急，不急，先上酒來！”於是，賓客安然入座，一人設一空案、一酒杯，一邊以歌樂相佐，一邊談笑作詞；幾