欽宗時，蔡京被南貶，
途中又收到聖旨追討他寵愛的侍妾慕容、邢、武三人，說是金人指名要的，
蔡京寫詩跟她們道別：
「為愛桃花三樹紅，年年歲歲惹春風。如今去逐他人手，誰復尊前念老翁。」
蔡京被貶一路上，要跟民間市集買東西吃喝，
但一聽說是蔡京要的，就拒不出售，甚至一路跟著罵隨從，
蔡京在轎子裏嘆氣說「我失人心，竟然到這種地步。」
到了潭州 (今湖南長沙)，填了一闋詞：
「八十衰年初謝，三千里外無家。孤行骨肉各天涯，遙望神京泣下。
金殿五曾拜相，玉堂十度宣麻。追思往昔謾繁華，到此番成夢話。」
過幾天就死了，門生呂辨籌錢草草安葬他。
以前蔡京聽說海陵徐神翁寫字送人非常靈驗，就去求、得到「東明」兩字，
大家都說是「東方向日明亮」之意，一定是說未來更為富貴，
結果蔡京被貶，死在潭州城南五里外的東明寺。
呂辨是蔡京的門生，蔡京被罷官後，所有人都鳥獸散，只有他一路陪到潭州，
他趁機問蔡京說「大人見識深遠、博古鑑今，當初沒想到國家政治會成現在這樣？」
蔡京回答「不是不知道，只是以為我可以躲過。」