寧宗慶元初年 (1195-1200)，韓侂胄弟弟任知閣門事，兩人常常一起祕密商議政事，
當時人稱「大小韓」，求升官發財者爭相去鑽營。
某天宮內宴會，演員穿著候補官員服裝，說按自己的經歷與能力應該得到好職位，
但卻一直沒被派任，從春季一直等到入冬了，都沒看到個影子，
正在傷感嘆氣時，正好有個算命師戴著破帽、手拿紙扇走過，
就請他算算看自己何時能得官職；
演算命師的很大聲說「你的命數很好，但命局中財帛宮稍有狀況，
眼前如果想要發達，就先看看小寒(韓)，
如果希望更進一步，就要等大寒(韓)。」
宴會上的侍者聽到後紛紛轉頭偷笑。
徽州祁門縣的客棧，有個皇親去參加會試途中經過時，在牆壁上題了一首詩：
「蹇衛衝風怯曉寒，也隨舉子到長安。路人莫作親王看，姓趙如今不似韓。」
(蹇衛：驢子)