米芾任漣水軍知軍，當地靠近產石的靈壁縣，因此收藏了很多奇石，
他逐一鑑賞、冠上漂亮的名字，一進書房就整天都不出來了；
當時楊傑是他的上級觀察使，接到米芾因欣賞石頭而不管事的報告後，就親自去調查，
進衙門後，正經跟他說「朝廷把千里之廣的州郡交給你，你該積極治理、深怕有疏漏，
怎能整天把玩石頭，一點都不注意政事？
爾後要專心辦公，不然等被彈劾時，後悔也來不及了！」
米芾逕自上前，從左手袖子裏拿出一顆石頭，
上面自然顏色嵌鑲得玲瓏剔透、看起來有層層山巒與洞穴，色澤極為清潤，
他慢慢將石頭轉面讓楊傑看，說「像這樣的石頭，怎能不愛？」
楊傑不理他，結果他把石頭收回袖子裏，又拿出另外一顆，
上面也是山峰起伏重疊，又比剛才那顆更奇妙巧致；
秀完後收回，再拿出一顆自然形成、最為鬼斧神工的，
跟楊傑說「像這樣的石頭，怎能不愛？」
楊傑突然出聲說「不只有你愛，我也愛。」
用迅雷不及掩耳的速度出手將米芾拿著的石頭奪走，馬上出門搭車離開。