紹興二年 (1132)，高宗下詔給管理皇族宗室事務的安定郡王趙令疇，
要他在宗室裏找十個「伯」字輩的七歲以下孩童送進宮等候挑選，
再從十個小孩裏選出了兩個，一胖一瘦，
最後決定選胖的，於是要讓瘦的離開、並給他三百兩酬謝。
但正要離開時，高宗突然改變主意說「讓朕再仔細看一下。」，
叫兩人叉著手、一起站著，
突然有隻貓走過兩個人前面，胖的竟然出腳去踢，
高宗說「這隻貓只是走過去而已，為何要去踢？如此隨意，怎能擔當重任！」
於是改留下瘦的、把胖的送出宮去，瘦的叫趙伯琮、就是後來的孝宗。
胖的叫趙伯浩，最後只當到溫州都監。
註：高宗另外還有個養子趙伯玖，一直到 1159 時才確定孝宗為皇太子。