開元二十三年 (735) 起，唐玄宗自覺天下太平，大宴五鳳樓，
更邀請三百里內外刺史縣令一同來歡慶，動輒五日五夜不休。
開元二十四年秋天，於唐玄宗生日喜宴上，滿朝文武紛紛獻上世間稀有的玩物，
唯獨宰相張九齡上《千秋金鑑錄》，唐玄宗表面上給予嘉許，但一直心裡不是滋味。
隔年，唐玄宗充分展示了「從此君王不早朝」的典範，夜夜笙歌、不理正事，
也在張九齡如同連珠砲一般的勸諫下對此人感到萬般的厭惡。
於是唐玄宗找個機會將張九齡叫到五鳳樓中，當面罷黜了他的相位。
張九齡聞訊聲嘶力竭地詢問：
「聖上！臣，何罪之有？」
只見唐玄宗不疾不徐地搖了搖頭，默默說出了四個字：
「叫朕回歸」