胡銓不只忠直敢言轟動一時，書法也端正莊重勁挺。
孝宗曾跟他說「卿寫的字，宛如你為人。」
胡銓回說「臣自幼學顏真卿，但如今已自成一家了。」
孝宗又說「朕前天在德壽宮侍奉太上皇 (高宗)，一起欣賞書畫，
看到卿在紹興八年 (1138) 的親筆上書，太上皇跟朕一起細看了很久，
很喜歡卿用詞精切、筆法老成，英風義氣感覺浮現在紙上。
太上皇還親自把它收藏起來，說『留作後代模範。』
不過後面被秦檜批字塗抹、弄髒很多地方，
太上皇叫工匠一行一行將字剪裁下來，再另外裝褙起來。」
宋朝皇帝中，高宗最擅長書法，胡銓的字連高宗都欣賞，可見其精美；
後世只稱頌他請斬秦檜的上書，卻大多不知道此點；
雖然胡銓上書而被秦檜排擠，但當時金人卻用高價求那張上書，兩個皇帝還如此珍藏。
張浚說「秦太師專權十九年，只成就了一位胡邦衡。」