※ 引述《Zamned (宮園かをり R.I.P.)》之銘言:
: 推 maxspeed150: Angel Hernandez真的很令人想知道..... 08/21 20:26
: 我...這不就來了?
: 今年Angel Hernandez總共碰到3624個壞球與1036個好球
: 壞球被他判成好球的比例是16.56%
: 好球被他判成壞球的比例則是6.47%
: → charlie01: Joe West才真的是個爛咖... 08/22 09:53
: Joe West總計碰到3784個壞球、1258個好球
: 其中有14.14%的壞球被他當成好球,然後11.84%的好球被當成壞球
感恩Z大貼了數位裁判今年目前的好壞球判斷的結果。以一個鬼混機器學習數年的本魯的觀點,觀察一顆棒球的軌跡來分類好球與壞球而言,裁判就可以當作一種分類器(classifier),所以就能以機器學習中監督式學習(supervised learning)常用的效能指標來評估這幾位裁判的效能(performance)。
先說結論:以數個常見用以評估分類器效能的指標來評估這幾位裁判的話,C. B. Bucknor > Joe West > Angel Hernandez > Bob Davidson,不過Angel Hernandez與Bob Davidson的差距不甚明顯。四人之中Angel Hernandez是投手天堂、當然Bob Davidson則次之。
==背景知識,詳情請參酌wiki或機器學習相關等書籍與網站==
由於這是不平衡的樣本分布,所以看整體正確率不準,這部分就跳過惹。假設好球當作positive、壞球就是negative。所以好球判好球就是True positive,壞球判好球就是false positive,反之False negative與False positive亦然。Sensitivity為該裁判將好球判別為好球的百分率;Specificity為將壞球正確地判別為壞球的百分率。MCC與F1 Score為不平衡學習(imbalanced learning)的常用效能評估指標,另外Precision為該裁判裁定該球為好球時結果該球真為好球的百分率。MCC是個均衡考量True positive、True negative、False negative與False
positive的不平衡評估指標,且計算很複雜;F1 Score則是偏重在positive的部分,只參酌True positive、True negative與False positive,也就是將好球判對比較重要。
==背景知識結束==
下表就是以Z大提供的好壞球數與正確率得出的結果。可以看到好球誤判率為1-Sensitivity與壞球的誤判率為1-Specificity。
https://images.plurk.com/71BA8s2NnWO2KJ1vYe8o73.jpg
以下簡單幾點分析:
1. 上表提及的各項指標顯示C. B. Bucknor顯然優於其他三位裁判。Specificity、MCC、F1 Score與Precision皆最高,除了把好球判成好球的正確率Sensitivity輸給Angel Hernandez外。
2. 但Bucknor每次判好球且正好判對的百分率(Precision)也不到七成,四人最差的Angel Hernandez也有近六成二。
3. 如果是投手大概四個裁判中最喜歡Angel Hernandez惹。Angel Hernandez判好球的正確率Sensitivity有九成三多,看來跟他的六成二的Precision拖不了干係。數據上推測來他判好球的標準比較寬鬆,所以數大便是美,多判幾顆球是好球就有機會多判對幾顆好球,這是個trade-off的概念。
4. 至於有鄉民表示Joe West才真的是個爛咖...。其實他的績效是Bucknor外三人中最好的。他的F1 Score三成八相較另兩人的約三成七,而他的MCC六成八,另外兩人分別只有六成七或者六成六。其實這是因為Joe West舉手時是該球是好球的百分率(Precision)也是四人中第二高的,推測他可能對好球比較嚴苛,結果是放過了很多好球不舉手,所以他的Sensitivity顯著低於其他三人。這點也表現在他把壞球判對成壞球的狀況,他的Specificity是八成五八強排第二,壞球判得多就判對比較多顆壞球,與Angel Hernandez的結果剛好相反。
5. 如果今天投手投球不是Angel Hernandez當主審,Bob Davidson當主審也是個替代方案,因為他們很常把壞球判成好球。但Bob Davidson相對比較不準一點,他的Precision只有不到六成三,與Angel Hernandez相去不遠,但他的Sensitivity低了Angel Hernandez達三趴強,也就是說該是好球而他判對的績效相對差了很多。這也是為何他F1 Score與Angel Hernandez表現差不多,但MCC卻表現較差,可能比較變形蟲吧。
6. 但對打者而言,以Precision而言,沒有Bucknor的話還是Joe West比較好(見4),畢竟怎麼看其他指標都比另外兩位好,或許手可能舉不太起來。不過不管怎樣打者看到球來不去揮的話,統計上來看有三成強的結果主審會舉手。。。只能說打者要保重啦(汗
一點外行的淺見,請各位大大鞭小力一點。