Re: [情報] 主審瞎眼的病症正慢慢減退

作者: fantasydavid (ヴァイスビルガー)   2015-10-01 21:18:03
※ 引述《Zamned (宮園かをり R.I.P.)》之銘言:
: 推 maxspeed150: Angel Hernandez真的很令人想知道..... 08/21 20:26
: 我...這不就來了?
: 今年Angel Hernandez總共碰到3624個壞球與1036個好球
: 壞球被他判成好球的比例是16.56%
: 好球被他判成壞球的比例則是6.47%
: → charlie01: Joe West才真的是個爛咖... 08/22 09:53
: Joe West總計碰到3784個壞球、1258個好球
: 其中有14.14%的壞球被他當成好球,然後11.84%的好球被當成壞球
感恩Z大貼了數位裁判今年目前的好壞球判斷的結果。以一個鬼混機器學習數年的本魯的觀點,觀察一顆棒球的軌跡來分類好球與壞球而言,裁判就可以當作一種分類器(classifier),所以就能以機器學習中監督式學習(supervised learning)常用的效能指標來評估這幾位裁判的效能(performance)。
先說結論:以數個常見用以評估分類器效能的指標來評估這幾位裁判的話,C. B. Bucknor > Joe West > Angel Hernandez > Bob Davidson,不過Angel Hernandez與Bob Davidson的差距不甚明顯。四人之中Angel Hernandez是投手天堂、當然Bob Davidson則次之。
==背景知識,詳情請參酌wiki或機器學習相關等書籍與網站==
由於這是不平衡的樣本分布,所以看整體正確率不準,這部分就跳過惹。假設好球當作positive、壞球就是negative。所以好球判好球就是True positive,壞球判好球就是false positive,反之False negative與False positive亦然。Sensitivity為該裁判將好球判別為好球的百分率;Specificity為將壞球正確地判別為壞球的百分率。MCC與F1 Score為不平衡學習(imbalanced learning)的常用效能評估指標,另外Precision為該裁判裁定該球為好球時結果該球真為好球的百分率。MCC是個均衡考量True positive、True negative、False negative與False
positive的不平衡評估指標,且計算很複雜;F1 Score則是偏重在positive的部分,只參酌True positive、True negative與False positive,也就是將好球判對比較重要。
==背景知識結束==
下表就是以Z大提供的好壞球數與正確率得出的結果。可以看到好球誤判率為1-Sensitivity與壞球的誤判率為1-Specificity。
https://images.plurk.com/71BA8s2NnWO2KJ1vYe8o73.jpg
以下簡單幾點分析:
1. 上表提及的各項指標顯示C. B. Bucknor顯然優於其他三位裁判。Specificity、MCC、F1 Score與Precision皆最高,除了把好球判成好球的正確率Sensitivity輸給Angel Hernandez外。
2. 但Bucknor每次判好球且正好判對的百分率(Precision)也不到七成,四人最差的Angel Hernandez也有近六成二。
3. 如果是投手大概四個裁判中最喜歡Angel Hernandez惹。Angel Hernandez判好球的正確率Sensitivity有九成三多,看來跟他的六成二的Precision拖不了干係。數據上推測來他判好球的標準比較寬鬆,所以數大便是美,多判幾顆球是好球就有機會多判對幾顆好球,這是個trade-off的概念。
4. 至於有鄉民表示Joe West才真的是個爛咖...。其實他的績效是Bucknor外三人中最好的。他的F1 Score三成八相較另兩人的約三成七,而他的MCC六成八,另外兩人分別只有六成七或者六成六。其實這是因為Joe West舉手時是該球是好球的百分率(Precision)也是四人中第二高的,推測他可能對好球比較嚴苛,結果是放過了很多好球不舉手,所以他的Sensitivity顯著低於其他三人。這點也表現在他把壞球判對成壞球的狀況,他的Specificity是八成五八強排第二,壞球判得多就判對比較多顆壞球,與Angel Hernandez的結果剛好相反。
5. 如果今天投手投球不是Angel Hernandez當主審,Bob Davidson當主審也是個替代方案,因為他們很常把壞球判成好球。但Bob Davidson相對比較不準一點,他的Precision只有不到六成三,與Angel Hernandez相去不遠,但他的Sensitivity低了Angel Hernandez達三趴強,也就是說該是好球而他判對的績效相對差了很多。這也是為何他F1 Score與Angel Hernandez表現差不多,但MCC卻表現較差,可能比較變形蟲吧。
6. 但對打者而言,以Precision而言,沒有Bucknor的話還是Joe West比較好(見4),畢竟怎麼看其他指標都比另外兩位好,或許手可能舉不太起來。不過不管怎樣打者看到球來不去揮的話,統計上來看有三成強的結果主審會舉手。。。只能說打者要保重啦(汗
一點外行的淺見,請各位大大鞭小力一點。
作者: charlie01   2015-10-01 21:26:00
欸 你這篇很專業 但我要小澄清一下 當時我說Joe West才是爛咖的前文是Jim Joyce其實很不錯這兩位因為一些著名爭議的關係大概是台灣球迷普遍最常知道的裁判 但後者在各項其實都明顯勝過前者我是要說這兩人其實是沒得比的 至於後面這四五位是業界講到爛主審普遍會馬上想到的 我沒比個高下的意思(而且顯然不管誰比較好他們的好壞球判決都是吊車尾那群至於West本人 他不只當主審 當壘審爭議也一大堆場外又很嘴 人緣出了名的差 所以才說他才真的是爛的 XD
作者: fountainNess (秋本平吉千人將)   2015-10-01 21:34:00
專業推
作者: abc12812   2015-10-01 21:50:00
Bob Davidson連全壘打都看不出來了你要他判好壞球?
作者: oralboralb ( )   2015-10-01 22:04:00
鮑伯大衛生也在第一屆WBC打開知名度
作者: onime0704 (おにめ)   2015-10-01 23:28:00
超專業推
作者: mygoing (高雄哪裡買calume)   2015-10-02 00:05:00
讓我想到某場馬林魚的比賽 有網友說只要捕手接的到都是好球的那位主審是誰呀?
作者: fantasydavid (ヴァイスビルガー)   2015-10-02 00:09:00
感謝查理大解釋West的這段脈絡,我只是懂得怎麼算這些指標囉。剛好看到能算的,就花幾分鐘看看這些裁判的水準而已~如果其他版友有聯盟頂尖的裁判的數據,也請分依些讓本魯聞香一下,了解跟這四位咖的差距在哪邊~
作者: usausausa (##)   2015-10-02 08:05:00
Joe West是人格有問題 想紅的裁判 碰上只能認了好像還是裁判公會理事長之類的
作者: uranusjr (←這人是超級笨蛋)   2015-10-02 14:03:00
Joe West 其實也有人喜歡, 應該說反應兩極
作者: BastardRose   2015-10-02 15:13:00
光是好球判好球 只有七成...人判定的準確率實在有點.
作者: fantasydavid (ヴァイスビルガー)   2015-10-02 17:43:00
Precision是主審判好球,但該球實際為好球的百分率只有七成。。。幾種判錯的可能是球明明這麽高/低/外/內側也撿的狀況

Links booklink

Contact Us: admin [ a t ] ucptt.com