1.轉錄網址︰
https://www.facebook.com/tsemin.lin.9/posts/3575251552496620
2.轉錄來源︰
Facebook Tse-min Lin
UT Austin 林澤民教授
3.轉錄內容︰
紐約時報於10/27-10/31在佛羅里達州實施民調, 其樣本中可能投票的選民數為N=1,451,
紐時報告的抽樣誤差為3.2%. 民調結果拜登領先川普47-44, 這領先程度有統計顯著性嗎?
關於對比式選舉民調的抽樣誤差, 我曾寫過一篇科普文章指出一般媒體在報導時的錯誤解
讀. 此因媒體通常只報告單一比例的抽樣誤差, 而對比式民調著重的不是單一比例, 而是
兩位候選人所獲支持度比例的差距. 此差距的抽樣誤差可達單一比例抽樣誤差的兩倍, 但
必須用特別公式來算. 這篇文章請見:
<對比式選舉民調的錯誤解讀>
http://blog.udn.com/nilnimest/24057891
然而, 這裡還有一個附帶問題, 那就是有效樣本數的問題. 這裡所謂「有效樣本數」
(effective sample size)並不是統計分析中除去遺漏值之後的「有效N」(valid N),
而是在調整受訪者代表性之後的「加權樣本數」(weighted sample size) 下面我會說明
紐時所報告的抽樣誤差其實是根據「有效樣本數」調整過的單一比例抽樣誤差. 要算兩個
比例差距的抽樣誤差也必須用 「有效樣本數」來算.
一般民調樣本因為不是使用「簡單隨機抽樣」(simple random sampling)得到的結果,
母體中每人被抽到的機率並不一致. 因此, 樣本中某些族群的代表性並不能反映它們在
母體中的代表性. 為了讓各族群在樣本中的代表性和母體一致, 樣本必須經過加權處理.
這個加權步驟所使用的權重通常會存為資料中的一個變數, 其數值代表樣本中每個受訪者
所代表族群的權重.
例如在TEDS2020合併檔中便有這樣的一個權值變數w, 它的值介於0.295至3.474之間, 其
變異範圍反映了各族群在原樣本中的代表性與它們在母體中的代表性差異的程度.
由於加權的關係, 原來的樣本數已不能有效反映加權後的樣本數, 因此有所謂「有效樣本
數」(effective sample size)的概念, 有效樣本數的計算方式因加權方式而異, 一個最
簡單的算法是
ESS = (所有受訪者w之和的平方)/(所有受訪者w之平方和)
加權後的有效樣本數會比原樣本數小. 以TEDS2020原樣本數N=2,847為例, ESS=2,359,
也就是加權後的有效樣本數只有原樣本數的83%.
我們如果以加權後的有效樣本數來計算抽樣誤差, 則調整後的抽樣誤差會比根據原樣本數
算出的抽樣誤差還大. 這個差異, 可以說是因為實際樣本之抽樣設計與簡單隨機抽樣不同
而造成的, 我們定義「設計效應」(design effect)為:
DE = (加權後抽樣誤差/簡單隨機抽樣誤差)^2
由於抽樣誤差之平方與樣本數成反比, 上式也可導出
DE = 原樣本數/加權後之有效樣本數
再以TEDS2020為例, DE=1/0.83=1.21. 換算可以得到加權後的抽樣誤差是原抽樣誤差的
1.1倍.
紐約時報報告其於10/27-10/31在佛羅里達州民調可能選民數為N=1,451, 抽樣誤差為3.2%
這抽樣誤差是加權後抽樣誤差. 這是因為以標準的公式來算簡單隨機抽樣的抽樣誤差
(margin of error)應為
MOE = 1.96(π(1-π)/N)^(1/2)
其中π為母體比例; 在無其他資訊時, 通常會假設為0.5. 若以此公式來算, 則佛州民調
的抽樣誤差應為2.6%. 紐時所報告的抽樣誤差要高出很多, 應為加權後的抽樣誤差 如果
真如此, 我們可以根據加權前後的抽樣誤差來算佛州民調的設計效應:
DE = (0.032/0.026)^2= 1.51
有了設計效應的估計值, 我們就可以算有效樣本數了: 它只有ESS = 961
佛州民調結果拜登領先川普47-44. 我們現在可以用有效樣本數來算拜登領先差距的抽樣
誤差了. 我在網上有公開的試算表歡迎下載使用:
https://tinyurl.com/y4evsyl5
計算的結果是抽樣誤差高達6.03%: 拜登領先的差距其實還在誤差範圍之內.
佛州的勝負還在未定之天!
注意: 如果以原樣本數N=1,451代入試算表, 則抽樣誤差為4.91%, 比6.03%要小得多.
後記:
台灣的媒體在報導對比式民調的結果時, 似乎都還在報告以「簡單隨機抽樣」為假設的
單一比例抽樣誤差, 而未考慮設計效應. 這個抽樣誤差本來就太小, 再加上對比所產生
的問題, 可以說是雙重的誤導! 美國媒體的民調報導近年來有進步. 除了紐時一向就報
告根據設計效應調整過的抽樣誤差以外, 有些民調機構也報告了對比式民調抽樣誤差的
正確解讀方式. 有興趣的讀者可以參考Pew Research Center這篇解釋抽樣誤差的文章:
“5 Key Things to Know about the Margin of Error in Election Polls”
https://tinyurl.com/y4kmkjf4
4.附註、心得、想法︰
幫覺得TL;DR的人做個簡單摘要
紐時公布的佛州民調，抽1451人，抽樣誤差3.2%
這裡的抽樣人數是受訪人數，抽樣誤差則是加權後的誤差值
以該誤差值回算加權下的有效樣本數為961
另外根據文中連結的<對比式選舉民調的錯誤解讀>
解讀對比式民調，兩人支持度差距要達統計顯著性，
不能只看兩人支持度差距是否大於抽樣誤差
因為對比甲乙兩人的支持率
甲的支持率p，乙的支持率1-p，兩人差距是 p - (1-p) = 2p-1
2p-1的誤差，是單一p抽樣誤差的兩倍
另外還要考慮調查的不完全表態
95%信心水準下的支持率差異的抽樣誤差為
https://i.imgur.com/4YqQDJ2.png
兩人支持率差值要大於上述公式算出的誤差
才能稱得上是具有統計顯著性
綜上，紐時這份民調，川拜兩人支持率的差距在統計上是不顯著的