[討論] 聊聊JKW測試背後的問題

作者: square4 (卡哇伊)   2022-05-30 17:12:58
1. 影片連結:https://b23.tv/OHs2LYC
2. 影片標題:芯片功率到底要怎麽測?為什麽跑分要用幾何平均?什麽樣的能效分析有代
表性?聊聊能效分析背後的知識
3. 影片來源(媒體/作者):LuvLetter(資深知乎果粉)
4. 影片內容:
作者認為GB5不能直接還原日常使用場景,更不用說實際UI渲染並不是簡簡單單的純粹單核
渲染或者小核/大核核心簇渲染,而且JKW完全沒有把GB5吃透,GB5測試本身也有很多不適合
於計算能效測試的地方。
GB5的加密、整數和浮點三大塊是有加權的算術平均,分別占5%、65%、30%,整數、浮點的
分數,由其中每個項目的幾何平均分得出,而每個項目的運行速率(Rate),在運行多次之後
取平均,對比i3-8100這個1000基準分點,得出這一項的分數。
https://i.imgur.com/z41voZ4.jpg
在JKW去年A15影片里,其Total-AVG-P這一項是直接進行算數平均,違背GB總分加權和幾何
複合的規則,由於這三塊場景能耗不同,權重佔比還倒掛, 這就帶來了系統誤差,作者分
析誤差疊加能到7%,7%夠安卓SOC一代差距了。
https://i.imgur.com/8ZGJ3N4.jpg
[註] 系統誤差:在相同的觀測條件下,系統誤差通常會表現出一定的規律性。系統誤差可
由嚴格標準的操作來控制,也可通過校正儀器來減小誤差。
如果用了幾何平均, 就不能再使用算數平均裡的加減分配/結合律,其功率如果繼續帶入粗
糙的「主機板功率」, 就會進一步引入系統誤差,外加剛才GB加權總分的問題,可謂錯上
加錯。
https://i.imgur.com/lvFrNFQ.jpg
如今的Apple Silicon Mac/iPhone用的都是PMIC供電. 所謂主機板功耗還要經過各種DC-DC/
LDO才會到達指定的IP核區域,底層的思路就是讓PMIC去進行降壓,減少在半導體上過高電
壓帶來的非線性損失。
作者認為應該用GFXBench的VK/Metal,因為不管是Mac,還是新的Android,通過Angle/Molt
enGL之類的API轉換成GL,其實執行底層已經是VK/Metal,如果跑GL其實就在額外考驗CPU。
原來A14峰值功耗6.72W,算起來能耗比分高過A15,到了最近這期視頻,A14就變成8W多,前
後多出1.5W。
https://i.imgur.com/vWGauGk.jpg
5. 心得/評論:有網友認為JKW做了與他們能力不服的影片選題,而粉絲不具備批判性思維
能力,一切的背後是泛娛樂化至上。亦有網友認為手機這邊還是得老老實實測每台不同機器
的整機功耗,單純測SOC單核功耗水太深。
https://i.imgur.com/XJqKCJk.jpg
作者: JuiFu617 (小夫)   2022-05-30 17:17:00
結果自己沒有數據?
作者: a80530 (風斬)   2022-05-30 18:11:00
其實本身測試本來就會有誤差,但不能否認極客灣測試結果至少他結論,互相比較方面都算準確,A710、A510翻車沒人想到
作者: emptie ([ ])   2022-05-30 18:28:00
翻車結論正確不代表推論過程沒瑕疵我覺得這種實事求是的態度是對的
作者: JuiFu617 (小夫)   2022-05-30 18:34:00
不過如果改掉瑕疵答案會不一樣嗎?
作者: Uncontinue (骯康梯紐)   2022-05-30 18:44:00
類似程序正義吧 之前做研究法也是 方法錯就要全部重來
作者: sunandrew321 (sunandrew321)   2022-05-30 19:27:00
個人覺得瑕不掩瑜啊,以科普節目來說已經夠了,又不是要發表期刊論文
作者: ivon852 (ASUS)   2022-05-30 21:07:00
有嚴謹質疑是好事
作者: lukesfather (luke im ur father)   2022-05-31 00:42:00
完全同意質疑方向
作者: a80530 (風斬)   2022-05-31 02:20:00
我覺得要質疑前,自己要先拿出自己的一套來質疑不然每個人測試方式、條件本來就不同,不是疑問丟了就跑
作者: henryyeh5566 (費雯大濕)   2022-05-31 13:33:00
要質疑別人最有效的方法就是拿出一套更有說服力的數據來打連,而不是針對人家的方法指手畫腳,你當自己是口委嗎?
作者: yurian   2022-06-02 11:58:00
他是測試 一定有很多漏洞 但是做評測就這樣 他又不是發布什麼標準他是靠影片賺錢 又不是靠幫人定義標準賺錢今天如果上法院或是發表在期刊這樣不是不行的 不過他是發在bili和yt上lol

Links booklink

Contact Us: admin [ a t ] ucptt.com