Re: [討論] 跑實驗數據要跑多次取平均嗎

作者: clothg34569 (提拉米蘇冰淇淋)   2022-09-19 21:08:12
路過看到這篇 自己剛好有參與過幾篇ML相關PAPER 來隨手回一下
想到啥就打啥可能有點亂 另外有錯也麻煩推文講一下我再修改
以下只講正規作法 先不討論一些偷雞做法
首先 實驗的目的就是為了證明自己的架構/做法比別人更好
那實驗重點就是要用嚴謹的方式來證明這一點
以下先把資料來源分成三種
1. 公開Dataset
2. 自己產生Dataset (假資料)
3. 自己收集的Dataset (真實資料)
然後看文中似乎沒有很熟所以這邊稍微講一次
Training Dataset : 丟下去訓練的Dataset
Validation Dataset : 訓練"時"驗證的Dataset
Testing Dataset : 訓練"完"驗證Model成效的Dataset
其中Train Val選擇上都比較自由
而Testing則是要固定 才能在不同Model間有統一比較標準
再來"通常"來說 Train Val Testing 應該彼此獨立
不該有重疊資料
但某些做法Train Val可以在特殊情況下重疊 例如要觀察某個Data是否無法學習之類的
而Test則是完全不該重疊
Test有重疊基本上就等於作弊了
作者: qazStarStar (我不是派大星)   2022-09-19 21:37:00
作者: whatzup1124 (我是幹嘛)   2022-09-19 22:25:00
作者: zxp9505007 (阿C)   2022-09-20 00:38:00
寫的很好 建議學生不要偷雞 務實嚴謹 現在抓抄襲 難保以後不會抓無法重現
作者: devilkool (對貓毛過敏的貓控)   2022-09-20 02:07:00
作者: as81349507 (JohnDoe)   2022-09-20 02:24:00
所以存下每個epoch看testing最好是可以的嗎?
作者: zxp9505007 (阿C)   2022-09-20 03:10:00
回樓上 可以 但更嚴謹的做法是 存最好的Val去測test當作結果或是結合kflod還有你的作法也可以
作者: wyatt0819 (尤魚)   2022-09-20 04:24:00
作者: Qooriver570 (小河流)   2022-09-20 08:22:00
所以跑100個epoch,假設在第80個epoch 的Val accuracy是最高的,就把那次的model 跑Test嗎? 那假設發現test accuracy比Val爛很多怎麼辦?
作者: pk790127 (<>)   2022-09-20 09:58:00
作者: ChengFu (ccF43)   2022-09-20 10:13:00
作者: harryron9 (兩個世界)   2022-09-20 10:16:00
回樓上上上 這就是你要去研究的問題(老闆調
作者: akira30 (akira)   2022-09-20 10:50:00
作者: paul51110 (JustBecause)   2022-09-20 11:15:00
16F 真的XD
作者: NTUmaki (西木野真姬)   2022-09-21 03:38:00
頂會也一堆沒辦法reproduce 的source code,老實說他聲稱有做什麼實驗設置的也無從驗證
作者: tommytyc (75303301)   2022-09-21 15:53:00
確實,樓上說到重點= =
作者: Chang870829 (張)   2022-09-21 16:24:00
作者: chang1248w (彩棠)   2022-09-21 19:30:00
test的結果輸valid太多最大的可能就是valid洩漏進training datacross validation 算最可靠的指標了
作者: zqAI3yGOAT (小霸丸)   2022-09-22 00:47:00
作者: shuo19971203 (iphoneQQQQQQ)   2022-09-22 12:09:00
同意樓上上 基本上交叉驗證的話就很有參考性了
作者: tenpoinyuki (阿蒼)   2022-09-29 20:03:00

Links booklink

Contact Us: admin [ a t ] ucptt.com