Re: [問卦] 為什麼現在新的深度學習模型都很少割

作者: sxy67230 (charlesgg)   2021-08-14 17:01:56
※ 引述《ruthertw (督人無數就是我)》之銘言:
: "為什麼現在新的深度學習模型都很少割出test dataset?"
: 在進行實驗的時候,
: 發現近三年來的研究工作,
: 很多都沒有切割test dataset,
: 論文裡也沒有列出test dataset的實驗結果.
: 反而都直接以validation dataset包含test dataset.
: 比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
: 變成 train:val = 8:2
: 很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
: 為什麼現在新的深度學習模型都很少割出test dataset?
: 這些新模型其實只是舉手之勞就可以做這到件事,
: 而且按照指導教授的要求,
: 論文裡要是沒有test dataset的實驗結果,
: 應該是不能被刊登.
: 不得其解...
: 大大們可以詳細說明解釋這個原因嗎?
: 還有,
: 想知道指導教授的堅持是對的嗎?
: 以及有沒有上述眾多問題的八卦?
: 先謝謝各位深度學習的高手~
看到我以為我跑錯版了,嚇死寶寶,
阿肥我來回答一下啦。
傳統訓練集就是拿來擬合模型參數的,驗證集是拿來做超參估計,然後鐵定要是無偏的樣
本,跟訓練集彼此獨立的。
然後測試集就是最後評估整體模型的,也是要無偏獨立上面兩種。
還有一種方法是k-fold,就是把原始訓練集切成多個子集,再進一步把其中一個子集做驗
證,其他子集就訓練,輪k次,很多文獻就乾脆把原本的測試集直接寫是驗證集,就變成8
0:20。
然後最後有一點就是其實現在很多模型尤其是OPEN AI那些超巨量模型你也很難做超參估
計跟模型選擇,訓練一次就耗費幾億的,乾脆就一樣分80:20訓練跟驗證,反正只要確認2
0%是無偏獨立樣本就好了。

Links booklink

Contact Us: admin [ a t ] ucptt.com