大家好
是這樣的
我在做深度學習相關領域的論文
架構差不多好了 但是跑實驗要很久
每做一個實驗就要花上大量的時間
所以我需要固定random seed 跑很多次（Ex.3-5次）取平均嗎
我看同領域其他論文提供的code
有些人會取五次 也有人只跑一次
問學長姐也沒什麼定論
所以請問這部分有什麼慣例或是規定嗎

顯卡買起來就沒問題惹

K-Fold validation 瞭解一下

如果實驗上換seed就落差很大才要吧 跟kfold應該沒關係

看架構，但是我建議你取最好的那次xD但是我沒有做過 random seed 差很多的架構，頂多統計值落差千分之五左右

我每次審文章 沒做K-fold就發回重審 建議固定隨機種子以8:2比例跑5次flod取平均 除非你能說服我為什麼你不用做k-flod 但目前沒有學生說服成功不可以 test set 或 Val set 不可加入訓練過程

樓上認真！？kfold不就是把train set跟valid set混一起後分成k份然後每次拿一份來做validation 嗎？而且random seed沒什麼好取平均的吧，不就是找到最好的seed然後用它就好

回樓上 如果把val混在train裡面一起練 那不管怎樣Val的acc 都會是好的 那就沒有驗證的必要Val要有意義就是不參與訓練過程原po說的8:2 變成 10:2 訓練 這樣的方式是不恰當的 val不能參與訓練過程再來 如果有做的完整交叉驗證 隨機種子的確不重要希望我的回答對你來說夠認真

但我之前學到的以及網路查的到的k-fold都是k個部分輪流當valid set來跑，而且原本valid set就是手動把labeled data分一些出來不是嘛？如果不把valid set混進去切那跑的時候不就有兩個valid set (train data的1/k跟原本的valid set)，這樣的意義是什麼？https://i.imgur.com/wdBmdGa.png附個網路找到圖，還是你說的是圖中的testing set

我理解你會誤會我的原因了 我是指是在一開始不將test集固定 所有資料集8:2分 2=test或Val 但不論如何 Val或test都不能被訓練 你的解釋是對的 但你可能誤解我的意思 導致你覺得我是錯的回到原po的案例 用多種RS取平均沒有意義 因為無法證明所有RS有使test集遍歷資料集所以我提出不要用多個RS 而是使用fold 8:2 得到五次平均結果 會比多個RS有意義接著原po提出因為資料集小 切8:2 可能會讓原本資料集更小 但我很懷疑 因為小資料集跟原po說的大量時間是互斥的不管如何 我就直接假設他的網路非常複雜回到你提出的圖 我認為更嚴謹的處理方式依然是不將TEST固定 並分train:Val:test 然後跑fold 這邊Val可以用於earlystop 但依然不能成為訓練集TEST會被固定的場景大概就數據競賽或kaggle這樣說吧 因為你開頭說是論文 所以我說明論文該怎麼設計實驗 如果是競賽設計好的train val test 當然以大賽規定為主

你跑5fold出來就5個model拿去測test一樣5筆沒意義啊切了train val test情況，標準做法是挑val高的測test要發paper的話直接無腦測test挑最高的也大有人在

答案是沒有 只要足以說明你提出的方法就好

你要用5fold挑weight去測那你test result就要用範圍表示跟要對比的文獻採用一樣做法就可以了但現在實paper跑kfold的人很少了，因為耗時又不能偷雞

所以其實要發paper 不做k fold可以 不要被我審到就好XD總之沒有正確答案 只有更嚴謹的做法而已

多看幾篇頂級會議的做法吧

感謝上面討論

train valid test 三個彼此要獨立

選最好的那次

論文的話選最好的那次 記得設seed到時發表才可符合reproducibility