"為什麼現在新的深度學習模型都很少割出test dataset?"
在進行實驗的時候,
發現近三年來的研究工作,
很多都沒有切割test dataset,
論文裡也沒有列出test dataset的實驗結果.
反而都直接以validation dataset包含test dataset.
比例也從以往常用 train:val:test = 8:1:1 (7:2:1)
變成 train:val = 8:2
很多學校裡的指導教授還是要求要使用8:1:1這個鐵比例.
為什麼現在新的深度學習模型都很少割出test dataset?
這些新模型其實只是舉手之勞就可以做這到件事,
而且按照指導教授的要求,
論文裡要是沒有test dataset的實驗結果,
應該是不能被刊登.
不得其解...
大大們可以詳細說明解釋這個原因嗎?
還有,
想知道指導教授的堅持是對的嗎?
先謝謝各位深度學習的高手~

請問可以條列出幾篇有這種情況的ICCV CVPR論文嗎？

一般的benchmark應該是光data就有分train/test吧 哪有必要再把train的一部分拿去切test

有DataScience板

你要相信投上的paper 還是相信你教授的話

本質上並沒有 test ，都看到的ground truth，大家一起調分數就好啦，除非像 kaggle，有一個公正方把 test 藏起來不給看，大家不要 overfit valid 才有意義

除非不曉得test set的label 不然有沒有切是一樣的

哪些 paper 沒有切 test set 啊好奇

你可以舉例你看的文章嗎？因為通常都會有公定的benchmark來比較分數，不太有可能會有你說的只report validation set的成績

有小型dataset 一載下來就切 train 和test 而已 說到底validation 和test 都是不被訓練過的資料 本質根本一樣用誰去測哪有什麼差並不是paper 不切 而是dataset 本身就沒切三份https://github.com/huangkuns/wireframe我這篇CVPR paper的室內資料集就是切train和test而已

validation的評估指標參與模型選擇 跟test是有差的

sooge是國人? 該篇作者都是大陸人耶

sooge 那篇是沒切 val 但原po說的是沒切test吧