※ 引述《AzureDay (麥)》之銘言：
: 想詢問的點是在於
: 這樣做實驗是否有問題?
: 如果image、batch size的數量不同，
: 初始參數也要跟著調整這樣真的合理嗎?
我離這領域有點遠了，如果答錯還請見諒
但求不要浪費到你寶貴的訓練時間
只能以個人看到的事情來論
之前我在公司主要是負責實作，理論我懂
但跑實驗、參數往哪邊調、模型多大多寬，那其他同事比我專精很多
我自己的經驗是，跑不同的 data set，參數是要跟著變沒錯
不然不收斂是很常發生的事情，收斂了以後 loss 太高，也要慢慢磨到低
針對一個新的 data set，要花一點時間去跟他玩
你接下來想問的可能是「那有沒有比較快找到正確參數的方法？」
有，經驗，兩種：
一、自己的經驗
二、別人的經驗
（我好像在講廢話 XD）
第一種就是你自己訓練多了，久了你會有 sense，哪類 data 參數在哪邊
第二種比較推薦：paper，多看 paper，多看很多 paper，很多很多很多 paper
根據我對同事的觀察，他們 paper 看多了，就會吸收別人的經驗
知道參數往哪邊調會好，對哪些資料怎麼調比較好
而且綜合好幾篇 paper 的手法合在一起
training 速度還可以比別人快兩倍
你吸收這些經驗變成你的，你就值錢了 ＠＠
如果實作也強，能架構大型平行處理，那身價飛天了
那有沒有什麼 paper 專門在教怎麼調參數的？
Restricted Boltzmann Machine 有，專門教你怎麼 train
https://www.cs.toronto.edu/~hinton/absps/guideTR.pdf
但 Deep Learning 我不知道，可能有，但我不知道
這就是我 paper 唸不夠 XD 所以我還沒飛天
因為這個領域進步太快了，三個月翻一輪，我知道的可能都已經過時
如果我上面有講錯的，還請前輩們指正