大家討論了很多高深的數學,或是頂會。
實際上,我真的很懷疑有多少人真的在業界上搞 AI。
只論台灣吧。首先市場上純研發,需要數學或考績強制發論文的職缺,占不到5%。而且這兩年職缺越來越少。更何況頂會… 台灣業界一年也沒看多少人在發頂會,幾乎沒有吧。就連國際研討會,比例來說也沒看到多少人在發,常常看論文的我都沒搜到台灣業界發的論與。板上動不動就需要數學與改模型架構,真的感受差很大,可能是我看得不夠多?
好啦,如果你在國外大公司當我錯了。的確很多人搞數學,但是人數比例還是超級少。
再來談產品。首先論產品的效果,資料面就決定結果論了。實際工作時,有大部份的時間在處理資料。然後還是要花很多時間做特徵工程。當然特徵工程你可以搞很深的數學啦,但是可能需求方,多給你一個有用的資料特徵,都比搞數學重要。
特徵工程需要用到數學或頂會能力嗎?
前面說可利用數學方法,或各種模型做特徵工程或過濾雜訊,這要看任務。至少我比較熟的語音訊號,NLP,搜尋,推薦排序,跟本就沒有好方法。沒有一套數學方法論,特徵可以有什麼突飛猛進的提升,沒見過。喔有人說預訓練,就能突飛猛進了啊,問題是,你用預訓練需要什麼數學?
你要重新設計一套預訓練模型,即使自己設計,也很難別人好阿。搞數學設計演算法要用在哪? 實際上真的沒機會發揮居多吧。說數學有用的可以回文討論一下嗎。如果是說常用數學,都是寫在 pptx 上用來震撼長官用,我還稍微相信。
非深度學習,各種企業的結構化或數字型資料,也不需要設計什麼數學來做特徵工程吧。常見的不平衡標籤的狀況,用數學重新去設計 loss function, 效果提升真的有限,而且改來改去可能還不如用別人設計好的方法。改來改去不如前面搭一層規則引擎過濾修改 bad case結果。
資料與特徵搞得差不多了,來談談模型吧。
正常有經驗的人,怎麼會馬上跳到複雜的模型,或自己設計。拜託,恨不得模型越簡單越好嗎。能達到產品規格的模型就好,模型用越簡單越好,計算成本才能壓低,性能才會好。
這時有人會跳出來說了:我們會為了提升AI能力,用複雜的模型,然後蒸餾,這時需要數學了吧? 沒吧,機會有夠少的。現成open source的蒸餾模型,scaling,都是經過研發與實驗的,你自己設計跟本很難效果贏別人。當那些世界名校學數學的人,是塑膠做的嗎?自己隨便搞就能贏人?
AI又不只 監督學習, RL,圖學習,各種複雜AI,總會用到數學了吧?問題是有多少人可以搞數學搞到比現成方法好? 要花多少成本呢?
再來跳針一下,面試推導總該需要數學了吧。喔對,大廠工作基本工。問題是,你面完你就忘得差不多了。下次找工作再複習。而且台灣真的多數公司不考。
不是說數學不重要,或 學AI不需要學數學,而是單純找個混口飯吃的工作,還真的不用特別去學數學。只是要有 AI工作,沒頂會,沒kaggle也一堆工作。這才是現況吧。