怎麼說呢，目前小資玩LLM訓練還是很困難啦
NV專業卡價格超級貴又難買，只能買消費級遊戲卡來擋
雖然有雲端服務商算力平台，但說真的
短租不如長租~~長租不如買斷(沒預算就什麼都沒法用)
而且平台不只租GPU，連VM都得一起建在上面才能用
像GCP台灣節點能租到的也就V100，這一張才16G而已
https://cloud.google.com/compute/gpus-pricing
VM/GPU/Storge/Network分開計價，有預算再考慮玩吧
如果只是要玩推理，速度不快有夠大的VRAM也行
但是看一下老黃卡有大VRAM的都不好買，所以嘛
某個用UMA架構能把RAM當VRAM的品牌電腦很有優勢
配上exo框架+雷電網橋組集群打怪也是很不錯
實務上來說國內企業對資料上雲有疑慮，就算可上也要機房落地
自然不考慮國外GPU平台，大概也就Google跟Azure台灣有機房的
而中小企業想跟上AI風潮但預算更少，組90系列當算力也很常聽到
因此本地端跑LLM還是有必要性，玩起來限制也較少
至少先從使用LLM的成本降低才來思考微調訓練LLM的需求...