你有聽說過文字接龍吧?
那你想過電腦是怎麼跟你玩文字接龍的嗎? chatgpt就是一種經過練習的文字接龍。
embedding 字詞嵌入 這個東西 我們先說說他在做啥
但是略過 演算法的過程。
假設你有一句話
"我是專業的五樓 " 模型如何知道你在想什麼呢?
他第一件事情，就是先把你說的話轉成它可以理解的資訊
所以他會透過經由 transfermer 那篇有名論文的機制 這個講起來很複雜
但是過程其實就是 類似人腦識別字詞，記住關聯這樣的過程
經過演算之後它會根據 演算法關注的不同點
回傳給你整組 array 結構的 浮點數，詞向量
這個向量就是他根據演算法計算完以後，模型分析完
它跟模型已經知道的一些標註的字詞表的關係， 這個出來的向量如何被決定是
模型一次次訓練的結果，當然你也有參數，跟餵資料實標籤的時機可以調整。
實際上，他在做的事情，假設上面這句話的把它分為四個維度去處理好了
可是從情緒推估，可能是從模型被餵養的資料的概率去決定說等等可能有什麼
就這樣一種維度，去負責一種推論演算，就會產生
"我是專業的五樓":[0.4,0.8,0.7,0.8]這樣的資料，嵌入到這邊就差不多了。
下一步就是進行聯想，跟比對
上面做完以後模型會對這串資料裡面的數值
去做向量計算，點積，或是用餘弦定理去算說這個多維座標點跟啥最接近
就是模型覺得這句話，相近，相似，相關的句子，當然實際情況隨便一個可能都有
一千多個甚至更多維度，模型裡面的參數則更多 70億都是一個很普通的數字。
你可以把模型想像一台大機器，有七十億以上控制閥，或是一個大函式
有七十多億參數，如何互相影響基本上未知，然後她會根據上面那個過程去回應你這樣。
簡單來說就是把人類文字翻譯成模型可以看懂的過程。