多模態知識圖譜(MMKG)儲存了包含豐富多模態描述資訊結構化世界知識。
為了克服其固有的不完整性,多模態知識圖譜補全(MMKGC)旨在利用三元組的結構資訊和
實體的多模態訊息,從給定的多模態知識圖譜中發現未觀察到的知識。
現有的 MMKGC 方法通常使用預先訓練好的模型來提取多模態特徵,並採用融合模組將多模
態特徵與三元組預測結合。然而,這往往導致對多模態資料的粗略處理,忽略了細微、精
細的語義細節及其相互作用。
為了解決這一不足,我們引入了一個新穎的框架 MyGO ,用於處理、融合和增強
MMKG 的細粒度模態資訊。MyGO 將多模態原始資料標記為細粒度的離散標記,並
透過跨模態實體編碼器學習實體表徵。為了進一步增強多模態表徵,MyGO 採用了
細粒度對比學習技術,以突顯實體表徵的特殊性。
arxiv : https://arxiv.org/abs/2402.05391
github : https://github.com/zjukg/MyGO
我是沒想到連這個也會GO
然後提醒一下 這論文是認真做的 不是搞耍 不要去人家的issues亂
https://i.imgur.com/ech1Oji.png