[請益] 將影片內容提取出大意的技術

作者: qazsd ( )   2022-07-07 13:40:55
請教一下
有沒有哪門技術可以將影片內容提取出摘要
這似乎牽涉到影像辨識跟語音辨識等技術
深度學習及AI不知道是否有辦法達成?
因為常常看到YT上感興趣的影片但覺得從頭看到尾蠻花時間的
如果有這門技術(影片摘要)那就太好了
作者: FXW11314 (soukai)   2022-07-07 13:49:00
GPT3或許可以吧
作者: DrTech (竹科管理處網軍研發人員)   2022-07-07 13:52:00
這我以前做過,我們叫VCA,video content analysis。我們當時有賣雲端服務,或自己做。後來我自己有做直接從影片產生劇情摘要。我的做法是,分析聲音哪一段是劇情高潮,然後擷取聲音或字幕片段,成為精彩片段。最後再將精彩片段的語音或字幕,轉換成文字產生劇情大綱。應用上,可以透過文字搜到任意劇情片段。或產生精彩片段推薦。例如,當時我們可搜:某某明星的武打片,就直接給片段。這在中國的影音平台都有在做。這個在愛奇藝,以及我前公司,都是有上產品的功能。這技術最大的問題除了技術,重點是:非常耗費計算資源,所以大家都只做熱門院線片,而且真的是賠錢做居多。我也有寫過影評摘要的專利。直接輸入一個影片,與需要摘要的時間長度。產生:該長度的影片摘要。這樣就能,你搭飛機時,剩下30分鐘,可看完一部電影摘要。拉屎5分鐘,也可設定5分鐘看完一部電影摘要。
作者: mistel (Mistel)   2022-07-07 15:57:00
google video summarization應該就有很多paper了
作者: neo5277 (I am an agent of chaos)   2022-07-07 16:10:00
推推
作者: labbat (labbat)   2022-07-07 19:09:00
Google Auto Summary for Business
作者: knme (knem)   2022-07-07 23:33:00
作者: viper9709 (阿達)   2022-07-08 00:16:00
二樓好猛
作者: eva19452002 (^^)   2022-07-08 07:17:00
我想知道如果是默劇也能提取出摘要嗎?或是沒有配音的動物或旅遊影片,輸入關鍵字就會搜到我想看的片段,比如說輸入獅子狩獵或是海邊沙灘就跳該片段
作者: DrTech (竹科管理處網軍研發人員)   2022-07-08 10:06:00
樓上說的動物辨識,與場景 scene辨識的功能都有,,動物辨識是最好做的因為open soure都有基本的語料,各家的差別在於後續願意投入多少資源持續維護。特殊自訂的場景辨識scene也能做,成本問題而已。默劇,可做到基礎的搜尋,可以對辨識到的object 打上標籤。搜尋object出現的時間點。但是要抽摘要片段,最大的問題是,如何定義與評價什麼是"好"。光是人來看,每個人的看法就不一樣了。院線片是因為有音效,劇情,結尾通常比較精彩等強特徵,所以效果比較好。
作者: lance70176 (十三夜)   2022-07-08 13:31:00
2F 說的內容好酷...
作者: ntpuisbest (阿龍)   2022-07-09 14:53:00
感謝D大分享,謝謝
作者: qazsd ( )   2022-07-09 19:43:00
感謝D大分享,讚!
作者: stiiveo (S哥)   2022-07-23 01:02:00
感謝科技博士分享!

Links booklink

Contact Us: admin [ a t ] ucptt.com