[問題] 大型矩陣相乘會卡很久 HenryLiKing PTT批踢踢實業坊

[問題] 大型矩陣相乘會卡很久

作者: HenryLiKing (HenryLiKing) 2018-07-19 00:55:49

大家好
我最近練習做 term-document-matrix
用到的 library是 : pandas sklearn
我的矩陣說起來並不會很大
大概 (55534, 3117)
數字再 0~503 之間(min,max)
不過我在做相乘的時候 jupyter 都會卡很久就當掉了!!!
這行會卡很久
不知道問題會是出在哪裡呢?
np.matmul(A,B)
底下是我的code
這個問題卡好久了QQ
#

作者: bibo9901 (function(){})() 2018-07-19 00:58:00

55534x55534的float可能會超出記憶體了

作者: TuCH (謬客) 2018-07-19 01:15:00

你記憶體多少....看一下記憶體是不是爆炸了

作者: bibo9901 (function(){})() 2018-07-19 10:04:00

term-document frequency 一定是 sparse matrix啊直接拿X來乘不就好了嗎? 幹嘛轉array再轉dataframe?

繼續閱讀

[問題] 正規表達式的括號中括號分組問題LonelyDream [問題] 想問jupyter GPU記憶體釋放hatemath1991 [問題] dataframe applya822305877 [問題] blocking queue 實作sean72 [問題] dataframe，用條件刪除指定資料a822305877 [問題] openpyxl list寫入columnkennykobe [問題] 爬蟲，find()找重複的標籤iftrush [問題] 換書/買書aa087159 [問題] Python 時間序列滾動式預測webber1984 [問題] tensorflow 訓練中不明暫停ches728ter