[問題] 記憶體計算

作者: clansoda (小笨)   2016-12-16 14:45:15
Hi 各位好 我目前想要擴增一個data.frame做machine learning
我想要弄進兩千個feature因此想要知道到底會吃多少記憶體
我知道object.size可以知道當前的物件吃多少記憶體
假如這個物件還沒弄出來 只在我腦裡面跑
有辦法透過row的數量跟col數量來推估記憶體使用量嗎
我怕寫一寫後來沒記憶體可以跑很尷尬
作者: HumuHumu (呼姆呼姆)   2016-12-16 15:43:00
Memory required=no. of column * no. of row * 8 bytes/numeric
作者: andrew43 (討厭有好心推文後刪文者)   2016-12-16 15:58:00
可以,但也記得估運算過程需要的量。
作者: clansoda (小笨)   2016-12-16 15:59:00
我有google到這個 那英文跟中文怎麼計算我只是用一個直式的data spread as橫式的data這樣過程會多耗記憶體嗎 會用data.table 應該不會copy吧
作者: clickhere (It's time to go home.)   2016-12-16 22:46:00
有個package, memuse, 可以預估.
作者: Wush978 (拒看低質媒體)   2016-12-17 15:17:00
你要看物件型態integer 4 byte, numeric 8 byte, logical 應該是 4?factor 主要是 4byte + levels 的量character 的話,一個字符1 byte, 你要用nchar估計每個element的平均長度後做計算最後估計你會用到多少個integer, numeric, logical, ...這樣就可以得到大致上的記憶體用量

Links booklink

Contact Us: admin [ a t ] ucptt.com