[問題] 大型矩陣要匯入R

作者: kenfossil (阿捲)   2016-11-08 16:36:45
[軟體熟悉度]:
入門(學習約莫1年)
[問題敘述]:
有一筆(12968*11046)的大型矩陣(0和1組成),使用read.table一次讀進R時,出現記
憶體不夠問題!
若想要一次一列的讀取進來後,做分析完後,再讀取下一列資料,以這樣一列一列的逐步
分析!
先感謝各位版友!!
作者: andrew43 (討厭有好心推文後刪文者)   2016-11-08 17:24:00
read.table 可指定 nrows skip colClasses 可能有幫助。或是直接改用 data.table::fread() 看看
作者: kenfossil (阿捲)   2016-11-08 21:07:00
感謝andrew43大大! 有試出來了!!
作者: andrew43 (討厭有好心推文後刪文者)   2016-11-08 21:07:00
也可以試試 bigmemory::read.big.matrix()其實你的資料其實不算很大…電腦可用的記憶體是否不多了
作者: Wush978 (拒看低質媒體)   2016-11-09 01:41:00
正常應該吃1G記憶體,這可以算得
作者: f496328mm (為什麼會流淚)   2016-11-09 23:31:00
bigmemory套件不錯用 可以搜尋cywhale的文章目前我都用這個 處理3g左右的data

Links booklink

Contact Us: admin [ a t ] ucptt.com