[問題] 輸入資料筆數限制

作者: toptaster (icewine)   2015-03-18 23:10:31
不知道R有沒有輸入資料大小的限制?
我把一個存有約20萬筆的.csv檔用read.table匯入R後,
R內的資料筆數只有8萬多筆,整個匯入過程沒有出現錯誤訊息,
不知道是read.table的限制還是R本身限制?
有沒有辦法解決?
先謝謝各位解答。
作者: Wush978 (拒看低質媒體)   2015-03-19 00:19:00
你先檢查看看匯入的Table最後一列有沒有什麼問題看看20萬這個數字本身不會挑戰到R的極限,問題應該在別處
作者: celestialgod (天)   2015-03-19 00:23:00
如果是正規的csv,可以試試data.table的fread看看,比較能夠給一些錯誤訊息。
作者: toptaster (icewine)   2015-03-19 01:15:00
@Wush978 原資料Table跟匯入後的TABLE除了資料筆數不同外,一切正常。@celestialgod 用fread匯入資料筆數只多了約五千筆,離20萬還有一段距離。
作者: celestialgod (天)   2015-03-19 01:17:00
所以還是沒有錯誤訊息?有確定memory沒被用盡嗎??
作者: toptaster (icewine)   2015-03-19 02:42:00
只有對資料型態的警告訊息另fread好像不能用dec=","?沒有顯示記憶體方面問題。
作者: celestialgod (天)   2015-03-19 08:40:00
dec? fread通常是用sep2,詳細可以讀manual資料型態的錯誤是什麼錯誤? 有時候可能是關鍵。
作者: psinqoo (零度空間)   2015-03-19 08:57:00
先看資料型態是什麼? 我之前有遇到資料被塞入怪怪的東西我十萬筆資料一樣吃入 而且是windows~不過之前 也發生類似像原PO的事件 主要是被塞入特殊符號因為是網路抓的 所以每次讀到一半就中斷 或讀很久
作者: Edster (Edster)   2015-03-19 14:03:00
你有讀進來後, 再寫出來嗎?說不定是分隔符號的問題
作者: toptaster (icewine)   2015-03-19 17:54:00
還是找不出原因,後來只好改用readLines解決。

Links booklink

Contact Us: admin [ a t ] ucptt.com