[問題]pandas memory error asd3456722 PTT批踢踢實業坊

[問題]pandas memory error

作者: asd3456722 (sofia) 2016-07-15 15:47:36

由於小弟在處理一份相當大的data
但是在用pandas讀取時就出現memory error
想請問高手怎麼解決
感恩～～～

作者: kenduest (小州) 2016-07-15 15:54:00

資料多大？系統記憶體多少？虛擬記憶體有多少？可不可以批次分量處理？

作者: asd3456722 (sofia) 2016-07-15 16:11:00

data 1.1G csv.filehttp://i.imgur.com/XHjgMtd.jpg

作者: gozule (好冷啊~~) 2016-07-15 17:38:00

試著用iterator分批處理

作者: kevinkung (Jaguar) 2016-07-17 00:21:00

應該是你處理的方式有我試過用pandas處理過大量的資料沒發生memory error處理資料的方式有問題

繼續閱讀

[問題] Leetcode 88. Merge Sorted Arrayxxx30165 Re: [資訊] pyclub! Taipei.py 每月 sprint 活動keitheis [問題]以subprocess呼叫nosetests執行測試的問題jonney211 [問題] 新手解leetcode遇到performance問題darkhcv [問題] raspberry pi 溫濕度定時器daniel098962 [問題] py2exe 執行後只有顯示running py2exePHONm [問題] Django admin的問題toswitch [問題] 請問有辦法在網頁內匯入python模組嗎？andrew5106 [問題] 對ArduinoUNO的serial寫入資料benbo [問題] Udacity - cs101(初學者)gonjay

Contact Us: admin [ a t ] ucptt.com