PTT
Submit
Submit
選擇語言
正體中文
简体中文
PTT
Python
[問題] python讀取大容量csv檔方法
作者:
reallife
(ray)
2020-03-29 18:55:41
最近在使用python處理一個大容量(幾GB)的csv檔,但卻會顯示記憶體不足的錯誤,我google一下皆是推從 pd.read_csv 加 chunksize option的方法。
想知道還有無其他讀取大容量csv檔的方法?
作者:
TuCH
(謬客)
2020-03-29 19:48:00
加大ram
作者:
chuchutaro
(啾啾太郎)
2020-03-29 20:01:00
用 readline() 一行一行parsing
作者:
swordgun
(月光)
2020-03-29 22:46:00
試試看這篇文章的?如何用Python在笔记本上分析100GB数据? - InfoQ
https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D?fb
clid=IwAR18R_esGZv0QgQbXwDO_lJe-qPowJxoV0kznzWfTWbnOeYYsFISlqVNgh4
作者: ichengshen (IC)
2020-03-29 23:36:00
上面這段網址,可以縮減為
https://www.infoq.cn/article/JAl9mSCpyS8vX80TYc4D
作者:
yiche
(你若安好,便是晴天)
2020-03-30 01:58:00
hdf5
作者:
Starcraft2
(來自星海的你)
2020-03-30 15:57:00
上面講的Vaex好酷 學習了...
https://github.com/vaexio/vaex
作者: ariainaqua (把渚送上本壘吧!)
2020-03-31 15:33:00
Vaex 的 API 讓介接呈現資料變得挺方便!感謝分享 :-)
繼續閱讀
[問題] 深度學習神經網路
OrzHsien
[問題] django - csrf驗證失敗
wahahahaaa
[問題] Pandas 讀取問題
ttvic
[問題] Python 與文書軟體搭配
soap20021013
[問題] Numpy 要考慮overflow嗎?
cs410567cs
[問題] opencv cv2.resize
s1010257
[問題] 要如何建構程式遞迴的概念
Kuba4ma
[問題] 接觸Django後的前端學習請益
qazwsx99876
[問題] gmap轉html問題
sutekidesune
[問題] 想請問Keras官網example的疑問
zax5566x2
Links
booklink
Contact Us: admin [ a t ] ucptt.com