[問題] 有關讀入文件檔案時記憶體的問題 doasgloria PTT批踢踢實業坊

[問題] 有關讀入文件檔案時記憶體的問題

作者: doasgloria (青柳立夏) 2017-10-16 22:33:30

最近常用JUPYTER讀取大量文件檔
必須讀取出1GB的TXT檔案
再作處理後就會變得更大
目前光是暫時只開400多MB出來作業
從工作管理員可以看到記憶體使用率都過90%逼近100%
然後電腦所有動作就變得超級頓+卡卡 >"<
我的記憶體是一條8G ,電腦是64位元win 10
因為對硬體相關一竅不通
想問一下
如果我把記憶體全插滿比如4條8G甚至4條16G
會讓我讀取檔案比較順利重點是電腦不要一直頓嗎[email protected]@
因為記憶體一買下去就是好幾千塊想問問是否可以從這邊獲得改善 XD
非常感謝！！

作者: R119 (= =) 2017-10-17 00:15:00

應該可以

作者: goldflower (金色小黃花) 2017-10-17 02:20:00

處理到下一步的時候上一部的資料就能del掉

作者: TitanEric (泰坦) 2017-10-17 11:26:00

個人覺得1g以上已經算超大資料了可能要搭配hadoop會比較好處理

作者: kenduest (小州) 2017-10-17 12:51:00

主要要看你要做什麼處理，很多時候不需要資料一口氣都全部放在記憶體內

繼續閱讀

[問題] 請問關於Dataframe中判別字元是否存在?jason91818 [問題] BeautifulSoup 使用問題gigigigi [問題] windows python 3.5以後改變安裝目錄的優ggirls [問題]Anaconda安裝問題crisp0617 [問題] 排列組合問題或邏輯aegisqoo Re: [問題] 請問一個數學問題Frobenius [閒聊] DataCamp 徵求會員dogi2007 [問題] 請問一個數學問題Chatterly [問題] selenium 如何告訴PTT我已滿18yshihyu [問題] socket 固定 ip 連內部(浮動) ipf496328mm