[問題] 讀入較大的JSON檔

作者: cal0712 (冷靜 沉著 堅持)   2015-05-27 09:31:48
板上各為前輩好
小弟這邊有個JSON檔大概500MB左右 但一直無法順利讀入
import ijson
f = open('news_780796.json',mode='rb')
for url in ijson.items(f,'url'): #"url", "timestamp"
print(url)
會出現MemoryError
環境
Windows XP
Python 3.3
6GB RAM
想請問板上高手
1.如果完全不知道內部格式 想要只讀入前10筆資料怎麼個寫法呢?
2.如果想要全部讀入來處理的話 應該怎麼寫呢?
3.如果要處理這樣的檔案 系統的配置建議應該是怎麼樣呢?
感謝協助
作者: LiloHuang (十年一刻)   2015-05-27 11:02:00
作業系統要用 64bit 版本,Python 也要是 64bit 版本
作者: sean50301 ( (づ′・ω・)づ)   2015-05-27 11:24:00
for url in ijson.items(f,'url')[:10]? 純猜測沒試過…
作者: ENEP (Moo)   2015-05-27 12:04:00
作者: cal0712 (冷靜 沉著 堅持)   2015-06-01 01:09:00
瞭解 感謝協助

Links booklink

Contact Us: admin [ a t ] ucptt.com