[問題] 完全新手問題有關csv產出 meichiang PTT批踢踢實業坊

[問題] 完全新手問題有關csv產出

作者: meichiang (美江) 2018-09-22 01:18:28

手邊有一大筆資料 1千多萬的資料
第一欄位為商品代碼之後欄位為這商品的其
他資料總共有一千多萬筆資料要將一個大的
csv檔根據第一欄的商品代碼根據商品代碼另
存為csv檔
由於沒寫過程式爬文慢慢寫出以下東西但感覺錯了用小筆資料跑明顯的跑錯只開了
根據商品別開csv 但csv內沒讀取到資料
https://i.imgur.com/Tl2oDh9.jpg

作者: shadowfu (shadow) 2018-09-22 01:27:00

可以改用pandas的dataframe來做可能會好做一點

作者: jackwang01 (艾斯比那) 2018-09-22 01:47:00

你的y是有csv副檔名的，if y in fcolumn1可能找不到東西？

作者: meichiang (美江) 2018-09-22 02:15:00

有好的解決方法嗎？如果一次跑太多筆資料要怎麼防呆

作者: jackwang01 (艾斯比那) 2018-09-22 02:19:00

把y改成column1應該就行了？不知道你想做的是不是這樣

作者: DChun (Ding) 2018-09-22 11:25:00

可以試看看pandas

作者: fgghhg (fgghhg) 2018-09-22 12:27:00

跑不了是跑不完嗎？還是跑完沒結果？這不一樣這寫法是全部都讀到memory做，一千多萬筆是有點多，有可能吃不下，還要看一筆有多大

作者: acer1832a (Mike) 2018-09-26 09:43:00

你要不要檢查一下CASHVALUE.csv這個檔案，看有沒有某一行是空白沒資料的。因為for in應該是不會有index outof range，比較有可能是在fline.split(',')[1]這裡出錯

繼續閱讀

[問題] 超級新手請教介面問題avant [問題] 函數中下標或是呼叫另一個檔案majoyun [心得] 用python寫了一個Enigma加密機JustBecauseU [問題] 如何持續更新print內容renshin [閒聊] 想跟 Web Scraping 高手請益自動化技術~adwx1973 Re: [問題] 爬蟲自動更新程式Hsins [問題] 爬蟲自動更新程式WENroger [問題] 樞紐分析+排序buyoption [問題] 在MAC 上用pycharm執行Djangoabcd012345 [問題] 無法成功取字串前4碼neil24

[問題] 完全新手問題 有關csv產出

[問題] 完全新手問題有關csv產出