[問題] csv大量時間數據轉換

作者: lattes (拿鐵三合一)   2019-04-26 00:29:20
各位大神大家好
小弟是初學的新手 最近拿到一份四百多萬筆的時間數據.csv
其時間數據格式大概長這樣
A B
1 G1 2018010101
2 G2 2018011101
.......
想請問我想要將時間資訊的欄位轉換為
2018-01-01 01:00:00.000
2018-01-11 01:00:00.000
並重新產生一份新的csv
我應該用datetime相關函式去處理
還是單純按照數據規則去加上 - : 等相關符號土法煉鋼處理
先感謝各位大大的答覆
還請指教教學
作者: roccqqck (ccqq)   2019-04-26 00:34:00
datatime吧
作者: froce (froce)   2019-04-26 00:47:00
用pandas讀進去,再用apply將其轉換成datetime,並傳回strhttps://ideone.com/tWSARC
作者: sma1033 (死馬)   2019-04-26 09:53:00
一行一行讀,人工split好像也花不了幾秒鐘?
作者: jiyu520 (不要鯽魚我)   2019-04-26 11:13:00
你問的應該是效率誰好? 分別處理一次看處理時間差異
作者: froce (froce)   2019-04-26 11:14:00
code的量其實應該沒啥差,不過速度應該會慢一點。pandas的處理速度快很多而且一行一行處理,還要考量磁碟IOpandas則是要注意記憶體夠不夠
作者: benzxa (Scott)   2019-04-26 15:04:00
time 還是 datetime 有個東西可以自訂輸入 strftime 然後再轉存你要的格式即可
作者: clang (llvm)   2019-04-26 20:54:00
檔案太大的話pandas也有chunk可以用
作者: feeya (24 August 升格為鄉民)   2019-04-26 21:48:00
先不要管400萬筆 先用前1萬筆試試看就好啦
作者: yushes920179 (樂冰)   2019-04-27 13:57:00
Google

Links booklink

Contact Us: admin [ a t ] ucptt.com