[問題] 兩百萬筆資料中拉出固定頻率的筆數 steve55987 PTT批踢踢實業坊

[問題] 兩百萬筆資料中拉出固定頻率的筆數

作者: steve55987 (大家都叫我吠蚊) 2019-10-09 10:42:07

想請問一下各位大神
目前遇到一個困難
目前研究拿到一筆總數蠻大的data 是 CSV檔
但當初在蒐集資料時是每一秒蒐集一次
在蒐完之後才發現筆數過大很大軟體都沒辦法一次彙整
是否有辦法取出其中固定頻率的資料呢
像是原本是一秒一筆資料想從裡面大概每五分鐘拿一次資料這樣其他的刪除 (假設其資料
變動幅度不大，這樣刪除無其他問題)
謝謝!!

作者: outshaker (out) 2019-10-09 11:32:00

for i in range(0,len(list),300):

作者: TitanEric (泰坦) 2019-10-09 11:55:00

用pandas的 pd.read_csv(檔名, chunk=一次讀幾筆)詳情可以找官網來看

作者: steve55987 (大家都叫我吠蚊) 2019-10-09 12:31:00

謝謝兩位大大，我再研究看看!!

作者: jiyu520 (不要鯽魚我) 2019-10-09 13:40:00

pandas resample也可以看看

繼續閱讀

[問題] Pycharm免費版由原始碼產生UML圖？dharma [問題] anaconda opencveamansf96xs [問題] partition()去除delimiter及後char一問AmigoSafin [問題] Image dithering 問題materies [問題] pydub 切割音訊yshihyu [問題] 新手請教Turtle問題jovy [問題] 想請問關於用__mul__產生的listlayu19920414 [問題] 請問有人做過climate data 相關project?AmigoSafin Re: [問題] 如何複製stringluckid [問題] SQL MAX()問題yeahhuman