※ 引述《locka (locka)》之銘言：
: library(tidyverse)
: library(readr)
: # 產生測試資料
: demo <- tibble(variable=1:16,
: id1=rnorm(16),
: id2=rnorm(16),
: id3=rnorm(16),
: id4=rnorm(16))
: write_csv(demo, "demo.csv")
: # 使用read_csv_chunked() 每4row切割並輸出成一個新的檔案
: callback_f <- function(x, pos) write_csv(x, paste0("chunk_",pos%/%4,".csv"))
: read_csv_chunked("demo.csv", DataFrameCallback$new(callback_f), chunk_size=4
)
: 結果如下:
: 原資料
: https://i.imgur.com/y3GmbSh.jpg
: 輸出4個檔案
: https://i.imgur.com/5b2pzEi.jpg

如果分析都套用一樣的func，分組後用groupby處理

設一個存放結果的dataframe，在callback function裡面把算出來的結果加到那個dataframe就好啦~callback function就是設定每個讀取的chunk做同樣的運算，不用再特別groupby