※ 引述《s3714443 (metalheads)》之銘言:
: http://imgur.com/a/1s7Is
: 資料大概是長這樣
: 我想要處理的是:
: 像第八行就有兩個非0的數字
: 那我就是取最左的那排 26.57這個數字
: 倒數第二排有26.43跟26.57這兩個數字
: 那就是取最左邊的26.43
: 反正就是 特定欄之中 先看有沒有非0的數字,有就取最左的,沒有就取0
: 然後就是mutate出來新的一行
: 我想不到除了sapply之外的辦法了
: 但是我的資料有500多萬筆
: sapply可能會跑到電腦燒掉XD
: 感恩各位
# 資料生成
n <- 5e5 + 12
m <- 8
r <- 2
X <- matrix(0, n, m)
for (i in seq(1, n - 5, by = m-r))
X[cbind(i:(i+7), m:1)] <- rnorm(1)
X[cbind((n-1):n, 8:7)] <- rnorm(1)
# 隨機抽10000列讓整列變成0
zeroLocIdx <- sample(n, 10000)
X[zeroLocIdx, ] <- 0
# 程式開始
st <- proc.time()
# 取出全部不等於0的位置,並以matrix矩陣表示 row跟column位置 (arr.ind)
tmp <- which(X != 0, arr.ind = TRUE)
# 對每一個row取最小的column index
out <- tapply(tmp[ ,2], tmp[ ,1], min)
# 組出位置矩陣
locMat <- cbind(row = as.integer(names(out)) , col = out)
# 處理非0部分
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
# 排序
locMat <- locMat[order(locMat[ , 1]), ]
# 取出值
out <- X[locMat]
proc.time() - st
# user system elapsed
# 1.05 0.03 1.10
驗證結果:http://imgur.com/QMpBoGh
驗證0位置: all(zeroLocIdx2 == sort(zeroLocIdx)) # TRUE
搭配data.table的做法如下:
library(data.table)
# 轉成data.table
DT <- data.table(X)
# 假設有其他欄位
DT[ , `:=`(V9 = sample(1:5, nrow(DT), TRUE),
V10 = sample(LETTERS, nrow(DT), TRUE))]
# 把上面的程式直接抓下來用
findValue <- function(X){
tmp <- which(X != 0, arr.ind = TRUE)
minColLoc <- tapply(tmp[ ,2], tmp[ ,1], min)
locMat <- cbind(row = as.integer(names(minColLoc)) , col = minColLoc)
zeroLocIdx2 <- setdiff(1:nrow(X), locMat[ , 1])
if (length(zeroLocIdx2) > 0)
locMat <- rbind(locMat, cbind(zeroLocIdx2, 1))
locMat <- locMat[order(locMat[ , 1]), ]
X[locMat]
}
st <- proc.time()
# 直接把需要的column抓出來利用do.call + cbind組成矩陣丟進去
DT[ , v := findValue(do.call(cbind, .SD)), .SDcols = V1:V8]
proc.time() - st
# user system elapsed
# 1.04 0.04 1.09
# 驗證結果
head(DT, 40)
http://imgur.com/NxjaCaH