Re: [問題] 資料整理的問題

作者: HeroNoah   2016-12-07 02:55:14
別欺負中研院的學弟啦 XD
先看 ppp1987 提供的資料
ID Day X
1 1 0.5
1 3 0.1
1 4 0.3
1 7 0.5
1 9 0.5
1 11 0.2
1 14 0.5
2 1 0.1
2 2 0.4
2 5 0.8
2 9 0.7
2 11 0.1
2 13 0.2
根據 ppp1987 提供的說明如下:
我現在想要算每個ID當天的前七天有觀測值的平均
例如
(ID=1,Day=9) Xhat=(0.5+0.3+0.1)/3
(ID=2,Day=11) Xhat=(0.7+0.8)/2
因此我們可以知道 Day = 9, 其實是算 Day 在 2 ~ 8 之間有資料的平均
所以 (ID=2,Day=9) = (0.4 + 0.8) / 2 = 0.6
來看 cywhale 的答案:
ID Day Mx
1: 1 8 0.3500000
2: 1 9 0.3000000
3: 1 10 0.3500000
4: 1 11 0.4333333
5: 1 12 0.4000000
6: 1 13 0.4000000
7: 1 14 0.4000000
8: 2 8 0.4333333
9: 2 9 0.6000000
10: 2 10 0.7500000
11: 2 11 0.7500000
12: 2 12 0.5333333
13: 2 13 0.4000000
14: 2 14 0.3333333
cywhale 的 (ID=2, Day=9) 為 0.6 [正確]
來看 celestialgod 的答案:
# ID Day X x_mean
# 1: 1 1 0.5 NA
# 2: 1 3 0.1 0.50
# 3: 1 4 0.3 0.30
# 4: 1 7 0.5 0.30
# 5: 1 9 0.5 0.30
# 6: 1 11 0.2 0.50
# 7: 1 14 0.5 0.35
# 8: 2 1 0.1 NA
# 9: 2 2 0.4 0.10
# 10: 2 5 0.8 0.25
# 11: 2 9 0.7 0.80
# 12: 2 11 0.1 0.75
# 13: 2 13 0.2 0.40
celestialgod 的 (ID=2, Day=9) 為 0.8 [錯誤]
而且 0.8 這個數字, 不曾出現在 cywhale 的答案裡
相同的情況還有 (ID=1, Day=11)
cywhale 的 (ID=1, Day=11) 為 0.4333 [正確]
celestialgod 的 (ID=1, Day=11) 為 0.5 [錯誤]
※ 引述《celestialgod (天)》之銘言:
: 標題: Re: [問題] 資料整理的問題
: 時間: Mon Dec 5 17:56:46 2016
:
: ※ 引述《ppp1987 (ppp)》之銘言:
: : [問題類型]:
: : 程式諮詢(我想用R 做某件事情,但是我不知道要怎麼用R 寫出來)
: : [軟體熟悉度]:
: : 入門(寫過其他程式,只是對語法不熟悉)
: : [問題敘述]:
: : 資料形式
: : ID Day X
: : 1 1 0.5
: : 1 3 0.1
: : 1 4 0.3
: : 1 7 0.5
: : 1 9 0.5
: : 1 11 0.2
: : 1 14 0.5
: : 2 1 0.1
: : 2 2 0.4
: : 2 5 0.8
: : 2 9 0.7
: : 2 11 0.1
: : 2 13 0.2
: : 現在我的資料每個ID(有100多個ID)每天有一筆觀測值(但不一定每天有)
: : 我現在想要算每個ID當天的前七天有觀測值的平均
: : 例如
: : (ID=1,Day=9) Xhat=(0.5+0.3+0.1)/3
: : (ID=2,Day=11) Xhat=(0.7+0.8)/2
: : 現在已經用for迴圈跑出結果(但是很慢 2萬多筆約30分鐘)
: : 想請教各位大大有沒有比較快的方法
: : 謝謝
:
: cy大的方法應該比較快XD
:
: 不過我還是把我的方法寫出來...
:
: library(data.table)
: library(pipeR)
: library(zoo)
: library(plyr)
:
: DT <- fread('ID Day X
: 1 1 0.5
: 1 3 0.1
: 1 4 0.3
: 1 7 0.5
: 1 9 0.5
: 1 11 0.2
: 1 14 0.5
: 2 1 0.1
: 2 2 0.4
: 2 5 0.8
: 2 9 0.7
: 2 11 0.1
: 2 13 0.2')
:
: DT[ , Day := factor(Day, levels = seq(min(DT$Day), max(DT$Day)))]
:
: mean2 <- function(x) {
: if (length(x) == 1)
: return(NA)
: mean(head(x, length(x) - 1), na.rm = TRUE)
: }
:
: DT2 <- dcast.data.table(DT, ID ~ Day, sum, fill = NA, drop = FALSE,
: value.var = "X")
: meanDT <- DT2[ , 2:ncol(DT2)] %>>% as.matrix %>>% t %>>%
: rollapply(8, mean2, partial = TRUE, align = "right") %>>% data.table %>>%
: melt.data.table(measure.var = 1:ncol(.), variable.name = "ID",
: value.name = "x_mean", variable.factor = FALSE) %>>%
: `[`(j = Day := 1:(ncol(DT2)-1), by = .(ID)) %>>%
: `[`(j = ID := as.integer(mapvalues(ID, paste0("V", 1:nrow(DT2)), DT2$ID)))
: merge(DT, meanDT, by = c("ID", "Day"))
: # ID Day X x_mean
: # 1: 1 1 0.5 NA
: # 2: 1 3 0.1 0.50
: # 3: 1 4 0.3 0.30
: # 4: 1 7 0.5 0.30
: # 5: 1 9 0.5 0.30
: # 6: 1 11 0.2 0.50
: # 7: 1 14 0.5 0.35
: # 8: 2 1 0.1 NA
: # 9: 2 2 0.4 0.10
: # 10: 2 5 0.8 0.25
: # 11: 2 9 0.7 0.80
: # 12: 2 11 0.1 0.75
: # 13: 2 13 0.2 0.40
:
: 稍微改一下cy大的code,讓他跟我的output一致
:
celestialgod 的答案很明顯的跟 cywhale 的答案不一樣,
讓 cywhale 的答案跟 celestialgod 的答案一致
那不就是把正確的改錯誤的嗎 ?
幫 cywhale QQ
: 做了一點benchmark,code: http://pastebin.com/Msib1dEh
:
: 我的作法會明顯慢一點,三萬列差大概一秒,cy大的做法比較好
:
:
作者: celestialgod (天)   2016-12-07 07:58:00
@@ 有錯哦QQ晚上,我再check一下我的程式QQ我在benchmark時有發現錯誤,我程式有改,但是結果忘了修正晚上會修正,謝謝指正已修正

Links booklink

Contact Us: admin [ a t ] ucptt.com