※ 引述《Wush978 (拒看低質媒體)》之銘言:
: ※ 引述《dppman (*^o^*)》之銘言:
: : 我試了repeat:
: : repeat {
: : m = hdfs.read(f)
: : c = rawToChar(m)
: : print(c)
: : if ( is.null(c) ) break
: : }
: : 可是跑好久還沒跑完...
: : 我是用Web版的RStudio開發,看了一下m的type是raw...
: : Sorry..我只剩C還在腦中有,R實在跟他不熟....
: : 不知道是否有人可以指點一下...,這樣的寫法是否OK?怎麼增加效能呢?
: : Thanks in advance!
: :
: 建議你先測量一下throughput
: ```r
: start.time <- Sys.time()
: repeat {
: m = hdfs.read(f)
: duration <- as.numeric(difftime(Sys.time(), start.time, unit = "secs"))
: print(length(m) / duration) # 每秒的bytes數
: start.time <- Sys.time()
: }
: ```
: 先看一下hdfs.read的效能,如果throughput是1MB / s的速度的話
: 20G 需要 20*2^30 / 2^20 秒,大約是5.6小時
: