[問題] r+hadoop中rmr/rhdfs問題

作者: rlearner (rlearner)   2016-12-27 22:44:49
[目的]
在VM上建立三台虛擬機
並建立rhadoop
執行簡單的rmr範例
[問題簡敘]=============================================================
在VM虛擬器上建立hadoop環境建三台機子,
master,node1,node2
裝好了hadoop(hadoop可以運作)
但是裝R時遇到了無法library:rmr和rhdfs的問題
且無法install.packages:rJava套作
上敘的環境我裝了兩次
第一次(環境一)不知怎麼的就成功install.packges:
rJava的套,但第二次重裝(環境二)卻怎麼樣也無法成功下載
rJava,若rJava無法,rmr跟rhdfs也用不了了!!
[環境一]((提外話~之前莫明成功???)))=====================================
怎麼裝有點忘了,但跟第二次差不多
感覺還是有點問題...(下有影片連結)
https://www.youtube.com/watch?v=ByAisA_dQxI&feature=youtu.be
[環境二](!!!!!主要問題!!!!!!現在安裝失敗)))=============================
[安裝步驟]
以下是我安裝的方法:(文長)(含安裝步驟影片)
https://www.youtube.com/watch?v=QTHfV_xYr8A&t=145s
沒剪輯7:04-14:30可跳過~下載很久@@
啟動hadoop
cd ~/hadoop && sbin/start-all.sh
作者: celestialgod (天)   2016-12-27 22:53:00
可以問有什麼需求一定要用rhdfs跟rmr嗎?不然我個人覺得用sparklyr就很夠了https://goo.gl/BUvChD 我之前有裝成功不知道有沒有幫助 可以參考看看不過我那篇用英文寫,我英文爛,不懂可以在留言QQ
作者: rlearner (rlearner)   2016-12-27 23:04:00
好,謝謝你我試試,能問一下spark+R跟rhadoop有什麼不一樣嗎? @@ 太感謝你了
作者: celestialgod (天)   2016-12-27 23:12:00
你知道hadoop跟spark的差異嗎?知道這點大概就清楚了吧
作者: rlearner (rlearner)   2016-12-27 23:17:00
兩個似乎都是做分散式計算的@@
作者: obarisk (OSWALT)   2016-12-27 23:17:00
job給yarm分配,其實不用每台都裝r
作者: rlearner (rlearner)   2016-12-27 23:20:00
好的 謝謝提醒@@
作者: Edster (Edster)   2016-12-27 23:30:00
卡在rjava的話,有些機率是要去手動更新java, 至於x64或x86的java, 看你的R決定. 另外, java跟rjava版本要對應,其中一個太新都不行。
作者: celestialgod (天)   2016-12-27 23:31:00
java那時候我記得我是裝oracle jdk然後都要跑R cmd javareconf,openjdk要移除掉我不確定現在openjdk是否work正常然後all users這個的話 就建議用sudo開R裝套件就會直接安裝到r安裝目錄下的library不然我是直接把R library給775權限,全user都可以裝
作者: rlearner (rlearner)   2016-12-27 23:51:00
謝謝大大們,我先消化一下@@請問給775權限是什麼意思?是sudo su root嗎?
作者: howard40116   2016-12-28 01:38:00
775代表更改權限為rwxrwxr-x

Links booklink

Contact Us: admin [ a t ] ucptt.com