- 討論: 當你自己已經有答案，但是也想聽聽版友意見時
[問題類型]:
效能諮詢(我想讓R 跑更快)
[軟體熟悉度]:
使用者(已經有用R 做過不少作品)
[問題敘述]:
各位 R 領域專業的大大們好 , 小弟最近想開始用R的平行計算功能
已經拜讀過 Wush大的平行計算筆記 , 也照一些原文網站內容用Terminal
安裝好 OpenMP 跟 用R 處理好 Rmpi了 , 也成功repeat 一些平行
的小範例
不過我我要做的運算主要會用到一些 Machine Learning的套件,但
我在試跑時會遇到一些問題像是 , 開始跑之後表示沒有該套件的方
法,我後來是在裡面直接做 套件 require處理 , 但還是會有一些載
入資料,還有相關引數的問題
想詢問各位是否知道什麼資源可以學R的平行的一些訊息 , 因為我的
運算只有特定段落有需要平行 , 所以我希望能熟悉 R 的平行,像是我
要把工作分給 Slave 時, 讓他們可以完全接收原本 R kernel已載入
的一些資訊,並把套件跟需求物件正確的傳給所有 Slave
另外如果有詳細 R 怎麼做資源分配的資訊也麻煩各位指點了 , 因為
目前這幾個parallel 的範例我都還沒看到資源分配相關的資訊 , 有點
疑惑
以上主要是針對 CPU 平行問的 , 手邊也有GPU Cluster , 如果有人
有推薦的GPU 在 R 的應用 , 也感激不盡 , 不過對CUDA還不熟 ,所以
先不打算用CPU的部分
另外想問一下有沒有人知道 OpenMP 還有 Rmpi得設置要怎麼只建置
在特定User下面 , 由於手邊的Cluster 有部分沒有 Root , 所以在
管理員有空前我可能得自己處理 , 以前裝package是用只建置在User
底下的方式 , 但mpi 還有 Rmpi有部分步驟要用command line裝,我
安裝時一直被擋掉說我權限不足
[你的答案]:
有想到幾種載入方式還在試 , 但相對還不是我想要的型式 , 覺得另外
自己加入載入段落不見得是好的 , 想了解要怎麼用 R 正確且有效率的
做這件事
另外小弟現在是先用筆電做小資料集的小規模計算測試 , 等大致熟練
才會搬到cluter上面
小弟是平行菜鳥 , 還請大家多多指教
[關鍵字]:
R 平行運算
Master Slave / Head Node
Cluster
Parallel Computing by CPU
作者: clickhere (It's time to go home.) 2016-05-02 00:15:00
OpenMP和OpenMPI是不同的東西....OpenMPI和Rmpi都不需要permission.安裝在user下即可.不需要root
我直接裝library是會跳non-zero status ,然後參考原文網站的做法是先用command line安裝完OpenMP,然後CMDRmpi後再回到R裡面安裝library才成功,然而前面commandline的動作我在cluster好像沒有權限,然後試另一個方法都遇到版本問題,cluster的R是3.1.x,我還在找怎麼避開permission做更新還有以上建置