[問題] 使用JSP存取Hadoop的HDFS

作者: jerrychen26 (水澤)   2016-06-04 17:43:20
大家好,小弟是大學生,目前正在做專題
需要用到Hdfs存取的相關功能
上網查了一下
研究了Hadoop裡面提供FileSystem的API
FileSystem fs=FileSystem.get(conf);
Path src=new Path(source);
Path dst=new Path(destination);
fs.copyFromLocalFile(src,dst);
fs.close();
程式碼大概是這樣,conf也有設定好
我將以上寫成JSP,也成功上傳檔案
創資料夾,刪除檔案也都沒問題
但是!!!
只限於本機上傳,我在想因為src是讀本機的位置
如果要從別台電腦上傳檔案是沒辦法的
我想請教各位大大,有沒有辦法解決這個問題呢?
不管是JAVA還是JSP的解決方法都可以
之前有想利用tftp傳到本機再上傳,但是專題老師說太複雜了
所以就沒這樣做了
謝謝大家~
作者: qrtt1 (有些事,有時候。。。)   2016-06-05 22:48:00
你要先讓使用者透過檔案上傳,傳到 server 端再上傳到 hdfs
作者: jerrychen26 (水澤)   2016-06-06 07:41:00
喔喔,原來如此,感謝大大
作者: realmeat (真肉)   2016-06-06 17:37:00
同一個cluster下的hdfs 應該可以互通? 你的問題是?如果不在同一個 cluster下你可以考慮 web apihttps://hadoop.apache.org/docs/r1.0.4/webhdfs.html
作者: qrtt1 (有些事,有時候。。。)   2016-06-07 14:12:00
內網那更容易啊 http://bit.ly/1X8gl4E建 path 拿 OutputStream 直接塞資料囉
作者: realmeat (真肉)   2016-06-07 18:02:00
master跟slaver hadoop有這東西? datanode跟namenode先了解一下, 我突然覺得架構上可能有問題

Links booklink

Contact Us: admin [ a t ] ucptt.com