※ [本文轉錄自 Soft_Job 看板 #1OxkhDDu ]
作者: Gonocurrus (高那古勒斯) 看板: Soft_Job
標題: [請益] 如何知道Hadoop 在執行什麼
時間: Thu Apr 13 11:04:43 2017
大家好
小弟剛進到一家陸資公司
使用Hadoop還做遊戲的數據分析, 使用的版本是2013年的版本 0.20.2版
那邊同事已經走了幾輪了, 所以沒有交接 (據說上海習慣跳槽來加薪, 每次30%)
所以基本上Server屬於沒有維護的狀態
在Amazon有三台Hadoop Server一台做NameNode兩台做DataNode
目前想要把關掉兩個DataNode全部都給Master那台做
理論上應該是修改config的slaves加上Master這台
不過不知道怎麼關掉再重啟 >''<
現在有Server權限,不過我要怎麼知道目前在運行什麼呢?
使用history已經看不到當初執行過什麼
Server上也沒有運行apache, 可以看歷史
不知道小弟要從何著手>''<
使用jps看
$ jps
6130 RunJar
5314 JobTracker
4580 SecondaryNameNode
5493 QuorumPeerMain
5635 HMaster
4321 NameNode
879 Jps
使用ps 去看執行參數也看不出所以然
使用下面指令看, QQ 怎麼會沒有job在運行
$ hadoop job -list
0 jobs currently running
從$HADOOP_HOME 目錄看起來logs還是有在update >''<
$ls -lt
hadoop hadoop 4096 Apr 13 02:59 conf
hadoop hadoop 274432 Apr 13 00:56 logs
hadoop hadoop 4096 Apr 10 04:51 ivy
hadoop hadoop 4096 Apr 5 02:41 bin
hadoop hadoop 4096 Jul 24 2013 pids
hadoop hadoop 4096 Jul 24 2013 lib
hadoop hadoop 21107 Jul 9 2013 zookeeper.out
hadoop hadoop 4096 Jun 27 2013 src
hadoop hadoop 4096 Jun 27 2013 docs
hadoop hadoop 4096 Jun 27 2013 cloudera
hadoop hadoop 100359 Mar 20 2013 build.xml
hadoop hadoop 4096 Mar 20 2013 c++
hadoop hadoop 348776 Mar 20 2013 CHANGES.txt
hadoop hadoop 7456 Mar 20 2013 cloudera-pom.xml
hadoop hadoop 4096 Mar 20 2013 contrib
hadoop hadoop 4096 Mar 20 2013 example-confs
hadoop hadoop 6842 Mar 20 2013 hadoop-ant-0.20.2-cdh3u6.jar
hadoop hadoop 3871691 Mar 20 2013 hadoop-core-0.20.2-cdh3u6.jar
hadoop hadoop 142821 Mar 20 2013 hadoop-examples-0.20.2-cdh3u6.jar
hadoop hadoop 2799061 Mar 20 2013 hadoop-test-0.20.2-cdh3u6.jar
hadoop hadoop 175835 Mar 20 2013 hadoop-tools-0.20.2-cdh3u6.jar
hadoop hadoop 10440 Mar 20 2013 ivy.xml
hadoop hadoop 13366 Mar 20 2013 LICENSE.txt
hadoop hadoop 101 Mar 20 2013 NOTICE.txt
hadoop hadoop 1366 Mar 20 2013 README.txt
hadoop hadoop 4096 Mar 20 2013 webapps
hadoop hadoop 4096 Mar 20 2013 sbin
請問有沒有前輩可以稍微指導一下, 該從應該哪裡著手看起
感謝<(_ _)>