hadoop集群的管理
时间：2010-08-09 来源：flying5
对于hadoop集群的启动，按如下步骤进行：
1. 如果之前已经启动了hadoo，先停止
bin/stop-all.sh
2. 重新执行hadoop namenode -format之前，需要删除之前生成的数据结点，否则会出现namespaceID for i in `cat conf/slaves` ; do ssh $i "hostname; rm -rf /home/admin/hadoop/data/*;rm -rf /home/admin/hadoop/dfs/*"; done
3. 格式化namenode hadoop namenode -format
4. 执行hadoop/bin/start-all.sh
5. 按如上步骤应该是可以启动整个hadoop集群了。如果出现jobtraker或者单个datanode没有启动，可以手动启动. hadoop jobtracker start
6. 集群管理的一些相关命令记录在这里： hadoop job -list for i in `cat slaves` ; do echo $i;scp slaves $i:/home/admin/hadoop/conf/. ; done for i in `cat ~/hostlist` ; do ssh $i "hostname;pkill -9 java"; done > a.txt for i in `cat ~/hostlist` ; do ssh $i "hostname;ps xf|grep java"; done > a.txt for i in `cat ~/hostlist` ; do ssh $i "hostname; pkill -9 java; ps xf | grep java"; done > a.txt grep "org.apache.hadoop.hdfs.server.datanode.TaskTracker" a.txt |wc
2. 重新执行hadoop namenode -format之前，需要删除之前生成的数据结点，否则会出现namespaceID for i in `cat conf/slaves` ; do ssh $i "hostname; rm -rf /home/admin/hadoop/data/*;rm -rf /home/admin/hadoop/dfs/*"; done
3. 格式化namenode hadoop namenode -format
4. 执行hadoop/bin/start-all.sh
5. 按如上步骤应该是可以启动整个hadoop集群了。如果出现jobtraker或者单个datanode没有启动，可以手动启动. hadoop jobtracker start
6. 集群管理的一些相关命令记录在这里： hadoop job -list for i in `cat slaves` ; do echo $i;scp slaves $i:/home/admin/hadoop/conf/. ; done for i in `cat ~/hostlist` ; do ssh $i "hostname;pkill -9 java"; done > a.txt for i in `cat ~/hostlist` ; do ssh $i "hostname;ps xf|grep java"; done > a.txt for i in `cat ~/hostlist` ; do ssh $i "hostname; pkill -9 java; ps xf | grep java"; done > a.txt grep "org.apache.hadoop.hdfs.server.datanode.TaskTracker" a.txt |wc
相关阅读 更多 +
