Posted on 2009-09-28 13:32
MichaelCao 阅读(350)
评论(0) 编辑 收藏 引用 所属分类:
Apache Hadoop_Storm_Spark
在编译Hadoop后需要注意的几点
1.各个节点上的版本要相同。需要注意的是,编译后,程序运行就会从build文件夹里的class文件运行,所以即使你把jar包cp到根目录底下,仍然没用。删除build目录里面的jar包,还是没用。办法: ant clean
2.在使用一个新版本以后,可能会出现mapreduce能启动,但是dfs无法启动的情况。即使你format namenode还是不行。这个让我郁闷了好久。mapreduce 都可以启动,但就是dfs无法启动。datanode就是启动不了。想了好久,总算想明白了。因为datanode里面有数据,可是namenode里面却格式化了。办法:删除所有datanode中的数据。
使用ssh 远程执行命令
ssh gp09@***.comp.nus.edu.sg 'mkdir hadoop'
不过ssh有一个比较烦的地方,就是不能用cd命令。所以在使用的时候要小心。
在linux或者unix中安装ant
编辑.bashrc 文件
添加:
export ANT_HOME=~/files/....
export JAVA_HOME=/usr/lib/jvm/java-6-sun/jre/bin/java
export PATH=$(PATH):$(ANT_HOME)/bin
期中$表示提取变量,:表示在后面添加。