安装hadoop 查看本机名更改,(建议是hadoop001) vi /etc/hostname(查看是否更改成功,如不是,可以在更改) 创建一个放压缩包的文档 解压hadoop压缩包 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C/opt 重新打开一个:一个用于软件解压,一个用于配置软件 在opt目录下查看是否存在安装包,已存在的话,改名 mv hadoop… hadoop vi /etc/profile(配置环境变量):在CLASSPATH下配置(=后面都有$ export HADOOP_HOME=/opt/hadoop export HADOOP_MAPRED_HOME=HADOOP_HOME export HADOOP_COMMON_HOME=HADOOP_HOME export HADOOP_HDFS_HOME=HADOOP_HOME export YARN_HOME=HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=HADOOP_HOMEb/native export HADOOP_INSTALL=HADOOP_HOME export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin export PATH= J A V A H O M E / b i n : JAVA_HOME/bin: JAVAHOME/bin:JAVA_HOME/jre/bin: H A D O O P H O M E / s b i n : HADOOP_HOME/sbin: HADOOPHOME/sbin:HADOOP_HOME/bin:$PATH
配置完成后保存退出,并检查 source /etc/profile hadoop version: 出现了版本信息,才能表示配置成功
接下来,进入到opt/hadoop/etc/hadoop 目录下 ll(查看文档) (伪分布式配置如下) vi core-site.xml 在configuration添加代码如下: fs.defaultFS hdfs://192.168.195.30:9000 //为自己的地址名 hadoop.tmp.dir /opt/hadoop/tmp hadoop.proxyuser.root.hosts hadoop.proxyuser.root.groups
vi hdfs-site.xml 在configuration添加代码如下: dfs.replication 1 dfs.namenode.secondary.http-address 192.168.195.30:50090
vi hadoop-env.sh 注释掉export JAVA_HOME=${JAVA_HOME} export JAVA_HOME=/opt/jdk1.8.0_221
mv mapred-site.xml.template mapred-site.xml (重命名) vi mapred-site.xml 在configuration添加代码如下: mapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.195.30:10020 mapreduce.jobhistory.webapp.address 192.168.195.30:19888
vi yarn-site.xml 在!–site下添加代码如下: yarn.resourcemanager.hostname hadoop001 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.log-aggregation-enable true yarn.log-aggregation.retain-seconds 604800
vi slaves 更改为自己的主机名
生成密钥 ssh-keygen cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys ssh hadoop001 显示连接成功,退出exit即可 需要格式化HDFS hdfs(hadoop) namenode -format 成功后,退到opt目录下的hadoop,然后开启HDFS start-dfs.sh start-yarn.sh jps(查看) stop-all.sh 退出后重新启动即可 start-all.sh hadoop fs -mkdir /test 登录网页192.168.195.30:5007
退出后在杀掉tmp,在重新格式化,在打开hadoop hadoop fs -mkdir /test会创建一个文件夹
hadoop fs -put README.txt /test/ 路径是在opt/hadoop下运行
hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0 -cdh5.14.2.jar wordcount /test/README.txt /output