1、安装并配置JDK1.8

【详细描述虚拟机安装JDK并配置环境变量的全过程】

2、下载安装

下载地址：https://pan.baidu.com/s/1jpqwurCjolkHaXHzn618vQ

提取码：m9pj

解压安装

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/hadoop-2.6

解压到 opt 目录下并改名（为之后使用方便）；这里改名为hadoop-2.6

3、配置环境变量

vi /etc/profile

添加环境配置如下：

export HADOOP_HOME=/opt/hadoop-2.6 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOME export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

注意细节： 配置完成后注意source环境变量；然后查看是否配置成功；

source /etc/profile java -version hadoop version

若能查到相应的 jdk 以及 hadoop 版本则配置成功；

4、修改配置文件

4.1、core-site.xml

在 <configuration></configuration> 标签中插入如下内容

<property> <name>fs.defaultFS</name> <value>hdfs://192.168.8.125:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop-2.6/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> <description>Should native hadoop libraries, if present, be used. </description> </property>

4.2、hdfs-site.xml

在 <configuration></configuration> 标签中插入如下内容

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>hadoop825:50090</value> </property>

4.3、hadoop-env.sh

修改如下图所示内容

4.4、mapred-site.xml

重命名mapred-site.xml.template文件，将.template后缀去掉

mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml

在 <configuration></configuration> 标签中插入如下内容

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.8.125:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.8.125:19888</value> </property>

4.5、yarn-site.xml

在 <configuration></configuration> 标签中添加如下内容

<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop825</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!-- 日志聚集功能使用 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

5、解压查看历史文件压缩包

解压hadoop-native-64-2.6.0.tar压缩包到/opt/hadoop-2.6/lib/native目录下；然后将解压的内容全部复制到上一级；随后激活历史查看

tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop-2.6/lib/native cd /opt/hadoop-2.6/lib/native/ cp * ../ #激活历史信息查看 mr-jobhistory-daemon.sh start historyserver

6、伪分布模式

6.1生成秘钥

ssh-keygen

6.2、复制秘钥

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

6.3、分布式复制到本机

ssh hadoop825 #主机名 exit #完成后退出

7、格式化NameNode

修改完hadoop配置文件后启动hadoop需要格式化NameNode；

格式化之前必须先删除/opt/hadoop-2.6目录下的tmp文件夹；

cd /opt/hadoop-2.6 rm -rf tem hadoop namenode -format

8、验证安装

启动关闭命令

start-all.sh #启动hadoop stop-all.sh #关闭hadoop

启动成功输入jps查看进程

浏览器输入ip地址:50070 浏览器输入ip地址:8088 浏览器输入ip地址:19888 以上界面成功展示说明Hadoop安装及伪分布模式配置完成！！！