Centos7中安装配置Hadoop(伪分布式搭建)

tech2024-06-29  68

目录

一、安装准备二、JDK安装及配置三、Hadoop安装及配置1、修改配置2、启动Hadoop

一、安装准备

系统:centos7 安装包: ①jdk-8u221-linux-x64.tar.gz ②hadoop-2.6.0-cdh5.14.2.tar.gz ③hadoop-native-64-2.6.0.tar(用作除去警告) 安装包需要自取(6z6z):jdk、hadoop安装包 利用moba将安装包上传到/opt下

二、JDK安装及配置

输入以下命令解压jdk

tar -zxvf jdk-8u221-linux-x64.tar.gz

配置环境变量,输入下列命令

vi /etc/profile

找到图中位置(进入文件后直接输入55,然后回车快速定位) 按下i键,在上图行数下一行添加JAVA_HOME、CLASSPATH、PATH

export JAVA_HOME=/opt/jdk1.8.0_221 export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

配置完后,一次按下esc键+英文冒号+wq 保存并退出 然后输入如下代码

// 更新配置 source /etc/profile // 查看java 版本 java -version

出现如下则说明环境变量配置完成

三、Hadoop安装及配置

修改主机名(修改后重启生效)

hostnamectl set-hostname hadoop1

解压Hadoop安装包,并改名

# 将hadoop解压至/opt目录下 tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt cd /opt # 将解压后的文件名字太长,改名为hadoop260 mv hadoop-2.6.0-cdh5.14.2 hadoop260

ssh免密登录

# 生成秘钥(输入后连续空格) ssh-keygen # 将秘钥写入本机authorized_keys中,即可实现本机对本机免密登录 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys # 测试能否免密(第一次登录时可能会有验证,输入yes即可) ssh hadoop1 # 退回 exit

1、修改配置

配置文件都放置在/opt/hadoop260/etc/hadoop下 接下来的操作都在/opt/hadoop260下 ①配置hadoop-env.sh

vi etc/hadoop/hadoop-env.sh

将下图25行注释掉,并添加第26行内容,添加内容为JAVA_HOEM路径 ②配置core-site.xml 进入vi etc/hadoop/core-site.xml 在标签内添加如下内容:

<property> <name>fs.defaultFS</name> <value>hdfs://192.168.233.134:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop260/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property>

③配置hdfs-site.xml 进入vi etc/hadoop/hdfs-site.xml 在标签内添加如下内容:

<property> <name>df.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>192.168.233.134:50090</value> </property>

④配置mapred-site.xml 在/opt/hadoop260/etc/hadoop并没有mapred-site.xml文件,只有mapred-site.xml.template,我们需要先把它改个名

mv etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

然后进入vi etc/hadoop/mapred-site.xml 在标签内添加如下内容:

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.hostname</name> <value>hadoop1:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.hostname</name> <value>hadoop1:19888</value> </property>

⑤配置yarn-site.xml 进入vi etc/hadoop/yarn-site.xml 在标签内添加如下内容:

<property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop1</value> </property> <!-- 日志聚集功能使用 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

⑥修改slaves 进入vi etc/hadoop/slaves 将localhost修改成自己本机hostname ⑦解压hadoop-native-64-2.6.0.tar 输入下述命令,将文件解压到/opt/hadoop260/lib/native/

tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop260/lib/native/

进入 native目录

cd /opt/hadoop260/lib/native/

将native下的内容复制一份到lib下

cp * ../

⑧配置/etc/profile 进入 vi /etc/profile 在刚刚配置java环境变量的地方配置如下(在PATH路径上面即可)

export HADOOP_HOME=/opt/hadoop260 export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib" export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin

使配置立即生效

source /etc/profile

验证hadoo环境变量是否配置成功,出现下图即为成功

hadoop version

2、启动Hadoop

格式化HDFS,出现下图即为成功

hadoop namenode -format

启动Hadoop

start-all.sh # 启动jobhistory mr-jobhistory-daemon.sh start historyserver

输入jps查看进程

jsp

window下查看hadoop:192.168.233.133:50070

window下查看YARN的管理界面:192.168.23left3.133:8088 window下查看jobhistory:192.168.233.133:19888 至此hadoop安装配置完成

最新回复(0)