hadoop安装(1)

tech2024-08-16 52

文章目录

hadoop安装(1)解压所需的包环境变量配置对hadoop文件进行配置配置core-site.xml文件配置hdfs-site.xml文件配置mapred-site.xml文件配置yarn-site.xml文件配置hadoop-env.sh文件启动生成密钥对，测试连接格式化启动dfs和yarn测试

hadoop安装(1)

解压所需的包

将hadoop-2.6.0-cdh5.5.14.2.tar.gz和hadoop-native-64-2.6.0.tar拖到software目录下，进行解压

tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib/native/ tar -zxvf hadoop-2.6.0-cdh5.5.14.2.tar.gz -C /opt

切换到opt目录 cd /opt 将hadoop-2.6.0-cdh5.5.14.2重命名为hadoop

mv hadoop-2.6.0-cdh5.5.14.2 hadoop

环境变量配置

(注：这里将jdk1.8.0_221重命名为java8)

export JAVA_HOME=/opt/java8 export JRE_HOME=/opt/java8/jre export CLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export HADOOP_HOME=/opt/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOME export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成保存退出检测环境配置是否成功

source /etc/profile hadoop version

对hadoop文件进行配置

切换到hadoop目录查看 (注：这里的hadoop目录是 opt/hadoop/etc/hadoop，所有的内容都是在Configuration里输入)

配置core-site.xml文件

配置如下：

<property> <name>fs.defaultFS</name> <value>hdfs://IP地址:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> <description>Should native hadoop libraries, if present, be used.</description> </property>

配置hdfs-site.xml文件

配置如下：

<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>IP地址:50090</value> </property>

配置mapred-site.xml文件

(注：这里将mapred-site.xml后的.template去掉了)

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>IP地址:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>IP地址:19888</value> </property>

配置yarn-site.xml文件

配置如下：

<property> <name>yarn.resourcemanager.hostname</name> <value>主机名(hadoop00?)</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>  <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>  <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

配置hadoop-env.sh文件

找到`export JAVA_HOME=${JAVA_HOME}`，在前面加#将这句注释掉在下一行输入`export JAVA_HOME=/opt/java8`

启动

生成密钥对，测试连接

1、生成秘钥对 ssh-keygen 2、把公钥拷贝到秘钥库中 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 3、测试连接 ssh 主机名(hadoop00?) 连接成功就退出exit

格式化

格式化有两种写法：

1、hadoop namenode -format 2、hdfs namenode -format

(注：如出错，修改完成后删掉tmp文件夹，重新格式化)

启动dfs和yarn

1、启动dfs start-dfs.sh 启动完成后，输入jps查看进程，此时应当有有SecondaryNameNode\DataNode\NameNode\Jps四种 2、启动yarn start-yarn.sh 启动完成后，输入jps查看进程，此时应增加NodeManager和ResourceManager两种进程 3、启动全部和关闭全部 start-all.sh stop-all.sh (注：启动或结束完成后，要查看进程是否完全开启或关闭，如start-all.sh启动出错应先stop-all.sh,修改内容，删除tmp，再格式化，再start-all.sh启动)

测试

输入hdfs dfs -ls / 输入完成后打开网页，输入IP地址+:50070，出现页面即为成功 (如出现Connection refused 再次连接，连接时间过长，重连即可)

创建一个test文件夹 hadoop fs -mkdir /test 将文本文件上传到文件夹 hadoop fs -put 文本.txt /test 将文本文件中的字数统计后传到网页文件夹中 hadoop jar jar包路径 wordcount /test/文本.txt /output 刷新网页，查看Utilities下的Browse Directory是否有test文件夹，以及其中是否有文件

在网页中输入IP地址+:8088 出现页面即为成功

输入mr-jobhistory-daemon.sh start historyserver 启动成功后在网页中输入IP地址+:19888，出现页面即为成功

最新回复(0)