2. 技术博客
  3. 适合小白的配置hadoop环境教程

适合小白的配置hadoop环境教程

tech2023-05-20  96

1.首先需要配置jdk环境，如没有配置请查看之前的教程

jdk环境配置点击直达

本文使用的是hadoop-2.6.0-cdh5.14.2.tar.gz

2.首先上传压缩包到/opt文件夹，并输入以下命令解压

tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz

然后将解压的文件夹改名

mv hadoop-2.6.0-cdh5.14.2/ hadoop

3.配置环境变量

vi /etc/profile

这里需要注意自己的解压文件夹目录，如果不一样需要适当的修改目录 我是将所要文件都解压到/opt文件夹下面的

插入

export HADOOP_HOME=/opt/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOME

修改

export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

最终效果

也可以将之前的环境变量删除粘贴下面的命令，来达到偷懒的效果

export JAVA_HOME=/opt/jdk1.8.0_221 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=/opt/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOME export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

输入命令使环境变量生效

source /etc/profile

4.设置主机名称和主机列表

设置主机名为hadoop002

hostnamectl set-hostname hadoop002 vi /etc/hosts

5.添加系统互信

cd ~ ssh-keygen

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys ssh-copy-id -i .ssh/id_rsa.pub -p22 用户名@主机名

第4和5步主要是为集群做准备

6.配置hadoop文件

进入目录

cd /opt/hadoop/etc/hadoop

6.1配置core-site.xml

插入（注意修改ip地址为linux的ip）

<!-- 指定HDFS中NameNode的地址 --> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.83.101:9000</value> </property> <!-- 指定Hadoop运行时产生文件的存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> <description>Should native hadoop libraries, if present, be used. </description> </property>

6.2配置hdfs-site.xml

插入（注意修改IP地址）

<!-- 指定HDFS副本的数量 --> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>192.168.83.102:50090</value> </property>

6.3配置mapred-site.xml

首先修改文件名称

mv mapred-site.xml.template mapred-site.xml vi mapred-site.xml

插入（注意修改IP地址）

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.83.102:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.83.102:19888</value> </property>

6.4配置yarn-site.xml

vi yarn-site.xml

插入（注意修改主机名）

<property> <name>yarn.resourcemanager.hostname</name> <value>hadoop002</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <!-- 日志聚集功能使用 --> <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property> <!-- 日志保留时间设置7天 --> <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

6.5配置slaves

vi ./slaves

修改为主机名

6.6配置hadoop-env.sh

这里改为jdk包的具体路径

7.格式化HDFS

hadoop namenode -format

8.启动hadoop

start-all.sh

访问http://192.168.83.102:50070/ 测试

注9.

如果修改配置文件需要经过以下步骤

删除tmp文件夹删除logs文件夹重新格式化 hdsf namenode -format关闭 stop-all.sh开启 start-all.sh

附10.配置yarn历史查询功能

1.上传hadoop-native-64-2.6.0.tar 到opt文件夹

2.解包hadoop-native-64-2.6.0.tar

tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib/native

3.复制文件

cd ./hadoop/lib/native/ cp * ../

4.输入

mr-jobhistory-daemon.sh start historyserver

5.访问http://192.168.83.102:19888/jobhistory

11.官方WordCount案例

字符统计为非常常用的实例，主要用来统计数量

创建test文件夹

hadoop fs -mkdir /test

上传文件到test

hadoop fs -put README.txt /test

执行wordcount命令

hadoop jar ./share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/README.txt /output

查看结果

hadoop fs -cat /output/part-r-00000

最新回复(0)