Hadoop环境搭建
一、配置列表
linux选用centos7jdk1.8（hadoop是java写的，运行需要jre）hadoop3
二、目标
熟悉hadoop的配置搭建伪分布式hadoop集群
三、下载jdk、hadoop文件
jdk下载 斜体样式从华为镜像网站下载，速度比较快。 https://repo.huaweicloud.com/java/jdk/8u201-b09/jdk-8u201-linux-x64.tar.gzhadoop下载 从北京信息学院的国内镜像下载 http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gzcentos8 iso文件下载 阿里镜像下载 https://mirrors.aliyun.com/centos/8/isos/x86_64/CentOS-8.2.2004-x86_64-dvd1.iso
四、开干
jdk 1）scp 本机中jdk文件 username@centos的ip:目标路径。解压到 /opt/module目录下（个人习惯）。 2）配置JAVA_HOME、JRE、CLASSPATH环境变量 修改/etc/profile在文件末尾添加：
export JAVA_HOME=/opt/moudle/jdk-14.0.2
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
hadoop 1）配置HADOOP_HOME环境变量 修改/etc/profile末尾添加export HADOOP_HOME=/opt/moudle/hadoop-3.3.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
2）修改hadoop的etc目录下的启动配置文件
- core-site.xml
```html
<configuration>
<!-- NameNode 地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:9000</value>
</property>
<!-- Hadoop临时文件目录,默认是/tmp目录，系统重启后数据丢失 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/moudle/hadoop-3.3.0/data/tmp</value>
</property>
</configuration>
hadoop-en.sh登录时不会去加载/etc/profile中的环境变量 必须将JAVA_HOME写死，ssh
export JAVA_HOME=/opt/moudle/jdk-14.0.2
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication
</name>
<value>1
</value>
</property>
<property>
<name>dfs.name.dir
</name>
<value>/opt/moudle/hadoop-3.3.0/data/name
</value>
</property>
<property>
<name>dfs.data.dir
</name>
<value>/opt/moudle/hadoop-3.3.0/data/data
</value>
</property>
<property>
<name>dfs.datanode.http.address
</name>
<value>node01:9999
</value>
</property>
<property>
<name>dfs.client.use.datanode.hostname
</name>
<value>true
</value>
</property>
</configuration>
配置namenode、datanode之间ssh登录
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
五 测试
启动hdfs
start-dfs.sh
jps查看namenode、datanode 、secondarynode进程是否都已经正常启动，如果为正常启动，查看logs/*.log错误日志。在hdfs中创建一个/user文件夹
hdfs dfs -mkdir /user
在浏览器中输入：http://47.111.250.185:9870/ 查看已上传的文件
