hadoop伪分布式安装

tech2025-04-30 4

前提：安装配置jdk环境下附hadoop链接： https://pan.baidu.com/s/1obYVlBThw2jFX2f75VHR3g 提取码: 3m6c

配置免密登录和主机名

添加免密登录输入：ssh-keygen 之后一顿回车拷贝密钥到公钥，输入：cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

配置主机名，输入：hostnamectl set-hostname 主机名配置完成后需要exit重启一下

安装配置hadoop

上传hadoop安装包并解压到opt目录

配置环境变量

export HADOOP_MAPRED_HOME=$HADOOP_HOMEexport HADOOP_COMMON_HOME=$HADOOP_HOMEexport HADOOP_HDFS_HOME=$HADOOP_HOMEexport YARN_HOME=$HADOOP_HOMEexport HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_INSTALL=$HADOOP_HOME

保存环境变量输入：source /etc/profile

切换目录，输入：cd /opt/hadoop/etc/hadoop 修改配置输入：vi core-site.xml

<property> <name>fs.defaultFS</name> <value>hdfs://IP地址:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> <description> Should native hadoop libraries, if present, be used. </description> </property>

输入：vi hadoop-env.sh 在export前加# 下行插入 export JAVA_HOME=/opt/jdk8 输入：vi hdfs-site.xml <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.secondary.http-address</name> <value>IP地址:50090</value> </property>

输入：mv mapred-site.xml.template mapred-site.xml 修改mapred-site.xml.tempalte 的文件名输入：vi mapred-site.xml <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>IP地址:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>IP地址:19888</value> </property>

输入：vi yarn-site.xml  <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property>  <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop02(填写自己的主机名)</value> </property>  <property> <name>yarn.log-aggregation-enable</name> <value>true</value> </property>  <property> <name>yarn.log-aggregation.retain-seconds</name> <value>604800</value> </property>

输入：vi slaves 修改成现在的主机名

切换到hadoop目录中，格式化hadoop，输入：

cd /opt/hadoophadoop namenode -format 输入：start-all.sh 启动hadoop 在网页输入：192.168.184.36:50070 进入HDFS页面输入：stop-all.sh 结束hadoop

安装native

解压native（作用：消除warning，如不介意可不进行以下操作），输入：tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib/native/输入：cd /opt/hadoop/lib/native ，切换到native目录输入：cp * ./..

将native文件拷贝一份到lib目录中

再次切换到hadoop目录，删除logs和tem目录下文件，格式化hadoop、注：每次修改配置后都需要进行这步操作

最新回复(0)