hadoop基础配置

tech2024-08-01  46

一.安装jdk和mysql

输入:hostnamectl set-hostname cent04将机器改名 新建software文件夹:mkdir /software 进入software目录:cd /software/ 将需要的安装包拖入当前目录

.安装jdk和mysql 1)将jdk安装到opt目录下

2)进入opt目录:cd /opt/ 3)将jdk改名:mv jdk1.8.0_221/ java8 4)修改配置文件:vi .etc/profile 在文末添加

export JAVA_HOME=/opt/java8 export JRE_HOME=/opt/java8/jre exportCLASSPATH=.:$JAVA_HOME/lib/rt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

保存退出 输入:source /etc/profile 5)安装net-tools yum install -y net-tools 6)安装perl yum install -y perl 7)安装autoconf yum install -y autoconf 8)删除冲突包: rpm -qa | grep mariadb rpm - e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps 9)安装mysql客户端 rpm -ivh MySQL-client-5.6.46-1.el7.x86_64.rpm 10)安装mysql服务端 rpm -ivh MySQL-server-5.6.46-1.el7.x86_64.rpm 11)修改配置文件 vi /usr/my.cnf 在其中对应位置添加,如图所示

二.安装hadoop

1.解压两个hadoop安装包: tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt 在opt目录下将hadoop-2.6.0-cdh5.14.2.tar.gz改名为hadoop: mv hadoop-2.6.0-cdh5.14.2/ hadoop tar -xvf hadoop-native-64-2.6.0.tar -C /opt/hadoop/lib 2.修改环境配置: vi /etc/profile 在CLASSPATH和PATH之间添加:

export HADOOP_HOME=/opt/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_INSTALL=$HADOOP_HOME 将最后一行PASS改为 export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出 source /etc/profile hadoop version 查看是否配置成功 3.进入etc目录下的hadoop目录 cd etc/hadoop 4.修改配置文件: vi core-site.xml 在其中添加:

<property> <name>fs.defaultFS</name> <value>hdfs://192.168.134.4:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/tmp</value> </property> <property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.root.groups</name> <value>*</value> </property> <property> <name>hadoop.native.lib</name> <value>false</value> <description>Should native hadoop libraries, if present, be used. </description> </property>

5.伪分布式配置: vi hdfs-site.xml 添加:

<property> <name>dfs.replication</name> <value>1</value> </property>

6.修改hadoop-env.sh配置文件 vi hadoop-env.sh 找到export JAVA_HOME那一条,将它注释掉,在它下一行添加 export JAVA_HOME=/opt/java8 7.修改mapread配置 将其改名为mapred-site.xml mv mapred-site.xml.template mapared-site.xml vi mapred-site.xml 添加:

<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name> <value>192.168.134.4:10020</value> </property> <property> <name>mapreduce.jobhistory.webapp.address</name> <value>192.168.134.4:19888</value> </property>

保存退出 8.修改yarn配置 vi yarn-site.xml 添加

<property> <name>yarn.resourcemanager.localhost</name> <value>192.168.134.4</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>

9.配置免密登录:ssh-keygen 伪分布:cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys ssh 机器名 exit 10.格式化:(在第一个hadoop目录下) 在格式化之前,执行删除hadoop目录下的logs文件和tmp文件 rm -rf tmp/ rm -rf logs/ hdfs namenode -format 11.启动hdfs: start-dfs.sh 12.启动yarn start-yarn.sh 13.关闭全部进程 stop-all.sh 输入jps查看进程 在浏览器输入192.168.134.4::50070 查看是否成功连接hdfs 输入192.168.134.4::8088 查看是否成功连接hadoop 14.slaves文件设置为本机名: vi slaves cent04 15.向hadoop中传入文件 新建test文件夹:hadoop fs -mkdir /test 刷新hdfs页面,查看是否传入成功 将README.txt文件传到test文件夹中 hadoop fs -put READ.txt /tst 执行:hadoop jar share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.14.2.jar wordcount /test/README.txt /output 执行成功,如图所示

最新回复(0)