Hadoop源码编译支持Snappy压缩

tech2023-05-26  55

1.1 资源准备

1.CentOS联网 配置CentOS能连接外网。Linux虚拟机ping www.baidu.com 是畅通的 注意:采用root角色编译,减少文件夹权限出现问题 2.jar包准备(hadoop源码、JDK8 、maven、protobuf)

(1)hadoop-2.7.2-src.tar.gz (2)jdk-8u144-linux-x64.tar.gz (3)snappy-1.1.3.tar.gz (4)apache-maven-3.0.5-bin.tar.gz (5)protobuf-2.5.0.tar.gz

**

1.2 jar包安装

** 注意:所有操作必须在root用户下完成 1.JDK解压、配置环境变量JAVA_HOME和PATH,验证java-version(如下都需要验证是否配置成功)

tar -zxf jdk-8u144-linux-x64.tar.gz -C /opt/module/ vi /etc/profile #JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin source /etc/profile

验证命令:java -version 2.Maven解压、配置 MAVEN_HOME和PATH

tar -zxvf apache-maven-3.0.5-bin.tar.gz -C /opt/module/ vi /etc/profile #MAVEN_HOME export MAVEN_HOME=/opt/module/apache-maven-3.0.5 export PATH=$PATH:$MAVEN_HOME/bin source /etc/profile

验证命令:mvn -version

1.3 编译源码

1.准备编译环境

yum install svn yum install autoconf automake libtool cmake yum install ncurses-devel yum install openssl-devel yum install gcc*

2.编译安装snappy

tar -zxvf snappy-1.1.3.tar.gz -C /opt/module/ cd snappy-1.1.3/ ./configure make make install

查看snappy库文件

ls -lh /usr/local/lib |grep snappy

3.编译安装protobuf

tar -zxvf protobuf-2.5.0.tar.gz -C /opt/module/ cd protobuf-2.5.0/ ./configure make make install

查看protobuf版本以测试是否安装成功

protoc --version

4.编译hadoop native

tar -zxvf hadoop-2.7.2-src.tar.gz cd hadoop-2.7.2-src/ mvn clean package -DskipTests -Pdist,native -Dtar -Dsnappy.lib=/usr/local/lib -Dbundle.snappy

执行成功后,/opt/software/hadoop-2.7.2-src/hadoop-dist/target/hadoop-2.7.2.tar.gz即为新生成的支持snappy压缩的二进制安装包。

最新回复(0)