菜鸟先飞之sqoop环境搭建以及jar包依赖

tech2023-02-04  88

文件准备下载到本地

sqoop-1.4.6-cdh5.14.2.tar.gz

拖入安装目录并解压

tar -zxf sqoop-1.4.6-cdh5.14.2.tar

解压文件重命名

mv sqoop-1.4.6 sqoop

配置环境变量

vi /etc/profile

export SQOOP_HOME=/opt/install/sqoop  export PATH=$SQOOP_HOME/bin:$PATH

切换至配置文件目录

cd /opt/install/sqoop/conf/

拷贝配置文件

cp sqoop-env-template.sh sqoop-env.sh

修改配置文件

vi sqoop-env.sh

export HADOOP_COMMON_HOME=/opt/install/hadoop export HADOOP_MAPRED_HOME=/opt/install/hadoop export HIVE_HOME=/opt/install/hive export ZOOKEEPER_HOME=/opt/install/zookeeper export ZOOCFGDIR=/opt/install/zookeeper export HBASE_HOME=/opt/install/hbase

拷贝JDBC驱动至sqoop的lib目录下

cp mysql-connector-java-5.1.27-bin.jar  /opt/install/sqoop/lib

ps:需要版本匹配   这里咱们用   mysql-connector-java-5.1.27-bin.jar

验证sqoop:显示帮助命令

sqoop help

测试 Sqoop 是否能够成功连接数据库:

sqoop list-databases --connect jdbc:mysql://localhost:3306/ --username root --password root

这里需要配置自己 mysql 数据库的连接,若连接成功,则会显示数据库

若需要用到hive则要将hive的配置文件传到sqoop的配置文件目录下

cp /opt/install/hive/conf/hive-site.xml ../../sqoop/conf

还需要将hive下的两个jar包传到sqoop的lib目录下

cp hive-common-1.1.0-cdh5.14.2.jar ../../sqoop/lib/

cp hive-exec-1.1.0-cdh5.14.2.jar ../../sqoop/lib/

最新回复(0)