spark与hive集成的问题

tech2022-08-30  111

ambari默认安装的spark,是无法访问hive的。

需要把 /etc/hive/conf 中的 hive-site.xml 移到spark的conf目录下

并修改以下配置

hive.strict.managed.tables=false hive.create.as.insert.only=false metastore.create.as.acid=false

 hive.load.data.owner=admin

 

------------如果想在本地调试spark访问hive读取数据,将hive-site/hdfs-site移到本地resouces目录下

在类中添加

System.setProperty("hadoop.home.dir", "*****") System.setProperty("HADOOP_USER_NAME","admin")
最新回复(0)