MapReduce读取hive数据,然后用hbase的bulkload方法导入hbase中

tech2023-07-13  102

                                                 废话不多说,直接上代码—————————————————————————————————————

因为默认是一个分区,就只有一个reduce过程,写入比较慢。

所以先进行分区设定。

先建表,创建100个分区。

 

 

Driver类: 

HiveMapper类:

 打包,测试:

 结果查看:

进行bulkload操作————HFile2HBase类: 

 结果查看:

文件有点碎了,分区100个有点多。

下面进行导入操作:

过程很慢,最终报错了:

原因:是因为要load的文件没有权限。导致load不成功!

解决:赋权(注意:从最外层文件夹到最里层都赋权!)

再次执行load操作,

查看操作结果:数据已经全部载入到hbase中的表msmp_ns:test555中 

HBase三种写入方式对比:

最新回复(0)