Hive及Impala的Map类型使用案例

tech2024-07-08  63

前文:

         当一个用户拥有多个标签(私有属性)或一个标签拥有多个用户时,可以使用map来维护复杂的关系。

一、案例

1.1 建表

这里使用常用的parquet格式展示

drop table if exists hive_map; CREATE TABLE hive_map( id INT, name MAP < STRING, STRING > ) STORED AS PARQUET;

1.2 Hive插入

只能使用MR引擎,否则报错。Impala无法使用str_to_map函数。

insert into table hive_map select 1,str_to_map(concat_ws(',',collect_list(concat("a",":","a1")))); insert into table hive_map select 2,str_to_map(concat_ws(',',collect_list(concat("b",":","a1")))); insert into table hive_map select id,str_to_map(concat_ws(',',collect_list(concat(key,":",value)))) as name from ( select 3 as id,'aa' as key,'aa1' as value union ALL select 3 as id,'bb' as key,'bb2' as value union ALL select 3 as id,'cc' as key,'cc3' as value )t1 group by id;

1.3Hive查询

select id,name["a"] from hive_map where name["a"] = "a1";

hive 能直接获取对应的kv关系,但不能直接判断key/value存在。

1.4Impala查询

refresh hive_map; select id ,info_map.key from hive_map, hive_map.name as info_map where info_map.key = "a";

备注:Impala查询复杂数据类型可以看作是一张表,所以要提取出来再使用,否则只能查询到简单数据类型的字段。

Impala 不能获取对应的kv关系,但能直接判断key/value存在。

最新回复(0)