前文:
当一个用户拥有多个标签(私有属性)或一个标签拥有多个用户时,可以使用map来维护复杂的关系。
这里使用常用的parquet格式展示
drop table if exists hive_map; CREATE TABLE hive_map( id INT, name MAP < STRING, STRING > ) STORED AS PARQUET;只能使用MR引擎,否则报错。Impala无法使用str_to_map函数。
insert into table hive_map select 1,str_to_map(concat_ws(',',collect_list(concat("a",":","a1")))); insert into table hive_map select 2,str_to_map(concat_ws(',',collect_list(concat("b",":","a1")))); insert into table hive_map select id,str_to_map(concat_ws(',',collect_list(concat(key,":",value)))) as name from ( select 3 as id,'aa' as key,'aa1' as value union ALL select 3 as id,'bb' as key,'bb2' as value union ALL select 3 as id,'cc' as key,'cc3' as value )t1 group by id;hive 能直接获取对应的kv关系,但不能直接判断key/value存在。
备注:Impala查询复杂数据类型可以看作是一张表,所以要提取出来再使用,否则只能查询到简单数据类型的字段。
Impala 不能获取对应的kv关系,但能直接判断key/value存在。