1.Hive和HBase有什么区别？
Hive的定位是数据仓库，虽然也有增删改查，但其删改查对应的是整张表而不是单行数据，查询的延迟较高。其本质是更加方便地使用mr的威力来进行离线分析的一个数据分析工具。 Hbase的定位是hadoop的数据库，是一个典型的Nosql，所以Hbase是用来在大量数据中进行低延迟的随机查询的。
2.hive 特点？
a.可扩展：Hive可以自由地扩展集群的规模，一般情况下不需要重启服务 b.延展性：Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数 c.容错：良好的容错性，节点出现问题，SQL仍可完成执行
3.简述hive及其优点？
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
4.hive常用的文件格式有哪些？
Avro,ORC,Parquet,textfile,json等
5.数据仓库的建模理论有哪些;请简单介绍一下 ER(EntityRelation)实体模型 维度建模 dataVault模型 anchor
6.hbase中在namespace为test的下面创建一张名字为:test_table的名,键和属性自己定义
create test:test_table,‘cf’ put test:test_table,‘key01’,‘cf:name’,‘test’ put test:test_table,‘key01’,‘cf:age’,‘20’
7.请画出hive多用户版本的架构图
8.请画出hbase的架构图
9.请介绍一下kafka,什么情况下要使用消息队列?
Kafka是分布式发布-订阅消息系统，它最初是由LinkedIn公司开发的，之后成为Apache项目的一部分，Kafka是一个分布式、可划分的、冗余备份的持久性的日志服务，它主要用于处理流式数据。 举例：火车站买过票,为啥要排队? 因为买的人多了 因为人少的时候就不用排队 售票人员卖票的速度快; 要想满足排队的条件: 人超级多 卖票的速度超级慢; 排队:先到者先买票; 处理的速度如果失败,重新排队;
10.Kafka都包含哪些组件,作用分别是什么?
服务器：维护整个kafka所有业务的运行；维护多个消息列队 生产者：专门用来生产数据（发布） 消费者：专门用来消费数据（订阅） 主题：消息根据topic进行归类
11.Hive内部表和外部表的区别？
在创建外部表的时候要加个关键字 external 内部表 ： 在hive中使用命令删除hive表时，hive所对应的hdfs的目录也会被删除，元数据库中的数据也被删除 外部表 : 在hive中删除了外部表 ，而外部表所对应的hdfs目录不会被删除，元数据库被删除。
12.hive将a表的数据全部挪到b表里面有几种方法?
Create tables as select 语句 Create tables like +insert into select语句
13.以 start-hbase.sh 为起点，Hbase 启动的流程是什么？
以 start-hbase.sh 为起点，Hbase 启动的流程是什么？ start-hbase.sh 的流程如下： 一.运行 hbase-config.sh hbase-config.sh的作用： 1）装载相关配置，如HBASE_HOME目录，conf目录，regionserver机器列表，JAVA_HOME 目录等，它会调用$HBASE_HOME/conf/hbase-env.sh . 2）解析参数（0.96 版本及以后才可以带唯一参数 autorestart，作用就是重启） 3）调用 hbase-daemon.sh 来启动 master. 4）调用 hbase-daemons.sh 来启动 regionserver zookeeper master-backup.
二.hbase-env.sh 的作用： 主要是配置 JVM 及其 GC 参数，还可以配置 log 目录及参数，配置是否需要 hbase 管理 ZK，配置进程 id 目录等.
三.hbase-daemons.sh 的作用：根据需要启动的进程， 如 zookeeper,则调用 zookeepers.sh 如 regionserver，则调用 regionservers.sh 如 master-backup，则调用 master-backup.sh
四.zookeepers.sh 的作用： 如果 hbase-env.sh 中的 HBASE_MANAGES_ZK"=“true”，那么通过ZKServerTool这个类解析xml配置文件， 获取 ZK 节点列表，然后通过 SSH 向这些节点发送远程命令执行。
五.regionservers.sh 的作用： 与 zookeepers.sh 类似，通过配置文件，获取 regionserver 机器列表，然后 SSH 向这些机器发送远程命令：
六.master-backup.sh 的作用： 通过 backup-masters 这个配置文件，获取 backup-masters 机器列表,然后 SSH 向这些机器发送远程命令。
14.hbase内部机制是什么？
Hbase是一个能适应联机业务的数据库系统 物理存储：hbase的持久化数据是存放在hdfs上 存储管理：一个表是划分为很多region的，这些region分布式地存放在很多regionserver上Region内部还可以划分为store，store内部有memstore和storefile 版本管理：hbase中的数据更新本质上是不断追加新的版本，通过compact操作来做版本间的文件合并 Region的split 集群管理：zookeeper + hmaster（职责） + hregionserver（职责）
15.描述Hbase中scan和get的功能以及实现的异同?
HBase的查询实现只提供两种方式： 1、按指定RowKey 获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）Get 的方法处理分两种 : 设置了ClosestRowBefore 和没有设置的rowlock . 主要是用来保证行的事务性，即每个get 是以一个row 来标记的.一个row中可以有很多family 和column. 2、按指定的条件获取一批记录，scan方法(org.apache.Hadoop.hbase.client.Scan）实现条件查询功能使用的就是scan 方式. 1)scan 可以通过setCaching 与setBatch 方法提高速度(以空间换时间)； 2)scan 可以通过setStartRow 与setEndRow 来限定范围([start，end)start 是闭区间，end 是开区间)。范围越小，性能越高。 3)、scan 可以通过setFilter 方法添加过滤器，这也是分页、多条件查询的基础。
16.什么是大合并，小合并？
小合并：把多个hfile合并生成一个大hfile，然后新hfile标记为权威数据，删除老hfile，设计出发点是轻微影响hbase的性能。 大合并：同时处理一个列族的全部hfile，将处理给定region的一个列族的所有hfile，合并为一个文件，大合并是唯一直接删除数据的机会。
17.什么是zk？zk作用？应用场景？
zookeeper是一个分布式的,开源码的分布式应用程序协调服务，他包含一个简单原码集，分布式程序可以基于它实现同步服务。 典型应用场景:Zookeeper是一个高可用的分布式数据管理和协调框架，并能很好的保证分布式环境中数据的一致性。 作用： 1）数据发布与订阅 2）命名服务 3）master选举 4）分布式锁 5）分布式队列
18.hregionserver 挂掉之后怎么处理？
当HRegionServer意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取到这些region的HRegionServer在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。
19.Kafka消息的分发策略？
1)kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含"集群中存活的servers列表"/“partitions leader列表"等信息； 2)当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接； 3)消息由producer直接通过socket发送到broker，中间不会经过任何"路由层”，事实上，消息被aa路由到哪个partition上由producer客户端决定； 比如可以采用"random"“key-hash”"轮询"等,如果一个topic中有多个partitions,那么在producer端实现"消息均衡分发"是必要的。 4)在producer端的配置文件中,开发者可以指定partition路由的方式。
20.请解释一下hive中的分区
hive内部管理海量数据的处理方式; 一个分区是一个目录;多个分区是由多个父子目录 分区的信息只能通过hive的sql语句创建 分区使用的时候当成一列来使用(查询)
21.hive中的cube和rollup分别指的是什么?
Cubes:(立方体) #a,b,c这三个元素列出所有的组合情况; GROUP BY a, b, c WITH CUBE -=--------------------------------------------- GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (b, c), (a, c), (a), (b), ©, ( )). -=--------------------------------------------- Group by (a,b,c) Union Group by (a,b) Union Group by (b,c) Union Group by (a,c) Union Group by (a) Union Group by (b) Union Group by (c ) Union Group by () -=-------------------------------------------- 统计: C3,3
Rollups:(筒) #依次少一个 GROUP BY a, b, c with ROLLUP -=----------------------------------------- GROUP BY a, b, c GROUPING SETS ( (a, b, c), (a, b), (a), ( )) -=----------------------------------------- Group by (a, b, c) Union Group by (a, b) Union Group by (a) Union Group by ()
22.什么是beeline？
让开发人员可以用java程序连接hive;(jdbc) 先启动服务器端：nohup bin/hiveserver2 & 再启动客户端：bin/beeline 连接客户端:Jdbc的url; #/木有跟上数据库,一定要切换数据库(use 数据库的名字);默认是default; !connect jdbc:hive2://node7-4:10000 root 123456 !connect jdbc:hive2://node7-4:10000/mydata root 123456
23.请介绍一下hive的客户端,列出一些常见的命令和用法 bin/hive; 敲sql语句以外 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Commands #Set 命令,原来在hive-site.xml配置项所有的键和值都可以使用set命令设置; #set临时的,当bin/hive停止的时候,下次启动的时候无效; #hive-site.xml永久有效,不管启动多少次都生效; !shell命令;linux命令 可以临时执行一个linux命令; #Dfs hdfs中的命令; dfs -cat /hw/psn_1/data/data.txt; #Source sql文件的路径 bin/hive -f ‘/root/demo.sql’ Demo.sql:中的内容: use mydata ; select * from a_dynasty ; #-S:不把sql语句执行的结果输出出来; bin/hive -S -e ‘select * from mydata.a_dynasty’ > /log.txt
24.请创建一张复杂的表(包含基本类型的属性,集合,map,存储为文本文件)
create table psn ( id int , name string, age smallint, scroe double, – 地址;容器,泛型 address array< string>, – map爱好;容器,泛型 hobby map<string,string>, createTime string ) – 记录行的分隔符 row format delimited – 列的分隔符 fields terminated by ‘,’ – 数组的拆分 collection items terminated by ‘-’ – map map keys terminated by ‘:’ – 存储文件的格式;textfile是默认的,写与不写都是一样的 stored as textfile ;
25.请画出flume高可用的架构图
26.Flume常用的三个组件是什么,并画出来
27.什么是azkaban？
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
28.Hbase都包含哪几部分?
Rowkey:键 列族,列:值 时间戳:版本 按照rowkey字典(ASCII)顺序存储,基于rowkey的高效检索,同时继承hdfs的吞吐能力;
29.如何解决hbase的数据热点问题
rowkey散列 由于数据是被按照rowkey的字典顺序存储的,若rowkey顺序性较强,会减弱hbase分布式存储的特点,千万数据热点,在高并发数据读写时,会千万部分region过载,严重时会千万节点失陪,影响其它数据的访问(其中的一个小弟忙的要死,另外一个闲的要死) 散列的方案: Hash:可以让数据均衡分配,可重构,可以使用get等方式快速访问数据 加随机数 数据均衡分配,不可重构,失去get快速定位数据等能力 反转:普通使用的三列方法,尤其是对于时间序列,手机号类似的rowkey
30.请写出hbase查询表记录并且实现分页的功能
– 不是扫描全表记录,而是扫描一部分记录(因为hbase中如果有1w条记录),只想列出其中的3条 – limit:往后取多少条,startrow:从第几条开始(参数是rowkey) – limit 5,1 scan ‘mydata:psn1’,{LIMIT => 2,STARTROW => ‘key01’}
