Hive面试题

Hive面试题整理（一）

1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆）

  1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。
  （1）key分布不均匀;
  （2）业务数据本身的特性;
  （3）建表时考虑不周;
  （4）某些SQL语句本身就有数据倾斜;
  如何避免：对于key为空产生的数据倾斜，可以对其赋予一个随机值。
  2）解决方案
  （1）参数调节：
    hive.map.aggr = true
    hive.groupby.skewindata=true
  有数据倾斜的时候进行负载均衡，当选项设定位true,生成的查询计划会有两个MR Job。第一个MR Job中，Map的输出结果集合会随机分布到Reduce中，每个Reduce做部分聚合操作，并输出结果，这样处理的结果是相同的Group By Key有可能被分发到不同的Reduce中，从而达到负载均衡的目的；第二个MR Job再根据预处理的数据结果按照Group By Key 分布到 Reduce 中（这个过程可以保证相同的 Group By Key 被分布到同一个Reduce中），最后完成最终的聚合操作。
  （2）SQL 语句调节：
  ① 选用join key分布最均匀的表作为驱动表。做好列裁剪和filter操作，以达到两表做join 的时候，数据量相对变小的效果。
  ② 大小表Join：
    使用map join让小的维度表（1000 条以下的记录条数）先进内存。在map端完成reduce。
  ③ 大表Join大表：
    把空值的key变成一个字符串加上随机数，把倾斜的数据分到不同的reduce上，由于null 值关联不上，处理后并不影响最终结果。
  ④ count distinct大量相同特殊值:
    count distinct 时，将值为空的情况单独处理，如果是计算count distinct，可以不用处理，直接过滤，在最后结果中加1。如果还有其他计算，需要进行group by，可以先将值为空的记录单独处理，再和其他计算结果进行union。

2、Hive的HSQL转换为MapReduce的过程？（☆☆☆☆☆）

  HiveSQL ->AST(抽象语法树) -> QB(查询块) ->OperatorTree（操作树）->优化后的操作树->mapreduce任务树->优化后的mapreduce任务树

  过程描述如下：
    SQL Parser：Antlr定义SQL的语法规则，完成SQL词法，语法解析，将SQL转化为抽象语法树AST Tree；
    Semantic Analyzer：遍历AST Tree，抽象出查询的基本组成单元QueryBlock；
    Logical plan：遍历QueryBlock，翻译为执行操作树OperatorTree；
    Logical plan optimizer: 逻辑层优化器进行OperatorTree变换，合并不必要的ReduceSinkOperator，减少shuffle数据量；
    Physical plan：遍历OperatorTree，翻译为MapReduce任务；
    Logical plan optimizer：物理层优化器进行MapReduce任务的变换，生成最终的执行计划。

3、Hive底层与数据库交互原理？（☆☆☆☆☆）

  由