hive 中排序order by,sort by,distribute by使用

本文链接：https://blog.csdn.net/weixin_43548518/article/details/104087412

本文详细介绍了Hive中的四种排序方式：order by进行全局排序，效率较低；sort by实现分区内的排序；distribute by用于控制行分配到特定reducer，常与sort by配合使用；cluster by则是distribute by和sort by的组合，但只支持升序排序。在大数据场景中，sort by和distribute by的组合更为常见。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

前提:hive 中使用的排序有oder by, sort by,distribute By,cluster By
具体使用如下
测试数据:

0: jdbc:hive2://hadoop-03:10000> select * from emp;
+------------+------------+------------+----------+---------------+----------+-----------+-------------+--+
| emp.empno  | emp.ename  |  emp.job   | emp.mgr  | emp.hiredate  | emp.sal  | emp.comm  | emp.deptno  |
+------------+------------+------------+----------+---------------+----------+-----------+-------------+--+
| 7369       | SMITH      | CLERK      | 7902     | 1980-12-17    | 800.0    | NULL      | 20          |
| 7499       | ALLEN      | SALESMAN   | 7698     | 1981-2-20     | 1600.0   | 300.0     | 30          |
| 7521       | WARD       | SALESMAN   | 7698     | 1981-2-22     | 1250.0   | 500.0     | 30          |
| 7566       | JONES      | MANAGER    | 7839     | 1981-4-2      | 2975.0   | NULL      | 20          |
| 7654       | MARTIN     | SALESMAN   | 7698     | 1981-9-28     | 1250.0   | 1400.0    | 30          |
| 7698       | BLAKE      | MANAGER    | 7839     | 1981-5-1      | 2850.0   | NULL      | 30          |
| 7782       | CLARK      | MANAGER    | 7839     | 1981-6-9      | 2450.0   | NULL      | 10          |
| 7788       | SCOTT      | ANALYST    | 7566     | 1987-4-19     | 3000.0   | NULL      | 20          |
| 7839       | KING       | PRESIDENT  | NULL     | 1981-11-17    | 5000.0   | NULL      | 10          |
| 7844       | TURNER     | SALESMAN   | 7698     | 1981-9-8      | 1500.0   | 0.0       | 30          |
| 7876       | ADAMS      | CLERK      | 7788     | 1987-5-23     | 1100.0   | NULL      | 20          |
| 7900       | JAMES      | CLERK      | 7698     | 1981-12-3     | 950.0    | NULL      | 30          |
| 7902       | FORD       | ANALYST    | 7566     | 1981-12-3     | 3000.0   | NULL      | 20          |
| 7934       | MILLER     | CLERK      | 7782     | 1982-1-23     | 1300.0   | NULL      | 10          |
+------------+------------+------------+----------+---------------+----------+-----------+-------------+--+

1.order by :使用 order by 子句做全局排序,Hive分析数据底层的实现是MapReduce,
order by做全局排序,是通过只有一个reducer做到的

hive (default)> select * from emp order by sal desc;

在这里插入图片描述
2.sort By：sort by为每个reducer产生一个排序文件。每个Reducer内部进行排序，对全局结果集来说不是排序
对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by
简单来说就是分区内进行了排序

hive (default)> set mapreduce.job.reduces=3;
hive (default)> select * from emp sort by deptno desc;
hive (default)> insert overwrite local directory '/opt/module/datas/sortby-result' select * from emp sort by deptno desc;

结果如下:
在这里插入图片描述
3.distribute By：在有些情况下，我们需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by类似MR中partition（自定义分区），进行分区，结合sort by使用。
简单来说就是:按照那个字段进行分区
对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。
案例实操：
先按照部门编号分区，每个分区内再按照员工编号降序排序。

hive (default)> set mapreduce.job.reduces=3;
hive (default)> insert overwrite local directory '/opt/module/datas/distribute-result' select * from emp distribute by deptno sort by empno desc;

结果:
在这里插入图片描述
注意：
1．distribute by的分区规则是根据分区字段的hash码与reduce的个数进行模除后，余数相同的分到一个区。
2．Hive要求DISTRIBUTE BY语句要写在SORT BY语句之前。
4. cluster By
当distribute by和sorts by字段相同时，可以使用cluster by方式。
以下两种写法等价

hive (default)> select * from emp cluster by deptno;
hive (default)> select * from emp distribute by deptno sort by deptno;

注意：
cluster by除了具有distribute by的功能外还兼具sort by的功能。
但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。

总结: 个人经验,sort by 搭配distribute by 搭配经常使用
order by 几乎不用,生产中数据量很大，效果更明显