【hive】count distinct时遇到的坑

最新推荐文章于 2024-07-26 17:28:54 发布
最新推荐文章于 2024-07-26 17:28:54 发布
阅读量3.2k 收藏 9
点赞数 3
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43619485/article/details/107836093
在Hive和MySQL中，使用count(distinct a,b)计算联合去重时，若a或b中存在NULL值，该行将不被计入计数。这可能导致实际结果与预期不同。为避免这种情况，建议在存储数据时对NULL值进行处理，如转换为'UNKNOWN'等特定字符串。" 87917529,7500938,Kubernetes集群插件部署实战：Dashboard、Heapster与Metrics-Server,"['Kubernetes', '监控', '日志管理']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

先说结论

使用count distinct计算两列联合去重时，若有任何一列为NULL，那么count计数时就会略过这一条。
如：count(distinct a,b) 若a或者b中有一个是null，那么这一行就不会参与计数
平台：hive、mysql都是如此

1、给一张测试表如下：
表名设为test，注意第三行的name是null，空值

id tools name
1 hive a
2 hive b
3 hive NULL

2、观察下方执行结果：

select distinct tools,name from test
tools name
hive a
hive b
hive NULL
最低0.47元/天 解锁文章

新学期VIP享超值加赠
(12)Hive调优——count distinct去重优化
爱吃辣条的博客
02-15 2973
Hive调优——count distinct替换
Hive Count Distinct 优化
SmartSi
11-11 1392
我们利用 Hive 对嵌套语句的支持，将原来一个 MapReduce 作业转换为两个作业，在第一阶段选出全部的非重复 id，在第二阶段再对这些已去重的 id 进行计数。本文我们就来分析一个简单语句的优化过程。我们看到作业运行时的 Reduce Task 个数为1，对于统计大数据量时，这会导致最终 Map 的全部输出由单个的 Reduce Task 处理。从上述优化过程我们可以看出，一个简单的统计需求，如果不理解 Hive 和 MapReduce 的工作原理，它可能会比优化后的执行过程多四、五倍的时间。
hive经典面试题6--对数去重（[A,B],[B,A]）算一对，改怎么处理
程老师的博客
01-06 1412
背景：在很多业务中，都涉及到对数去重。例如：A和B建联，记了一条数据[A,B]，B又和A建联，又记了一条数据[B,A]。这两条记录，只是记录的顺序不一致，人还是A、B两个人，在业务中，这只算一对。 ...
Hive中使用Distinct踩到的坑
UncleMing5371的博客
12-24 3837
问题描述： 在使用Hive的过程中，用Distinct对重复数据进行过滤，得出了一个违背认知的结果，百思不得其解。 假设：test表中有100W数据，对test表按照a, b, c, d, e去重。 一、使用Distinct的SQL如下： SQL1 ：select count(distinct a, b, c, d, e) from test;  得出结果： 2W+。 根据数据特点第...
mysql踩坑之count与distinct返回0、count(distinct null)返回0、count与distinct联合使用的坑、count(null)返回0
最新发布
weixin_49114503的博客
07-26 1258
mysql踩坑之count与distinct返回0、count(distinct null)返回0、count与distinct联合使用的坑、count(null)返回0
Mysql的distinct作用和排坑
Koikoi12的博客
11-01 1537
概念 distinct不是函数，而是select的一部分，很多教程在介绍distinct这一块儿的时候都会写SELECT DISTINCT 语句。 语法： SELECT DISTINCT column1,column2,... FROM table_name; distinct是根据后面字段组合（column1,column2,…）去重，而不是根据column1去重。 用法 表A： 表B: 1.作用于单列 select distinct name from A 执行后结果如下： 2.作用于多列 s
hive count distinct count(distinct Columns) Columns为多列时慎用，有坑！！！
lquarius的博客
01-30 3580
1，问题 表中实际无重复数据，但是经过count(distinct imei,wifi,ssid)，数据量变少了。 2，原因 distinct 多列时任意列为null值，均返回null，hive的count()函数对空值是不做处理的，所以数据减少 3，验证 4，解决办法 4.1，将distinct后列用小括号括起来（所有列均为null...
Hive count(distinct ) 优化
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
04-28 650
第一阶段：
Hive之count (distinct)剖析与优化
KGC的博客
04-11 3187
市场部小姐姐：我的sql为啥这么慢呀？
39. hive 在使用 count(distinct ) over 时报错，提示 Expression not in GROUP BY key
元元的李树专栏
01-20 1874
hive 在使用 count(distinct ) over 时报错，提示FAILED: SemanticException [Error 10025]: Line 1:123 Expression not in GROUP BY key解决办法 参考了很多帖子，都没有说明解决办法。 我给出一个折中的参考方案，在聚合前，先将数据去重，再cout() over 即可。 下面给出我的参考范...
hive踩坑记录：count(distinct col1,col2) 遇见某列中有null值，结果不准
diudiu2025的博客
12-28 3332
count(distinct col1,col2) 遇见某列中中有null值，结果不准 SELECT count(DISTINCT col1,col2) from (SELECT 2 as col1,1 as col2 union all SELECT null as col1,2 as col2 union all SELECT null as col1,3 as col2 un...
Hive 数字类型慎用distinct
xylf1988的专栏
04-10 239
distinct 后变成 1， 100。且是随机的，有的是正常，有的就这样。
distinct count
weixin_30378311的博客
12-18 1060
实验：查询一个column的无重复记录，需要知道有多少条记录，并显示记录。 统计记录用count(*)函数，无重复记录distinct，以emp表为例。 （1）先查询无重复记录 [@more@] SQL>select distinct emp.sal from scott.emp; SAL ---------- 800 950 ...
大数据开发之Hive案例篇5- count(distinct) 优化一例
只是甲的博客
05-24 491
因为本身是离线数据，此时可以借助临时表，首先把每个用户首次访问的时间记录下来，这样就可以将处理的数据大大减少，最后再通过开窗函数处理即可。一般一个reduce处理的数据是1G，所以首先想能不能增加reduce的个数来调优上述Hive SQL。SQL也是因为 count(distinct)的存在，导致reduce数分配少了，进而出现数据性能问题。上述SQL所代表的业务逻辑是求截止当前每分钟的用户访问数(如出现多次，只算一次)经验证，调整了上述参数后，问题依旧没有得到解决。
SQL中的count语句
生活在继续
08-18 3650
count (* )                --总数      count (nullif (1 , 1 ))        --永远返回0      count (a )                --a数量      count (b)                --b数量      count (distinct a )        --a不重复数量      c
SQL COUNT DISTINCT 函数
persuit的专栏
07-28 1682
SQL COUNT DISTINCT 函数 SQL 函数 定义和用法 可以一同使用 DISTINCT 和 COUNT 关键词，来计算非重复结果的数目。 语法 SELECT COUNT(DISTINCT column(s)) FROM table 例子 注意：下面的例子仅适用于 ORACLE 和 Microsoft SQL server，不能用于
count(distinct xxx) 与distinct ； count（case when ）
waj89757的专栏
05-02 1万+
select a,b,c select a,b,distinct c   不对 distinct必须是对所有字段排重，必须写在外面。 select distinct a,b,c 第二种   也叫转置   主要理解意思 select a,count(distinct b) ....group by a 按照a，汇总不同的b。 1    1 1
count()和distinct关键字的使用
热门推荐
✅ Java 开发工程师，从事 Web 应用程序的研发，擅长 Spring、SpringBoot 等技术。 ✅ 热爱编程，业余时间学习新知识，通过 CSDN 记录学习心得和笔记内容。
09-11 4万+
distinct关键字 distinct关键字是用于去除重复的数据记录。distinct使用情况： （1）select distinct * 情况 当distinct和*号结合使用时候，只有当所有字段都一模一样时候，才会去除重复记录，只保留一条。 （2）select distinct 列名1，列名2，...，列名n 情况 当指定列名后，只有指定的列名字段全部值全部相同时候，才会去除重复的记录，只保留一条。 注意：distinct关键字只能放在所有字段前面，不能在某个字段之后。 count(
数据库去重汇总 count(distinct xxx) 与distinct ； count（case when ）
yuhui666666的博客
01-09 3562
总括： SELECT T.dept_one as "部门", COUNT(DISTINCT ( CASE WHEN (is_week='1') THEN name ELSE NULL end )) as "周活" FROM (SELECT m.*, s.event_property_code,s.event_property_value FROM ...
hive count distinct优化
03-16
Hive count distinct的优化可以从以下几个方面入手： 1. 数据倾斜问题：如果某个字段的值分布不均匀，可能会导致某些reduce节点的负载过重，从而影响整个查询的性能。可以通过对数据进行分桶、分区等方式来解决数据...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值