大数据统计之基数估计（Cardinality Estimation）

最新推荐文章于 2022-10-25 12:19:36 发布
最新推荐文章于 2022-10-25 12:19:36 发布
阅读量463 收藏 3
点赞数
CC 4.0 BY-SA版权
文章标签： 大数据 运维 java
原文链接：https://my.oschina.net/leejun2005/blog/297461
本文详细介绍了CardinalityEstimation算法的四种实现方式：LinearCounting、LogLogCounting、HyperLogLogCounting及AdaptiveCounting，并探讨了它们在大数据计数场景下的应用。此外，文章还涉及基数估值算法在TDW中的实践，提供了Java实现超大数据去重计数的技术，以及基于Storm的Nginxlog实时监控系统中的基数计数案例。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

1、解读Cardinality Estimation算法（第一部分：基本概念）

http://blog.codinglabs.org/articles/cardinality-estimation.html

2、解读Cardinality Estimation算法（第二部分：Linear Counting）

http://blog.codinglabs.org/articles/algorithms-for-cardinality-estimation-part-ii.html

3、解读Cardinality Estimation算法（第三部分：LogLog Counting）

http://blog.codinglabs.org/articles/algorithms-for-cardinality-estimation-part-iii.html

4、解读Cardinality Estimation算法（第四部分：HyperLogLog Counting及Adaptive Counting）

http://blog.codinglabs.org/articles/algorithms-for-cardinality-estimation-part-iv.html

5、大数据计数：如何仅用1.5KB内存为十亿对象计数

http://www.csdn.net/article/2012-12-21/2813063-big-data-counting-how-to-count-

6、基数估值算法在TDW中的应用

http://mta.qq.com/mta/bigdata/?p=567

7、上述算法的开源库：stream-lib

https://github.com/addthis/stream-lib

8、Java使用极小的内存完成对超大数据的去重计数，用于实时计算中统计UV

http://lxw1234.com/archives/2015/09/516.htm

9、基于Storm的Nginx log实时监控系统：基数计数

http://tech.uc.cn/?p=2866#more-2866

10、大数据计数原理1+0=1这你都不会算(八)No.60

http://bit.ly/2yEPxns

转载于:https://my.oschina.net/leejun2005/blog/297461

夜深人静写算法（十四）- 基数估计 (Cardinality Estimation)
英雄哪里出来
01-12 26万+
目录 一、概述       1、最小值估值法       2、哈希法       3、k-前缀法 二、Linear Counting       1、算法思路       2、算法证明 三、LogLog Counting       1、算法思路       2、算法证明       3、误差消减 四、HyperLogLog Counting       1、算法思路       2、并行化 五...
【Hll】Hll HyperLogLog: Cardinality Estimation(基数估计算法源码解析)
九师兄
08-05 1254
1.概述 好文章，转载防丢失 主要是这里有源码，我遇到问题了，问题是flink在累加器中使用的时候，每次累加最终结果是1，2 每次到了2 就会重新回到1，很郁闷于是看看源码 2.背景 我们经常会统计某个字段的distinct value(DV),比如mysql 的distinct 关键字，但在大数据场景下，考虑空间复杂度，往往需要更少的内存来进行排重逻辑。 HyperLogLog算法就是解决此类问题的算法之一（下文简称DV），如Redis的HyperLogLog结构，ES的distinct语句. Hype.
Cardinality Estimation
u011564172的博客
01-07 706
文章目录前言UV统计的难点时空复杂度UV合并相关算法HashSetBitmapLinearPCSALogLogHyperLogLog其他 前言 最近做UV近似统计的需求，整理了UV统计相关的算法，Cardinality Estimation的相关研究可以用于UV近似统计。下面所列出算法重在实现逻辑，相关证明过程可以参考对应论文。我们的UV统计采用了HyperLogLog算法，因此会对HyperLo...
大数据 基数估计(Linear Counting,LogLog Counting,HyperLogLog Counting,Adaptive Counting)
bagba的知识分享库
07-04 4971
基数估计缘起项目中遇到的问题，考虑如下场景：A,B,C,…..N个集合，这里的集合不是严格意义上的集合，只是指一个list，里面有重复元素。然后我要统计这些集合的交集，并集的集合（这里的交集并集为严格意义上的集合，无重复元素）的数量，即先做 inner join 后，再 count(distinct())。这些集合的大小从十万到十亿不等，大概有几百个这样的集合。目前是通过mapreduce来进行计算
基数估计排重算法在大数据项目中的应用
weixin_30244889的博客
04-11 244
【摘要】 在大数据项目实践过程中，经常会遇到一种特殊的应用场景，可以归纳为给定一个含有重复元素的有限集合，计算其不重复元素的个数。许多业务需求最终可以归结为基数求解，如网站访问分析中的UV（访客数，指一段时间内访问网站的不同用户的数量）。所谓基数又叫做势，是一个可重复集合中不重复元素的个数。由于数据集基数是不可聚集指标（两个数据集总的基数无法通过分别的基数简单计算），因此如果要得到N个数据集任意...
Deep Upsupervised Cardinality Estimation 解读（2019 VLDB）
Y_HEyEwuyuE的博客
03-03 986
VLDB 2019 Deep Upsupervised Cardinality Estimation
论文导读 | 机器学习在数据库基数估计中的应用
weixin_48167662的博客
06-27 2363
基数估计的问题定义和意义
HyperMinHash-java在Java中的实现：精确估算大数据集合基数
- cardinality-estimation：指的是基数估计技术，用于估计数据集合中不同元素的数量。 - cardinality：基数，即数据集合中不同元素的数量。 - hyperloglog-sketches：指的是基于HyperLogLog算法的基数估计算法草图。...
Java实现的HyperLogLog算法：内存高效估计大数据基数
它由Philippe Flajolet及其同事在2007年发表的论文《HyperLogLog: the analysis of a near-optimal cardinality estimation algorithm》中首次提出。HyperLogLog通过使用小的固定内存空间，可以近似地估计非常大的...
基数估算库CardinalityEstimation.zip
07-19
CardinalityEstimation 通过一十分迅捷的规则估算出组里元素的数量，并储存下来。示例代码：ICardinalityEstimator<string> estimator = new CardinalityEstimator(); estimator.Add("Alice"); estimator.Add("Bob"); estimator.Add("Alice"); estimator.Add("George Michael"); ulong numberOfuniqueElements = estimator.Count(); // will be 3
SQL Server中关于基数估计计算预估行数的一些方法探讨
09-09
主要介绍了SQL Server中关于基数估计计算预估行数的一些方法探讨,需要的朋友可以参考下
Cardinality Estimation算法
iroy33的博客
11-26 1698
解读Cardinality Estimation算法（第一部分：基本概念） 传统的精确基数计数算法在数据量大时会存在一定瓶颈，瓶颈主要来自于数据结构合并和内存使用两个方面。因此出现了很多基数估计的概率算法，这些算法虽然计算出的结果不是精确的，但误差可控，重要的是这些算法所使用的数据结构易于合并，同时比传统方法大大节省内存。 解读Cardinality Estimation算法（第二部分：Linea...
openGauss数据库 智能优化器之基数估计
Gauss松鼠会
10-25 1192
现代数据库优化器主要依赖于其内部的代价估计系统，而代价估计最重要的依据就是查询算子的基数，即数据通过算子内查询条件过滤之后剩余的结果行数。因此基数估计技术是影响优化器产生的执行计划性能最关键的技术。openGauss本次开源的智能基数估计特性采用了一种分布自适应的内核原生多列数据分布刻画方法，其首先利用数据列相关性进行数据分布感知，然后根据分布构建对应的概率图模型。
第16/24周 SQL Server 2014中的基数计算
weixin_34261415的博客
07-15 145
大家好，欢迎回到性能调优培训。上个星期我们讨论在SQL Server里基数计算过程里的一些问题。今天我们继续详细谈下，SQL Server 2014里引入的新基数计算。 新基数计算 SQL Server 2014里一个增强是新的基数计算。上个星期你已经学到老基数计算有些限制，会生成错误的估计，这会导致不好的执行计划表现。截至SQL Server 2012，你一直在使用自SQL Server 7...
解读Cardinality Estimation算法（第一部分：基本概念）
z_l_l_m的专栏
04-12 2587
文章出处 http://blog.codinglabs.org/articles/algorithms-for-cardinality-estimation-part-i.html 作者 张洋 | 发布于 2012-12-30 | 最后更新 2013-01-31                算法基数估计大数据 基数计数（cardinality counting）是实际应用中一种常
解读Cardinality Estimation算法（第四部分：HyperLogLog Counting及Adaptive Counting）
keshixi的专栏
07-02 1218
原文：解读Cardinality Estimation算法（第四部分：HyperLogLog Counting及Adaptive Counting） 在前一篇文章中，我们了解了LogLog Counting。LLC算法的空间复杂度为O(log2(log2(Nmax)))，并且具有较高的精度，因此非常适合用于大数据场景的基数估计。不过LLC也有自己的问题，就是当基数不太大时，估计值的误
SQL Server中的基数估计过程
culuo4781的博客
07-18 1089
In this post, we are going to take a deeper look at the cardinality estimation process. We will use SQL Server 2014, the main concepts might also be applied to the earlier versions, however, the p...
解读Cardinality Estimation算法（第三部分：LogLog Counting）
Java仗剑走天涯
06-06 1249
LogLog Counting（以下简称LLC）出自论文“Loglog Counting of Large Cardinalities”
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值