HyperLogLog 算法原理，数学公式，代码实现，具体应用例子

已于 2023-07-25 18:57:23 修改
阅读量3.0k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： AI人工智能与大数据 文章标签： 算法 哈希算法 数据结构
于 2023-07-25 17:45:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/131923212
HyperLogLog算法是一种基数估计算法，适用于处理大规模数据集。其核心是通过哈希函数、位掩码和基数估计来估算集合中唯一元素的数量。文章详细介绍了算法原理、数学公式（涉及前导零位数与基数的关系），并提供了Python代码实现，还给出了一种在大数据统计中应用的例子——统计网站独立访客数量。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

HyperLogLog算法

HyperLogLog（HLL）算法是一种用于估计集合中唯一元素数量的基数估计算法。它通过使用较小的内存和较低的计算复杂度来处理大规模数据集。本文将介绍HyperLogLog算法的原理、数学公式（使用LaTeX格式）、代码实现和具体应用示例。

1. 原理

HyperLogLog算法的核心思想是通过对输入数据进行特定操作，生成一组哈希值，并利用这些哈希值进行基数估计。它的原理可以分为三个主要部分：哈希函数、位掩码和基数估计。

  1. 哈希函数：HyperLogLog使用哈希函数将输入的元素映射到固定长度的二进制串。这些哈希函数应具有良好的随机性和均匀性，以确保生成的哈希值尽可能地分散。

  2. 位掩码：HyperLogLog通过位掩码确定哈希值的前导零位数。位掩码是一个固定长度的二进制串，用于提取哈希值的一部分位。例如，如果位掩码是00010，则对应哈希值的前两位将被提取。

  3. 基数估计：通过统计位掩码中最长的前导零位数，可以估计整个集合的基数。根据HyperLogLog的原理，位掩码中最长前导零位数（记作

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kylin原理与代码实例讲解
AI天才研究院
06-15 451
在大数据时代,企业面临着海量数据的分析挑战。传统的数据仓库和OLAP系统难以应对PB级别的数据规模,查询性能和响应速度也难以满足实时分析的需求。为了解决这些问题,Apache Kylin应运而生。
Redis-Redis 高级数据结构 HyperLogLog与事务
weixin_43874650的博客
11-29 1158
如果这样的页面很多，那 所需要的存储空间是惊人的。为这样一个去重功能就耗费这样多的存储空间，值 得么？该实现一个明显的问题是内存占用过多，所有从库的连接在主库上是独立的，同样举抛硬币的例子，如果只有一组抛硬币实验，显然根据公式推导得到的。那么基于上面的估算结论，我们可以通过多次抛硬币实验的最大抛到正面的。大家应该对事务比较了解，简单地说，事务表示一组动作，要么全部执行，但是，如果你的页面访问量非常大，比如一个爆款页面几千万的 UV。列中的未执行命令，并不会回滚已经操作过的数据，这一点要和关系型数据库的。
HyperLogLog 使用及其算法原理详细讲解
Java框架、并发编程、分布式、微服务、Redis、HarmonyOS、中间件等技术
08-18 2万+
目录 一、简介 二、命令 2.1 PFADD key element [element …] 2.2 PFCOUNT key [key …] 2.3 PFMERGE destkey sourcekey [sourcekey …] 三、原理 3.1 伯努利试验 3.2 估值优化 3.3 HyperLogLog的实现 3.4 代码实现-BernoulliExperiment（伯努利试验） 3.5 代码实现-HyperLogLog 一、简介 首先抛出一个业务问题： 假设产品经理让你设计一
神奇的HyperLogLog算法【转载 #涉及到数学原理】
热门推荐
G.D.Retop的专栏
08-16 3万+
原文链接：http://rainybowe.com/blog/2017/07/13/%E7%A5%9E%E5%A5%87%E7%9A%84HyperLogLog%E7%AE%97%E6%B3%95/index.html?utm_source=tuicool&utm_medium=referral 神奇的HyperLogLog算法 基数计数基本概念 基数计数(car
掌握HyperLogLog算法：大数据基数估算的高效实现
最新发布
weixin_31419153的博客
05-30 939
HyperLogLog是一种用于估计大数据集中不同元素数量的算法。它的优势在于其内存效率，能够在极小的空间内准确估计大规模数据的基数（即不同元素的个数）。HyperLogLog算法的核心数据结构是用于存储哈希值的寄存器数组。以下是如何在C++中定义这一数据结构的一个简单示例：public:private:// 寄存器数组，用于存储二进制前缀的长度// 哈希函数输出的位数为了克服传统HyperLogLog算法的局限性，研究人员和工程师们已经开发出了几种改进算法。
神奇的HyperLogLog算法
weixin_33766805的博客
08-12 571
2019独角兽企业重金招聘Python工程师标准>>> ...
HyperLogLog 的原理 详解
goTsHgo的博客
11-05 2165
HyperLogLog 是一个基于哈希的概率算法，具有非常高的内存效率，尤其适用于需要快速估算基数的大数据场景。它通过哈希映射和前导零统计来估计基数，在保证低空间复杂度的同时，仍然提供较为准确的结果。尽管它是一个近似算法，但在很多实际应用中，估算误差足够小，能够满足需求。
hyperloglog原理
u011624157的专栏
08-08 265
思路概述 抛硬币的概率->字符串取hash之后也是01序列，也可看做抛硬币的结果->抛几次（集合中有几个元素）会出现这种前导0->不精确，所以分桶->前导0的个数直接求平均偏差大，所以求调和平均->细节微调（分桶数、constant值等） ...
Redis Hyperloglog的原理及数学理论的通俗理解
m0_37125602的博客
01-24 1003
redis hyperloglog原理和其背后数学思想的通俗理解，没有任何数学公式！！扔扔硬币就能学会~
玩转Redis-HyperLogLog原理探索
zxiaofan.com
08-16 4393
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【10】篇。本文关键字：玩转Redis、HyperLogLog原理、基数缓存、密集存储结构和稀疏存储结构。
hyperloglog的原理
chang765721的博客
07-29 896
hyperloglog
HyperLogLog_hyperloglog算法_hyperloglog_
09-28
hyperloglog算法实现，实现语言C++，从概率角度统计集合的基数，非常使用的算法
探索HyperLogLog算法（含Java实现）
燃烧杯的博客
08-22 2502
引言 HyperLogLog算法经常在数据库中被用来统计某一字段的Distinct Value（下文简称DV），比如Redis的HyperLogLog结构，出于好奇探索了一下这个算法的原理，无奈中文资料很少，只能直接去阅读论文以及一些英文资料，总结成此文。 介绍 HyperLogLog算法来源于论文《HyperLogLog the analysis of a near-optimal...
HyperLogLog原理及Redis实现分析
Javax777的博客
10-17 778
在某次需求实现时，面临的业务场景是对千万级的用户id做去重。Set、HashMap等常用的数据结构都能处理这种情况，但是这些数据结构也面临这样的问题：随着数据量的增多，占用的内存空间会越来越大。 出于对人力成本和内存资源消耗的考虑，最终我们选用了HyperLogLog来完成这一任务。 什么是HyperLogLog？一个(有限)集合里不同的元素个数就称为该集合的基数(cardinality)，HyperLogLog是一种在大数据量下统计基数的算法，标准误差为0.81%。相较于其它算法，HyperLogLo
HyperLogLog 算法的原理讲解以及 Redis 是如何应用它的
qq_41076792的博客
08-27 783
1：伯努利试验 2：估算的优化（调和平均数） 3： 扯上关系 比特串 分桶 对应 伯努利试验 在认识为什么HyperLogLog能够使用极少的内存来统计巨量的数据之前，要先认识下伯努利试验。 伯努利试验是数学概率论中的一部分内容，它的典故来源于抛硬币。 硬币拥有正反两面，一次的上抛至落下，最终出现正反面的概率都是50%。假设一直抛硬币，直到它出现正面为止，我们记录为一次完整的试验，间中可能抛了一次就出现了正面，也可能抛了4次才出现正面。无论抛了多少次，只要出现了正面，就记录为一次试验。这个试验就是伯努利试验
Redis中的HyperLogLog以及HyperLogLog原理
qq_42581682的博客
03-16 3840
Redis中的hyperLogLog数据结构及原理
redisHyperLogLog原理解析
qq_30095631的博客
05-04 2585
场景 做服务端的同学，应该都遇到过计数场景，比如我想知道浏览某一个web页面的总人数，总次数；查看某条热门动态的总人数总次数；购买某件商品的总人数总次数；对于总次数我们直接基于计数器累加就能很方便的解决，时间和空间复杂度都不高。而对于总人数，常规思路我们都是基于去重数据结构Set来存储，将所有访问了的用户id就存到到set中，最终获取set集合中的元素个数即为总人数。当平台量不大时可能还好，一旦访问人数过大，这将是一笔不小的存储开销，并且随着人数的不断增多，所需要的存储空间也会不断加大，这就有点头疼了。 r
数学相关 - HyperLogLog算法原理
Mr.W的博客
02-15 553
一文理解HyperLogLog算法原理
HyperLogLog使用及原理
Martin的博客
07-01 8375
我们可以思考一个常见的业务问题：如果开发一个大型网站，要记录每个网页每天的UV数据，我们应该如何实现呢？ 如果统计PV那非常容易，给每个网页一个独立的Redis计数器就可以了，这个计数器的key后缀加上当天的日期。这样来一个请求，incrby一次，最终就可以统计出所有的PV数据。但是UV不一样，它要去重，也许我们可以想到一个简单的方案，为每个网页创建一个set集合来存储当天访问过此页面的用户ID...
C++实现的HyperLogLog算法介绍及应用
该算法的实现语言为C++，它基于概率论原理，通过概率分布和哈希函数来估计基数大小，而不是精确计算，从而大大减少了内存需求。 HyperLogLog算法的核心思想是观察哈希值的前几位来推算集合的基数。为了降低碰撞的...
评论 26
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值