高级数据结构——海量数据(位图,布隆过滤器)

最新推荐文章于 2025-06-19 23:33:12 发布

囚蕤

最新推荐文章于 2025-06-19 23:33:12 发布

阅读量894

点赞数

CC 4.0 BY-SA版权

分类专栏：数据结构与算法文章标签：数据结构海量数据位图布隆过滤器

本文链接：https://blog.csdn.net/weixin_52477733/article/details/126813910

本文介绍了位图和布隆过滤器两种数据结构在处理海量数据时的优势。位图适用于存储非负整数，通过位运算高效存储和检索，节省内存。布隆过滤器则能存储更多类型的数据，并允许存在一定误判率，适用于快速判断数据可能存在性。文章提供了位图和布隆过滤器的Java实现，并探讨了它们的优缺点以及在实际问题如IP地址统计、唯一整数查找等场景的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

位图

位图介绍

位图(bitmap),适用于存储海量,非负整数,不重复的数据.假设我们用int数组来存放数据,1GB相当于是10亿字节,那么当存储40亿整形数据时,一个整形数据占用4个字节,因此一共需要40*4/10=16G,而16G远远超过了普通电脑的内存.而用位图存储40亿整形数据时,因为1个bit来存储1个数据,因此只需要16/4/8=0.5G
此次位图的介绍采用的是byte数组,因此位图中1个元素实际上能够存储的元素个数为8(1byte = 8bit)
在这里插入图片描述

假设我们要存储的数据为3,7,11,14.那么我们首先需要将数据定位到某一个具体的下标里,我们可以通过除8来实现,之后我们需要将数据定位到某1位上,我们可以通过模8来实现在这里插入图片描述
那么如何通过代码将11这个元素存储到具体的位置上?可以通过与运算得到

int arrIndex = val / 8; // 下标
int bitIndex = val % 8; // 位
bitSet[arrIndex] |= (1<< bitIndex); // 通过与运算实现存储

位图代码实现

public class MyBitSet {
   
   
    // 1byte == 8bit,因此一个byte可以存放8个元素 
    private byte[] bitSet;
    private int userSize;

    public MyBitSet(){
   
   
        this.bitSet = new byte[1];
    }
    public MyBitSet(int n){
   
   
    	// 这里进行初始化时存放n个元素实际上只需要(n/8+(byte)1)个大小
        this.bitSet = new byte[n/8+(byte)1];
    }

    public byte[] getBitSet() {
   
   
        return bitSet;
    }

    public void setBitSet(byte[] bitSet) {
   
   
        this.bitSet = bitSet;
    }

    public int getUserSize() {
   
   
        return userSize