JAVA：利用布隆过滤器(BloomFilter)实现高效的去重和判重

请关注微信公众号：拾荒的小海螺
博客地址：http://lsk-ww.cn/

1、简述

布隆过滤器 (Bloom Filter)是一种空间效率高、时间效率低的数据结构，用于判断一个元素是否存在于一个集合中。它基于一个位数组和多个哈希函数实现，当一个元素被添加到集合中时，会将其哈希到位数组中的多个位置，并将对应的位设置为1；当判断一个元素是否在集合中时，只需检查位数组中的对应位置是否为1即可。

哈希表也能用于判断元素是否在集合中，但是布隆过滤器只需要哈希表的 1/8 或 1/4 的空间复杂度就能完成同样的问题。

布隆过滤器可以插入元素，但不可以删除已有元素。其中的元素越多，误报率越大，但是 漏报是不可能的。

2、原理

BloomFilter 的算法是，首先分配一块内存空间做 bit 数组，数组的 bit 位初始值全部设为 0。

加入元素时，采用 k 个相互独立的 Hash 函数计算，然后将元素 Hash 映射的 K 个位置全部设置为 1。

检测 key 是否存在，仍然用这 k 个 Hash 函数计算出 k 个位置，如果位置全部为 1，则表明 key 存在，否则不存在。

3、代码