布隆过滤器

tech2024-11-20  15

什么是布隆过滤器?

本质上布隆过滤器是一种数据结构,比较巧妙的概率型数据结构(probabilistic data structure),特点是高效地插入和查询,可以用来告诉你 “某样东西一定不存在或者可能存在”。

相比于传统的 List、Set、Map 等数据结构,它更高效、占用空间更少,但是缺点是其返回的结果是概率性的,而不是确切的。

布隆过滤器出现的背景?

假设要判断一个id值是否存在,在不查询数据库的情况下,从一个上亿条数据量的表中得出是否存在该id值的结论。

出现的问题:把所有的id值都缓冲到内存中,然后遍历,但是内存是有限的,太耗内存,实际情况也没有这么打的内存,而且这里只是判断了容量小的id值,要是判断表中某个大字段列,都是不可能在内存中加载成功的。

解决的方案: 1:现在创建一个bit数组数据每项值初始化都是0。 2:此时不再是存储表中每个id值,而是把每个id值通过给定的hash()方法计算后,得到一个bit数组的角标,把这个bit数组角标对应的值修改为1。 3:现在客户端给定一个id值,我们也把这个id值执行hash()方法得到对应的角标,看此角标的值,是否为1,是1表示存在,为0,表示不存在。 4:我们发现一个hash()方法得到角标标识一个唯一id值,不太准确,如果对一个id值,通过多个hash()方法获取的一个角标集合都设置为1,来作为这个id值,是否存在更为准确。 5:但是hash方法的个数也是有限制的,不是越多越好,越多的话,会造成一个bit数组99%角标的值都是1,那就失去准确率了。

它的底层维护了一个 bit 向量或者说 bit 数组,长这样: 通过多个hash()方法算出的角标设置为1是这样的 需要注意的点:每个hash方法算出来的角标值必须在0~(bit数组长度-1)之间。

如何选择哈希函数个数和布隆过滤器长度

很显然,过小的布隆过滤器很快所有的 bit 位均为 1,那么查询任何值都会返回“可能存在”,起不到过滤的目的了。布隆过滤器的长度会直接影响误报率,布隆过滤器越长其误报率越小。 另外,哈希函数的个数也需要权衡,个数越多则布隆过滤器 bit 位置位 1 的速度越快,且布隆过滤器的效率越低;但是如果太少的话,那我们的误报率会变高。

标准公式 k 为哈希函数个数,m 为布隆过滤器长度,n 为插入的元素个数,p 为误报率。

降低布隆过滤器的错误率的方式?

1:加大bit数组的长度 2:增多hash方法的个数 但是上面的俩个方案都是在适度的范围内增加,加多了,反而适得其反。

布隆过滤器可以解决redis缓冲穿透的问题。

最新回复(0)