Doris中Bitmap与oomFilter索引原理及应用.pdfVIP

1.bitmap索引

1.1.原理

1.1.1.什么是Bitmap

1.1.2.什么是Bitmap索引

1.2.适用场景

1.2.1.非前缀过滤

1.2.2.多列过滤

1.3.如何使用

1.3.1.创建索引

1.3.2.查看索引

1.3.3.删除索引

1.4.注意事项

2.BloomFilter索引

2.1.原理

2.1.1.什么是BloomFilter

2.1.2.什么是BloomFilter索引

2.2.适用场景

2.3.如何使用

2.3.1.创建索引

2.3.2.查看索引

2.3.3.删除索引

2.3.4.修改索引

2.4.注意事项

1.bitmap索引

Doris在0.12版本，支持基于Bitmap的倒排索引，对于有Filter的查询有明显的加速效果。

1.1.原理

1.1.1.什么是Bitmap

用一个位数组中的一个位来代表一条数据的存在与否

Bit是计算机中数据的最小单位，1个Bit的值只能是0或1，Bitmap(Bitset)就是⼀个Bit数组。

BitMapIndex的方式采用小端模式，即低位数据在内存的低地址端。比如10110表示第1和第4

个Bit是0，第2、3、5个Bit是1。我们可以用一个Bit位标识某个事物是否存在，进而用Bitmap表示

一组事物存在与否，以及进行去重计数等操作。

比如用户表的某列是，总共有10行数据，奇数行是。我们想快速判断哪些行的是男，就可

以建立⼀个Bitmap:0101010101，与行对应。我们通过计算Bitmap中哪些Bit位是1，就可以快速

判断用户表中哪些⾏的是男。

1.位图索引

1.1.原理1.1.1.什么是

Bitmap1.1.2.什么是

Bitmap索引

1.2.适用场景1.2.

1.双过滤器

1.3.使用方法

1.3.1.创建索引

1.3.2.查看索引

1.3.3.删除索引

1.4.注意

2.BloomFilter索引

2.1.原则2.1.1.

1.位图索引

Doris0.12版本后支持基于Bitmap的索引，对于Filter查询有明显的加速效果。

1.1.原则

1.1.1.什么是位图

使用一位最作中的一位来体育的一次体育表演与否

位是计算机中数据的最小单位，1位的值只能是0或1，位图(Bitset)是一个Bit的数组。一组事物存

在与不存在，进算。

例如，用户共有10行数据，奇数行是。我们想要快速判断哪些行是，所以我们可以创建一个

Bitmap：0101010101，它对应于1。我们可以快速判断Bitmap中哪些行是1。

1.1.2.什么是Bitmap索引

如上图所示，tform列有4行数据，可能的取值有Android、IOS。Doris中会首先针对tform列

构建⼀个字典，将Android和IOS映射为Int，然后就可以对Android和IOS分别构建Bitmap。具体

来说，我们分别将Android、IOS编码为0和1，因为Android出现在第1，2，3行，所以Bitmap是

0111，因为IOS出现在第4行，所以Bitmap是1000。

假一个针对包含该tform列的表的SQL查询，selectxxxfromtablewheretform=iOS，

Doris会首先查找字典，找出IOS对于的编码值是1，然后再去查找BitmapIndex，知道1对应的

Bitmap是1000，我们就知道只有第4行数据符合查询条件，Doris就会只第4行数据，不会

所有数据。

1.2.适用场景

1.2.1.非前缀过滤