4.10 同义词文件/Synonym
| from | => | to |
|---|---|---|
| AT &T | => | AT&T |
| AT & T | => | AT & T |
| standarten fuehrer | => | Standartenfuehrer |
| standarten fuhrer | => | Standartenfuehrer |
| Ms-Dos | => | MS-DOS |
| MS DOS | => | MS-DOS |
5 算法
5.1 字典
double array trie 检索树
5.2 分词算法
5.3 文档id压缩 – Variable Byte Coding
5.4 索引存储 – 多路归并排序
7 创建索引过程
- 扫描配置文件。
- 创建程序内部数据结构，schema, mva attr等。
- 第一次遍历文档记录，连接数据库读取创建索引的记录。
- 循环分词创建spa, spp文件（临时格式）（如果inline模式只创建spp文件）, 如果非inplace模式，那么创建对应 tmp->spa, tmp->spp对应文件。
- 第二次遍历文档记录，创建mva属性（非field mva attributes）。
- 多路归并创建spm文件。
- 更新并创建最终的spa文件，更新mva的位置信息到spa文件。
- 读取临时格式的spp文件，多路归并创建spi,spd,spp文件。
- 创建索引头文件sph。
- 更新索引创建后的信息（例如存储当前已经简历索引的）释放资源