索引总结

常用的两种索引结构：B-tree和HASH

B-tree

B-tree索引能够加快访问数据的速度，因为存储引擎不再需要经行全表扫描来获取需要的数据，取而代之的是从根节点开始搜索。根节点的槽中存放了指向子节点的指针，存储引擎根据这些指针向下查找。通常比较节点页的值和要查找的值可以找到合适的指针进入下层子节点。

B-tree通常意味着所有的值都是按顺序存储的，并且每一个叶子页到根的距离相同。

如上图，是一颗B-tree，关于B-tree的定义可以参见B-tree，这里只说一些重点，浅蓝色的块我们称之为一个磁盘块，可以看到每个磁盘块包含几个数据项（深蓝色所示）和指针（黄色所示），如磁盘块1包含数据项17和35，包含指针P1、P2、P3，P1表示小于17的磁盘块，P2表示在17和35之间的磁盘块，P3表示大于35的磁盘块。真实的数据存在于叶子节点即3、5、9、10、13、15、28、29、36、60、75、79、90、99。非叶子节点只不存储真实的数据，只存储指引搜索方向的数据项，如17、35并不真实存在于数据表中。

B-tree的查找过程
如图所示，如果要查找数据项29，那么首先会把磁盘块1由磁盘加载到内存，此时发生一次IO，在内存中用二分查找确定29在17和35之间，锁定磁盘块1的P2指针，内存时间因为非常短（相比磁盘的IO）可以忽略不计，通过磁盘块1的P2指针的磁盘地址把磁盘块3由磁盘加载到内存，发生第二次IO，29在26和30之间，锁定磁盘块3的P2指针，通过指针加载磁盘块8到内存，发生第三次IO，同时内存中做二分查找找到29，结束查询，总计三次IO。真实的情况是，3层的B-tree可以表示上百万的数据，如果上百万的数据查找只需要三次IO，性能提高将是巨大的，如果没有索引，每个数据项都要发生一次IO，那么总共需要百万次的IO，显然成本非常非常高。

B-tree性质
1.通过上面的分析，我们知道IO次数取决于b+数的高度h，假设当前数据表的数据为N，每个磁盘块的数据项的数量是m，则有h=㏒(m+1)N，当数据量N一定的情况下，m越大，h越小；而m = 磁盘块的大小 / 数据项的大小，磁盘块的大小也就是一个数据页的大小，是固定的，如果数据项占的空间越小，数据项的数量越多，树的高度越低。这就是为什么每个数据项，即索引字段要尽量的小，比如int占4字节，要比bigint8字节少一半。这也是为什么B-tree要求把真实的数据放到叶子节点而不是内层节点，一旦放到内层节点，磁盘块的数据项会大幅度下降，导致树增高。当数据项等于1时将会退化成线性表。
2.当B-tree的数据项是复合的数据结构，比如(name,age,sex)的时候，b+数是按照从左到右的顺序来建立搜索树的，比如当(张三,20,F)这样的数据来检索的时候，B-tree会优先比较name来确定下一步的所搜方向，如果name相同再依次比较age和sex，最后得到检索的数据；但当(20,F)这样的没有name的数据来的时候，B-tree就不知道下一步该查哪个节点，因为建立搜索树的时候name就是第一个比较因子，必须要先根据name来搜索才能知道下一步去哪里查询。比如当(张三,F)这样的数据来检索时，B-tree可以用name来指定搜索方向，但下一个字段age的缺失，所以只能把名字等于张三的数据都找到，然后再匹配性别是F的数据了，这个是非常重要的性质，即索引的最左匹配特性。

注意：B-tree的高度一般都在2-4层，这也就是说查找某一键值的行记录最多只要2到4次IO，花费0.02-0.04秒左右。

B-tree索引适用于全值匹配、匹配最左前缀、匹配列前缀、匹配范围值

建立索引的原则

1. 最左前缀匹配原则，非常重要的原则，mysql会一直向右匹配直到遇到范围查询(>、<、between、like)就停止匹配，比如a = 1 and b = 2 and c > 3and d = 4 如果建立(a,b,c,d)顺序的索引，d是用不到索引的，如果建立(a,b,d,c)的索引则都可以用到，a,b,d的顺序可以任意调整。
2.=和in可以乱序，比如a = 1 and b = 2and c = 3 建立(a,b,c)索引可以任意顺序，mysql的查询优化器会帮你优化成索引可以识别的形式
3.尽量选择区分度高的列作为索引,区分度的公式是count(distinctcol)/count(*)，表示字段不重复的比例，比例越大我们扫描的记录数越少，唯一键的区分度是1，而一些状态、性别字段可能在大数据面前区分度就是0，那可能有人会问，这个比例有什么经验值吗？使用场景不同，这个值也很难确定，一般需要join的字段我们都要求是0.1以上，即平均1条扫描10条记录
4.索引列不能参与计算，保持列“干净”，比如from_unixtime(create_time) = ’2014-05-29’就不能使用到索引，原因很简单，b+树中存的都是数据表中的字段值，但进行检索时，需要把所有元素都应用函数才能比较，显然成本太大。所以语句应该写成create_time = unix_timestamp(’2014-05-29’);
5.尽量的扩展索引，不要新建索引。比如表中已经有a的索引，现在要加(a,b)的索引，那么只需要修改原来的索引即可。

举例子：
数据表如下，

mysql>desc newCity;
+-------------+----------+------+-----+---------+----------------+
|Field       | Type     | Null | Key | Default | Extra          |
+-------------+----------+------+-----+---------+----------------+
| Id          | int(11)  | NO  | PRI | NULL    | auto_increment |
|Name        | char(35) | NO   |    |         |                |
|CountryCode | char(20) | NO   | MUL|         |                |
|District    | char(20) | NO   |    |         |                |
|Population  | int(11)  | NO  |     | 0       |                |
+-------------+----------+------+-----+---------+----------------+
5 rows in set (0.00 sec)

数据量：

mysql>select count(*) from newCity;
+----------+
| count(*)|
+----------+
|     4079 |
+----------+
1 row in set (0.01 sec)

我们通过explain查看执行计划

首先我们在没有添加索引时，进行如下查询。我们可以看出type=all表明全表扫描，估计查询行数为4070行。

mysql>explain select * from newCity where CountryCode="BRA" and District="Bahia"and Name="Itabuna"G
***************************1. row ***************************
           id: 1
  select_type: SIMPLE
        table: newCity
   partitions: NULL
         type: ALL
possible_keys:NULL
          key: NULL
      key_len: NULL
          ref: NULL
         rows: 4070
     filtered: 0.10
        Extra: Using where
1 row in set, 1 warning (0.00 sec)

现在我们添加索引如下，

mysql>alter table newCity
    -> add index idx (CountryCode,District,Name);
Query OK,0 rows affected (0.17 sec)
Records: 0  Duplicates: 0  Warnings: 0

在通过explain查询执行计划，我们发现该查询的行数估计为1行。

mysql>explain select * from newCity where CountryCode="BRA" andDistrict="Bahia" and Name="Itabuna"
G
***************************1. row ***************************
           id: 1
  select_type: SIMPLE
        table: newCity
   partitions: NULL
         type: ref
possible_keys:idx
          key: idx
      key_len: 225
          ref: const,const,const
         rows: 1
     filtered: 100.00
        Extra: NULL
1 row in set, 1 warning (0.00 sec)

哈希索引

Mysql中只有在memory引擎显示支持哈希索引。

哈希索引基于哈希表实现，只有精确匹配索引所有列的列才有效。对于每一行数据，存储引擎都会对所有索引计算一个哈希码，哈希码是一个较小的值并且不同键值计算出来的哈希码都不一样。哈希索引将所有的哈希码存储在索引中，同时在哈希表中保存指向每个数据的指针。

哈希索引的限制：

l 哈希索引只包含哈希值和行指针，而不知存储字段值，所以不能使用索引中的值来避免读取行。若读取行，则必须经行一次IO操作。

l 哈希索引并不是按照哈希值顺序存储的，所以也就无法用于排序。

l 哈希值也不支持部分索引，因为哈希值始终是使用索引列中所有的内容计算哈希值的。例如，在数据（A,B）上建立哈希索引，如果只查询A则不能使用哈希索引。

l 哈希索引只支持等值查询。

l 哈希索引查询速度非常快，除非出现出现冲突。

注意：Innodb引擎有一个特殊的功能叫做“自适应哈希索引”。当Innodb注意到某些索引值使用非常频繁时，它会在内存中基于B-tree索引之上再建立一个哈希索引。这是一个完全自动、内部的行为，用户无法配置或者设置，不过有必要可以关闭此功能。

创建自定义哈希索引

思路：在B-tree基础上创建一个伪哈希索引。这和真正的哈希索引不是一回事，它使用哈希值而不是键本身经行查找。需要在操作中在where语句中手动指定哈希函数。

mysql> createtable test(
    -> id int not null auto_increment,
    -> url varchar(255) not null,
    -> url_crc int unsigned not null default0,
    -> primary key (id)
-> );

其中，url_crc用来存储哈希值。该值根据url和哈希函数得出。

我们通过触发器来实现维护哈希值。

mysql>delimiter //
mysql> createtrigger test_insert before insert on test for each row begin
    -> set new.url_crc=crc32(new.url);
    -> end;
    -> //
Query OK, 0 rowsaffected (0.03 sec)
mysql> createtrigger test_update before update on test for each row begin
    -> set new.url_crc=crc32(new.url);
    -> end;
    -> //
Query OK, 0 rowsaffected (0.03 sec)
mysql>delimiter ;
我们来测试下，
mysql> insertinto test (url) values("www.hao123.com");
Query OK, 1 rowaffected (0.01 sec)
 
mysql> select *from test;
+----+----------------+------------+
| id | url            | url_crc    |
+----+----------------+------------+
|  1 | www.hao123.com | 3883448495 |
+----+----------------+------------+
1 row in set (0.00sec)

如果采用这种方式，记住不要使用SHA1（）和MD5（）作为哈希函数。因为这两个值计算出来的哈希值是非常长的字符串，会浪费大量时间，比较时也会比较慢。

在出现哈希冲突时，必须在子句中包含常量值。

mysql> select *from test where url_crc=crc32("www.hao123.com") andurl="www.hao123.com";
+----+----------------+------------+
| id | url            | url_crc    |
+----+----------------+------------+
|  1 | www.hao123.com | 3883448495 |
+----+----------------+------------+
1 row in set (0.00sec)

Mysql常见的索引：主键索引、唯一索引、普通索引、全文索引、组合索引

唯一索引

与普通索引类似，不同的就是：索引列的值必须唯一，但允许有空值（注意和主键不同）。如果是组合索引，则列值的组合必须唯一。

例如，在已经存好数据的表中添加唯一索引，如果值有重复会报错，

<span style="font-weight: normal;">mysql> altertable newcity
    -> add unique idx_u (Name);
ERROR 1062(23000): Duplicate entry 'San Jose' for key 'idx_u'</span>

主键索引

它是一种特殊的唯一索引，不允许有空值。

组合索引：

平时用的SQL查询语句一般都有比较多的限制条件，所以为了进一步榨取MySQL的效率，就要考虑建立组合索引。

mysql> alter table newcity
    -> add index idx(CountryCode,District,Name);
Query OK, 0 rows affected (0.12 sec)
Records: 0  Duplicates: 0  Warnings: 0

相当于同时创建了三个索引，

（ConutryCode,District,Name）,(CountryCode,District),(CountryCode)。

这是因为从最左开始组合的。所以依次生成了三个索引。

全文索引

在前面描述中，在B-tree中可以通过列前缀进行查询。例如

select * from testwhere body=”hello%”;

然而，我们更普遍的查找方式是，

select * from testwhere body=”%hello%”;

全文索引可以支持各种字符在内的搜索，也支持自然语言搜索和布尔搜索。

创建全文索引如下：

mysql> createtable fts(
    -> id int unsigned auto_increment,
    -> body text,
    -> primary key(id)
    -> );
Query OK, 0 rowsaffected (0.03 sec)

注意，在innodb存储引擎中为了支持全文索引，必须有一列与word经行映射。在Innodb中这个列别命名为FTS_DOC_ID，其类型必须是BIGINT UNSIGNED NOT NULL，并且innodb存储引擎自动会在该列上加入一个名为FTS_DOC_ID_INDEX的unique index。上述操作都是由Innodb存储引擎自己完成的，用户也可在建表时手动添加FTS_DOC_ID以及相应的Unique idnex。

插入数据

insert into fts(body) values (“hello world”);
…
mysql> select *from fts;
+----+-----------------------------+
| id | body                        |
+----+-----------------------------+
|  1 | hello world                 |
|  2 | hello ptyhon                |
|  3 | python and flask and django |
|  4 | flask and django web        |
+----+-----------------------------+
4 rows in set(0.00 sec)

建立全文索引

mysql> createfulltext index idx on fts(body);

通过设置参数innodb_ft_aux_table来查看分词对应的信息

mysql> setglobal innodb_ft_aux_table="world/fts";
Query OK, 0 rowsaffected (0.00 sec)
mysql> select *from information_schema.INNODB_FT_INDEX_TABLE;
+--------+--------------+-------------+-----------+--------+----------+
| WORD   | FIRST_DOC_ID | LAST_DOC_ID | DOC_COUNT |DOC_ID | POSITION |
+--------+--------------+-------------+-----------+--------+----------+
| and    |           5 |           6 |         2 |      5 |       7 |
| and    |           5 |           6 |         2 |      5 |      10 |
| and    |           5 |           6 |        2 |      6 |        6 |
| django |            5 |           6 |         2 |      5 |      21 |
| django |            5 |           6 |         2 |      6 |      10 |
| flask  |           5 |           6 |         2 |      5 |      11 |
| flask  |           5 |           6 |         2 |      6 |       0 |
| hello  |           3 |           4 |         2 |      3 |       0 |
| hello  |           3 |           4 |         2 |      4 |       0 |
| ptyhon |            4 |           4 |         1 |     4 |        6 |
| python |            5 |           5 |         1 |      5 |       0 |
| web    |           6 |           6 |         1 |      6 |      17 |
| world  |           3 |           3 |         1 |      3 |       6 |
+--------+--------------+-------------+-----------+--------+----------+
13 rows in set(0.00 sec)

可以看出每一个word都对应一个DOC_ID和POSITION。此外还记录了FIRST_ID,LAST_DOC_ID以及DOC_COUNT，分别代表了word第一次出现的文档ID，最后一次出现的文档ID，以及word在在多少个文档中存在。

全文索引的自然语言索引

自然语言索引引擎将计算每一个文档对象和查询的相关度。这里，相关度是指基于匹配的关键词个数，以及关键词在文档中出现的个数。

自然语言索引是默认的。

函数match（）将返回关键词匹配的相关度，是一个浮点数字。

在match（）中指定的列必须和全文索引中指定的列完全相同，否则无法只用全文索引。

举例子，

mysql> select id,body,match(body)against("django") as rf from fts where match(body)against("django");
+----+-----------------------------+--------------------+
| id | body                        | rf                 |
+----+-----------------------------+--------------------+
|  3| python and flask and django | 0.0906190574169159 |
|  4| flask and django web        |0.0906190574169159 |
+----+-----------------------------+--------------------

Boolen全文索引

Mysql数据库允许使用in boolen model修饰符来经行全文检索。当使用该修饰符时，查询字符串前后字符会有特殊含义。

Boolen全文检索支持以下几种操作符：

l +：表示word必须存在

l -：表示word必须不存在

mysql> select *from fts where match(body) against("+django -python" IN BOOLEANMODE);
+----+----------------------+
| id | body                 |
+----+----------------------+
|  4 | flask and django web |
+----+----------------------+
1 row in set (0.00sec)

l (no operator) 表示word是可选的。但是如果是可选的，其相关性会更高。

mysql> select *,match(body) against("flask >python <django" in boolean mode) as rf from fts;
+----+-----------------------------+---------------------+
| id | body                        | rf                  |
+----+-----------------------------+---------------------+
|  1 | hello world                 |                   0 |
|  2 | hello ptyhon                |                   0 |
|  3 | python and flask and django |  0.5437143445014954 |
|  4 | flask and django web        | -0.8187618255615234 |
+----+-----------------------------+---------------------+
4 rows in set (0.00 sec)

l @distance表示查询的多个单词之间的距离是否在distance之内。

mysql> select *from fts where match(body) against('"django flask"@3' IN BOOLEANMODE);
+----+-----------------------------+
| id | body                        |
+----+-----------------------------+
|  3 | python and flask and django |
|  4 | flask and django web        |
+----+-----------------------------+

2 rows in set(0.00 sec)

l >表示出现该word增加相关性

l <表示出现该word降低相关性

mysql> select*,match(body) against(">web"IN BOOLEAN MODE) as rf from fts;
+----+-----------------------------+--------------------+
| id | body                        | rf                 |
+----+-----------------------------+--------------------+
|  1 | hello world                 |                  0 |
|  2 | hello ptyhon                |                  0 |
|  3 | python and flask and django |                  0 |
|  4 | flask and django web        | 1.3624762296676636 |
+----+-----------------------------+--------------------+

l ~允许出现该单词，但是出现时相关性为负。

l *表示以该单词开头的单词，如lik*，表示可以是like，likes和lik

mysql> select *from fts where match(body) against("p*" IN BOOLEAN MODE);
+----+-----------------------------+
| id | body                        |
+----+-----------------------------+
|  2 | hello ptyhon                |
|  3 | python and flask and django |
+----+-----------------------------+
2 rows in set(0.00 sec)

l “表示短语

mysql> select *from fts where match(body) against('hello world'IN BOOLEAN MODE);
+----+--------------+
| id | body         |
+----+--------------+
|  1 | hello world  |
|  2 | hello ptyhon |
+----+--------------+
2 rows in set(0.00 sec)
 
mysql> select *from fts where match(body) against('"hello world"'IN BOOLEAN MODE);
+----+-------------+
| id | body        |
+----+-------------+
|  1 | hello world |
+----+-------------+
1 row in set (0.00sec)

注意到，第一个against（“hello world“）是将hello和world当作两个单词经行查询。而第二个against（‘”hello world“’）是将这两个单词当作短语经行查询。

索引区别

普通索引：最基本的索引，没有任何限制
唯一索引：与"普通索引"类似，不同的就是：索引列的值必须唯一，但允许有空值。
主键索引：它是一种特殊的唯一索引，不允许有空值。
全文索引：针对较大的数据，生成全文索引很耗时耗空间。
组合索引：为了更多的提高mysql效率可建立组合索引，遵循”最左前缀“原则。

原文转载：https://blog.csdn.net/v_victor/article/details/52232685

对最近学习的mysql中的索引经行总结。其主要内容包括Mysql常用的的索引类型（主键索引、唯一索引、普通索引和全文索引和组合索引）和两种常用的结构B-tree、哈希索引（自定义哈希索引和Innodb自适应哈希索引）。参考书籍和文章是《Mysql技术内幕InnoDB存储引擎》、《高性能Mysql》和《Mysql索引原理集慢查询优化》。

文章剩余部分安排如下，首先介绍两种常用索引结构：B-tree哈HASH。接下来介绍常用的索引类型及其区别。