数据库（五）

前言

经过几天数据库的学习，总感觉自己只是会敲写增删查改语句而已，对数据库的内部执行情况并不了解，以及执行顺序，查询原理等，所以想对 MySQL 内部的一些原理加深一下了解。

MySQL 语句执行顺序

MySQL 语句一共分为11不，如下图所示，最先执行的永远是 FROM，最后执行的是 LIMIT 操作。其中每一个操作都会产生一张虚拟的表（虚拟表想要在下次查询使用需要取别名），这个虚拟的表作为一个处理的输入，只是这些虚拟的表对用户来说是透明的，但是只有最后一张虚拟表才会作为结果返回。如果没有在语句中指定某一个子句，那么会跳过相应的步骤。

来分析以下具体查询的每一个阶段

  1. from：对 from 左边的表和右边的表计算笛卡尔积。产生虚拟表 VT1；
  2. on：对虚拟表 VT1进行 on 筛选，只有符合<join-condition>的行才会被记录在虚拟表 VT2中；
  3. join：如果指定了 OUTER JOIN（比如 left join、right join），那么保留表中未匹配的行就会作为外部行添加到虚拟表 VT2中，产生虚拟表 VT3，rug from 子句中包含两个以上的表的话，那么就会对上一个 join 连接产生的结果 VT3和下一个表重复执行步骤1~3这三个步骤，一直处理完所有的表为止；
  4. where：对虚拟表 VT3进行 where 条件过滤。只有符合<where-condition>的记录才会被插入到虚拟表 VT4中；
  5. group by：根据 group by 子句中的列，对 VT4中的记录进行分组操作，产生 VT5；
  6. cube|rollup：对虚拟表 VT5进行 cube 或 rollup 操作，产生虚拟表 VT6；
  7. having：对虚拟表 VT6应用 having 过滤，只有符合<having-condition>的记录才会被插入到虚拟表 VT7中；
  8. select：执行 select 操作，选择指定的列，插入到虚拟表 VT8中；
  9. distinct：对 VT8中的记录进行去重，产生虚拟表 VT9；
  10. order by：对虚拟表 VT9中的记录按照<order-by-list>进行排序操作，产生虚拟表 VT10；
  11. limit：取出指定行的记录，产生虚拟表 VT11，并将结果返回。

MySQL 语句执行过程

下面是 MySQL 的基本架构示意图,从中可以很清楚的看到 SQL 语句在 MySQL 的各个功能模块中的执行过程.

大体来说, MySQL 可以分为 Server 层和存储引擎两部分.
Server 层包括连接器、查询缓存、分析器、优化器、执行器等，涵盖 MySQL 的大多数核心服务功能，以及所有的内置函数（如日期、时间、数字和加密函数等），所有跨存储引擎的功能都在这一层实现，比如存储过程、触发器、视图等。
而存储引擎层负责数据的存储和提取。其架构模式是插件式的，支持 InnoDB、MylSAM、Memory等多个存储引擎。现在最常用的存储引擎是 InnoDB，它从 MySQL5.5.5版本开始成为了默认存储引擎。
也就是说，你在执行 create table 建表的时候，如果不指定引擎类型，默认使用的就是 InnoDB。不过，可以通过指定存储引擎的类型来选择其他的引擎，比如在 create table 语句中使用 engine=memeory，来指定使用内存引擎创建表。不同存储引擎的表数据存取方式不同，支持的功能也不同。
从上图中可以看出，不同的存储引擎共用一个 Server 层，也就是从连接器到执行期的部分。

连接器

第一步，你会先连接到这个数据库上，这时候接待你的就是连接器。连接器负责跟客户端建立连接、获取权限、维持和管理连接。这时候命令是这么写的：

mysql -h$ip -P$port -u$user -p

输完命令后，就需要在交互对话中输入密码。
连接命令中的 mysql 是客户端工具，用来根服务端建立连接。在完成经典的 TCP 握手后，连接器就开始认证身份，这个时候用的就是你输入的用户名和密码。

  • 如果用户名或密码不对，会返回'Access denied for user'的错误，然后客户端程序结束。

  • 如果用户名密码认证通过，连接器会到权限表里面查看用户拥有的权限。之后，这个链接里面的权限判断逻辑，都依赖于此时读到的权限。这意味着修改权限不会立马有效，需要重新连接服务器才会生效。

    连接完成后，如果没有后续的动作，这个链接就处于空闲状态，你可以在 show processlist 命令中看到它。如下所示，其中的 Command 列显示为Query，表示现在系统里面有一个查询链接。

客户端如果太长时间不活跃，连接器就会自动断开连接。这个时间由参数 wiait_timeout 控制，默认为8小时。
如果连接断开，客户端再次发送请求时，会收到错误提醒：Lost connection to MySQL server during query。这时候如果要继续连接，就需要重连，然后执行查询。
数据库里面，长连接是指连接成功后，如果客户端持续有请求，则一直使用同一个连接。短连接则是指每次执行完很少的几次查询就断开连接，下次查询重建一个。
建立连接的过程通常是比较复杂的，所以在使用中尽量减少建立连接的动作，也就是尽量使用长连接。
但是全部使用长连接后，会发现 MySQL 占用内存涨的特别快，这是因为 MySQL 在执行过程中临时使用的内存是管理在连接对象里面的。这些资源会在连接断开才会释放，所以如果大量的长连接积累的话，会导致内存占用太大，被系统强行杀掉（OOM），从现象看就是 MySQL 异常重启了。
怎么解决这个问题呢？有两种方案。

  1. 定期断开长连接。使用一段时间，或者程序里面判断执行过占用内存的大查询后，断开连接，之后要查询再连接。
  2. 如果使用的是5.7及以后的版本，可以在每次执行一个比较大的操作后，通过执行 mysql_reset_connection 来重新初始化连接资源。这个过程不需要重连和重新做权限验证，但是会将连接回复到刚刚创建完时的状态。

查询缓存

连接建立完成后，你就可以执行 select 语句了。执行逻辑就会来到第二步：查询缓存。
MySQL 拿到一个查询请求后，会先到查询内存查看，之前是否执行过这条语句。之前执行过的语句及其结果可能会以 key-value 的形式存储在内存中。key 是查询的语句，value 是查询的结果。如果你的查询能够直接在这个缓存中找到 key，那么这个 value 就会直接返回给客户端。
如果之前没有执行过这条语句，就会执行后面的执行阶段。执行完成后，执行结果会存入查询缓存。这样的优点是，如果查询缓存命中，不需要执行后面的复杂操作，就可以直接返回结果，效率会极大地提高。
但是大多数情况不建议使用查询缓存，因为查询缓存往往利大于弊。
查询缓存的失效非常频繁，只要有对一个表的更新，这个表上所有的查询缓存都会被清空。因此很可能费劲存储的缓存，还没使用就被一个更新全清空了。对于更新压力大的数据库来说，查询缓存的命中率会非常低。除非所有的业务是一张静态表，很长时间更新一次。比如一个系统配置表，那这张表上的查询才适合使用查询缓存。
好在 MySQL 提供了按需使用的方式。可以将参数query_cache_type 设置成 DEMAND，这样对于默认的 SQL 语句都不使用查询缓存。而对于你确定要使用查询缓存的语句，可以用 SQL_CACHE 显示指定，像下面这个语句一样：

mysql> select SQL_CACHE * from T where ID=10;

不过在最新的8.0版本这功能被删了。

分析器

如果没有命中查询缓存，就要开始真正的执行语句了。首先，MySQL 需要知道你要做什么，因此需要对 SQL 语句做解析。
分析器首先会做‘’词法分析‘’，你输入的是由多个字符串和空格组成的一条 SQL 语句，MySQL需要识别出里面的字符串分别是什么，代表什么。
MySQL 从你输入的‘’select‘’这个关键词识别出来，这是一个查询语句。它也要把字符串‘’T‘’识别成‘’表名T‘’，把字符串‘’ID‘’识别成‘’列 ID‘’。
做完了这些识别以后，就要做‘’语法分析‘’。根据此法分析的结果，语法分析器会根据语法规则，判断你输入的这个 SQL 语句是否满足 MySQL 语法。
如果你的语句不对，就会收到‘’You have an error in your SQL syntax‘’的错误提醒。
一般语法错误会提示第一个出现错误的位置，所以你要关注的是紧接‘’use near‘’的内容。

优化器

经过了分析器，MySQL 就知道要做什么了。在开始执行之前，还要经过优化器的处理。
优化器是在表里面有多个索引的时候，决定使用哪个索引；或者在一个语句有多表关联（join）的时候，决定各个表的连接顺序。比如下面这个语句，是执行两个表的 join：

mysql> select * from t1 join t2 using(ID) where t1.c=10 and t2.d=20;

  • 既可以先从表 t1中取出 c=10 记录的ID 值，在根据 ID 值关联到表 t2，再判断 t2里面 d 的值是否等于20。

  • 也可以先从表 t2里面取出 d=20记录的 ID 值，在根据 ID 值关联到 t1，再判断 t1里面 c 的值是否等于10。

    这两种执行方案的逻辑结果是一样的，但是效率会有不同，而优化器的作用就是决定选择使用哪个方案。

    优化器阶段完成后，这个语句的执行方案就确定下来了，然后进入执行器阶段。

执行器

MySQL 通过分析器知道了要做什么，通过了优化器知道怎么做，于是就进入了执行器阶段，开始执行语句。
开始执行的时候，需要先判断用户对表 T 是否拥有查询权限，如果没有，就会返回没有权限的错误。

mysql> select * from T where ID=10;
ERROR 1142 (42000): SELECT command denied to user 'b'@'localhost' for table 'T'

如果有权限，就打开表继续执行。打开表的时候，执行器会根据表的引擎定义，去使用该引擎提供的接口。
比如表 T 中，ID 字段么有索引，那么执行期的执行流程是这样的：

  1. 调用 InnoDB 引擎接口取该表的第一行，判断 ID 值是否为10，如果不是则跳过，如果是则将这行存在结果集中；

  2. 调用引擎接口取‘’下一行‘’，重复相同的判断逻辑，直到取到这个表的最后一行。

  3. 执行器将上述遍历过程中所有满足条件的行组成的记录集作为结果集返回给客户端。

    至此，该语句执行结束。

    对于有索引的表，执行的逻辑差不多。第一次调用的是‘’取满足条件的第一行‘’这个接口，之后循环取‘’满足条件的下一行‘’这个接口，这些接口都是引擎中已经定义好的。

    你会在数据库的慢查询日志中看到一个 rows_examined 的字段，表示这个语句执行过程中扫描了多少行。这个值就是在执行器每次调用引擎获取数据行的时候累加的。

    在某些场景下，执行器调用一次，在引擎内部则扫描了多行，因此引擎扫描行数跟rows_examined 并不是完全相同的。

后段部分摘自丁奇极客时间专栏

【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/zuanzuan/p/10012580.html