CMU Advanced DB System

https://zhuanlan.zhihu.com/p/40208895 Mysql的MVCC实现

https://severalnines.com/database-blog/comparing-data-stores-postgresql-mvcc-vs-innodb

第一种实现方式是将数据记录的多个版本保存在数据库中,当这些不同版本数据不再需要时,垃圾收集器回收这些记录。这个方式被PostgreSQL和Firebird/Interbase采用,SQL Server使用的类似机制,所不同的是旧版本数据不是保存在数据库中,而保存在不同于主数据库的另外一个数据库tempdb中

第二种实现方式只在数据库保存最新版本的数据,但是会在使用undo时动态重构旧版本数据,这种方式被Oracle和MySQL/InnoDB使用。

参考,An Empirical Evaluation of In-Memory Multi-Version Concurrency Control

Andy号称是关于MVCC最好的paper

MVCC也是一个很老的技术,

主要目的,就是让读写互不干扰,这样读写之间不用加锁,可以简单的增大并发

使用MVCC达到的隔离级别,是Snapshot Isolation,SI,如果要实现serializable,需要额外做一些事情 

虽然各个数据库当前都采用MVCC,但具体设计和实现却各不相同

MVCC设计和实现要考虑的点主要如下四点,

Concurrency Control Protocol

Version Storage

Garbage Collection

Index Management

Concurrency Control Protocol

并发控制方法,主要如下3种,

 为了支持MVCC,Tuple的格式如下,

先看MVTO,

对于MVTO,关键的meta是Read-Ts,用于表示最新一次读取的id

读写的过程如下, 

读的时候,需要更新read-ts到10,那么小于10的write不能更新

写的时候,首先Txn-id,用于write lock,mvcc对于ww冲突仍然是要避免的,所以tx更新时,先把tuple的Txn-id设为当前id,10,tx commit后,txn-id会置0

生成B2版本,B1的end-ts更新为10,表示B1的生命周期从1到10

再看下,MV2PL,不同的meta是Read-cnt

read-cnt,表示多少tx在读,作为shared lock

txn-id和read-cnt,作为exclusive lock

读,首先txn-id为0,表示没有txn在写,然后read-cnt需要加1

写,首先txn-id和read-cnt都为0,表示没有读写,然后同时把两个给设置成10,加1

 

这有个问题,ts会到上限,需要wrapRound

解决的方法,用flag标识frozen,新的txn id总是比frozen版本更新

Occ这里没有介绍,后面会详细介绍

Version Storage

多版本,是用version chain来存储,存储的方式分为3种

既然是用chain来存储,就会有顺序,

O2N,如果查询新的很麻烦,需要遍历,一般都是查询Newest比较多

N2O,每次都需要改head

 

Append-only,多版本都放在Main Table里面,比较简单,版本之间通过point关联

问题是,如果version多了,主表膨胀太快,不好维护

 

Time-Travel Storage

把old version放到一个临时表,以tuple为单位

这样主表只有最新版本 

在临时表中,只会记录Delta,改了一个attribute就记录这个attribute的delta,tuple中没有改的部分不用记录

Non-inline的value,在多版本的时候如何处理,肯定不能存多份,用Ref,并且用ref counters来记录引用次数

 

Garbage Collection

GC分为两个粒度,Tuple或是Transaction

Naive的想法,就是用一个后台的线程,不断的检查每一个tuple,并且把过期的Vacuum

方法的问题是,如果数据量很大,很难完成

 

Cooperative cleaning,在查询的时候,要遍历version chain,这个时候顺便把旧的删掉

但是问题是,如果tuple一直没有被查询,就不会被过期,所以还是要辅助用Vacumming的方法

 

按照Transaction的维度,要求保存下r/w set,这样可以把不用的Transaction所创建的版本都过期掉

 

Index Management

主键,如果N2O,需要每次更新

二级索引,一般需要用logical pointers来降低update频率

 

 给出各个现有的数据库引擎,所以使用的MVCC的设计和实现,

MV-OCC

下面看两个OCC的实现的例子,

首先是mssql的Hekaton,

Hekaton是MVOCC,Append-only,所以多版本都存储在main table

 

OCC是乐观锁,冲突是通过validation来保证

所以读的时候,不需要做ts的更新,找到相应的ts段读取相应的版本

写的时候,增加新的版本,并更新ts,这个时候ts是个更新中的状态

 直到commit,ts才会更新成正常的commit ts

 

如果这个时候,发生写写冲突,如下图,看看这个txn@25,就知道已经被更新,抛出异常 

OCC比较关键的步骤是validating

如果要发现冲突,需要每个Transaction记录下Read,Write,Scan Set,还有Commit依赖

Hekaton的优点是无锁,除了获取全局自增的txn id

问题是,Read/Scan set validation可能非常的贵,如果txn访问了大量数据,所以这个适用于TP场景,如果是AP场景会有问题

AP如果要Scan数据,性能不高;Record级别的互斥比较粗,也许两个Transaction写的是相同record不同的column

Hyper是德国人做的学术性数据库

采用的是MVOCC,Delta存储的方式

 

存储格式如下图,

还是论文里面的图更清晰一些,

账号中,刚开始每个人都是10,现在通过3个Transaction,从Sally转1到henry,wendy,mike

Hyper在主表中存的是最新的数据,最新数据可以in-place更新,这样避免index的更新

通过一个单独的列,VersionVector来指向delta,delta记录的其实就是undo buffer的chain

例子中,T3,T5已经commit,T6还在进行中

 

 对于Hyper,最关键的创新在validation阶段,提出precision locking,来满足serializability

 

首先,只取validate,那些在当前txn开始后,committed的txns

因为如果之前就committed,你读到的一定是最新的值,如果之后commit,那就是他commit的时候需要validate,跟我无关

根据txn中每个sql的predicate的范围,看看哪些committed的txns所更新的值,是否在范围中

底下两张图是都不在范围中

 

这张图,发生了冲突,所以需要回滚

txn读到的数据,被txn#1003修改了,不可重复读

version vector有个问题是,Transaction完成后,delta会被回收掉,所以大部分version vector都是空的,所以要找出哪些非空会比较低效

所以synopses会标记出,什么范围内有非空的vector,这个例子中是在2,5之间会有

 

介绍一下Hana的MVcc设计,MV2PL,time-travel存储

比较奇葩,Hana是N2O,但是main table里面放的是oldest版本

用一个flag来标识是否有新版本,读新版本至少要多一跳,通过独立的hashtable

 版本所对应的txn的meta也是通过pointer指向一个独立的Txn meta data的空间

MVCC问题,

版本一般是用chain保存,需要去search chain来找到版本

需要额外的GC模块来过期老的版本

id或ts的分配有全局瓶颈

 

这里还介绍了一种CMU的CICADA,

 

原文地址:https://www.cnblogs.com/fxjwind/p/11650345.html