我的ORM之十-- MyOql实现原理

我的ORM索引

ORM的功能

两个基本功能

  • 翻译:对象查询转化为SQL
  • 映射:把查询结果转化为实体

更多功能

如果仅仅实现这两个功能,那这两个是可以独立的,实现起来也就很简单了。但MyOql的目标还有以下部分:

  • 缓存:通过配置文件,在运行时配置缓存。数据变更后(包含存储过程执行后的数据变更),自动破坏缓存对象。
  • 分库:把某些表指向其它的数据库
  • 分表:按一定规则,把数据拆到不同的表。这些不同的表也可以部署在不同的服务器上。MyOql叫变表。
  • 权限:在用户查询时,根据用户角色,可以对表数据进行验证。
  • 对表进行分组。目前只是一级分组,不能多级分组。
  • 对列枚举化。
  • 使MyOql读起来像SQL。
  • 最大程度贴近SQL的最大实现范围。可以执行存储过程、表值函数、标量函数、系统函数、Case When、With As、分页、聚合函数。

对ORM的要求

要实现这些功能,MyOql需要做到:

  • 识别用户操作:是对哪个表进行了哪些操作。不能漏。
  • 执行前事件:在对象转化为SQL之前,先对操作事件进行验证控制。
  • 执行后事件:如果数据是变更,去破坏缓存对象。
  • 取连接事件:控制分库。
  • 取表名事件:控制分表。

因为要控制用户操作,所以在MyOql的系统中,不能使用SQL!这是MyOql 和其它ORM的区别!所以MyOql设计的很灵活,可以实现任何操作(实在特殊的存储过程接着)

MyOql实现的对象翻译Sql机制

MyOql定义了以下几个动作,在这些动作中,保存着各种数据:

  • Select
  • Update
  • Insert
  • Delete
  • BatchInsert
  • BatchUpdate
  • Proc

在翻译的时候,只要识别这些子句就OK了。其它一些很灵活的数据,我为了方便,并没有专门定义属性,而是放到了 Dna 属性里。 在翻译的时候,去Dna里查找就OK了。

如:

Select是最复杂的动作,Select动作的Dna里就包含了: 显示列,Where子句,Join子句,OrderBy子句,GroupBy子句,having子句。

Update动作的Dna里包含了: 更新实体,Where条件,关联表(多表更新)

Insert动作的Dna里包含了:插入实体,Select子句(可以执行 Insert table(列) select (列) from table2)。

Delete是最简单的动作,仅包含一个Where就可以。

这样的机制是尽量的遵循SQL的写法,而没有对写法进行强制约束,比如,你可以这样写:

dbr.Menu.Select().Where(dbr.PUser.Id > 1).ToScalar();

它也可以编译成功,生成的SQL是:

select * from Menu where User.Id > 1

Lambda的支持是为了尽量的约束以上不规范的地方:

dbr.Menu.Select().Where(o => o.Id > 1).ToScalar();

此时Where的参数是 Func<MenuRule,WhereClip> , o 就表示 Menu 表,程序员在写的时候,就不会写到User表里了。

基于以上动作,MyOql可以识别程序对哪些表进行了何种操作。就可以对各个时机进行控制了。

映射

这个没什么好说的,哪个快用哪个。目前使用的是 FastReflectionLib,基于Emit。总之比反射快。

缓存

缓存一直是MyOql的重点,优其是缓存破坏!

缓存数据并不困难,在数据发生变更时,破坏关联的缓存数据才是最最重要的。

MyOql在生成实体时,会从存储过程中分析出该存储过程用到了哪些表,调用了哪些存储过程(递归找出使用的表),建立 存储过程对表的依赖(哪位同学有更好的算法,请指教。我目前是用正则从源码中找的,可能不准),在执行存储过程时,把该存储过程的依赖表的关联缓存项清掉。

理论上可以对简单视图进行写操作,但是为了规范化,视图主要是用来查询的,我在视图的接口上禁用了写操作。

按ID查询流程

  • dbo.Event.OnReading
  • MyOqlCacheManager.GetFromCacheById
  • ToCommand
  • dbo.SetLastQueryedResult
  • MyOqlCacheManager.SetCache
  • dbo.Event.OnReaded

按SQL查询流程

  • dbo.Event.OnReading
  • 如果页数太靠后,则把排序倒置,把页数倒排。如果是第一页并有Take数,则进行总数查询。
  • ToCommand
  • MyOqlCacheManager.GetFromCacheBySql
  • dbo.SetLastQueryedResult
  • MyOqlCacheManager.SetCache
  • dbo.Event.OnReaded

MyOqlCacheManager.GetFromCacheByXXX

取缓存时,可能会从远程服务器读取,为了进行优化,实现以下流程:

本地保存远程服务器的缓存Key,如果本地保存着远程的缓存Key,则进行查询,如果远程查不到,则删除本地缓存Key项。

变表

如果数据库表定义了大括号,MyOql会认为它是变表。 如: T_Fees_{CorpID},它是变表模板,在生成表名的时候,我会用 CorpID 这个变量,来替换=》 T_Fees_{1} , T_Fees_{2} 表示1号公司的收费表,2号公司的收费表,我们称它为分表。

变表需要在某个时机,根据变表模板生成分表。 如创建新公司信息的时候,就把该公司的收费表创建好。

在理解了以上部分之后,参考示例,其它的也就很好理解了。

原文地址:https://www.cnblogs.com/newsea/p/4530864.html