一.ORM框架简介
对象-关系映射(Object/Relation Mapping,简称ORM),是随着面向对象的软件开发方法发展而产生的。面向对象的开发方法是当今企业级应用开发环境中的主流开发方法，关系数据库是企业级应用环境中永久存放数据的主流数据存储系统。对象和关系数据是业务实体的两种表现形式，业务实体在内存中表现为对象，在数据库中表现为关系数据。内存中的对象之间存在关联和继承关系，而在数据库中，关系数据无法直接表达多对多关联和继承关系。因此，对象-关系映射(ORM)系统一般以中间件的形式存在，主要实现程序对象到关系数据库数据的映射。本篇参考博客https://www.cnblogs.com/li-li/p/10374418.html
1、ORM方法论基于三个核心原则
- 简单性：以最基本的形式建模数据。
- 传达性：数据库结构被任何人都能理解的语言文档化。
- 精确性：基于数据模型创建正确标准化了的结构。
面向对象是从软件工程基本原则(如耦合、聚合、封装)的基础上发展起来的，而关系数据库则是从数学理论发展而来的，两套理论存在显著的区别。为了解决这个不匹配的现象,对象关系映射技术应运而生。O/R中字母O起源于"对象"(Object),而R则来自于"关系"(Relational)。几乎所有的程序里面，都存在对象和关系数据库。在业务逻辑层和用户界面层中，我们是面向对象的。当对象信息发生变化的时候，我们需要把对象的信息保存在关系数据库中。
当开发一个应用程序的时候(不使用O/R Mapping),可能会写不少数据访问层的代码，用来从数据库保存，删除，读取对象信息，等等。在DAL中写了很多的方法来读取对象数据，改变状态对象等等任务。而这些代码写起来总是重复的。
如果打开你最近的程序，看看DAL代码，肯定会看到很多近似的通用的模式。我们以保存对象的方法为例，传入一个对象，为SqlCommand对象添加SqlParameter，把所有属性和对象对应，设置SqlCommand的CommandText属性为存储过程，然后运行SqlCommand。对于每个对象都要重复的写这些代码。除此之外，还有更好的办法吗？有，引入一个O/R Mapping。实质上，一个O/R Mapping会为你生成DAL。与其自己写DAL代码，不如用O/R Mapping。用O/R Mapping保存，删除，读取对象，O/R Mapping负责生成SQL，你只需要关心对象就好。对象关系映射成功运用在不同的面向对象持久层产品中。
2、一般的ORM包括以下四部分
- 一个对持久类对象进行CRUD操作的API；
- 一个语言或API用来规定与类和类属性相关的查询；
- 一个规定mapping metadata的工具；
- 一种技术可以让ORM的实现同事务对象一起进行dirty checking, lazy association fetching以及其他的优化操作；
3.ORM把关系数据库的表结构映射到对象上.
数据库中每次查出来的数据都用一个类表示,这个类的属性和数据库中表的字段一一对应.多条数据,就是一个list,每一行数据都是一个类来表示,如下所示:
class User(object):
def __init__(self,id,name):
self.id = id
self.name = name
[
User(1,"dog"),
User(2,"cat"),
User(3,"sneak")
]
当我们需要获取id,或者name的时候,只需要通过循环获取到对象,直接通过user1.id或者user1.name就可以获取id和name的属性.并且使得数据的存取非常的规范,这样ORM架构应运而生.
二.SQLAlchemy介绍
Python中最有名的ORM架构就是SQLAlchemy,我们主要来学习SQLAlchemy的使用
1.安装
pip install sqlalchemy
2.创建数据表
#Object Relation Mapping Table通过Object去操作数据表
#导入官宣基础模型
from sqlalchemy.ext.declarative import declarative_base
#实例化官宣模型 Base就是ORM模型
Base = declarative_base()
#当前的这个Object继承了Base也就是代表了Object继承了ORM的模型
class User(Base): #相当于Django 中的Model
#为表创建名称
__tablename__ = "user"
#创建ID数据字段,那么ID是不是一个数据列呢?也就是说创建ID字段=创建ID数据列
from sqlalchemy import Column,Integer,String #Integer就是int
#id = Column(数据类型,索引,主键,外键等)
id = Colum(Integer,primary_key=True,autoincrement=True)
#str=char=string (长度)
name = Column(String(32),index=True)
#去连接数据库,创建数据引擎
from sqlalchemy import create_engine
#创建的数据库引擎
engine = crete_engine("mysql+pymysql://root:123456@127.0.0.1:3306/lqy?charset=utf8")
#mysql+pymysql:指的是哪种数据连接
#root:用户名 123456:root用户的密码 127.0.0.1:3306:数据库的ip和端口号 lqy:连接数据库的名字
#Base自动检索所有继承Base的ORM对象,并创建所有的数据表
Base.metadata.create_all(engine)
3.增删改查操作
3.1 添加数据
# insert 为数据表增加数据
# insert One 增加一行数据
# insert into user(name) values ("张三")
# 在ORM中的操作:
# 1.首先导入之间做好的ORM 对象 User
from my_create_table import User
# 2.使用Users ORM模型创建一条数据
user1 = User(name="张三")
# 数据已经创建完了,但是需要写入到数据库中啊,怎么写入呢?
# 3.写入数据库:
# 首先打开数据库会话 , 说白了就是创建了一个操纵数据库的窗口
# 导入 sqlalchemy.orm 中的 sessionmaker
from sqlalchemy.orm import sessionmaker
# 导入之前创建好的 create_engine
from my_create_table import engine
# 创建 sessionmaker 会话对象,将数据库引擎 engine 交给 sessionmaker
Session = sessionmaker(engine)
# 打开会话对象 Session
db_session = Session()
# 在db_session会话中添加一条 UserORM模型创建的数据
db_session.add(user1)
# 使用 db_session 会话提交 , 这里的提交是指将db_session中的所有指令一次性提交
db_session.commit()
db_session.close() # 关闭会话
# 当然也你也可很任性的提交多条数据
# 方法一:
user2 = User(name="李四")
user3 = User(name="王五")
db_session.add(user2)
db_session.add(user3)
db_session.commit()
# 之前说过commit是将db_session中的所有指令一次性提交,现在的db_session中至少有两条指令user2和user3
db_session.close()
# 如果说你觉得方法一很麻烦,那么方法二一定非常非常适合你
# 方法二:
user_list = [
User(name="小明"),
User(name="小红"),
User(name="小兰")
]
db_session.add_all(user_list) # add_all方法中传入可迭代对象，可一次性添加多条数据
db_session.commit()
db_session.close()
3.2查询数据
# ORM操作查询数据
# 有了刚才Insert增加数据的经验,那么查询之前的准备工作,就不用再重复了吧
# 回想一下刚才Insert时我们的操作
from my_create_table import User, engine
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(engine)
db_session = Session()
# 1. select * from user 查询user表中的所有数据
# 语法是这样的 使用 db_session 会话 执行User表 query(User) 取出全部数据 all()
user_all_list = db_session.query(User).all()
print(user_all_list) # [<my_create_table.User object at 0x0000016D7C4BCDD8>, ......]
# 如何查看user_all_list其中的数据呢? 循环呗
for obj in user_all_list:
print(obj.id, obj.name) # ORM对象 直接使用调用属性的方法 拿出对应字段的值
db_session.close() # 关闭会话
# 2. select * from user where id >= 5
# 语法是这样的 使用 db_session 会话 执行User表 query(User) 筛选内容User.id >=20 的数据全部取出 all()
user_all_list = db_session.query(User).filter(User.id >= 5).all()
print(user_all_list)
for obj in user_all_list:
print(obj.id, obj.name)
db_session.close() # 关闭会话
# 3. 除了取出全部还可以只取出一条，不用循环，直接通过调用属性方法得到字段值
user = db_session.query(User).filter(User.id >= 5).first()
print(user.id, user.name)
db_session.close() # 关闭会话
# 4. 乌龙 之 忘了取出数据......
wulong1 = db_session.query(User).filter(User.id >= 5)
print(wulong1)
# SELECT user.id AS user_id, user.name AS user_name
# FROM user
# WHERE user.id >= %(id_1)s
# 我忘了取出数据了!!!哎? wulong1给我显示了原生SQL语句,因祸得福了
wulong2 = db_session.query(User)
print(wulong2)
# SELECT user.id AS user_id, user.name AS user_name
# FROM user
# 我又忘了取出数据了!!! 哎? wulong2给我显示了原生SQL语句,因祸得福了
db_session.close() # 关闭会话
3.3修改数据
# ORM更新数据
# 无论是更新还是删除,首先要做的事情,就应该是查询吧
# 根据之前原有的经验,接下来是不是要导入ORM对象了,是不是要创建db_session会话了
from my_create_table import User,engine
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(engine)
db_session = Session()
# UPDATE user SET name="NB李四" WHERE id=2 更新一条数据
# 语法是这样的 :
# 使用 db_session 执行User表 query(User) 筛选 User.id = 2 的数据 filter(User.id == 2)
# 将name字段的值改为"NB李四" update({"name":"NB李四"})
res = db_session.query(User).filter(User.id == 2).update({"name":"NB李四"})
print(res) # 1 res就是我们当前这句更新语句所更新的行数
# 注意注意注意
# 这里一定要将db_session中的执行语句进行提交,因为你这是要对数据中的数据进行操作
# 数据库中 增 改 删 都是操作,也就是说执行以上三种操作的时候一定要commit
db_session.commit()
db_session.close()
# 更新多条
res = db_session.query(User).filter(User.id <= 3).update({"name":"NB李四"})
print(res) # 3 res就是我们当前这句更新语句所更新的行数
db_session.commit()
db_session.close()
3.4删除数据
# ORM 删除一条多条数据 # 老规矩 # 导入 ORM 创建会话 from my_create_table import User,engine from sqlalchemy.orm import sessionmaker Session = sessionmaker(engine) db_session = Session() # DELETE FROM `user` WHERE id=2 res = db_session.query(User).filter(User.id==2).delete() print(res) # 1 res表示执行此语句更改的数据行数 db_session.commit() # 删除操作记得commit db_session.close() # 关闭会话
3.5高级查询数据操作
# 高级版查询操作,厉害了哦
# 老规矩
from my_create_table import User, engine
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(engine)
db_session = Session()
# 查询数据表操作
# and or
from sqlalchemy.sql import and_ , or_
ret = db_session.query(User).filter(and_(User.id > 3, User.name == '小红')).all()
print(ret) # [<my_create_table.User object at 0x000001E2D67DCCF8>]
ret = db_session.query(User).filter(or_(User.id < 2, User.name == '小红')).all()
print(ret) # [<my_create_table.User object at 0x000001E2D67DCCF8>]
# 查询数据 指定查询数据列 加入别名映射 name as username
r2 = db_session.query(User.name.label('username'), User.id).first()
print(r2.id, r2.username) # 这里要写别名"username"了
# 表达式筛选条件
r3 = db_session.query(User).filter(User.name == "小兰").all()
print(r3) # [<my_create_table.User object at 0x0000024985DD0128>]
# 原生SQL筛选条件
r4 = db_session.query(User).filter_by(name='王五').all()
r5 = db_session.query(User).filter_by(name='王五').first()
print(r4) # [<my_create_table.User object at 0x0000026545B9D3C8>]
print(r5) # <my_create_table.User object at 0x0000026545B9D3C8>
# 字符串匹配方式筛选条件 并使用 order_by进行排序
from sqlalchemy.sql import text
r6 = db_session.query(User).filter(text("id<:value and name=:name")).params(value=10, name='小红').order_by(User.id).all()
print(r6) # [<my_create_table.User object at 0x0000028C032ABDD8>]
#原生SQL查询
r7 = db_session.query(User).from_statement(text("SELECT * FROM User where name=:name")).params(name='DragonFire').all()
print(r7) # [<my_create_table.User object at 0x0000028C032ABDD8>]
# 筛选查询列
# query的时候我们不再使用User ORM对象,而是使用User.name来对内容进行选取
user_list = db_session.query(User.name).all()
print(user_list)
# [('NB李四',), ('何炅',), ('孙红雷',), ('小兰',), ('小红',), ......]
for row in user_list:
print(row.name)
# 排序 :
user_list = db_session.query(User).order_by(User.id).all() # 默认升序 # 也可以使用 asc() 方法升序
user_list = db_session.query(User).order_by(User.id.desc()).all() # 根据id降序
for row in user_list:
print(row.name,row.id)
# 其他查询条件
"""
ret = session.query(User).filter_by(name='DragonFire').all()
ret = session.query(User).filter(User.id > 1, User.name == 'DragonFire').all()
ret = session.query(User).filter(User.id.between(1, 3), User.name == 'DragonFire').all() # between 大于1小于3的
ret = session.query(User).filter(User.id.in_([1,3,4])).all() # in_([1,3,4]) 只查询id等于1,3,4的
ret = session.query(User).filter(~User.id.in_([1,3,4])).all() # ~xxxx.in_([1,3,4]) 查询不等于1,3,4的
ret = session.query(User).filter(User.id.in_(session.query(User.id).filter_by(name='DragonFire'))).all() 子查询
from sqlalchemy import and_, or_
ret = session.query(User).filter(and_(User.id > 3, User.name == 'DragonFire')).all()
ret = session.query(User).filter(or_(User.id < 2, User.name == 'DragonFire')).all()
ret = session.query(User).filter(
or_(
User.id < 2,
and_(User.name == 'eric', User.id > 3),
User.extra != ""
)).all()
# select * from User where id<2 or (name="eric" and id>3) or extra != ""
# 通配符
ret = db_session.query(User).filter(User.name.like('e%')).all()
ret = db_session.query(User).filter(~User.name.like('e%')).all()
# 限制
ret = db_session.query(User)[1:2]
# 排序
ret = db_session.query(User).order_by(User.name.desc()).all()
ret = db_session.query(User).order_by(User.name.desc(), User.id.asc()).all()
# 分组
from sqlalchemy.sql import func
ret = db_session.query(User).group_by(User.extra).all()
ret = db_session.query(
func.max(User.id),
func.sum(User.id),
func.min(User.id)).group_by(User.name).all()
ret = db_session.query(
func.max(User.id),
func.sum(User.id),
func.min(User.id)).group_by(User.name).having(func.min(User.id) >2).all()
"""
db_session.close() # 关闭连接
orm_select_more.py
3.6高级修改数据操作
#高级版更新操作
from my_create_table import User,engine
from sqlalchemy.orm import sessionmaker
Session = sessionmaker(engine)
db_session = Session()
#直接修改
db_session.query(User).filter(User.id > 0).update({"name" : "099"})
#在原有值基础上添加 - 1
db_session.query(User).filter(User.id > 0).update({User.name: User.name + "099"}, synchronize_session=False)
#在原有值基础上添加 - 2
db_session.query(User).filter(User.id > 0).update({"age": User.age + 1}, synchronize_session="evaluate")
db_session.commit()
orm_update_more.py
4.一对多的操作:ForeignKey
4.1创建数据表及关系relationship
from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
# 这次我们要多导入一个 ForeignKey 字段了,外键关联对了
from sqlalchemy import Column, Integer, String, ForeignKey
# 还要从orm 中导入一个 relationship 关系映射
from sqlalchemy.orm import relationship
class ClassTable(Base):
__tablename__="classtable"
id = Column(Integer, primary_key=True)
name = Column(String(32), index=True)
class Student(Base):
__tablename__="student"
id = Column(Integer, primary_key=True)
name = Column(String(32), index=True)
# 关联字段,让class_id 与 class 的 id 进行关联,主外键关系(这里的ForeignKey一定要是表名.id不是对象名)
class_id = Column(Integer, ForeignKey("classtable.id"))
# 将student 与 classtable 创建关系 这个不是字段,只是关系,backref是反向关联的关键字
stu2class = relationship("ClassTable", backref="class2stu")
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/wll?charset=utf8")
Base.metadata.create_all(engine)
my_ForeignKey.py
4.2基于relationship添加数据
from my_ForeignKey import Student, ClassTable, engine
# 创建连接
from sqlalchemy.orm import sessionmaker
# 创建数据表操作对象 sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()
# 增加数据
# 1.简单增加数据
# 添加两个班级:
db_session.add_all([
ClassTable(name="OldBoyS1"),
ClassTable(name="OldBoyS2")
])
db_session.commit()
# 添加一个学生 "孙红雷" 班级是 OldBoyS1
# 查询要添加到的班级
class_obj = db_session.query(ClassTable).filter(ClassTable.name == "OldBoyS1").first()
# 创建学生
stu = Student(name="孙红雷",class_id = class_obj.id)
db_session.add(stu)
db_session.commit()
# 2. relationship版 正向添加数据
# 通过关系列 stu2class 可以做到两件事
# 第一件事 在ClassTable表中添加一条数据
# 第二件事 在Student表中添加一条数据并将刚刚添加的ClassTable的数据id填写在Student的class_id中
stu_cla = Student(name="黄渤", stu2class=ClassTable(name="OldBoyS3"))
db_session.add(stu_cla)
db_session.commit()
# 3.relationship版 反向添加数据
# 首先建立ClassTable数据
class_obj = ClassTable(name="OldBoyS4")
# 通过class_obj中的反向关联字段backref - class2stu
# 向 Student 数据表中添加 2条数据 并将 2条数据的class_id 写成 class_obj的id
class_obj.class2stu = [Student(name="BMW"),Student(name="Audi")]
db_session.add(class_obj)
db_session.commit()
db_session.close() # 关闭连接
orm_ForeignKey_insert.py
4.3基于relationship
from my_ForeignKey import Student, ClassTable, engine
from sqlalchemy.orm import sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()
# 1.查询所有数据,并显示班级名称,连表查询
student_list = db_session.query(Student).all()
for stu in student_list:
# stu.stu2class.name 通过Student对象中的关系字段relationship stu2class 获取关联 ClassTable中的name
print(stu.name, stu.stu2class.name, stu.class_id)
# 孙红雷 OldBoyS1 1
# 黄渤 OldBoyS3 3
# BMW OldBoyS4 4
# Audi OldBoyS4 4
# 2.反向查询
class_list = db_session.query(ClassTable).all()
for cla in class_list:
for stu in cla.class2stu:
print(cla.name, stu.name)
# cla.class2stu 通过 backref 中的 class2stu 反向关联到 Student 表中根据ID获取name
# OldBoyS1 孙红雷
# OldBoyS3 黄渤
# OldBoyS4 BMW
# OldBoyS4 Audi
db_session.close()
orm_ForeignKey_select.py
4.4更新数据
from my_ForeignKey import Student, ClassTable, engine
from sqlalchemy.orm import sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()
# 更新
class_obj = db_session.query(ClassTable).filter(ClassTable.name=="OldBoyS1").first()
db_session.query(Student).filter(Student.class_id == class_obj.id).update({"name":"孙雷雷"})
db_session.commit()
db_session.close()
orm_ForeignKey_update.py
4.5删除数据
from my_ForeignKey import Student, ClassTable,engine from sqlalchemy.orm import sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 删除 class_obj = db_session.query(ClassTable).filter(ClassTable.name=="OldBoyS1").first() db_session.query(Student).filter(Student.class_id == class_obj.id).delete() db_session.commit() db_session.close() orm_ForeignKey_delete.py
5.多对多的操作:ManyToMany
5.1创建表及关系
from sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
from sqlalchemy import Column,Integer,String,ForeignKey
from sqlalchemy.orm import relationship
class Girl(Base):
__tablename__="girl"
id = Column(Integer, primary_key=True)
name = Column(String(32), index=True)
# 创建关系
girl2boy = relationship("Boy", secondary="hotel", backref="boy2girl")
class Boy(Base):
__tablename__="boy"
id = Column(Integer, primary_key=True)
name = Column(String(32), index=True)
class Hotel(Base):
__tablename__="hotel"
id = Column(Integer, primary_key=True)
girl_id = Column(Integer, ForeignKey("girl.id"))
boy_id = Column(Integer, ForeignKey("boy.id"))
from sqlalchemy import create_engine
engine = create_engine("mysql+pymysql://root:123456@127.0.0.1:3306/wll?charset=utf8")
Base.metadata.create_all(engine)
my_M2M.py
5.2基于relationship添加数据
from my_M2M import Girl,Boy,Hotel,engine # 创建连接 from sqlalchemy.orm import sessionmaker # 创建数据表操作对象 sessionmaker DB_session = sessionmaker(engine) db_session = DB_session() # 1.通过Boy添加Girl和Hotel数据 反向 boy_obj = Boy(name="DragonFire") boy_obj.boy2girl = [Girl(name="赵丽颖"),Girl(name="Angelababy")] db_session.add(boy_obj) db_session.commit() db_session.close() # 2.通过Girl添加Boy和Hotel数据 正向 girl_obj = Girl(name="珊珊", girl2boy=[Boy(name="钢蛋儿"), Boy(name="粪球儿")]) db_session.add(girl_obj) db_session.commit() db_session.close() orm_M2M_insert.py
5.3基于relationship查询数据
from my_M2M import Girl,Boy,Hotel,engine
# 创建连接
from sqlalchemy.orm import sessionmaker
# 创建数据表操作对象 sessionmaker
DB_session = sessionmaker(engine)
db_session = DB_session()
# 1.通过Boy查询约会过的所有Girl
boys = db_session.query(Boy).all()
for boy in boys:
for girl in boy.boy2girl:
print(boy.name, girl.name)
# 2.通过Girl查询约会过的所有Boy
girls = db_session.query(Girl).all()
for girl in girls:
for boy in girl.girl2boy:
print(girl.name, boy.name)
orm_M2M_select.py