2016-08-11

Python对MySQL进行操作

MySQL

MySQL是一个关系型数据库管理系统，由瑞典MySQL AB 公司开发，目前属于 Oracle 旗下公司。MySQL 最流行的关系型数据库管理系统，在 WEB 应用方面MySQL是最好的 RDBMS (Relational Database Management System，关系数据库管理系统) 应用软件之一。

想要使用MySQL来存储并操作数据，则需要做几件事情：

　a. 安装MySQL服务端
　b. 安装MySQL客户端
　c. 【客户端】连接【服务端】
　d. 【客户端】发送命令给【服务端MySQL】服务的接受命令并执行相应操作(增删改查等)

下载
        http://dev.mysql.com/downloads/mysql/
安装
        windows:
            鼠标一路下一步
        Linux:
            yum install mysql-server
        Mac:
            鼠标一路下一步

MySQL基本操作

1、显示数据

SHOW DATABASES;

默认数据库：

mysql - 用户权限相关数据
test - 用于用户测试数据
information_schema - MySQL本身架构相关数据

2、使用数据库(数据库切换)

USE db_name;

3、显示所有表

SHOW TABLES;

4、用户授权

创建用户
    create user '用户名'@'IP地址' identified by '密码';
删除用户
    drop user '用户名'@'IP地址';
修改用户
    rename user '用户名'@'IP地址'; to '新用户名'@'IP地址';;
修改密码
    set password for '用户名'@'IP地址' = Password('新密码')

PS：用户权限相关数据保存在mysql数据库的user表中，所以也可以直接对其进行操作（不建议）

授权管理

show grants for '用户'@'IP地址'                  -- 查看权限
grant  权限 on 数据库.表 to   '用户'@'IP地址'      -- 授权
revoke 权限 on 数据库.表 from '用户'@'IP地址'      -- 取消权限

对于权限

all privileges  除grant外的所有权限
select          仅查权限
select,insert   查和插入权限
...
usage                   无访问权限
alter                   使用alter table
alter routine           使用alter procedure和drop procedure
create                  使用create table
create routine          使用create procedure
create temporary tables 使用create temporary tables
create user             使用create user、drop user、rename user和revoke  all privileges
create view             使用create view
delete                  使用delete
drop                    使用drop table
execute                 使用call和存储过程
file                    使用select into outfile 和 load data infile
grant option            使用grant 和 revoke
index                   使用index
insert                  使用insert
lock tables             使用lock table
process                 使用show full processlist
select                  使用select
show databases          使用show databases
show view               使用show view
update                  使用update
reload                  使用flush
shutdown                使用mysqladmin shutdown(关闭MySQL)
super                   􏱂􏰈使用change master、kill、logs、purge、master和set global。还允许mysqladmin􏵗􏵘􏲊􏲋调试登陆
replication client      服务器位置的访问
replication slave       由复制从属使用

对于数据库

对于目标数据库以及内部其他：

数据库名.*           数据库中的所有
数据库名.表          指定数据库中的某张表
数据库名.存储过程     指定数据库中的存储过程
*.*                所有数据库

对于用户和IP

用户名@IP地址         用户只能在该IP下才能访问
用户名@192.168.1.%   用户只能在该IP段下才能访问(通配符%表示任意)
用户名@%             用户可以再任意IP下访问(默认IP地址为%)

示例

grant all privileges on db1.tb1 TO '用户名'@'IP'

grant select on db1.* TO '用户名'@'IP'

grant select,insert on *.* TO '用户名'@'IP'

revoke select on db1.tb1 from '用户名'@'IP'

创建表

create table 表名(
    列名  类型  是否可以为空，
    列名  类型  是否可以为空
)

是否可为空

是否可空，null表示空，非字符串
not null    - 不可空
null        - 可空

默认值

默认值，创建列时可以指定默认值，当插入数据时如果未主动设置，则自动添加默认值
create table tb1(
    nid int not null defalut 2,
    num int not null
)

自增

自增，如果为某列设置自增列，插入数据时无需设置此列，默认将自增（表中只能有一个自增列）
create table tb1(
    nid int not null auto_increment primary key,
    num int not null
)
或
create table tb1(
    nid int not null auto_increment,
    num int not null,
    index(nid)
)
注意：1、对于自增列，必须是索引（含主键）。
     2、对于自增可以设置步长和起始值
         show session variables like 'auto_inc%';
         set session auto_increment_increment=2;
         set session auto_increment_offset=10;

         shwo global  variables like 'auto_inc%';
         set global auto_increment_increment=2;
         set global auto_increment_offset=10;

主键

主键，一种特殊的唯一索引，不允许有空值，如果主键使用单个列，则它的值必须唯一，如果是多列，则其组合必须唯一。
create table tb1(
    nid int not null auto_increment primary key,
    num int null
)
或
create table tb1(
    nid int not null,
    num int not null,
    primary key(nid,num)
)

外键

外键，一个特殊的索引，只能是指定内容
creat table color(
    nid int not null primary key,
    name char(16) not null
)

create table fruit(
    nid int not null primary key,
    smt char(32) null ,
    color_id int not null,
    constraint fk_cc foreign key (color_id) references color(nid)
)

删除表

drop table 表名

清空表

delete from 表名
truncate table 表名

修改表

添加列：
    alter table 表名 add 列名 类型
删除列：
    alter table 表名 drop column 列名
修改列：
    alter table 表名 modify column 列名 类型;  -- ALTER TABLE testalter_tbl MODIFY c CHAR(10);
    alter table 表名 change 原列名 新列名 类型; -- ALTER TABLE testalter_tbl CHANGE j j INT;

添加主键：
    alter table 表名 add (primary_key);
删除主键：
    alter table 表名 drop primary_key;

添加外键：
    alter table 从表 add constraint 外键名称（形如：FK_从表_主表） foreign key 从表(外键字段) references 主表(主键字段);
删除外键：
    alter table 表名 drop foreign key 外键名称

修改默认值：
    ALTER TABLE testalter_tbl ALTER i SET DEFAULT 1000;
删除默认值：
    ALTER TABLE testalter_tbl ALTER i DROP DEFAULT;

基本数据类型

MySQL的数据类型大致分为：数值、时间和字符串
http://www.runoob.com/mysql/mysql-data-types.html

增删改查

增

insert into 表 (列名,列名...) values (值,值,值...)
insert into 表 (列名,列名...) values (值,值,值...),(值,值,值...)
insert into 表 (列名,列名...) select (列名,列名...) from 表

删

delete from 表
delete from 表 where id＝1 and name＝'alex'

改

update 表 set name ＝ 'alex' where id>1

查

select * from 表
select * from 表 where id > 1
select nid,name,gender as gg from 表 where id > 1

常用例子

    1、条件
        select * from 表 where id > 1 and name != 'alex' and num = 12;

        select * from 表 where id between 5 and 16;

        select * from 表 where id in (11,22,33)
        select * from 表 where id not in (11,22,33)
        select * from 表 where id in (select nid from 表)

    2、通配符
        select * from 表 where name like 'ale%'  - ale开头的所有（多个字符串）
        select * from 表 where name like 'ale_'  - ale开头的所有（一个字符）

    3、限制
        select * from 表 limit 5;            - 前5行
        select * from 表 limit 4,5;          - 从第4行开始的5行
        select * from 表 limit 5 offset 4    - 从第4行开始的5行

    4、排序
        select * from 表 order by 列 asc              - 根据 “列” 从小到大排列
        select * from 表 order by 列 desc             - 根据 “列” 从大到小排列
        select * from 表 order by 列1 desc,列2 asc    - 根据 “列1” 从大到小排列，如果相同则按列2从小到大排序

    5、分组
        select num from 表 group by num
        select num,nid from 表 group by num,nid
        select num,nid from 表  where nid > 10 group by num,nid order nid desc
        select num,nid,count(*),sum(score),max(score),min(score) from 表 group by num,nid

        select num from 表 group by num having max(id) > 10

        特别的：group by 必须在where之后，order by之前

    6、连表
        无对应关系则不显示
        select A.num, A.name, B.name
        from A,B
        Where A.nid = B.nid

        无对应关系则不显示
        select A.num, A.name, B.name
        from A inner join B
        on A.nid = B.nid

        A表所有显示，如果B中无对应关系，则值为null
        select A.num, A.name, B.name
        from A left join B
        on A.nid = B.nid

        B表所有显示，如果B中无对应关系，则值为null
        select A.num, A.name, B.name
        from A right join B
        on A.nid = B.nid

    7、组合
        组合，自动处理重合
        select nickname
        from A
        union
        select name
        from B

        组合，不处理重合
        select nickname
        from A
        union all
        select name
        from B

pymysql模块

pymsql是Python中操作MySQL的模块，其使用方法和MySQLdb几乎相同。

下载安装

pip3 install pymysql

执行SQL

import pymysql
# 创建连接
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123123', db='test')
# 创建游标
cursor = connection.cursor()

# 执行SQL,并返回受影响行数
effect_row = cursor.execute("update host set ip = '1.1.1.1'")

# 执行SQL,并返回受影响行数
effect_row = cursor.execute("update host set ip = '2.2.2.2' where hostname = 'c2'")

# 执行SQL,插入多行数据并返回受影响行数
effect_row = cursor.executemany("insert into host(hostname,port,ip)value(%s,%s,%s)", [("c6", 22, "6.6.6.6"), ("c7", 22, "7.7.7.7")])
print(effect_row)

# 提交,不然无法保存修改
connection.commit()
# 关闭游标
cursor.close()
# 关闭连接
connection.close()

获取最新自增ID

import pymysql
# 创建连接
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123123', db='test')
# 创建游标
cursor = connection.cursor()


# 执行SQL,插入多行数据并返回受影响行数
effect_row = cursor.executemany("insert into host(hostname,port,ip)value(%s,%s,%s)", [("c6", 22, "6.6.6.6"), ("c7", 22, "7.7.7.7")])

# 提交,不然无法保存修改
connection.commit()
# 关闭游标
cursor.close()
# 关闭连接
connection.close()

# 获取最新自增ID
new_id = cursor.lastrowid
print(new_id)

获取查询数据

import pymysql
# 创建连接
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123123', db='test')
# 创建游标
cursor = connection.cursor()

cursor.execute("select * from host")

# 获取第一行数据
row_1 = cursor.fetchone()
print(row_1)

# 获取前n行数据
row_3 = cursor.fetchmany(3)
print(row_3)

# 获取所有数据
row_all = cursor.fetchall()
print(row_all)

# 提交,不然无法保存修改
connection.commit()
# 关闭游标
cursor.close()
# 关闭连接
connection.close()

查询数据指针操作

注：在fetch数据时按照顺序进行，可以使用cursor.scroll(num,mode)来移动游标位置，如：

cursor.scroll(1,mode=’relative’) # 相对当前位置移动

cursor.scroll(2,mode=’absolute’) # 相对绝对位置移动

import pymysql
# 创建连接
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123123', db='test')
# 创建游标
cursor = connection.cursor()

cursor.execute("select * from host")

# 获取第一行数据
row = cursor.fetchone()
print(row)

# 绝对位置获取
cursor.scroll(7, mode='absolute')
row_8 = cursor.fetchone()
print(row_8)


# 正数向下移动指针
cursor.scroll(1, mode='relative')
row_3 = cursor.fetchone()
print(row_3)

# 负数向上移动指针
cursor.scroll(-1, mode='relative')
row_1 = cursor.fetchone()
print(row_1)

# 提交,不然无法保存修改
connection.commit()
# 关闭游标
cursor.close()
# 关闭连接
connection.close()

fetch数据类型

关于默认获取的数据是元祖类型，如果想要或者字典类型的数据，即：

import pymysql
# 创建连接
connection = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123123', db='test')
# 创建游标,设置为字典类型
cursor = connection.cursor(cursor=pymysql.cursors.DictCursor)

cursor.execute("select * from host")

# 获取第一行数据
row = cursor.fetchone()
print(row)

# 提交,不然无法保存修改
connection.commit()
# 关闭游标
cursor.close()
# 关闭连接
connection.close()

SQLAchemy

曾几何时，程序员因为惧怕SQL而在开发的时候小心翼翼的写着sql，心中总是少不了恐慌，万一不小心sql语句出错，搞坏了数据库怎么办？又或者为了获取一些数据，什么内外左右连接，函数存储过程等等。毫无疑问，不搞懂这些，怎么都觉得变扭，说不定某天就跳进了坑里，叫天天不应，喊地地不答。

python中比较著名的ORM框架有很多，大名顶顶的 SQLAlchemy 是python世界里当仁不让的ORM框架。江湖中peewee，strom， pyorm，SQLObject 各领风骚，可是最终还是SQLAlchemy 傲视群雄。

SQLAlchemy是Python编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简而言之便是：将对象转换成SQL，然后使用数据API执行SQL然后获取执行结果。

SQLAchemy结构

ORM方法论基于三个核心原则：

简单：以最基本的形式建模数据。

传达性：数据库结构被任何人都能理解的语言文档化。

精确性：基于数据模型创建正确标准化了的结构。

组件介绍

SQLAlchemy本身无法操作数据库，其必须依赖pymsql等第三方插件，Dialect用于和数据API进行交流，根据配置文件的不同,调用不同的数据库API，从而实现对数据库的操作.

Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作，如：

‘数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名’

数据库类型://用户名:密码(没有密码则为空，不填)@数据库主机地址/数据库名?编码

MySQL-Python
    mysql+mysqldb://<user>:<password>@<host>[:<port>]/<dbname>

pymysql
    mysql+pymysql://<username>:<password>@<host>/<dbname>[?<options>]

MySQL-Connector
    mysql+mysqlconnector://<user>:<password>@<host>[:<port>]/<dbname>

cx_Oracle
    oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...]

2.7版本使用mysqldb
3.5版本使用pymysql

在sqlalchemy.schema包里有数据库关系的描述，列举几个最常用的：

字段：Column

索引：Index

表：Table

数据类型在sqlalchemy.types包，列举几个最常用的:

二进制：BIGINT

布尔：BOOLEAN

字符：CHAR

可变字符：VARCHAR

日期：DATETIME

其他方法 execute,update,insert,select,delete,join等

使用 Engine/ConnectionPooling/Dialect 进行数据库操作，Engine使用ConnectionPooling连接数据库，然后再通过Dialect执行SQL语句。

from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey

engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test?charset=utf8",encoding="utf-8", max_overflow=5)
'''
    max_overflow是最大连接数
    其他方法：
    “charset”指定了连接时使用的字符集（可省略）=utf8
    echo 参数为 True 时，会显示每条执行的 SQL 语句，生产环境下关闭。
'''
# 连接数据库
conn = engine.connect()
# 获取数据库表元数据,创建表必须
metadata = MetaData()
# 定义表
user = Table('user', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
    )

color = Table('color', metadata,
    Column('id', Integer, primary_key=True),
    Column('name', String(20)),
    )

# 创建数据表，如果数据表存在，则忽视
metadata.create_all(engine)

# user表创建SQL语句，INSERT INTO "user" (id, name) VALUES (:id, :name)
sql = user.insert().values(id=666, name='liang')
conn.execute(sql)

# 删除一条user表里的 条件是id大于1的
sql = user.delete().where(user.c.id > 1)
conn.execute(sql)

# 更新
sql = user.update().where(user.c.name == 'liang').values(name='lianglian')
conn.execute(sql)

from sqlalchemy import select  # 其他模块相同
sql = select([user, ])
res =conn.execute(sql)
print(res.fetchall())


# 也可以直接写SQL执行
cur = engine.execute("update user set name = 'lianglian' where name = 'liang'")

# 执行SQL
cur = engine.execute("insert into user(id,name)value(%s,%s)", [(2, "aaa"), (3, "bbb")])
# 获取最新自增ID
print(cur.lastrowid)
# 执行SQL
cur = engine.execute("select * from user")
# 获取第一行数据
cur.fetchone()
# 获取第n行数据
cur.fetchmany(3)
# 获取所有数据
cur.fetchall()
conn.close()

from sqlalchemy import create_engine

engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test", max_overflow=5)

# 事务操作
with engine.begin() as conn:
    conn.execute("insert into table (x, y, z) values (1, 2, 3)")
    conn.execute("my_special_procedure(5)")

conn = engine.connect()
# 事务操作
with conn.begin():
       conn.execute("some statement", {'x': 5, 'y': 10})

ORM方式操作mysql

使用 ORM/Schema Type/SQL Expression Language/Engine/ConnectionPooling/Dialect 所有组件对数据进行操作。根据类创建对象，对象转换成SQL，然后执行SQL。

创建表

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine

# 生成一个SqlORM 基类
Base = declarative_base()
# 创建数据库引擎
engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test", echo=True)
# 定义表结构
class Host(Base):
    # 表名为hosts
    __tablename__ = 'hosts'
    # 表结构
    # primary_key等于主键
    # unique唯一
    # nullable非空
    id = Column(Integer, primary_key=True, autoincrement=True)
    hostname = Column(String(64), unique=True, nullable=False)
    ip_addr = Column(String(128), unique=True, nullable=False)
    port = Column(Integer, default=22)

Base.metadata.create_all(engine)   # 创建所有表结构

if __name__ == '__main__':
    SessionCls = sessionmaker(bind=engine)
    # bind绑定
    # 创建与数据库的会话session class
    # 注意,这里返回给session的是个class,不是实例
    session = SessionCls()
    #插入字段
    h1 = Host(hostname='redhat', ip_addr='1.1.1.1')
    h2 = Host(hostname='ubuntu', ip_addr='2.2.2.2', port=80)
    h3 = Host(hostname='mysql', ip_addr='3.3.3.3', port=3306)
    # 添加一个字段
    # session.add(h3)
    # 添加多个字段
    session.add_all([h1, h2, h3])
    # 修改字段名字,只要没提交,此时修改也没问题
    # h2.hostname = 'ubuntu_test'
    # 支持数据回滚
    # session.rollback()
    # 提交
    session.commit()

注：SQLAlchemy无法修改表结构，如果需要可以使用SQLAlchemy开发者开源的另外一个软件Alembic来完成。

增

########### 增 ##########
# 定义一个字段
zenjia = Host(hostname='aaa', ip_addr='4.4.4.4')
# 添加字段
session.add(zenjia)
# 添加多个字段
session.add_all([
    Host(hostname='bbb', ip_addr='5.5.5.5'),
    Host(hostname='ccc', ip_addr='6.6.6.6')
])
# 提交以上操作
session.commit()

删

########## 删除 ##########
# 过滤user表中id大于3的数据删除
session.query(Host).filter(Host.id > 3).delete()
session.commit()

改

########## 修改 ##########
session.query(Host).filter(Host.hostname == 'ccc').update({"hostname": "c6"})
session.query(Host).filter(Host.hostname == 'c6').update({Host.hostname: Host.hostname + "ccc"}, synchronize_session=False)
session.query(Host).filter(Host.id > 3).update({Host.port: Host.port + 1}, synchronize_session="evaluate")
session.commit()

查

######### 查询 ##########
查询Host表中hostname='aaa'的所有数据
ret = session.query(Host).filter_by(hostname='aaa').all()
print(ret)
for i in ret:
    print(i.hostname, i.ip_addr, i.port)


# 查询Host表中hostname='aaa'的第一条数据
ret = session.query(Host).filter_by(hostname='aaa').first()
print(ret.hostname, ret.ip_addr, ret.port)


# 查询Host表中ip_addr字段里面有等于1.1.1.1或者等于3.3.3.3的数据
ret = session.query(Host).filter(Host.ip_addr.in_(['1.1.1.1', '3.3.3.3'])).all()
for i in ret:
    print(i.hostname, i.ip_addr, i.port)


# 可以给返回结果起一个别名
ret = session.query(Host.hostname.label('alias')).all()
print(ret, type(ret))

# 查询Host表,根据id排序
ret = session.query(Host).order_by(Host.id)[0:3]
for i in ret:
    print(i.id, i.hostname, i.ip_addr, i.port,)


# 创建query查询,filter是where条件,最后调用one()返回唯一行,如果调用all()则返回所有行:
host = session.query(Host).filter(Host.hostname == 'aaa').one()
print(host.id, host.hostname, host.ip_addr, host.port, )

高级例子

# 条件
filter规则匹配,filter_by精确匹配table中字段内容.
ret = session.query(Users).filter_by(name='alex').all()
ret = session.query(Users).filter(Users.id > 1, Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.between(1, 3), Users.name == 'eric').all()
ret = session.query(Users).filter(Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(~Users.id.in_([1,3,4])).all()
ret = session.query(Users).filter(Users.id.in_(session.query(Users.id).filter_by(name='eric'))).all()
from sqlalchemy import and_, or_
ret = session.query(Users).filter(and_(Users.id > 3, Users.name == 'eric')).all()
ret = session.query(Users).filter(or_(Users.id < 2, Users.name == 'eric')).all()
ret = session.query(Users).filter(or_(Users.id < 2,and_(Users.name == 'eric', Users.id > 3),Users.extra != "")).all()


# 通配符
ret = session.query(Users).filter(Users.name.like('e%')).all()
ret = session.query(Users).filter(~Users.name.like('e%')).all()

# 限制
ret = session.query(Users)[1:2]

# 排序
ret = session.query(Users).order_by(Users.name.desc()).all()
ret = session.query(Users).order_by(Users.name.desc(), Users.id.asc()).all()

# 分组
from sqlalchemy.sql import func

ret = session.query(Users).group_by(Users.extra).all()
ret = session.query(
    func.max(Users.id),
    func.sum(Users.id),
    func.min(Users.id)).group_by(Users.name).all()

ret = session.query(
    func.max(Users.id),
    func.sum(Users.id),
    func.min(Users.id)).group_by(Users.name).having(func.min(Users.id) >2).all()

# 连表
ret = session.query(Users, Favor).filter(Users.id == Favor.nid).all()
ret = session.query(Person).join(Favor).all()
ret = session.query(Person).join(Favor, isouter=True).all()


# 组合
q1 = session.query(Users.name).filter(Users.id > 2)
q2 = session.query(Favor.caption).filter(Favor.nid < 2)
ret = q1.union(q2).all()

q1 = session.query(Users.name).filter(Users.id > 2)
q2 = session.query(Favor.caption).filter(Favor.nid < 2)
ret = q1.union_all(q2).all()

外键关联

由于关系数据库的多个表还可以用外键实现一对多、多对多等表与表之间进行关联，ORM框架同理实现表与表之间进行关联.

一对多关联

一对多关联,一个用户可以同时看多本书

from sqlalchemy import create_engine, func
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey
from sqlalchemy.orm import sessionmaker, relationship

# 生成sqlorm基类
Base = declarative_base()
# 创建数据库连接
engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test?charset=utf8", encoding="utf-8", echo=True)
# 目的是一个人可以拥有多本书，那么在数据库里的一对多关系


class User(Base):
    # 表名
    __tablename__ = 'user'
    # id字段
    id = Column(String(20), primary_key=True)
    # 名字字段
    name = Column(String(20))
    '''
    内容不是表名而是定义的表结构名字,与生成表结构无关，用于正向查询方便,
    例如: User.books可以连接到 Book表详细调用情况请看最后例子.
    '''
    books = relationship('Book')


class Book(Base):
    # 表名
    __tablename__ = 'book'
    # id字段
    id = Column(String(20), primary_key=True)
    # 名字字段
    name = Column(String(20))
    # “多”的一方的book表是通过外键关联到user表的:
    # ForeignKey是外键 关联user表的id字段
    user_id = Column(String(20), ForeignKey('user.id'))

# 创建所有表结构
Base.metadata.create_all(engine)

if __name__ == '__main__':
    # 绑定,生成会话
    SessionCls = sessionmaker(bind=engine)
    session = SessionCls()
    # 创建用户
    lianglian = User(id='1', name='lianglian')
    jack = User(id='2', name='jack')
    # 添加字段
    session.add_all([lianglian, jack])
    # 提交
    session.commit()
    # 创建白鹿原这本书，指定谁是拥有者
    Whitedeer = Book(id='1', name='White_deer', user_id='1')
    # 创建三体这本书，指定谁是拥有者
    Threebody1 = Book(id='2', name='Three_body', user_id='1')
    Threebody2 = Book(id='3', name='Three_body', user_id='2')
    La_traviata = Book(id='4', name='茶花女', user_id='2')
    # 添加字段
    session.add_all([Whitedeer, Threebody1, Threebody2, La_traviata])
    # 提交
    session.commit()


    # 获取每个用户下面的书名称
    ret = session.query(User).filter_by(name='lianglian').first()
    for i in ret.books:
        print(i.name)

    ret = session.query(User).filter_by(name='jack').first()
    for i in ret.books:
        print(i.name)

    '''
    上面的例子,就是加了一个books属性relationship指定了User和Book表结构之间的关系,可以相互快速的查询对应的内容
    '''

多对多关联

建立一个双向一对多关系,“反向”是一个许多人,指定一个额外的relationship()函数
并连接两个使用relationship.back_populates参数
简单来说, relationship函数是sqlalchemy对关系之间提供的一种便利的调用方式, backref参数则对关系提供反向引用的声明。

from sqlalchemy import create_engine, func
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey
from sqlalchemy.orm import sessionmaker, relationship

# 生成sqlorm基类
Base = declarative_base()
# 创建数据库连接
engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test?charset=utf8", encoding="utf-8", echo=True)
# 目的是一个人可以拥有多本书，那么在数据库里的一对多关系


class User(Base):
    # 表名
    __tablename__ = 'user'
    # id字段
    id = Column(String(20), primary_key=True)
    # 名字字段
    name = Column(String(20))
    '''
    内容不是表名而是定义的表结构名字,与生成表结构无关，仅用于查询方便,
    例如: User.books可以连接到 Book表详细调用情况请看最后例子.
    '''
    books = relationship('Book', backref='u')


class Book(Base):
    # 表名
    __tablename__ = 'book'
    # id字段
    id = Column(String(20), primary_key=True)
    # 名字字段
    name = Column(String(20))
    # “多”的一方的book表是通过外键关联到user表的:
    # ForeignKey是外键 关联user表的id字段
    user_id = Column(String(20), ForeignKey('user.id'))

# 创建所有表结构
Base.metadata.create_all(engine)

if __name__ == '__main__':
    # 绑定,生成会话
    SessionCls = sessionmaker(bind=engine)
    session = SessionCls()
    # 创建用户
    lianglian = User(id='1', name='lianglian')
    jack = User(id='2', name='jack')
    # 添加字段
    session.add_all([lianglian, jack])
    # 提交
    session.commit()
    # 创建白鹿原这本书，指定谁是拥有者
    Whitedeer = Book(id='1', name='White_deer', user_id='1')
    # 创建三体这本书，指定谁是拥有者
    Threebody1 = Book(id='2', name='Three_body', user_id='1')
    Threebody2 = Book(id='3', name='Three_body', user_id='2')
    La_traviata = Book(id='4', name='茶花女', user_id='2')
    # 添加字段
    session.add_all([Whitedeer, Threebody1, Threebody2, La_traviata])
    # 提交
    session.commit()


    # 获取每个用户下面的书名称
    ret = session.query(User).filter_by(name='lianglian').first()
    for i in ret.books:
        print(i.name)

    ret = session.query(User).filter_by(name='jack').first()
    for i in ret.books:
        print(i.name)

    ret = session.query(Book).filter(Book.name == "Three_body").all()
    for i in ret.u:
        print(i.u.name)


    '''
    上面的例子,就是加了一个books属性relationship指定了User和Book表结构之间的关系,可以相互快速的查询对应的内容,通过这个books去查询叫做正向查询

    backref='u',表示Book表结构中可以通过backref中指定的u关键字查询User表中的数据.通过'u'去查询的方式叫做反向查询.
    '''

看出和上面的区别了吧,两个表之间通过relationship.backref实现可以做正向查询和反向查询,实现多对多.而之前那个例子限制只能从单独方向正向查询.

多对多还可以两个表都做正向查询
在最新版本的sqlalchemy中对relationship引进了back_populates参数。

通过使用relationship.back_populates在多个表之间相互指定要关联的对方表中对应的relationship.back_populates属性名称,具体例子看下面代码.

from sqlalchemy import Column, Sequence, String, Integer, ForeignKey
from sqlalchemy import create_engine   # 导入创建连接驱动
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy.orm import sessionmaker
from sqlalchemy.orm import relationship, backref

engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test?charset=utf8", encoding="utf-8", echo=True)
# 生成了declarative基类, 以后的model继承此类
Base = declarative_base()


class Hosts(Base):
    __tablename__ = 'hosts'
    id = Column(Integer, primary_key=True, unique=True, autoincrement=True)
    name = Column(String(64), unique=True, nullable=False)
    ip_addr = Column(String(128), unique=True, nullable=False)
    port = Column(Integer, default=22)
    group_id = Column(Integer, ForeignKey('group.id'))
    group_re = relationship("Group", back_populates="hosts_re")

class Group(Base):
    __tablename__ = 'group'
    id = Column(Integer, primary_key=True, unique=True, autoincrement=True)
    name = Column(String(64), unique=True, nullable=False)
    hosts_re = relationship("Hosts", back_populates="group_re")

Base.metadata.create_all(engine)   # 创建所有表结构

if __name__ == '__main__':
    SessionCls = sessionmaker(bind=engine)
    # 创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例
    session = SessionCls()
    g1 = Group(name='g1')
    g2 = Group(name='g2')
    a1 = Hosts(name='a1', ip_addr='1.1.1.1', group_id=1)
    a2 = Hosts(name='a2', ip_addr='2.2.2.2', group_id=1)
    b1 = Hosts(name='b1', ip_addr='3.3.3.3', group_id=2)
    b2 = Hosts(name='b2', ip_addr='4.4.4.4', group_id=2)
    session.add_all([g1, g2, a1, a2, b1, b2])
    session.commit()

    # 查询主机组
    ret = session.query(Hosts).filter(Hosts.name == "a1").all()
    for i in ret:
        print(i.group_re.name)

    # 从主机组中查询主机
    ret = session.query(Group).filter(Group.name == "g1").all()
    for i in ret:
        for h in i.hosts_re:
            print(h.name)

多对多关联优化

上面的方法关联的表少还好,如果关联得表多了,每个相互得表中relationship.back_populates函数之间都得互相指定,这样一个表结构建立起来就相当啰嗦和复杂了,
整个表的相互关联关系也不好区分,如果我们把表与表之间的相互关联关系单独放到一张表里面,要去找关联关系的时候都通过这张表去找这么样?

from sqlalchemy import create_engine
from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column, Integer, String, ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
# 创建数据库引擎
engine = create_engine("mysql+pymysql://root:123123@127.0.0.1:3306/test?charset=utf8", encoding="utf-8", echo=True)
# 生成一个SqlORM 基类
Base = declarative_base()

# 定义表结构,继承SqlORM基类
class HostToHostUser(Base):
    """关联表"""
    __tablename__ = 'host_to_host_user'
    nid = Column(Integer, primary_key=True, autoincrement=True)

    # 外键,建立两个表中数据与数据对应关系,正向通过这个表这个字段可以找到host表中的nid对于
    host_id = Column(Integer, ForeignKey('host.nid'))
    # 外键,建立两个表中数据与数据对应关系,正向通过这个表这个字段可以找到host_user表中的nid对应
    host_user_id = Column(Integer, ForeignKey('host_user.nid'))

    # 关联,通过这个可以联系到host表
    host = relationship("Host", backref='h')
    # 关联,通过这个可以联系到host_user表
    host_user = relationship("HostUser", backref='u')


class HostUser(Base):
    __tablename__ = 'host_user'
    nid = Column(Integer, primary_key=True, autoincrement=True)
    username = Column(String(32))


class Host(Base):
    __tablename__ = 'host'
    nid = Column(Integer, primary_key=True, autoincrement=True)
    hostname = Column(String(32))
    port = Column(String(32))
    ip = Column(String(32))

    # 间接建立关联,基于通过HostToHostUser表找到HostUser表结构的关联关系上建立我这个Host表直接与HostUser表的关联关系,
    # 这里有backref,你猜猜能不能从HostUser反向查询?? 答案是可以的! 通过关系表搭桥找到你心中的那个她~
    host_user = relationship("HostUser", secondary=lambda: HostToHostUser.__table__, backref='h')


def init_db():
    """
    创建所有表
    :return:
    """
    Base.metadata.create_all(engine)


def drop_db():
    """
    删除所有表
    :return:
    """
    Base.metadata.drop_all(engine)

init_db()

# bind绑定
# 创建与数据库的会话session class
# 注意,这里返回给Session的是个class,不是实例
Session = sessionmaker(bind=engine)
session = Session()


session.add_all([
    Host(hostname='c1',port='22',ip='1.1.1.1'),
    Host(hostname='c2',port='22',ip='1.1.1.2'),
    Host(hostname='c3',port='22',ip='1.1.1.3'),
    Host(hostname='c4',port='22',ip='1.1.1.4'),
    Host(hostname='c5',port='22',ip='1.1.1.5'),
])
session.commit()


session.add_all([
    HostUser(username='root'),
    HostUser(username='db'),
    HostUser(username='nb'),
    HostUser(username='sb'),
])
# 提交修改
session.commit()

session.add_all([
    HostToHostUser(host_id=1,host_user_id=1),
    HostToHostUser(host_id=1,host_user_id=2),
    HostToHostUser(host_id=1,host_user_id=3),
    HostToHostUser(host_id=2,host_user_id=2),
    HostToHostUser(host_id=2,host_user_id=4),
    HostToHostUser(host_id=2,host_user_id=3),
])
session.commit()

# 获取主机1中所有用户
# 传统方法
# 查询Host表中hostname等于'c1'的,等到匹配数据的Host类对象(因为那一行是用Host类创建的)
host_obj = session.query(Host).filter(Host.hostname == 'c1').first()
# 查询HostToHostUser表结构中host_id == 1(host表中'c1'主机的nid)得到对应的host_user_id
host_2_host_user = session.query(HostToHostUser.host_user_id).filter(HostToHostUser.host_id == host_obj.nid).all()

r = zip(*host_2_host_user)  # 将得到的host_user_id数据去掉list中的元祖
users = session.query(HostUser.username).filter(HostUser.nid.in_(list(r)[0])).all()
print(users)


# 新方法
host_obj = session.query(Host).filter(Host.hostname == 'c1').first()
# 通过反向查找找到关系关联表,然后通过关系表中与host_user关联直接便可得到host_user表中相应的数据
for item in host_obj.h:
    print(item.host_user.username)

# 走Host表通过HostToHostUser搭桥建立的关联关系正向查询
host_obj = session.query(Host).filter(Host.hostname == 'c1').first()
for item in host_obj.host_user:
    print(item.username)

# 走Host表通过HostToHostUser搭桥建立的关联关系反向查询
host_obj = session.query(HostUser).filter(HostUser.username == 'nb').first()
for item in host_obj.h:
    print(item.hostname)

参考资料

本人理解能力有限,可以对照官方API文档中内容理解:

relationship_api: http://docs.sqlalchemy.org/en/latest/orm/relationship_api.html#sqlalchemy.orm.relationship.params.back_populates

更多关联: http://docs.sqlalchemy.org/en/latest/orm/basic_relationships.html#many-to-many

刘耀: http://www.cnblogs.com/liu-yao/p/5342656.html

简书: http://www.jianshu.com/p/e6bba189fcbd

本文标题:Python对MySQL进行操作

文章作者:梁先森

发布时间:2016-08-11, 20:47:00

最后更新:2017-08-10, 14:18:04

原始链接:http://www.liangxiansen.cn/2016/08/11/Python-MySQL/

许可协议: "署名-非商用-相同方式共享 4.0" 转载请保留原文链接及作者。

↑
对你有帮助？求鼓励，求支持！