Python数据库迁移脚本（终极版）

上次的那几个脚本这次全部整合到了一起，而且后面发现了一个可以使用的ODBC包，于是这次采用的方式就很简单了，直接通过ODBC将InterBase数据库中的数据全部取出来之后通过Python的sqlalchemyORM框架直接连接远程的MySQL数据库，之后便可以方便的传递数据了，当然，作为我的终极完善版本，自动模式和手动模式是少不了的了，在自动模式中将自动检查InterBase数据库是否存在，如果不存在则自动restore，然后自己创建InterBase的数据源，之后便可以取出数据了,下面是流程图。

那么下面就是讲解代码的时候咯~

这次的这个脚步主要分为三个函数，main函数，odbc函数和restore函数，由于手动模式包含在自动模式中，那么我就只介绍自动模式了。

我在脚本中定义了一个字典用来存储脚本的配置信息，用户可以在字典中定义自己需要的功能和数据库信息等。

#定义一个配置字典，将所需的参数添加在字典中方便改动

setting = {

#设置启动模式

'operate_type':OPERATE_AUTO_RESTORE,

#备份文件的地址

'gbk_path':'C:\XXX\DB.gbk',

#需要恢复的InterBase数据库地址

'gdb_path':'C:\XXX\DB.GDB',

#设置需要连接的MySQL数据库的用户名，密码，ip地址和端口号

'username':'root', 'password':'root', 'port':'3306', 'dbname':'test', 'localhost':'127.0.0.1',

#设置需要连接的ODBC的名字以及用户名和密码

'DSN':'XXX','UID':'SYSDBA','PWD':'masterkey'}

在脚本启动的时候就通过判断来确定用户是以何种模式进行的脚本，紧接着运行适合的脚本

if __name__ == '__main__':

    #判断启动模式是自动模式还是手动模式

    if setting['operate_type']==OPERATE_AUTO_RESTORE:
        
    #检查数据库是否存在，如果存在将跳过restore

        if os.path.isfile('C:\XXX\DB.GDB') == False:
            restore()
            odbc()
            main()
        else:
            print 'The database has been exist, will skip restore...'
            odbc()
            main()
    elif setting['operate_type']==OPERATE_AUTO_EXPORT:
        main()

当Python判断InterBase数据库不存在之后便执行restore来恢复数据库

#自动模式中恢复数据库的方法

def restore():
    os.system('gbak -c -user "sysdba" -password "masterkey" "'+setting['gbk_path']+'" "127.0.0.1:'+setting['gdb_path']+'"')

之后便是自动创建InterBase的ODBC数据源了，当然首先要安装InterBase的驱动了，网上有很多，我就不一一的列出了，由于是在windows平台上运行的，所以很方便的就可以使用添加注册表的形式将需要的数据源添加进系统中了，当然，既然是通过注册表导入的那么就必然会产生出一个注册表文件了，我将它默认的生成在C盘的根目录，然后在导入完成之后再删除掉，这样就在脚本运行完之后也不会产生垃圾了。

#下面这个字符串创建了所需要的ODBC数据源，并将数据源中的数据库地址改为restore输出的数据库地址

def odbc():
    odbcreg = '''Windows Registry Editor Version 5.00

[HKEY_CURRENT_USERSoftwareODBCODBC.INI]

[HKEY_CURRENT_USERSoftwareODBCODBC.INIkmk]
"Driver"="C:\WINDOWS\system32\OdbcFb32.dll"
"Description"=""
"Dbname"="'''+setting['gdb_path']+'''"
"Client"=""
"User"="SYSDBA"
"Role"=""
"CharacterSet"="NONE"
"JdbcDriver"="IscDbc"
"ReadOnly"="N"
"NoWait"="N"
"LockTimeoutWaitTransactions"=""
"Dialect"="3"
"QuotedIdentifier"="Y"
"SensitiveIdentifier"="N"
"AutoQuotedIdentifier"="N"
"UseSchemaIdentifier"="0"
"SafeThread"="Y"
"Password"="DKEBFJENHFCOBHGHLAIMNAAFICELEAEGDNMFNOGALAMHBBGCHFADNKCBPPGMANOGIEKENIOPHDIPBIECPLLLCBIKEJKMJLPLIB"

[HKEY_CURRENT_USERSoftwareODBCODBC.INIODBC Data Sources]
"kmk"="Firebird/InterBase(r) driver"

    '''
    #在C盘根目录下新建一个临时的注册表文件用来将新建的数据源导入

    fp = open('C:\db007.reg','w')
    try:
        fp.write(odbcreg)
    except Exception,e:
        print e
    finally:
        fp.close()

    #执行生成的数据源注册表文件

        os.system('regedit /s C:\db007.reg')

    #将临时产生的注册表文件删除

        os.remove('C:\db007.reg')

紧接着就是我们最关键的main函数咯~

当然了，这次和上次一样使用的是Python中SQLAlchemyORM的框架了，所以第一件事便是连接数据库，获得Session了，不过再次之前还是要先构建类与表的映射关系了。

#创建一个基类

Base = declarative_base()

#定义一个User类与数据库进行映射

class User(Base):
    __tablename__ = 'User'
    NAME= Column(Integer, primary_key=True)
    PASSWORD= Column(Integer)
                .......

然后在获得Session之后便可以连接ODBC了，通过SQL语句将InterBase数据库中的数据取出来。

#创建数据库的连接

    mysql_db = create_engine(
    'mysql://'+setting['username']+':'+setting['password']+'@'+setting['localhost']+
    ':'+setting['port']+'/'+setting['dbname'],echo=False)

    Base.metadata.bind=mysql_db
    Base.metadata.create_all(mysql_db)

    #创建一个Session

    Session = sessionmaker(bind=mysql_db)
    session = Session()
    #pdb.set_trace()

    #创建与ODBC数据源的连接

    conn = pyodbc.connect('DSN='+setting['DSN']+';UID='+setting['UID']+';PWD='+setting['PWD']+'')
    curs = conn.cursor()

    #通过SQL语句得到一个对象

    dbf = curs.execute('select *from User')

下面就是自动模式与手动模式都必须进过的步骤了~通过循环将数据提交到MySQL中，当然，为了防止数据库中已经有了数据，那么就在添加之前检查数据库中是否有这个数据，如果有的话便跳过这次添加，继续后面的步骤。然后在每1000次添加之后提交一次数据，以减轻数据的压力，最后在循环外将除以1000的余数统一再存入数据库中。

#循环的将对象中的数据保存到User类中

    commint = 0

    for line1 in dbf:

        #检查数据库中的数据是否有数据，如果没有则加入数据
        
        exist = session.query(User).filter(User.ID == line1.ID,User.NAME == line1.NAME).count()
        if exist>0:
            continue
        
        u = User()
        u.NAME = line1.NAME
        ......
        u.PASSWORD = line1.PASSWORD

        session.add(u)
        commint = commint+1

        #当循环了1000次之后进行一次提交

        if commint%1000==0:
            try:
                session.commit()
                #pdb.set_trace()
                session.flush()
            except:
                print 'error'
                session.rollback()

    #将剩余的数据进行提交

    try:
        session.commit()
        session.flush()
    except Exception , e:
        print e
        session.rollback()
    session.close()

至此，这个是用ODBC读取数据然后在保存在MySQL的Python脚本就写完了，断断续续进过了一周多的日子，我实习的第一个正式任务也算是完美收官了，曾经在校园里学了几年的J2EE，万万没想到最后却来做了Python和数据库。。。。不知道后面的日子里还有什么样奇怪的任务等着我~~当然！我依旧不会放弃web的！加班狗努力！