双活云计算资源池的故事(5、数据库的同步技术)

下载网站:www.SyncNavigator.CN 
 客服QQ1793040
----------------------------------------------------------


关于HKROnline SyncNavigator 注册机价格的问题

 

HKROnline SyncNavigator 8.4.1 非破解版 注册机 授权激活教程
 

 

最近一直在研究数据库同步的问题,在网上查了很多资料,也请教了很多人,找到了一种通过快照复制的方法。研究了一番后发现之前就是用的这个方法,效果不是很好,果断放弃。经过了一番寻觅和他人指点,最后从一位热心网友那里得知一款很好用的软件—— SyncNavigator。

好东西就要拿出来跟大家分享,所以今天向大家介绍一下这款软件,及其一些使用方法。下面先看看它有什么强大的功能吧!

SyncNavigator的基本功能:

自动同步数据/定时同步数据
无论是实时同步/24小时不间断同步,还是根据计划任务(每小时/每日/每周/等)定时自动同步都能完全胜任。

完整支持 Microsoft SQL Server
完整支持 Microsoft SQL Server 2000 2005 2008 数据库类型。并能在不同数据库版本之间相互同步数据。

支持 MySQL 4.1 以上版本
支持 MySQL 4.1 5.0 5.1 5.4 5.5。并能在不同数据库版本之间相互同步数据。

无人值守和故障自动恢复
当数据库故障或网络故障以后,无需人工干预(或操作)自动恢复同步并确保数据完全准确,可靠。

同构数据库同步/异构数据库同步
SQL Server to SQL Server, MySQL to MySQL, SQL Server to MySQL 等都能轻松实现。

断点续传和增量同步
当同步完成(或中断)后,再次同步时能继续上一次的位置增量同步,避免每次都需要从头开始的问题。

一、ORACLE

基于Oracle数据库的数据同步技术大体上可分为两类:Oracle自己提供的数据同步技术和第三方厂商提供的数据同步技术。Oracle自己的同步技术有DataGuard,Streams,Advanced Replication等。第三方厂商的数据同步技术有Quest公司的SharePlex和DSG的RealSync。Oracle公司将Streams技术定位于数据的分发和共享,虽然也可用于高可用的灾难恢复场合,但Oracle推荐使用的高可用灾难恢复环境技术是DataGuard。在浙江电信长距双活资源池的大带宽的网络环境和应用部署需求下,觉得采用DataGuard数据同步技术能较好的满足需求。下面重点介绍的DataGuard。

DataGuard是Oracle数据库自带的数据同步功能,基本原理是将日志文件从原数据库传输到目标数据库,然后在目标数据库上应用(Apply)这些日志文件,从而使目标数据库与源数据库保持同步。DataGuard提供了三种日志传输(Redo Transport)方式,分别是ARCH传输、LGWR同步传输和LGWR异步传输。在上述三种日志传输方式的基础上,提供了三种数据保护模式,即最大性能(Maximum Performance Mode)、最大保护(Maximum Protection Mode)和最大可用(Maximum Availability Mode),其中最大保护模式和最大可用模式要求日志传输必须用LGWR同步传输方式,最大性能模式下可用任何一种日志传输方式。

最大性能模式:这种模式是默认的数据保护模式,在不影响源数据库性能的条件下提供尽可能高的数据保护等级。在该种模式下,一旦日志数据写到源数据库的联机日志文件,事务即可提交,不必等待日志写到目标数据库,如果网络带宽充足,该种模式可提供类似于最大可用模式的数据保护等级。

最大保护模式:在这种模式下,日志数据必须同时写到源数据库的联机日志文件和至少一个目标库的备用日志文件(standby redo log),事务才能提交。这种模式可确保数据零丢失,但代价是源数据库的可用性,一旦日志数据不能写到至少一个目标库的备用日志文件(standby redo log),源数据库将会被关闭。这也是目前市场上唯一的一种可确保数据零丢失的数据同步解决方案。

最大可用模式:这种模式在不牺牲源数据库可用性的条件下提供了尽可能高的数据保护等级。与最大保护模式一样,日志数据需同时写到源数据库的联机日志文件和至少一个目标库的备用日志文件(standby redo log),事务才能提交,与最大保护模式不同的是,如果日志数据不能写到至少一个目标库的备用日志文件(standby redo log),源数据库不会被关闭,而是运行在最大性能模式下,待故障解决并将延迟的日志成功应用在目标库上以后,源数据库将会自动回到最大可用模式下。

根据在目标库上日志应用(Log Apply)方式的不同,DataGuard可分为Physical Standby(Redo Apply)和Logical Standby(SQL Apply)两种。

Physical Standby数据库,在这种方式下,目标库通过介质恢复的方式保持与源数据库同步,这种方式支持任何类型的数据对象和数据类型,一些对数据库物理结构的操作如数据文件的添加,删除等也可支持。如果需要,Physical Standby数据库可以只读方式打开,用于报表查询、数据校验等操作,待这些操作完成后再将数据库置于日志应用模式下。

Logical Standby数据库,在这种方式下,目标库处于打开状态,通过LogMiner挖掘从源数据库传输过来的日志,构造成SQL语句,然后在目标库上执行这些SQL,使之与源数据库保持同步。由于数据库处于打开状态,因此可以在SQL Apply更新数据库的同时将原来在源数据库上执行的一些查询、报表等操作放到目标库上来执行,以减轻源数据库的压力,提高其性能。

DataGuard数据同步技术有以下优势:

1) Oracle数据库自身内置的功能,与每个Oracle新版本的新特性(如ASM)都完全兼容,且不需要另外付费;

2) 配置管理较简单,不需要熟悉其他第三方的软件产品;

3) Physical Standby数据库支持任何类型的数据对象和数据类型;

4) Logical Standby数据库处于打开状态,可以在保持数据同步的同时执行查询等操作;

5) 在最大保护模式下,可确保数据的零丢失;

DataGuard数据同步技术的劣势体现在以下几个方面:

1) 由于传输整个日志文件,因此需要较高的网络传输带宽;

2) Physical Standby数据库虽然可以只读方式打开,然后做些查询、报表等操作,但需要停止应用日志,这将使目标库与源数据不能保持同步,如果在此期间源数据库发生故障,将延长切换的时间;

3) Logical Standby数据库不能支持某些特定的数据对象和数据类型;

4) 不支持一对多复制,不支持双向复制,因此无法应用于信息集成的场合;

5) 只能复制整个数据库,不能选择某个schema或表空间进行单独复制;

6) 不支持异构的系统环境,需要相同的操作系统版本和数据库版本;

二、INFORMIX

基于INFORMIX数据库的数据同步技术大体上可分为两类:高可用性复制HDR(High-Availability Data Replication)和企业复制ER。HDR其实现的方法就是在单个Informix Server基础之上添加一套备用的Server,冗余的Server能够完全复制主Informix Server,这样,一旦主Server宕机,冗余的Server就可以保证业务不间断,数据也不会丢失。备机和主机数据同步利用的是逻辑日志,Informix的逻辑日志记录了所有事务的详细操作过程,利用逻辑日志,备机就可以完全同步主机上的所有操作。ER也是读取数据库的日志实现数据库的同步。但是ER和HDR不同的是,HDR数据库接管的是基于服务器的数据库,作用在整个数据库库实例上的;而ER是作用在表上的,ER可以灵活定义哪些数据列和数据行,可以灵活定义数据的复制方式,采用主从方式、汇总方式还是双向复制方式。HDR方式有点像传统的数据库HA方式,需要一样的硬件配置,和HA的差别是主、从服务器有独立的存储。在远程数据复制上,ER方式使用更加广泛。IVPN平台采用的是informix ER技术实现7个数据库的同步。

三、SYBASE

基于SYBASE数据库数据同步主要是通过sybase复制服务器(sybase replication server)。replication server manager(rsm)是一个功能性很强的系统管理工具,使我们能成功地实现和管理分布复制环境。但是sybase RS 是一个独立组件,需要单独购买。在浙江电信短信业务网关、智能短信等系统上都采用了sybase RS进行数据同步。

在sybase复制服务器环境中,对源数据库中数据的修改由一个称为日志传输管理(log transfer manager 简称ltm)的进程来实现。最典型的结构中ltm与源数据库放在同一个硬件平台上。如果复制系统中将有多于一个节点的源数据被修改,则需要每个节点有一个ltm。ltm将log传送给复制服务器进程,复制服务器进程可以在另一机器上。在一个复制系统中,若干复制服务器的配置,可以分布在不同的局域网上,根据复制系统的配置,改变数据的log从一个复制服务器传送到其它复制服务器,最后由这些复制服务器将数据改变传给目标数据库。如果主节点与复制节点同在一个局域网上,那么可以省掉第二个复制服务器。在多局域网环境中,不同sybase复制服务器之间路由可以是直接的,不需要中间节点。也可以是间接的。因为在复制系统中使用了稳定队列(stable queue),数据从源数据库到目标数据库的途径中,能够避免系统中任一部分失败发生的数据丢失现象。稳定队列是一个安全机制,容错环境失败。 sybase复制服务器是由基于sybase open server/open client的应用程序。在复制的最后过程,复制服务器在目标数据库上建立一个联接,将从主数据库接收到的数据写入复制数据库。

系统失败之后,数据重新自动同步,当复制环境失败之后,正处于向复制节点传送的事务被临时存放在磁盘的稳定队列。在系统恢复之后,队列中的数据重新恢复原来路径传送到复制节点。复制数据也因此能够重新同步。

sybase RS数据同步技术有以下优势:

1)高性能:高性能主要体现在数据复制过程的三个方面,高效的事务捕俘;高效事务传输;高效的数据访问。

2)高效事务捕俘——不依赖于触发器和规则 :复制服务器的工作模式是专门为复制而设计的技术。sybase复制服务器的组件ltm是完全独立于源数据库而工作的。sybase复制服务并设有使用数据库触发器及规则,因此也不增加源数据库的负担。

3)高性能事务传递:sybase复制服务器允许管理员根据网络的特点和需求选择传送数据的路由,从而更加有效地使用网络。

4)sybase复制服务器优点——一致信息传送:sybase复制服务器在环境中传递事务,而不是传递数据行,因此在复制系统内数据的事务性一致得到保障。

原文地址:https://www.cnblogs.com/syncnavigator/p/10189582.html