DSG和QUEST等 数据库迁移方案 的对比

DSG和QUEST等数据迁移方案的对比分析

在征信系统的迁移方案的讨论中，我们对DSG和QUEST都进行了了解，基本情况如下：

一、   公司简介

DSG公司：

DSG中国于2002年8月在北京成立，是一家国内公司，目前总部在北京，员工60余人，在上海/广州/成都设有办事处，公司定位是数据安全和信息生命周期管理。数据迁移是该公司的其中一项服务内容。

QUEST公司：

Quest公司设在美国，是一家上市公司，规模较大。

Quest中国是QUEST在中国的代理商易虹天地的基础上建立起来，该公司的主要产品线是数据库调优工具，数据同步软件是其中一个产品。

二、   在服务方面

DSG公司：

DSG公司是一个产品销售和提供服务相结合的公司，在本项目中，DSG公司的不销售产品，而是提供临时License作为使用，在该项目的重点是DSG提供技术支持力量来完成服数据迁移，迁移方案的制定、方案测试、实际的迁移DSG公司都全程提供现场工程师。

DSG公司在国内有研发队伍，能够及时响应在迁移测试过程中遇到的困难，能够针对方案的特殊性提供针对的解决办法。例如在前期测试中，DSG公司在认为性能不正常的情况下，能够研发提供调试手段来近一步分析瓶颈的所在。

Quest公司：

Quest公司主要以销售软件产品为主，其售后服务一般依赖于代理商来完成，但是在项目的前期测试阶段厂商人员可以参与测试。

在本项目中，quest公司也主要是提供数据同步产品。

另外，quest公司的研发是国外，不能及时响应迁移过程中可能遇到的困难。

三、   产品成熟度

DSG公司：

DSG公司用于本次迁移的主要产品是realsync，该产品是2004年推出的，在国内的用户数为140家左右，主要分布在电信行业和证券公司以及部分政府机关。

QUEST公司：

Quest公司用于本次迁移的主要产品的shareplex，该产品的推出较DSG Reaslync早，在国外有案例，在国内的用户数约在50家左右，主要分布在电力和企业客户。

四、   实现原理

两个公司的迁移方案都是通过两个阶段来实现的：

l        首次初始数据迁移阶段：将北京中心的已有数据初始导出到上海中心去；

l        增量数据的同步阶段：在导出后，将北京中心的新产生数据同步到上海中心去，直到业务的最后割接；

DSG公司的方案是：

利用DSG realsync软件的首次同步功能，从北京中心的数据导出来传输到上海中心系统上，再装入到上海中心的系统中。

同时DSG realsync还能将数据导出过程中产生的大量数据缓存起来，等初始数据同步完成后再将变化数据传输到上海中心，直到北京和上海之间的数据达到平衡状态时进行业务割接。

特点是DSG公司的方案在数据迁移时不需要停机。

QUEST的方式是：

首先利用exp/imp方式进行初始数据的导出，导出过程最好要求生产中心的业务停下来。

然后quest再从exp 完成后的时间点分析日志，记录增量数据，当imp数据在上海完全imp完成后再将增量数据传到上海去，直到北京和上海之间的数据达到平衡状态时进行业务割接。

特点是qeust公司的方案能够保证后续的增量数据同步，但是10TB的初始数据同步耗时很长，而且需要中断业务，如果一旦导出的数据在导入过程中出现意外，那么对项目的影响很大。

五、   数据的一致性和可靠性的保证

对于两个公司的方案都需要通过对数据的核对来确保和验证数据的一致性。

比对方法主要是通过对每条记录的值进行比较的方式来进行，为了减少对网络的压力，可以通过传送CRC码的方式来代替传递所有数据，以减少对网络资源的占用。

六、   技术特点

两个公司的产品DSG Realsync和QUEST Shareplex产品有一个共同点：提供oracle增量数据同步功能，在这一点上两个产品是相同的，都能满足在制定某个时刻点开始后的增量数据的同步。

但是，两个产品在初始数据的迁移方面差别较大：

DSG公司的realsync软件提供了自带的初始数据迁移功能：该功能能够自动将老系统的数据导出来装入新系统上，该初始同步功能具有不要求生产中心停业务的特点。

QUEST公司的shareplex不提供首次同步功能，其要求初始数据通过其他的手段完成，例如RMAN的备份恢复和exp/imp方式。

但是在本项目中，首先由于新老系统属于不同的操作系统，所以无法采用RMAN备份恢复方式。而如果采用exp/imp方式就需要将系统停下来导出初始数据，根据quest公司在甘肃移动实际生产环境上做过的测试来看，exp/imp每小时能够处理的数据量才30GB（模拟环境造的数据和生产环境中的数据对exp来说性能差距很大），那么这样算下来，10TB的数据可能需要中断15天左右，而且还必须保证不出错。

而DSG公司提供的首次全同步可以不需要生产系统停业务，而且性能也比exp/imp好，基本估算如果通过网络传输需要7天左右，而如果在本地先初始同步完成，需要的时间3-4天。如果发现某个环节出错，容易处理。

七、   迁移案例比较

双方在提供过的数据迁移案例如下：

DSG公司：

DSG公司完成过的迁移案例包括：

甘肃移动boss系统迁移：数据量大小8TB。

甘肃电信CRM系统迁移：数据量大小4TB。

海南电信CRM、计费系统迁移：数据量大小共7TB 。

云南电信boss系统拆分成CRM，SPS系统迁移：数据量大小共6TB。

太平洋保险公司上海数据中心搬迁项目，15个系统的迁移。

太平洋保险集团寿险公司全国30个分公司共计90套系统的数据集中迁移项目。

另外还有肇庆电信、梅州电信、成都电信、杭州电信、福建联通等客户的数据迁移。