DSG-SnapArchiving历史数据归档软件
时间：2010-06-06 来源：吴险
DSG-SnapArchiving历史数据归档产品
|
第1章 DSG公司简介及案例 n 数据块增量备份技术 n 数据库实时容灾复制技术 n 异构分布式数据存储管理技术 n 快速数据提取、装载技术和数据分析 2002年8月，DSG进入中国，在中国北京设立全球战略中心、技术研发中心和支持服务中心，全面拓展中国市场。其数据备份产品SnapAssure、异构热容灾产品RealSync和数据复制和抽取技术产品（SmartE）以其功能强大、性能优越和性价比高等特点为各行业关键业务系统的不间断运行提供了保障，成功案例遍布中国的各个行业： 2007年DSG推出新产品：Oracle历史数据查询与压缩归档存储的应用管理解决方案 DSG-SnapAssure高速备份产品应用案例 (for Oracle) 电信行业 Ø 中国电信总部结算中心备份系统 Ø 中国电信全国九省结算中心备份系统（江苏、江西、广西、青海、海南、贵州、甘肃、福建） Ø 北方电信九省结算系统备份（辽宁、黑龙江、吉林、河南、山西、山东、河北、天津、内蒙古 ） Ø 信息产业部全国十省互连互通和网间结算备份系统（含浙江、江苏、陕西、黑龙江、福建、江西、甘肃、吉林、宁夏和重庆信产厅） Ø 江西移动BOSS系统异地备份系统 Ø 甘肃移动BOSS系统集中备份 Ø 天津联通固网计费备份系统 Ø 广东联通综合结算备份系统； Ø 辽宁联通全省数据库集中备份 Ø 四川联通业务支撑系统集中备份 Ø 河北联通数据备份系统升级应用 Ø 陕西联通业务支撑系统的集中备份 Ø 重庆联通业务支撑系统的集中备份 Ø 吉林联通计费系统的集中备份 Ø 电信BSS/OSS系统备份项目 Ø 青海电信数据集中备份系统 Ø 宁夏电信业务支撑系统集中备份 Ø 周口通信、沧州通信计费系统备份项目 Ø …… 其他行业 Ø 银河证券全国数据中心集中备份系统 Ø 东莞社保数据备份项目 Ø 广西公安备份系统 Ø 广州公安备份及查询应用项目 Ø 石家庄公安户籍系统备份应用 Ø 杭州电力数据备份系统 Ø 江汉油田数据备份系统 Ø …… DSG-RealSync数据同步复制容灾产品应用案例(for Oracle) 电信行业 Ø 广西移动BOSS容灾及查询平台建设系统； Ø 青海移动BOSS容灾系统 Ø 移动结算系统容灾项目 Ø 江苏联通大客户系统数据复制项目 Ø 四川联通业务支撑系统数据复制应用 Ø 山东联通计费系统容灾项目 Ø 广东联通综合营帐数据复制 Ø 辽宁网通支撑系统复制容灾项目 Ø 福建电信支撑系统容灾项目 Ø 成都电信Oracle数据异构复制迁移项目 Ø 舟山电信支撑系统容灾及备份应用 Ø 绍兴电信支撑系统容灾及备份应用 Ø 湖州电信支撑系统容灾及备份应用 Ø …… 其他行业 Ø 河北省地税数据集中及容灾系统； Ø 上海松江财政异地容灾 Ø 辽宁省交通征稽局高速公路收费系统“数据同步复制软件”容灾项目 Ø 济钢Oracle-ERP数据同步复制项目 Ø 沈阳金杯Oracle—ERP系统容灾应用 Ø 长江证券数据集中的容灾应用 Ø 华泰证券数据集中的容灾应用 Ø 国联证券数据集中的容灾应用 Ø 民族证券数据集中的容灾应用 Ø 金通证券数据集中的容灾应用 Ø 中原证券数据集中的容灾应用 Ø 银河证券数据容灾备份综合管理应用 Ø 西北证券数据容灾备份一体化综合管理应用 Ø ………… DSG优势简介： 我公司的容灾、备份解决方案具有性能更可靠、效率更高、投资更低、结构更灵活的优势； ■DSG-SnapAssureOracle数据备份方案相对于同类方案：(1)备份和恢复时间缩短2/3，存储空间节约3/4，(2)备份数据库实时打开，可验证、可共享做统计分析报表，降低投资,(3)支持ORACLE在非归档模式下的热备，支持表恢复。 ■DSG-RealSyncOracle数据复制容灾方案相对于同类方案，基于数据库逻辑的数据复制：(1)容灾效率和性能提高2－3倍，(2)先进的数据一致性检查工具，（3）首次数据同步及存量装载无需停业务（4）容灾数据库实时打开，到达数据验证、秒级切换、数据共享－统计查询报表，降低主机负载分担，提高投资回收（5）支持1对多、多对1及双向的灵活抽取复制(6)完全支持异构。 DSG希望能够凭借强大的技术实力、完善的技术服务支持和优秀的市场支持能够为中国的用户提供优越的解决方案、产品和服务！ 第2章 SnapArchiving简介 随着长时间的累积，一些关键的业务系统，例如CRM，ERP，SCM，Billing，Account等关键的系统，积累了大量的历史交易数据，这些大量的历史数据使得这些系统变得越来越庞大，并且在维护上也越来越复杂。数据量的快速增长已经成为了所有的IT管理部门所面对的最难于解决的问题之一，因为数据量的增长已经严重降低了应用程序的性能，降低了应用程序的稳定性，并且消耗了大量的投资。 对于IT企业来说，我们不能永无止境的投入大量资金来升级我们的存储、加大存储容量、提高服务器性能，以此来满足不断增长的数据量。提高存储容量和提高服务器的处理能力只能暂时的解决我们所面临的问题。 SnapArchiving数据归档解决方案提供了一种全新的信息生命周期管理模式，以此来解决不断增长的数据问题。SnapArchiving提供了一整套的流程和技术来管理信息数据从产生时刻到该数据失去价值的整个过程。 SnapArchiving帮助客户实现历史数据的分级存放，透明访问，提高生产系统的性能，降低IT的总体投资(TCO)： l 帮助客户定义数据生命周期的各个环节，包括数据的产生、访问、保留策略以及数据在不同的时间点上的服务级别需求（SLA）； l 帮助企业去监控、预测数据的增长趋势，搭建和执行数据的过期策略，从而将历史交易数据定期从生产系统中迁移到在线的归档数据库上，创建一个用户可透明访问的历史数据管理平台； l 帮助企业利用最新的存储和服务器技术来降低企业的IT投资，例如利用Linux，SATA盘等技术来存储历史数据，以降低企业总体IT投资，并且还能够保持服务级别不降低，历史数据依然可以实时查询。 第3章 问题：无法管理的数据增长 Meta Group指出应用系统的数据量年增长125%，并且80%是非活动数据。数据量之所以产生这么大的快速增长是存在很多的原因的： l 数据的整合：将以前分散的数据集中到一个或多个数据库实例中。例如电信行业将以前的分散式计费系统整合为省集中计费，造就了中国电信行业出现了大量的大容量数据库系统； l 更高的业务需求：为了给客户提供更多的服务，加大企业的经营决策，企业选择保留更长时间的经营数据，以便提供更多的客户查询和经营分析报表。这将造成爆炸式的数据增长； l 更多的法律要求：越来越多的规定要求企业历史数据的保存必需达到一定年限以便备查。例如电信行业的２年内话单必需能查；企业财务数据，银行数据需要几十年等等，这些都极大的增加了企业的数据量。 数据量的爆炸式增长给企业和IT投资带来了巨大的成本消耗，其中主要的包括： l 应用程序性能下降：随着数据量的不断增长，应用程序以及数据库系统都必需处理更多的数据，这给数据库服务器带来了极大的压力，使得应用程序的响应速度严重下降。这些使得IT管理人员不得不在系统的性能优化问题上付出更大的努力，甚至采取限制数据访问的措施； l 增加了服务器和存储的投资：尽管硬件设备的价格每年以30%的比例下降，但是按照125%的比例增长的数据已经严重超出了硬件设备的价格下降的幅度； l 更为重要的是，每次随着数据量的增长，不仅体现在设备本身的投资增长上，在数据备份（BACKUP），容灾(DR)，软件，带宽方面都必需成倍的增加； l 降低了应用程序的稳定性：随着数据量的增加，在备份、恢复、数据复制、系统升级等方面都将消耗更多的时间，这对于７＊２４服务的应用系统来说已经提出了越来越大的挑战。 第4章 SnapArchiving：数据归档解决方案 SnapArchiving提供了一整套的流程和技术来管理信息数据从产生时刻到该数据失去价值的整个过程。帮助客户制定数据在不同的生命周期阶段制定不同的访问和过期策略： 图：信息生命周期过程中不同阶段的访问策略。 DSG SnapArchiving帮助企业设置和执行信息生命周期过程中的数据管理策略，将历史交易数据从生产数据库上迁移到在线的归档数据库上(online archive)，在线归档与离线归档(offline archive)的最大区别在于在线归档数据库保持对迁移后的归档数据的实时访问。 通过这种历史交易的迁移，使得企业能够在已有的IT架构基础上支持更好的应用系统性能，在无需服务器升级和存储扩容的基础上满足企业业务增长的需要。同时在生产数据库上保存更少的数据能够有效的降低容灾、复制、备份和恢复的成本消耗，降低企业对于IT系统的总体拥有成本，尤其是后期的维护成本。 DSG SnapArchiving解决方案提供了一套流程和技术帮助客户建立历史数据的保留策略，提供历史数据的归档抽取、历史数据的保存、历史数据的检索等一体化功能，将历史数据从生产系统中重新迁移到归档数据库上。 第5章 :DSG SnapArchiving关键技术：DBPlus静态数据存储产品 DSG公司在经过长期的研究之后，推出了第一版本的历史归档数据管理解决方案SnapArchiving。该解决方案的最大特点就是将那些历史数据迁移到压缩数据库中存储，并且压缩的存储数据库可提供基于SQL方式的数据检索方式，能够与应用软件之间实现最大程度的集成化。 SnapArchiving历史归档数据库管理解决方案的核心是采用DBPlus静态数据压缩存储数据库产品。 DBPlus本身是一套数据库管理系统，只不过该数据库系统是专门针对静态数据设计的，去掉了对事务（Transaction）控制的部分,不支持Insert,Update,Delete等DML操作，对数据采用压缩存储方式，降低存储空间。 DBPlus产品完整的体现了SnapArchiving的技术要求： 1. 以压缩方式保存归档数据，降低存储空间和存储成本 DBPlus系统对从生产系统上迁移过来的历史数据采用专用存储的数据库结构进行存储。 为了降低存储空间，DBPlus采用压缩的存储格式，DBPlus在做数据迁移时，对数据作重新排序，把相同的重复数据重新组织到一个数据块内，并且在块内的数据采用业界通用的压缩算法进行压缩存储，使得压缩率得以大幅度提高。DBPlus的数据块最小300KB,最大可以配置为2MB,按大数据块做数据压缩，可以有效提高压缩倍率。 根据测试的结果，对于记录数为4.3亿，在源系统中的占用了183GB，其中包括索引数据52GB的数据在迁移到DBPlus系统上后，存储空间变为19.1GB,其中包括索引320MB。压缩比达到9:1。 2. 以标准SQL语句方式进行快速查询 DBPlus对外提供标准的SQL引擎进行数据查询，通过简单的SELECT命令就能对归档数据进行任意检索。 为了查询检索性能，系统对数据进行特殊的组织，按照数据库的Block方式进行管理，并对组织的数据提供index信息，加速数据检索性能。 为了进一步提高检索速度，DBPlus还把相同索引的数据重新排序，存放在一个数据块内，用户查询数据时，做一次磁盘寻道和顺序读取就可以返回多条记录；DBPlus使用索引聚合技术减少了搜索时间，降低了Btree数的高度。通过独创的部分索引技术，使用字段的一部分值来建立索引，再把相同键值的索引紧缩成一条记录，把表数据对应的索引数量降低，查询效率得以提高；实时压缩算法保证数据的高吞吐量。 根据测试的结果，对于记录数为4.3亿，在源系统中的占用了183GB的数据在迁移到DBPlus系统上后，随机选取客户200名，分别在源系统和DBPlus批量运行查询业务，两个系统的查询结果完全一致，返回记录总数为210197 。在源系统中运行时间为920秒，DBPlus中的运行时间为82秒。 3. 还能够与oracle等数据库集成访问 DBPlus使用了异构数据库系统互连的技术，通过ODBC驱动程序，与Oracle数据库实现无缝对接，应用程序可以使用Oracle的 JDBC/OCI/Pro*C等程序设计接口，使用Oracle的 SQL语法，直接查询DBPlus中的数据，通过在Oracle中重定义视图等方式，应用程序可以不做任何修改。 第6章 DSG SnapArchiving解决方案给客户带来的好处 通过使用DSG SnapArchiving解决方案，用户可得到如下好处： l 提高应用系统的性能和稳定性：通过将静态的交易数据从生产系统上重新分配到归档数据库上来，能够提高生产系统的性能，提高生产系统的稳定性； l 降低服务器和存储系统的硬件投资：通过将大量的历史数据重新分配到成本更加低廉的存储和服务器系统上，能够在那些昂贵的服务器和存储系统上支持更多的实时业务并发量，企业无需永无止境的投资升级其服务器和存储容量以满足不断增长的历史数据管理需求； 归档数据的可访问性：通过将重新归档存储的数据通过数据库的方式组织起来，提供SQL-based的查询方式进行数据检索，并且通过通用的数据接口与现有的应用程序可提供无缝的数据访问支持。 |
相关阅读 更多 +
