中华网”高可用性数据存储解决方案
时间：2007-02-17 来源：PHP爱好者
一、方案背景 中华网是美国纳斯达克上市公司——中华网国际网络通讯有限公司家族网站中的主要成员之一。截止到2000年第二季度，网站已经拥有超过630万的注册用户，每日平均页面浏览量达2100万，其中E-mail每天访问量就达100多万。在此背景下，原有的存储备份方式远不能满足应用需求，为了对系统和用户数据的安全负责，必须建立电子邮箱存储系统和海量数据备份系统。
中华网的个人邮箱、个人网页与个人信息存储系统开通五个月以来，用户从30万增至100万。同时全备份绝对数据量直线增加（E-mail 容量为700GB；个人信息为600GB），每日备份数据的增量也在同比增加。原来的DLT磁带机传输速率太慢，备份一个系统就得花费好几天时间，分配给在线备份的网络资源有限,而网上业务又具有不可中断的特点，因此要求新的存储备份系统具有良好的性能、很高的备份效率和在线备份的能力。
中华网网站目前的存储主要在于两项业务：免费电子邮箱存储系统，个人网页和个人信息存储系统。需求集中在大存储量、高存储速度、快速磁盘修复、高效备份恢复机制等方面，中华网的网站存储方案就应该要求系统备份快速、存储技术先进以及数据存储系统高可用等。
二、存储解决方案 基于上述方面的考虑，经权衡比较，我们选定了两套系统的存储产品与方案——基于SAN（Storage Area Network：存储局域网）结构的免费电子邮箱存储系统以及基于SAN结构的个人网页和个人信息存储系统。
存储方案的核心在于SAN结构的实现，这也是方案的难点所在。由于软件系统的设计与布置在SAN存储方案中起着关键作用，下面主要介绍此方案的设计和实施。
根据中华网需求，主要采用VERITAS的下列产品与技术：VERITAS File System(VxFS)；VERITAS Volume Manager(VxVM) ；VERITAS Cluster Server(VCS)；以VERITAS的Netbackup和Shared Storage Option（SSO）软件为基本框架的LAN Free备份技术。
VxFS是一个解决文件系统快速恢复问题的日志式文件系统，多家硬件平台厂商也采用了VxFS技术。VxFS建立文件的索引区，将操作记录在事件日志中，当系统发生意外时，能让系统迅速、完全地得到恢复。VxFS提供文件系统的照相功能，保证了数据的在线备份，提供文件系统的在线扩展，并提高了I/O吞吐率。
磁盘的管理采用VxVM。VxVM成功地将应用系统和数据系统分开，使得应用系统不需考虑物理存储的设计。VxVM采用逻辑卷的方式，配合VCS，可以迅速进行节点之间的数据转移。VxVM的虚拟磁盘管理还可以获得诸如在线修改文件系统、动态调整磁盘I/O性能、动态均衡磁盘I/O通道、文件系统快照等高级磁盘管理能力，这些能力大大减小了应用系统的压力。
VCS是基于应用级的高可用性多机应用软件，可以支持最多32台服务器协同工作，实现128个节点的Cluster能力，在各种Cluster软件中优势突出。作为多机的集群软件，VCS可保证一旦任何应用出现故障，该应用系统会迅速切换到其它服务器上去。Cluster内的任意一个节点均可作为控制台，配置结束自动更新所有节点。VCS支持多种应用的检测和切换，包括Web Server 、IP、数据库、多网卡、NFS、文件系统、Disk、进程、SNMP、Netbackup和HSM等。在同一节点下，可以设置双网卡冗余，一个网卡出现故障，VCS自动启动第二网卡，无须进行节点切换。VCS还提供NT控制工具和界面，管理员可以做到无人现场值守即可监控Cluster的状态。
我们采用了VERITAS的LAN Free Backup来实现SAN方案。我们建立了光通道共享磁带机备份系统，备份软件采用VERITAS的SSO，这是目前为数极少的能支持共享磁带机直接备份的软件产品。Netbackup软件和SSO构成LAN Free备份的基本框架。LAN Free备份具有以下特点：采用光纤存储网络技术，磁带库与光纤交换网络相连；SCSI的磁带库产品可以通过连接设备连入光纤网络；多台服务器进行数据的直接备份，无须经过局域网，减少应用网络的压力，节省网络资源；通过SSO，多台服务器可共享磁带机，构成完整的备份系统。SSO是一项共享磁带库技术，它指定某台服务器作为对存储进行协调的主服务器，可实现多台服务器协调备份，解决了SCSI技术中多台服务器备份冲突问题。它彻底解决了光通道技术下的共享备份问题。
网站存储解决方案还采用了FlashBackup(闪存储)技术。FlashBackup是一项技术突破，它是为了解决在小文件非常多时，磁带搜索时间大于读写备份时间的问题而开发的技术。FlashBackup为文件系统的备份提供了近似物理备份的高速和文件系统的备份一致性，大大提高了多数量文件系统的备份的效率。
三、存储解决方案的效果 中华网的存储解决方案集中采用了先进的存储技术，具有鲜明的高可用性和高技术含量的特点。VCS的应用切换功能使应用中断的风险大大降低，保证了系统的高可用性。VCS实现真正意义上的应用级切换，整个系统内的所有资源被按应用类型分组，当一个节点运行多个应用时，VCS按多个应用进行检测，某一应用发生故障时，只需将此应用进行切换，不会干扰正常应用。采用LAN Free备份、FlashBackup等新技术的SAN网络结构也是系统高可用性的可靠保障。
通过以软件为核心实现数据高可用方案，中华网存储系统以经济的成本有效地解决了原有存储问题。免费电子邮箱存储系统采用集群式多点接入方式，能实现Cluster的应用切换和关键设备冗余无单点故障，并能够随用户增加而在线增加服务器和存储设备。个人网页和个人信息存储系统实现了服务器直接进行数据备份。在网站的一次数据备份实测试验中，采用VERITAS的闪备份方式，单台磁带机的实测平均备份速率达到25GB/小时，这一速率距相应磁带机的理论速率已相去不远，按此计算，原来备份需要几天时间的个人网页和个人信息存储系统，目前备份只需几个小时。该方案的实施和应用，不仅明显提高了中华网网站数据的存取利用效率，而且更重要的是提供了数据的可靠备份，保证了数据的高可用性。
php爱 好者站 http://www.ｐｈｐｆａｎｓ.net 文章|教程|下载|源码|论坛.
中华网的个人邮箱、个人网页与个人信息存储系统开通五个月以来，用户从30万增至100万。同时全备份绝对数据量直线增加（E-mail 容量为700GB；个人信息为600GB），每日备份数据的增量也在同比增加。原来的DLT磁带机传输速率太慢，备份一个系统就得花费好几天时间，分配给在线备份的网络资源有限,而网上业务又具有不可中断的特点，因此要求新的存储备份系统具有良好的性能、很高的备份效率和在线备份的能力。
中华网网站目前的存储主要在于两项业务：免费电子邮箱存储系统，个人网页和个人信息存储系统。需求集中在大存储量、高存储速度、快速磁盘修复、高效备份恢复机制等方面，中华网的网站存储方案就应该要求系统备份快速、存储技术先进以及数据存储系统高可用等。
二、存储解决方案 基于上述方面的考虑，经权衡比较，我们选定了两套系统的存储产品与方案——基于SAN（Storage Area Network：存储局域网）结构的免费电子邮箱存储系统以及基于SAN结构的个人网页和个人信息存储系统。
存储方案的核心在于SAN结构的实现，这也是方案的难点所在。由于软件系统的设计与布置在SAN存储方案中起着关键作用，下面主要介绍此方案的设计和实施。
根据中华网需求，主要采用VERITAS的下列产品与技术：VERITAS File System(VxFS)；VERITAS Volume Manager(VxVM) ；VERITAS Cluster Server(VCS)；以VERITAS的Netbackup和Shared Storage Option（SSO）软件为基本框架的LAN Free备份技术。
VxFS是一个解决文件系统快速恢复问题的日志式文件系统，多家硬件平台厂商也采用了VxFS技术。VxFS建立文件的索引区，将操作记录在事件日志中，当系统发生意外时，能让系统迅速、完全地得到恢复。VxFS提供文件系统的照相功能，保证了数据的在线备份，提供文件系统的在线扩展，并提高了I/O吞吐率。
磁盘的管理采用VxVM。VxVM成功地将应用系统和数据系统分开，使得应用系统不需考虑物理存储的设计。VxVM采用逻辑卷的方式，配合VCS，可以迅速进行节点之间的数据转移。VxVM的虚拟磁盘管理还可以获得诸如在线修改文件系统、动态调整磁盘I/O性能、动态均衡磁盘I/O通道、文件系统快照等高级磁盘管理能力，这些能力大大减小了应用系统的压力。
VCS是基于应用级的高可用性多机应用软件，可以支持最多32台服务器协同工作，实现128个节点的Cluster能力，在各种Cluster软件中优势突出。作为多机的集群软件，VCS可保证一旦任何应用出现故障，该应用系统会迅速切换到其它服务器上去。Cluster内的任意一个节点均可作为控制台，配置结束自动更新所有节点。VCS支持多种应用的检测和切换，包括Web Server 、IP、数据库、多网卡、NFS、文件系统、Disk、进程、SNMP、Netbackup和HSM等。在同一节点下，可以设置双网卡冗余，一个网卡出现故障，VCS自动启动第二网卡，无须进行节点切换。VCS还提供NT控制工具和界面，管理员可以做到无人现场值守即可监控Cluster的状态。
我们采用了VERITAS的LAN Free Backup来实现SAN方案。我们建立了光通道共享磁带机备份系统，备份软件采用VERITAS的SSO，这是目前为数极少的能支持共享磁带机直接备份的软件产品。Netbackup软件和SSO构成LAN Free备份的基本框架。LAN Free备份具有以下特点：采用光纤存储网络技术，磁带库与光纤交换网络相连；SCSI的磁带库产品可以通过连接设备连入光纤网络；多台服务器进行数据的直接备份，无须经过局域网，减少应用网络的压力，节省网络资源；通过SSO，多台服务器可共享磁带机，构成完整的备份系统。SSO是一项共享磁带库技术，它指定某台服务器作为对存储进行协调的主服务器，可实现多台服务器协调备份，解决了SCSI技术中多台服务器备份冲突问题。它彻底解决了光通道技术下的共享备份问题。
网站存储解决方案还采用了FlashBackup(闪存储)技术。FlashBackup是一项技术突破，它是为了解决在小文件非常多时，磁带搜索时间大于读写备份时间的问题而开发的技术。FlashBackup为文件系统的备份提供了近似物理备份的高速和文件系统的备份一致性，大大提高了多数量文件系统的备份的效率。
三、存储解决方案的效果 中华网的存储解决方案集中采用了先进的存储技术，具有鲜明的高可用性和高技术含量的特点。VCS的应用切换功能使应用中断的风险大大降低，保证了系统的高可用性。VCS实现真正意义上的应用级切换，整个系统内的所有资源被按应用类型分组，当一个节点运行多个应用时，VCS按多个应用进行检测，某一应用发生故障时，只需将此应用进行切换，不会干扰正常应用。采用LAN Free备份、FlashBackup等新技术的SAN网络结构也是系统高可用性的可靠保障。
通过以软件为核心实现数据高可用方案，中华网存储系统以经济的成本有效地解决了原有存储问题。免费电子邮箱存储系统采用集群式多点接入方式，能实现Cluster的应用切换和关键设备冗余无单点故障，并能够随用户增加而在线增加服务器和存储设备。个人网页和个人信息存储系统实现了服务器直接进行数据备份。在网站的一次数据备份实测试验中，采用VERITAS的闪备份方式，单台磁带机的实测平均备份速率达到25GB/小时，这一速率距相应磁带机的理论速率已相去不远，按此计算，原来备份需要几天时间的个人网页和个人信息存储系统，目前备份只需几个小时。该方案的实施和应用，不仅明显提高了中华网网站数据的存取利用效率，而且更重要的是提供了数据的可靠备份，保证了数据的高可用性。
php爱 好者站 http://www.ｐｈｐｆａｎｓ.net 文章|教程|下载|源码|论坛.
相关阅读 更多 +
