五大专家剖析应用服务器架构设计
时间：2009-09-01 来源：linux论坛
8月28日，由澳信传媒IT168主办的2009年系统架构师大会在北京举行。下午分会场由网络架构设计专场和应用服务器架构设计专场组成，每个分会场由5位专家带来精彩的应用案例分享和技术解析。在应用服务器架构设计专场上，首先演讲的是来自支付宝（中国）网络技术有限公司首席架构师程立先生。
电子支付系统的分布式服务结构与开放架构研究
面向生产环境的SOA系统设计，介绍了大型企业系统的主流构建方法。他表示，构建大规模的复杂业务系统，必须采用分而治之的方法，将业务、系统与数据组织成以服务复合为核心的解决方案。
作为支付宝（中国）的首席架构师，程立对基于分发服务架构构建面向互联网用户的关键业务应用非常熟悉。他说："在建设面向关键业务应用的过程中，必然会遇到健壮性、性能与容量的技术挑战。同时，还要保证系统运行和演化的过程中能始终符合设计要求。"
基于互联网关键应用的服务器性能评估与优化
接下来是浪潮服务器方案评测部经理乔鑫先生的演讲，他目前主要负责浪潮服务器及全线存储产品的测试，他表示：用户一直以来都被频繁宕机、计算效率低下以及稳定性的问题所困扰。因此早期评测最主要的就是根据不同硬件平台来判断软硬件的兼容性--尤其是不同应用部署之后的稳定性、后期维护方便等。"如何有效地评估服务器性能，在资源更小的情况下完成更多效率是我们系统架构师最大的难题。"
从应用案例分析出发，乔鑫先生分享了几则案例，其中有用户需要将其服务器下载速度提升15倍--通过对其系统进行全面评估，发现导致服务器下载速度瓶颈的并不是服务器计算能力，而是网络I/O不足。"用户有时会主观的根据经验判断是服务器计算性能不足，而只有通过分析评测，我们才能发现真正的问题所在。"乔鑫先生认为评估是系统优化的前提。
对于目前最新的SSD固态硬盘的相关应用，乔鑫先生表示浪潮已经对不少SSD硬盘做过相关评测。从应用来看，SSD硬盘在小文件的随机存取上有很大优势，但是在连续文件的读写上则和传统硬盘类似。"从成本考虑目前SSD还不能成为主流产品，只有某些对随机突发存取要求高的互联网应用才会采用。"
通过上述具体案例的分析与讲解，乔鑫将关键应用服务器性能评估过程中重要的经验和优化思路与参会人员作了分享。
数据中心绿色节能技术方案探讨
欧阳巨星先生是北京市计算中心工业计算部的经理，他首先分享了一组数字，中国的IT能源消耗占据了总能耗的50%，而其中40%的电力消耗来源于数据中心。他表示，一个千万亿次计算的超级计算机每小时能耗达到20兆瓦，一年的电力成本约为一亿元人民币。
作为一个系统架构师，在部署大规模系统或是企业IT资源扩容的时候必然会遇到类似的高能耗问题。欧阳先生认为，尽管目前业界对节能技术做了大量的研究，但主要集中在三方面：芯片级节能技术（如CPU功耗控制等）、基础架构级节能技术（如高效电源、水冷散热、智能温控等）、系统级节能技术（如基于作业调度的节点休眠、面向能耗的资源迁移等）。
从自身出发，欧阳先生表示北京计算中心正在计划打造一个计算能力达到百万亿次的大型超算中心。"除了数据中心基础建设方面的考虑外，我们在节能方面上能做的是对机房制冷、服务器选型和机柜内部优化的工作。"
欧阳巨星先生认为，在采购配置服务器时，选型的重要依据就是功耗性能比："哪怕是单个性能不是很强的服务器，只要功耗够低就可以考虑，因为数据中心集群作业并不衡量单一服务器，而功耗是我们关注的焦点。"另一方面，机柜内部的电力布局、网络设备规划要合理，机柜在机房中的摆放也要符合冷热通道以及整体空调布局。
此外，欧阳先生还介绍了一个名叫"热区映射服务（Thermal Zone Mapping）"的方案。据悉，该方案是对数据中心全面热评估的服务之一，可以应用热传感器、映射分析和制图软件制作一个机房三维热分布的模型，以更形象化的方法监控机房。
"节能是需要前期投入的。"欧阳巨星先生表示，"数据中心要在一开始规划的时候就考虑未来的扩容以及能耗问题，尤其是服务器选型和机房的散热布局上。我们应该杜绝盲目扩张的现象，让数据中心更加绿色节能。"
下一代数据中心的设计与优化管理
世纪互联是国内最大的电信中立IDC服务商，作为运维管理中心总经理，姜俊海先生在演讲中表示："一个数据中心建立之前，要做很多的规划、选型等工作；但是我们往往忽视或是不知道如何验收数据中心，作为一个系统架构管理者必须对数据中心有个整体把握，因此全面测试是必须的。"
据姜俊海介绍，世纪互联拥有超五级机房，是目前国内最好标准的数据中心。通过很多规划、建设、验收，他认为数据中心的测试主要有几个方面：供电系统、空调通风系统、综合布线和门禁监控系统、设备与环境监测系统、灾难报警系统等。
与原始的走走看看设计数据的测试验收方法不同，姜俊海先生介绍了带载全面测试的方法。首先是使用小容量的热阻性负载，直接插在机柜电源上，这样可以模拟真实负载的环境，同时对服务器、机柜、供电、空调、监控系统可以做综合的考量。具体流程是：测试方案的制定、现场情况检查、电缆开关检查、负载加电测试开关、测试电源及空调、测试消防及联动、测试其他系统以及最后的整理出测试报告。
以世纪互联西安数据中心为例，姜先生介绍了具体对该数据中心的全面测试过程。对于散热模块与国外的差异，他表示："我们国内早先都在用风冷散热，而从国外趋势看，水冷散热已经成为趋势。也因为水冷的效率更高，我们的两大机房也采用了这种方式。"据介绍，世纪互联的机房采用水冷散热，在冬天的时候可以完全依赖冷却塔对机房进行散热。
案例实践：高性能服务器程序设计（应用服务器调优）
"在高性能服务器程序设计的过程中，需要注意可用性、稳定性、安全性以及可扩展和升级维护特性。" TOM在线网站事业部技术总监肖彬说道，"其中稳定性压到一切，在保证稳定性的同时追求更高的性能是系统设计和优化所追求的目标。"
肖彬表示，在高性能服务程序设计的过程中，需要首先发现系统的性能瓶颈，之后是针对瓶颈选择相应的平台、I/O策略，并构建服务器模型，通过连接池与缓存的搭配，搭建合理的数据库，协调所有的分布式计算平台，完成高性能计算任务。
根据肖彬的经验，系统的性能瓶颈一般存在于数据拷贝、上下文切换、内存分配和锁竞争中。而相应服务器平台的选择，要注意Socket API效率、线程创建与销毁、I/O支持等三方面内容。"并发数在4000以上的话，选择FreeBSD会好一些，而Linux不管并发数如何，表现都比较稳定。"肖彬先生认为，"Select、Poll、Kqueue、/dev/poll、Epoll等几种I/O策略各有千秋，要看具体应用来选择I/Of方案。"
对于服务器模型的建设，肖彬先生给出了几个需要注意的地方，分别是协议选择、工作模式、线程模式选择、prefork等，这其中的一个原则是：一切要从应用需求出发，不能盲目追求某种模型。
另一方面，在连接池和缓存的管理上，肖彬先生建议要限制数据库的最大连接数以避免单一应用将数据库连接"吃满"，也可以避免短连接。"而为了实现高性能的服务，我们不可能让每个请求都去访问后端数据库，为了提高效率，我们在缓存方面要尽可能的使用嵌入式数据库进行替代（如Berkeley DB），或者使用纯内存型缓存，如memcache等。"肖彬认为，"其实缓存这块一般我们都可以自主实现，如果能和开源项目里的相关成果为基础，性能会很出色。"
最后，肖彬先生结合相关经验介绍了有关缓存、TCP选项的配置技巧，并针对高性能服务器程序设计的功能测试、压力测试、内存测试以及性能分析分享了经验。
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://images.lampchina.net/news/10/AFLwE9PCvpOtJfUBnluQMZ20imrdDzNe.jpg');}" onmousewheel="return imgzoom(this);" alt="" />
电子支付系统的分布式服务结构与开放架构研究
面向生产环境的SOA系统设计，介绍了大型企业系统的主流构建方法。他表示，构建大规模的复杂业务系统，必须采用分而治之的方法，将业务、系统与数据组织成以服务复合为核心的解决方案。
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://images.lampchina.net/news/10/1ysdHgE2Rw4qcrzfJQ06oZi7Vta9WvnA.jpg');}" onmousewheel="return imgzoom(this);" alt="" />
支付宝（中国）的首席架构师程立先生
作为支付宝（中国）的首席架构师，程立对基于分发服务架构构建面向互联网用户的关键业务应用非常熟悉。他说："在建设面向关键业务应用的过程中，必然会遇到健壮性、性能与容量的技术挑战。同时，还要保证系统运行和演化的过程中能始终符合设计要求。"
基于互联网关键应用的服务器性能评估与优化
接下来是浪潮服务器方案评测部经理乔鑫先生的演讲，他目前主要负责浪潮服务器及全线存储产品的测试，他表示：用户一直以来都被频繁宕机、计算效率低下以及稳定性的问题所困扰。因此早期评测最主要的就是根据不同硬件平台来判断软硬件的兼容性--尤其是不同应用部署之后的稳定性、后期维护方便等。"如何有效地评估服务器性能，在资源更小的情况下完成更多效率是我们系统架构师最大的难题。"
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://images.lampchina.net/news/10/UqJdPHkmyFR7OvMYpLKblwrj16Be23s9.jpg');}" onmousewheel="return imgzoom(this);" alt="" />
浪潮服务器方案评测部经理乔鑫先生
从应用案例分析出发，乔鑫先生分享了几则案例，其中有用户需要将其服务器下载速度提升15倍--通过对其系统进行全面评估，发现导致服务器下载速度瓶颈的并不是服务器计算能力，而是网络I/O不足。"用户有时会主观的根据经验判断是服务器计算性能不足，而只有通过分析评测，我们才能发现真正的问题所在。"乔鑫先生认为评估是系统优化的前提。
对于目前最新的SSD固态硬盘的相关应用，乔鑫先生表示浪潮已经对不少SSD硬盘做过相关评测。从应用来看，SSD硬盘在小文件的随机存取上有很大优势，但是在连续文件的读写上则和传统硬盘类似。"从成本考虑目前SSD还不能成为主流产品，只有某些对随机突发存取要求高的互联网应用才会采用。"
通过上述具体案例的分析与讲解，乔鑫将关键应用服务器性能评估过程中重要的经验和优化思路与参会人员作了分享。
数据中心绿色节能技术方案探讨
欧阳巨星先生是北京市计算中心工业计算部的经理，他首先分享了一组数字，中国的IT能源消耗占据了总能耗的50%，而其中40%的电力消耗来源于数据中心。他表示，一个千万亿次计算的超级计算机每小时能耗达到20兆瓦，一年的电力成本约为一亿元人民币。
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://images.lampchina.net/news/10/sVPuGgMRQYFErvJ4Wwq63cSZXDtbAdpf.jpg');}" onmousewheel="return imgzoom(this);" alt="" />
北京市计算中心工业计算部经理欧阳巨星先生
作为一个系统架构师，在部署大规模系统或是企业IT资源扩容的时候必然会遇到类似的高能耗问题。欧阳先生认为，尽管目前业界对节能技术做了大量的研究，但主要集中在三方面：芯片级节能技术（如CPU功耗控制等）、基础架构级节能技术（如高效电源、水冷散热、智能温控等）、系统级节能技术（如基于作业调度的节点休眠、面向能耗的资源迁移等）。
从自身出发，欧阳先生表示北京计算中心正在计划打造一个计算能力达到百万亿次的大型超算中心。"除了数据中心基础建设方面的考虑外，我们在节能方面上能做的是对机房制冷、服务器选型和机柜内部优化的工作。"
欧阳巨星先生认为，在采购配置服务器时，选型的重要依据就是功耗性能比："哪怕是单个性能不是很强的服务器，只要功耗够低就可以考虑，因为数据中心集群作业并不衡量单一服务器，而功耗是我们关注的焦点。"另一方面，机柜内部的电力布局、网络设备规划要合理，机柜在机房中的摆放也要符合冷热通道以及整体空调布局。
此外，欧阳先生还介绍了一个名叫"热区映射服务（Thermal Zone Mapping）"的方案。据悉，该方案是对数据中心全面热评估的服务之一，可以应用热传感器、映射分析和制图软件制作一个机房三维热分布的模型，以更形象化的方法监控机房。
"节能是需要前期投入的。"欧阳巨星先生表示，"数据中心要在一开始规划的时候就考虑未来的扩容以及能耗问题，尤其是服务器选型和机房的散热布局上。我们应该杜绝盲目扩张的现象，让数据中心更加绿色节能。"
下一代数据中心的设计与优化管理
世纪互联是国内最大的电信中立IDC服务商，作为运维管理中心总经理，姜俊海先生在演讲中表示："一个数据中心建立之前，要做很多的规划、选型等工作；但是我们往往忽视或是不知道如何验收数据中心，作为一个系统架构管理者必须对数据中心有个整体把握，因此全面测试是必须的。"
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://images.lampchina.net/news/10/6EIvotrib95HdjncOL0Wfsk8TAm4pxzQ.jpg');}" onmousewheel="return imgzoom(this);" alt="" />
世纪互联设施运维管理中心总经理姜俊海先生
据姜俊海介绍，世纪互联拥有超五级机房，是目前国内最好标准的数据中心。通过很多规划、建设、验收，他认为数据中心的测试主要有几个方面：供电系统、空调通风系统、综合布线和门禁监控系统、设备与环境监测系统、灾难报警系统等。
与原始的走走看看设计数据的测试验收方法不同，姜俊海先生介绍了带载全面测试的方法。首先是使用小容量的热阻性负载，直接插在机柜电源上，这样可以模拟真实负载的环境，同时对服务器、机柜、供电、空调、监控系统可以做综合的考量。具体流程是：测试方案的制定、现场情况检查、电缆开关检查、负载加电测试开关、测试电源及空调、测试消防及联动、测试其他系统以及最后的整理出测试报告。
以世纪互联西安数据中心为例，姜先生介绍了具体对该数据中心的全面测试过程。对于散热模块与国外的差异，他表示："我们国内早先都在用风冷散热，而从国外趋势看，水冷散热已经成为趋势。也因为水冷的效率更高，我们的两大机房也采用了这种方式。"据介绍，世纪互联的机房采用水冷散热，在冬天的时候可以完全依赖冷却塔对机房进行散热。
案例实践：高性能服务器程序设计（应用服务器调优）
"在高性能服务器程序设计的过程中，需要注意可用性、稳定性、安全性以及可扩展和升级维护特性。" TOM在线网站事业部技术总监肖彬说道，"其中稳定性压到一切，在保证稳定性的同时追求更高的性能是系统设计和优化所追求的目标。"
screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onmouseover="if(this.width>screen.width*0.7) {this.resized=true; this.width=screen.width*0.7; this.style.cursor='hand'; this.alt='Click here to open new window\nCTRL+Mouse wheel to zoom in/out';}" onclick="if(!this.resized) {return true;} else {window.open('http://images.lampchina.net/news/10/xAzldC8fiHbDWEUIeFmGjos7LB6JMvgp.jpg');}" onmousewheel="return imgzoom(this);" alt="" />
TOM在线网站事业部技术总监肖彬先生
肖彬表示，在高性能服务程序设计的过程中，需要首先发现系统的性能瓶颈，之后是针对瓶颈选择相应的平台、I/O策略，并构建服务器模型，通过连接池与缓存的搭配，搭建合理的数据库，协调所有的分布式计算平台，完成高性能计算任务。
根据肖彬的经验，系统的性能瓶颈一般存在于数据拷贝、上下文切换、内存分配和锁竞争中。而相应服务器平台的选择，要注意Socket API效率、线程创建与销毁、I/O支持等三方面内容。"并发数在4000以上的话，选择FreeBSD会好一些，而Linux不管并发数如何，表现都比较稳定。"肖彬先生认为，"Select、Poll、Kqueue、/dev/poll、Epoll等几种I/O策略各有千秋，要看具体应用来选择I/Of方案。"
对于服务器模型的建设，肖彬先生给出了几个需要注意的地方，分别是协议选择、工作模式、线程模式选择、prefork等，这其中的一个原则是：一切要从应用需求出发，不能盲目追求某种模型。
另一方面，在连接池和缓存的管理上，肖彬先生建议要限制数据库的最大连接数以避免单一应用将数据库连接"吃满"，也可以避免短连接。"而为了实现高性能的服务，我们不可能让每个请求都去访问后端数据库，为了提高效率，我们在缓存方面要尽可能的使用嵌入式数据库进行替代（如Berkeley DB），或者使用纯内存型缓存，如memcache等。"肖彬认为，"其实缓存这块一般我们都可以自主实现，如果能和开源项目里的相关成果为基础，性能会很出色。"
最后，肖彬先生结合相关经验介绍了有关缓存、TCP选项的配置技巧，并针对高性能服务器程序设计的功能测试、压力测试、内存测试以及性能分析分享了经验。
相关阅读 更多 +
