Panasas ActiveScale存储集群详解

本文从技术上概括地描述了Panasas ActiveScale体系结构，以及Panasas ActiveScale存储集群是如何设计成下一代高可扩展，且易于管理的存储网络系统的。

Panasas ActiveScale存储集群以其智能灵巧的存储，加速了Linux集群计算速度。将并行文件系统与基于对象的存储相结合，Panasas存储集群极大 地提高了Linux集群环境的可管理性和性能。系统具有如下特点：将集群的操作一体化，最大限度地减少了管理时间；提高了应用的数据吞吐率，使昂贵的集群 资源得到最大回报；能无缝地集成到现有的数据中心基础设施中去，最大限度地保护了现有投资。

第一代存储体系结构

数据密集型的应用正在将传统的计算体系结构推向极限。无论是绘制人类基因图，还是地 球表面结构成像以找到新的能源储藏，或者是制作最新的巨型炸弹爆炸的栩栩如生的影片，这些应用需要极大的数据容量和吞吐率。要满足这些要求，在计算方面需 要扩展Linux计算集群。计算集群已经替换了传统的私有计算系统，以极低的价位达到新的性能和可用性水平。

1.直接连接存储（DAS）

DAS系统原本是为部门级的IT环境提供直接的小数据池的访问。对于小的集群，这可能是一种可接受的解决方案，但当集群规模增长时，就需要一个一个地增加DAS系统，而这些系统之间又不能直接通信，只能被作为数据孤岛来管理。

2.网络连接存储（NAS）

NAS系统或专门的NFS服务器主要用来提供在异构平台上的广泛的数据共享。在那 里，多台主机能共享文件，每个用户有相对适度的I/O需求，比如一个部门级的工作站网络中，用作用户的根目录（Home Directory）的存储。然而，当增加容量来支持更多的应用和客户访问系统时，NAS系统的性能不能很好地扩展，事实上，还经常出现相反的情况，增加 容量实际上会降低系统的性能。

3.存储区域网（SAN）

SAN用来向适度数量的应用服务器提供对共享的存储设备池的高性能、高可靠性的访 问，例如企业级的事务处理数据库。SAN在存储配给的过程中起到了杠杆作用，允许磁盘在应用服务器之间重新分配，很容易满足容量需求的改变，但是也会形成 基于应用服务器的数据孤岛，这常常导致复杂性和管理费用的增加。

Panasas ActiveScale体系结构：下一代存储设计

Panasas通过提供一个基于对象存储和集群的并行文件系统，从根本上改变了传统 的网络存储中的规则。在为集群计算设计的传统存储系统中，用户受制于三个过程：系统管理员必需将数据从共享存储器复制到集群中的计算节点的本地磁盘上；只 有当数据被均匀分配到各计算节点后，作业才能被执行；作业完成后，各节点必需把结果数据送回到共享存储器上去。上述过程不仅仅耗费时间，而且还需要系统管 理员的大量干预。

Panasas ActiveScale存储集群以其智能灵巧的存储简化了Linux集群的计算。Panasas存储集群加速了结果的取得，系统管理员能直接对 Panasas存储集群执行作业，从而大大提高了可管理性和性能。尤其是此系统将集群的操作一体化，最大限度减少了管理时间；提高了应用的数据吞吐率，使 昂贵的集群资源得到最大回报；能无缝地集成到现有的数据中心基础设施中去，最大限度地保护了现有投资。

Panasas ActiveScale存储集群的核心是数据路径（读\写）和控制路径（元数据）的分离。这样的分离提供了一种方法，允许计算节点直接和并行地访问存储设备，提供了高带宽给计算集群。它还将存储系统的元数据分散，允许共享的文件访问而没有中央瓶颈。

ActiveScale存储体系结构的设计，围绕着以下六条基本原则：将存储系统虚 拟化成一个无缝的全局名字空间（Namespace），以提高可管理性；跨所有存储设备形成集群，线性地扩展容量和性能；优化集群的设计，以达到最大的可 用性和自动故障切换（ 2005年版本3.0已经实现）；平衡所有必需的资源以优化性能——容量必需与处理能力、缓存大小和网络带宽相对称地扩展；摆脱体系结构的束缚，消除烦琐 的存储管理任务；在现有的以太网中，将存储带宽和随机I/O提高一个数量级。

Panasas文件系统（PanFS）是一种基于集群的设计，它把所有的硬件部件虚拟化成一个高度可扩展，且易于管理的存储网络。Panasas的指挥刀片和存储刀片协调工作，提供了一个平衡的和可扩展的设计来配合PanFS文件系统。

智能灵巧的Panasas指挥刀片和存储刀片

Panasas刀片是用工业标准的硬件设计而成，与PanFS文件系统相配合。每一 个刀片有网络I/O接口、缓冲存储和计算能力，可以更好地平衡文件系统性能。用这种方法，所有系统资源紧密地集成在一起，并能在增加磁盘容量时线性地扩 展。在网络存储设施中，第一次消除了由于磁盘容量和文件活动增加对系统资源的竞争造成的瓶颈。这是构建高性能、可扩展的存储系统的精髓所在。

多个Panasas指挥刀片通过PanFS文件系统自动地构成集群，提供了高性能 和高可靠性。对集群中的所有节点和应用，所有指挥刀片表现为一个统一的资源。指挥刀片协调指挥计算节点和存储刀片之间的活动。跟第一代的NAS控制器 （Filer）不一样，Panasas文件系统的活动被分散到指挥刀片和存储刀片上。指挥刀片只管理文件系统活动的元数据部分，维护虚拟的对象映射图 （Object Maps）。对象映射图的功能是描述哪个存储刀片存储了哪些对象。这是ActiveScale集群自下向上（Bottom-up）设计的一部分，它使得指 挥刀片的活动，以及指挥刀片之间的相互依赖减至最少，其结果是指挥刀片只管理全部文件系统活动量的20%，并且能与其他指挥刀片构成集群来扩展性能。

Panasas存储刀片存储应用和最终用户的数据，并被精细地协调来优化从网络到 物理磁盘的数据流。每一个存储刀片是一个智能灵巧的分布的控制器（Distributed Filer）。Panasas的DirectFLOW存储刀片软件,管理数据对象到物理磁盘上的固定大小的数据块（Block）的布局。表1详述了 Panasas刀片的功能和资源。

每一种Panasas刀片都有创新的Twinchannel（双通道）总线，它用 高数据吞吐率的AGP总线来连接以太网NIC I/O，相应地用PCI总线作磁盘访问。最新一代的基于Broadcom的千兆位以太网NIC含有一个TCP检查和卸载引擎。它还支持包头分离一直到网络 模型的Layer7，检查和卸载消除了作网络包检查和计算时的CPU负担。包头分离是一种不复制内存的方法（Zero Copy Memory）。

比较两者可用的系统资源时，可以非常明显地看到，Panasas存储集群相对于整体式的NAS系统，在设计上有着极大的差别。此外，Panasas用的是价格在下降的工业标准硬件部件， 因此更具性价比的优势。

Panasas硬件是全冗余设计的，没有单点故障。Panasas系统有按刀片的冗 余的以太网连接、冗余的以太网交换机刀片、冗余的电源和风扇、冗余的电源栅格支持，以及一个机箱范围的后备电池模块。作为Panasas存储集群的基础， 交换的以太网构架是完全容错的（完全的网络故障切换，在版本3.0中已经提供）。

Panasas ActiveScale文件系统

Panasas存储集群的心脏是Panasas ActiveScale文件系统（PanFS），它把文件的活动分散到许多存储刀片中。PanFS将多个指挥刀片构成集群来协调指挥文件活动，平衡系统性 能和管理可用性。这种分布的基于集群的方法消除了性能瓶颈，并减轻了Panasas存储集群的管理负担。PanFS的关键功能包括以下几方面。

首先，数据跨所有可用的存储刀片虚拟化，因此Panasas系统在客户端服务器前面表现为一个单一的统一的存储空间。当更多的存储刀片加入时，Panasas的全局名字空间无缝地增长。

其次，可安装的DirectFLOW文件系统将PanFS的能力迁移到Linux集群的各个节点上，使之能在服务器节点与存储刀片之间进行直接和高度并行的数据访问。

第三， Panasas ActiveScale集群动态地将多个指挥刀片连接在一起，使之成为一个单一的集群的存储网络，因此达到更大的可扩展性和可用性。

最后，NFS和CIFS虚拟化是为了建立一个可扩展的NFS/CIFS服务器，在一个单一的易于管理的名字空间访问数据。

Panasas ActiveScale文件系统的基本操作

PanFS是分布式的，以优化Panasas系统中所有硬件成分的工作负载的共享。 作为下一代文件系统，PanFS使用数据对象接口，而不是传统的数据块接口来分布文件系统的操作。PanFS处理数据对象的能力与注入到存储设计中的智能 相结合，能将数据路径和控制路径并行地分离。这种将数据路径与控制路径分离的能力，形成了计算集群和存储集群之间的直接数据路径。

数据对象有两个重要的设计要素：第一，数据对象要远远大于标准存储接口中的固定大 小的块；数据对象要能容纳比之大1000倍以上的数据。这对于在指挥刀片和存储刀片中优化分布工作负载是很重要的。第二，数据对象在大小上是任意的，并且 能随文件大小的增长而无缝地增长，不需要修改在指挥刀片上的元数据影射图。这就允许文件大小的增长很容易通过在存储刀片上扩展个别数据对象来实现。同样， 这对于优化分布工作负载是很重要的。

作为将数据文件分解成数据对象的一个部分，文件系统建立并维护一个数据对象跨存储 刀片在那里存储的对象影射图。这些对象影射图形成了元数据，指挥刀片用它们来协调指挥文件系统的活动。这种方法建立的元数据影射图要比传统的固定块元数据 映射图小得多。同样重要的是，每一个文件的对象映射图，在文件增大时不会改变，因为各个独立的数据对象在各个存储刀片上增长时，文件的对象映射的入口地址 并不需要改变。相对于NAS控制器(Filer)，指挥刀片的工作负荷大大地减轻了。这种自底向上（Bottom-up）的设计使Panasas能将多个 指挥刀片以虚拟扩展的方式集群在一起。

一旦一个大数据文件被分解成多个数据对象，这些数据对象被送到多个存储刀片，直接储存到物理磁盘上。这里，Panasas的DirectFLOW存储刀片软件承担了75%的文件系统活动，并精确地把数据对象放到物理磁盘上。

基于对象的接口还有其他的优点。为提高性能，指挥刀片能较容易地将较小的对象元数据 映射图存放在其高速缓存中，使数据的访问更快。还有，指挥刀片能收集来自存储刀片的历史统计信息，在出现负载“热点”时动态平衡存储刀片的工作负载。为了 满足扩展工作负载的需求，新加入的磁盘容量能立即被用来承担工作负载，把现有的数据对象迁移到新加入的存储刀片上。

要说明的是，这种分布的方法并不会比传统的块接口设计增加工作量。事实上，存储刀 片带来的工作量很小。基于对象的接口类似于块文件系统的Inode元数据层。差别在于，ActiveScale文件系统将此元数据层之上的分布活动交给了 指挥刀片，而把数据存储到物理磁盘的其他处理交给存储刀片。实际上，对象存储把工作负载最佳地分配到两种刀片上。除了性能之外，这一体系结构使元数据能无 限地扩展，也使得一个全局的没有物理和逻辑壁垒的名字空间（Namespace）能被建立。它还允许有不同级别的服务质量（QoS），这样用户能在同一系 统中确定文件的性能、可用性和安全性。

建立一个全局名字空间（Global Namespace）

Panasas存储集群最吸引人的还是它的单一全局名字空间带来的管理上的好处。它 消除了在传统网络存储系统中所有人为的、物理的和逻辑的壁垒。而其他与之相竞争的解决方案，由于性能和容量的限制，用户和数据被分配到多个存储设备中，每 个设备需要有自己的控制台和管理员，独立地被管理。当其中一个设备的容量被用到极限时，这种复杂的情况就会变得更糟糕。这时，管理员需要再购买一个设备， 并将数据和用户迁移到新的设备上，还要跟踪所有的数据存放在哪里，以及谁需要访问哪些数据。这对管理员来说是极为头痛的问题。

Panasas允许所有的数据存放在一个单一的全局名字空间下，从而解决了这个问题。系统增加容量时，管理员永远不需要操心拆分数据和搬移用户，所有一切都在一个系统中。

当文件增大时，数据对象可以无缝地增大。为将一个文件跨更多存储刀片存储而修改对象 映射元数据，是很容易的。指挥刀片将会协调指挥新建立的数据对象跨越系统中所有可用的存储刀片进行分布，当新的存储刀片加入到系统中时， ActiveScale文件系统也会自动地将新的容量加入到虚拟存储空间中。由于Panasas存储刀片平衡的资源设计，应用直接从系统增加的存储刀片的 容量、缓存RAM、带宽和处理能力中得到好处。

表1 Panasas刀片的功能和资源