并行网络文件系统PNFS研究

Ｃｏｍｕｔｅｒｃｉｅｎｃｅ　Ｓｐ

Ｖｏｌ．４０Ｎｏ．６Ａ

Ｊｕｎｅ２０１３　

并行网络文件系统ＰＮＦＳ研究

３２１

张　媛１，　于冠龙　阚云鹤

１２

（））海军驻沈阳地区航空军事代表室　沈阳１６５０４２　沈阳１１０００１１００３１　（

３

（）国防科学技术大学计算机学院　长沙４１００７３

／——Ｐ摘　要　从解决高性能计算机Ｉ首先详细分析并设计了并行网络文件系统—Ｏ瓶颈面临的问题着手，ＮＦＳ的结构、存储机制、管理机制和工作机制，然后对并行网络文件系统Ｐ从而验证了并行网ＮＦＳ的原型系统进行了性能测试，络文件系统Ｐ可用性和性能上存在的问题，能够为高性能文件系ＮＦＳ可以有效地解决传统网络文件系统在可扩展性、统的建立提供一种行之有效的解决方法。

关键词　并行网络文件系统，部署，网络存储，性能测试中图法分类号　ＴＰ３９３　　　文献标识码　Ａ　

ＳｔｕｄｏｆＰａｒａｌｌｅｌＮｅｔｗｏｒｋＦｉｌｅＳｓｔｅｍ　　　　ｙｙ　

１３２１ＺＨＡＮＧＹｕａｎＧｕａｎｌｏｎＹｕｎｈｅ　　ＹＵ　－－ｇ　ＫＡＮ　１（）Ｔｈｅ６５０４２ｎｄＵｎｉｔｏｆＰＬＡ，Ｓｈｅｎａｎ１１０００１，Ｃｈｉｎａ　　　　ｙｇ　

２（，）ＮａｖａｌＡｅｒｏｎａｕｔｉｃＭｉｌｉｔａｒＲｅｒｅｓｅｎｔａｔｉｖｅｓＯｆｆｉｃｅｉｎＳｈｅｎａｎＳｈｅｎａｎ１１００３１，Ｃｈｉｎａ　　　　　ｙｐｙｇｙｇ　　３（，，）ＳｃｈｏｏｌｏｆＣｏｍｕｔｅｒＳｃｉｅｎｃｅＮａｔｉｏｎａｌＵｎｉｖｅｒｓｉｔｏｆＤｅｆｅｎｓｅＴｅｃｈｎｏｌｏＣｈａｎｓｈａ４１００７３，Ｃｈｉｎａ　　　　　　　ｐｙｇｙｇ　

，

／，ＡｂｓｔｒａｃｔｅｉｎｎｉｎｗｉｔｈｔｈｅｒｏｂｌｅｍｓｏｆｓｏｌｖｉｎｔｈｅＩＯｂｏｔｔｌｅｎｅｃｋｏｆｈｉｈｅｒｆｏｒｍａｎｃｅｃｏｍｕｔｅｒ．Ｆｉｒｓｔｔｈｉｓａｅｒ　Ｂ　　　　　　　　　　　ｇｇｐｇｇｐｐｐｐ　　，ｍａｉｎｌａｎａｌｚｅｄａｎｄｄｅｓｉｎｅｄｔｈｅａｒｃｈｉｔｅｃｔｕｒｅａｃｃｅｓｓｍｅｃｈａｎｉｓｍ，ｍａｎａｅｍｅｎｔｍｅｃｈａｎｉｓｍａｎｄｏｅｒａｔｉｎｍｅｃｈａｎｉｓｍｏｆ　　　　　　　　　ｙｙｇｇｐｇ　　，，ａｒａｌｌｅｌｎｅｔｗｏｒｋｆｉｌｅｓｓｔｅｍ－ＰＮＦＳ．ＳｅｃｏｎｄｗｅｍａｄｅｔｈｅｔｅｓｔｏｆＰＮＦＳａｎｄｔｈｅｒｅｓｕｌｔｓｓｈｏｗｔｈａｔＰＮＦＳｃａｎｒｅｓｏｌｖｅｔｈｅ　　　　　　　　　　　　　　　　ｐｙ

，ｒｏｂｌｅｍｓｏｆｔｒａｄｉｔｉｏｎａｌｆｉｌｅｓｓｔｅｍｓａｂｏｕｔｓｃａｌａｂｉｌｉｔａｖａｉｌａｂｉｌｉｔａｎｄｅｒｆｏｒｍａｎｃｅａｎｄｒｏｖｉｄｅｓａｎｅｆｆｅｃｔｉｖｅｍｅｔｈｏｄｆｏｒ　　　　　　　　　　　　　ｐｙｙｙｐｐ　ｈｉｈｅｒｆｏｒｍａｎｃｅｆｉｌｅｓｓｔｅｍ．ｂｕｉｌｄｉｎ　　　ｇｐｙｇ　

，，，ＫｅｗｏｒｄｓＮＦＳＬａｏｕｔＮｅｔｗｏｒｋｓｔｏｒａｅＰｅｒｆｏｒｍａｎｃｅｅｖａｌｕａｔｉｏｎ　Ｐ－　ｙｇｙ　

并分析了其软件结构；最后，在千兆网络环境下使行了设计，

用Ｌｉｎｕｘ系统命令ｄｄ对并行网络文件系统ＰＮＦＳ进行了相关测试。在此基础上提出了在高性能计算机环境下通过部署／ＰＮＦＳ可以有效地解决高性能计算机ＩＯ的瓶颈问题。

１　引言

随着高性能微处理器、高速互连网络和高性能分布式计算的快速发展，以及人们对计算能力需求的日益增长，传统的不能满足集群系统的基于主机的存储架构已成为性能瓶颈，

（）需求。集群的存储系统必须有效解决两个主要问题：提供１共享访问数据，便于集群应用程序的编写和存储的负载均衡；（）／提供高性能的网络存储，在Ｉ２Ｏ级和数据吞吐率方面能满足成百上千台规模的Ｌｉｎｕｘ集群服务器聚合访问的需求。而传统的网络文件共享是通过网络文件系统ＮＦＳ（Ｎｅｔｗｏｒｋ并可以ＦｉｌｅＳｓｔｅｍ）来实现的。虽然ＮＦＳ支持异构系统，　ｙ在不同硬件平台和操作系统的计算机之间实现文件共享和数但其协议开销高、带宽低、延迟大，不利于据资料的集中管理，

在高性能集群中应用，因此迫切需要一种更好的资源共享方式。本文研究并设计实现了一种并行的网络文件系统ＰＮＦＳ（，它是对网络文件系统ＮＰａｒａｌｌｅｌＮｅｔｗｏｒｋＦｉｌｅＳｓｔｅｍ）ＦＳｖ４　　　ｙ

的扩展，保持了原有网络文件系统的优点，同时可使元数据服大大降低了由于频繁访问元数据务器与数据服务器相分离，

服务器所带来的开销，并将文件存储在多个存储服务器当中，同时可为多个客户端提供并发的访问方式。

本文首先对Ｐ然后，对其原型系统进ＮＦＳ做了简要介绍；

［１］

２　ＰＮＦＳ介绍

２．１　ＰＮＦＳ体系结构

并行网络文件系统Ｐ即元数据服务ＮＦＳ由３部分组成，）、）、数据服务器（器（ＭＤＳ，ＭｅｔａＤａｔａＳｅｒｖｅｒＤＳ，ＤａｔａＳｅｒｖｅｒ　　　）。其结构如图１所示。ＰＮＦＳ客户端（Ｃｌｉｅｎｔ

图１　ＰＮＦＳ结构

［］

允许客户端对存储设ＰＮＦＳ是对ＮＦＳｖ４协议４的扩展，

，：，张　媛（女，硕士，工程师，主要研究方向为网络体系结构、高性能网络存储，于冠龙（男，工程１９８２－）Ｅ－ｍａｉｌｒｕｂ８２０１１１＠１２６．ｃｏｍ；１９８３－）ｙ，师；阚云鹤（女，硕士，助理工程师。１９８１－）

·３８７·

备直接进行访问以减少由于频繁访问元数据带来的瓶颈问题。当原有单个ＮＦＳ服务器上的数据被存放在多个或者存放在拥有高吞吐量的存储设备上时，这种效果尤其明显，它可以显著地提高文件访问的性能。ＰＮＦＳ在ＮＦＳｖ４的基础上

加入了新的操作［４］

来管理数据的定位和信息———ｌａｙｏｕｔ。ｌａｙ

ｏｕｔ与ＮＦＳｖ４的代理机制在管理上有一些相似之处（例如，它们均可以回调和废除）。然而，在操作上它们又截然不同。当一个客户拥有了ｌａｙｏｕｔ，他就可以通过ｌａｙｏｕｔ中的定位信息对数据服务器进行直接访问。

ＰＮＦＳ［２］

是一个透明的文件系统，

将文件数据以条块化的方式存储到多个数据服务器上，提供了比传统ＳＡＮ的“

块共享”更为灵活的共享访问方式。元数据服务器通过ｌａｙｏｕｔ指导实际的文件Ｉ／Ｏ请求到数据服务器上，数据服务器管理在基于块设备上的物理存储。客户端可以通过网络透明地读取数据服务器中的数据。采用元数据和存储数据相分离的技术可以充分分离计算和存储资源，

使得客户端计算机可以专注于用户和应用程序的请求；数据服务器和元数据服务器专注于读、传输和写数据。存储服务器端的数据备份和存储配置以及存储服务器扩充等操作不会影响到客户端，存储服务器和元数据服务器均不会成为性能瓶颈。２．２　ＰＮＦＳ设计目标

并行网络文件系统ＰＮＦＳ

［２，３，５］

的设计目前并没有统一的

标准，但要使网络文件系统真正高效、实用，就需要通过多种途径加以解决，使ＰＮＦＳ实现以下目标：

·将数据和控制信息（元数据）分离开，包括标准的元数据协议和针对不同对象的存储访问协议（面向文件、面向块、面向对象等）

。·将文件分割存放在多个服务器上，实现高聚集的带宽、可以并行访问单个文件的多个数据源、支持多个后端存储协议。

·支持标准化客户端。标准化客户端在ＩＥＴＦ　

ＮＦＳｖ４［４］

的最新版本中提出，它既可以支持ＰＮＦＳ的ＮＦＳｖ４，又可以支持常规的ＮＦＳｖ４。

·ＰＮＦＳ的元数据协议采用标准的ＮＦＳｖ４，数据管理协议并没有标准化的规定。

·可伸缩性。扩展了客户端的并行性，提供了文件的分布结构。

·互操作性。客户端要兼容标准的ＮＦＳｖ４，服务器必须支持标准的ＮＦＳｖ４客户端，

存储访问协议必须是良定义的。·多个客户端可以并发访问数据。

３　ＰＮＦＳ原型设计

３．１　ＰＮＦＳ原型体系结构

图２　ＰＮＦＳ原型体系结构

·３８８·

并行网络文件系统ＰＮＦＳ作为传统ＮＦＳ的功能扩展，

除了支持ＲＦＣ３５３０［４］

定义的ＮＦＳｖ４功能以外，还通过ｌａｙ

ｏｕｔ驱动程序支持并行的高速文件数据存储功能。ＰＮＦＳ在Ｌｉｎｕｘ内核中的地位与传统ＮＦＳ完全相同，作为一个的内核模块，位于ＶＦＳ的下层，向ＶＦＳ提供网络文件系统的远程访问功能。每个ｌａｙｏｕｔ驱动程序作为一个的内核模块，启动时动态地向ＰＮＦＳ注册，通过增加新的ｌａｙｏｕｔ驱动程序，使ＰＮＦＳ同时支持多种下层存储协议，并可以灵活扩展。原型体系结构如图２所示。

ＰＮＦＳ是用户访问并行网络文件系统的入口，用户通过ｍｏｕｎｔ命令将元数据服务器输出的目录树挂载在本地文件系

统的某个挂载点上。这时ＰＮＦＳ作为内核模块被加载到内核空间中，解析用户的挂载请求，向ＰＮＦＳ元数据服务器注册，并获取元数据服务器的根级ｉｎｏｄｅ结点和ｄｅｎｔｒｙ结点信息。用户将网络文件系统挂载点范围内的文件、目录等操作通过ＶＦＳ文件系统抽象层调用到ＰＮＦＳ模块中，由ＰＮＦＳ转换为对元数据服务器或者数据服务器的操作。其中ＰＮＦＳ的主要功能包括：

·向ＶＦＳ注册各种操作的回调函数表；

·使用ＰＮＦＳ协议与元数据服务器通讯，进行目录、文件属性等信息的访问；

·使用ＮＦＳ协议与数据服务器通讯，主要进行文件的读、写等数据块操作。３．２　ＰＦＳ原型软件结构

ＰＮＦＳ软件系统主要由ＮＦＳ协议扩展模块、ｌａｙｏｕｔ注册管理模块和ｌａｙｏｕｔ驱动程序模块组成，ＰＮＦＳ软件结构如图３所示。

图３　ＰＮＦＳ软件结构

其中，每个ｌａｙｏｕｔ驱动程序模块作为的内核模块来实现，可以动态地加载或者卸载，使得新增ｌａｙｏｕｔ功能不需要ＰＮＦＳ的任何修改。ＮＦＳ协议扩展模块和ｌａｙ

ｏｕｔ注册管理模块作为向ＶＦＳ提供网络文件系统功能服务的内核模块存在，也可以动态地加载或者卸载。下面分别介绍各个模块的具体构成及主要功能。３．２．１　ＮＦＳ协议扩展模块

ＮＦＳ协议扩展模块是传统ＮＦＳｖ４客户端［４］

的功能扩展，

向ＶＦＳ文件系统提供对并行网络文件系统的访问。主要的功能扩展有：ＰＮＦＳ文件访问过程的扩展和ｌａｙｏｕｔ信息访问的扩展。

ＮＦＳ客户端在文件操作时，直接调用ＲＰＣ服务模块，将文件操作请求发送到远端的ＮＦＳ文件服务器中。ＮＦＳ协议扩展模块修改ＮＦＳ客户端的文件操作过程，

将其重定向到对ａｙｏｕｔ操作函数表的调用，由ｌａｙｏｕｔ驱动程序来具体执行文件中数据块的读写。ｌａｙ

ｏｕｔ驱动程序需要元数据服务器上存ｌ储的当前文件的ｌａｙｏｕｔ信息，来进行读取数据块的偏移量到对应数据服务器的映射操作。因此在ＮＦＳ协议扩展模块与元数据服务器之间的交互协议中，需要扩展对ｌａｙｏｕｔ信息的支持。主要扩展的功能包括：ｌａｙｏｕｔ设备列表的获取、文件ｌａｙｏｕｔ信息的获取、文件ｌａｙｏｕｔ分配与提交等。主要数据结构如下：

ｓｔｒｕｃｔ　ＦｉｌｅＬａｙ

ｏｕｔ＿ｄｅｖｉｃｅｓ｛　ｕ

３２ｄｅｖ＿ｉｄ；／＊数据服务器标识符＊／ｓｔｒｕｃｔ　ｓｏｃｋａｄｄｒ＿ｉｎ　ｄｅｖ＿ａｄｄｒ；／＊数据服务器的ＩＰ地址＊／ｕｎｓｉｇｎｅｄ　ｉｎｔ　ｐａｔｈｌｅｎ；／＊数据服务器ＮＦＳＤ输出的路径信息长度＊／ｃｈａｒ　ｄａｔａｓｒｖ＿ｅｘｐｏｒｔ＿ｐａｔｈ［ＭＡＸＮＡＭＥＳＩＺＥ］；／＊数据服务器ＮＦＳＤ输出的路径信息＊／

ａｔｏｍｉｃ＿ｔ　

ｃｏｕｎｔ；／＊数据服务器引用计数＊／ｕｎｓｉｇｎｅｄ　ｉｎｔ　ｄａｔａｆｉｌｅｎａｍｅｌｅｎ；／＊根目录下的数据文件名称长度＊／ｃｈａｒ　ｄａｔａｆｉｌｅ＿ｎａｍｅ［ＭＡＸＮＡＭＥＳＩＺＥ］；／＊根目录下的数据文件名称＊／

ｓｔｒｕｃｔ　ｄｅｎｔｒｙ＊ｐ＿ｒｏｏｔ；／＊数据服务器输出的根目录＊／ｓｔｒｕｃｔ　

ｎｆｓ＿ｆｈ＊ｆｈ；／＊数据文件的文件句柄＊／ｓｔｒｕｃｔ　ｎｆｓ＿ｆａｔｔｒ＊ｆａｔｔｒ；／＊数据文件的文件属性信息＊／ｓｔｒｕｃｔ　ｎｆｓ＿ｏｐｅｎ＿ｃｏｎｔｅｘｔ＊ｃｏｎｔｅｘｔ；／＊文件打开时的上下文信息＊／ｓｔｒｕｃｔ　ｒｐｃ＿ｃｌｎｔ＊ｒｐｃ＿ｃｌｎｔ；／＊ＲＰＣ调用的客户端数据结构＊／｝；

ｓｔｒｕｃｔ　ＦｉｌｅＬａｙｏｕｔ＿ｄｅｖｉｃｅｌｉｓｔ｛　ａｔｏｍｉｃ＿ｔ　

ｃｏｕｎｔ；／＊引用计数＊／ｕｎｓｉｇｎｅｄ　ｉｎｔ　ｎｕｍ＿ｄｅｖｓ；／＊包含的数据服务器的数量＊／ｒｗｌｏｃｋ＿ｔ　

ｄｅｖ＿ｌｏｃｋ；／＊操作锁＊／ｓｔｒｕｃｔ　ＦｉｌｅＬａｙｏｕｔ＿ｄｅｖｉｃｅｓ　ｄｅｖｓ［ＮＦＳ４＿ＰＮＦＳ＿ＤＥＶ＿ＭＡＸ－ＣＯＵＮＴ］；／＊数据服务器信息列表＊／｝；

ｅｎｕｍ　

ｎｆｓ４＿ｆｉｌｅ＿ｄａｔａ＿ｅｘｔｅｎｔｓｔａｔｅ｛　Ｒ

ＥＡＤ＿ＷＲＩＴＥ＿ＳＴＡＴＥ＝０；／＊数据读／写状态＊／ＲＥＡＤ＿ＳＴＡＴＥ＝１；

／＊数据只读状态＊／ＩＮＶＡＬＩＤ＿ＳＴＡＴＥ＝２；／＊数据无效状态，新分配或处于修改状态的数据单元＊／

ＮＯＮＥ＿ＳＴＡＴＥ＝３；／＊数据无效状态，无实际分配物理空间＊／｝；

ｓｔｒｕｃｔ　

ｎｆｓ４＿ｆｉｌｅ＿ｄａｔａ＿ｅｘｔｅｎｔ｛　ｕ

３２ｄｅｖ＿ｉｄ；／＊数据服务器标识符＊／ｕ６４ｂｌｏｃｋ＿ｉｄ；／＊数据服务器块标识符＊／ｎｆｓ４＿ｆｉｌｅ＿ｄａｔａ＿ｅｘｔｅｎｔｓｔａｔｅ　ｅｓ；／＊数据块状态＊／｝；

ｓｔｒｕｃｔ　ｎｆｓ４＿ｆｉｌｅｌａｙｏｕｔ｛　ｉｎｔ　ｕｎｃｏｍｍｉｔｔｅｄ＿ｗｒｉｔｅ；ｌｏｆｆ＿ｔ　ｌａｓｔ＿ｃｏｍｍｉｔ＿ｓｉｚｅ；ｕ６４ｌａｙ

ｏｕｔ＿ｉｄ；ｕ６４ｆｉｌｅ＿ｏｆｆｓｅｔ；／＊文件偏移量＊／ｕ６４ｌｅｎｇｔｈ；ｕ３２ｉｏｍｏｄｅ

；ｕ６４ｆｉｌｅ＿ｓｉｚｅ；／＊文件大小＊／ｕ６４ｓｔｒｉｐｅ＿ｕｎｉｔ；／＊分片大小＊／ｓｔｒｉｐｅｔｙｐｅ４ｓｔｒｉｐｅ＿ｔｙｐ

ｅ；／＊分片类型＊／ｕｎｓｉｇｎｅｄ　ｉｎｔ　ｎｕｍ＿ｄｅｖｓ；／＊包含的数据服务器的数量＊／ｓｔｒｕｃｔ　ｎｆｓ４＿ｆｉｌｅ＿ｄａｔａ＿ｅｘｔｅｎｔ＊ｄａｔａ＿ｉｎｆｏ［ＮＦＳ４＿ＰＮＦＳ＿ＭＡＸ＿ＤＡ－ＴＡ＿ＮＵＭＢＥＲ］；｝；

３．２．２　ｌａｙ

ｏｕｔ注册管理模块ｌａｙｏｕｔ注册管理模块管理ｌａｙ

ｏｕｔ驱动程序模块的注册和注销。将这些ｌａｙｏｕｔ驱动程序注册的操作函数表虚拟为一个操作函数表，在向ＮＦＳ协议扩展模块注册时，将该操作函数表提供给ＮＦＳ协议扩展模块，在执行文件操作时进行调用。注册时，ＮＦＳ协议扩展模块返回一个回调函数表，向ｌａｙｏｕｔ驱动模块提供与ＮＦＳ操作相关的服务函数。ｌａｙｏｕｔ注册管理模块的主要构成包括：

·ｌａｙｏｕｔ操作函数表：向ＮＦＳ协议扩展模块提供与ｌａｙ－ｏｕｔ相关的操作函数，如ｌａｙｏｕｔ信息设置，设备信息设置，文件读、写处理过程等；

·ＮＦＳ回调函数表：主要向基于标准ＮＦＳ协议的ｌａｙｏｕｔ驱动模块提供ＮＦＳ协议的服务函数、ｌａｙｏｕｔ驱动程序操作结束时的事件通知函数等；

·存储策略处理模块：提供各种标准存储策略的服务函数，如ＲＡＩＤ中偏移量到设备的映射计算、ＲＡＩＤ校验和的计算、ＲＡＩＤ信息恢复等；

·设备管理列表：对应一种类型的ｌａｙｏｕｔ驱动程序，元数据服务器维护一个可用的数据服务器列表。ＮＦＳ协议扩展模块从元数据服务器获取使用的设备列表，并设置到ｌａｙｏｕｔ注册管理模块中。ｌａｙｏｕｔ驱动程序通过查询该列表，完成设备号到设备地址的映射过程。３．２．３　ｌａｙ

ｏｕｔ驱动程序模块ｌａｙｏｕｔ驱动程序模块向ｌａｙｏｕｔ注册管理模块注册ｌａｙ

ｏｕｔ类型和相应的操作函数表。主要功能包括：解析具体的ｌａｙ－ｏｕｔ信息描述，提供文件数据块的读写处理过程，将文件操作映射为对多个数据服务器的并发操作，提供较高的聚合处理性能。

ａ）ｌａｙｏｕｔ驱动程序注册流程函数原型：

ｒｅｇｉｓｔｅｒ＿ｌａｙｏｕｔｄｒｉｖｅｒ（ｕｎｓｉｇｎｅｄ　ｉｎｔ　ｌａｙ

ｏｕｔｃｌａｓｓ，ｃｈａｒ＊ｄｒｖｎａｍｅ，ｓｔｒｕｃｔ　ｌａｙｏｕｔｄｒｉｖｅｒ＿ｉｏ＿ｏｐｅｒａｔｉｏｎｓ＊ｏｐｓ，ｓｔｒｕｃｔ　ｌａｙ－ｏｕｔｄｒｉｖｅｒ＿ｐｏｌｉｃｙ＿ｏｐｅｒａｔｉｏｎｓ＊ｐｏｌｉｃｙ

）执行流程：

·在驱动程序管理结构中遍历，判断是否存在相同的ｌａｙ

ｏｕｔ类型；·如果存在，则返回失败；

·分配一个未使用的ｄｒｉｖｅｒ数据项；·对数据结构中各个域进行赋值；·返回。

ｂ）ｌａｙｏｕｔ驱动程序注销流程函数原型：

ＰＮＦＳ＿ｕｎｒｅｇｉｓｔｅｒ＿ｌａｙｏｕｔｄｒｉｖｅｒ（ｕｎｓｉｇｎｅｄ　ｉｎｔ　ｌａｙｏｕｔｃｌａｓｓ）执行流程：

·遍历驱动程序管理结构，判断是否存在相同的ｌａｙｏｕｔ类型；

·如果不存在，则返回失败；

·调用驱动程序的ｕｎｉｎｉｔｉａｌｉｚｅ＿ｍｏｕｎｔｐｏｉｎｔ处理函数；·将该项各个域清空；·返回。

ｃ）Ｌａｙｏｕｔ驱动程序初始化流程。函数原型：

ｓｔｒｕｃｔ　ＰＮＦＳ＿ｍｏｕｎｔ＿ｔｙｐｅ＊（＊ｉｎｉｔｉａｌｉｚｅ＿ｍｏｕｎｔｐｏｉｎｔ）（ｓｔｒｕｃｔ　ｓｕｐ

ｅｒ＿ｂｌｏｃｋ＊ｓｂ，ｖｏｉｄ＊ｄｅｖｉｎｆｏ）；参数说明：ｓｂ为超级块对象；Ｄｅｖｉｎｆｏ为设备列表描述信

·３８９·

息。

执行流程：

·对ｄｅｖｉｎｆｏ设备信息列表进行解码；·对每个设备信息，执行如下操作：１

）按照服务器地址，构造服务器地址结构；２）创建对应的ＲＰＣ　

Ｃｌｉｅｎｔ数据结构并保存；３）调用ｎｆｓｒｏｏｔ＿ｍｏｕｎｔ，登录数据服务器，获取根文件句柄；４）调用ｌｏｏｋｕｐ操作函数，获得根目录下的数据文件句柄；５

）获得根目录下的数据文件属性信息；６

）打开并读写数据文件，验证文件的正确性；７

）保存数据文件的访问句柄。·初始化完成。

　性能测试与分析

．１　测试环境

测试使用设备如表１所列，操作系统为Ｌｉｎｕｘ，内核版本为Ｌｉｎｕｘ－２．６．３７，测试工具为Ｌｉｎｕｘ系统命令ｄｄ。表１　测试设备列表

元数据服务器ＭＤＳ（１台）

设备类型浪潮英信ＮＦ２８０ＣＰＵ　Ｉｎｔｅｌ　Ｘｅｏｎ　

３ＧＨｚ内存容量１ＧＢ硬盘类型Ｕｌｔｒａ　

３２０ＳＣＳＩ存储服务器、客户端（共６台）

设备类型ＰＣ机

ＣＰＵ　Ｉｎｔｅｌ　Ｐｅｎｔｉｕｍ　４　

２．６ＧＨｚ内存容量５１２Ｍ硬盘类型

ＳＡＴＡ硬盘网络设备

千兆交换机、

千兆网卡、光纤．２　性能测试

在测试环境正确配置运行的基础上，进行了如下的性能测试。测试中为了消除系统缓存策略对系统性能测试结果的影响，每组块读／写测试中每个客户端读写文件的长度均大于节点内存大小的两倍，在本次测试中测试文件的大小均为Ｇ。

．２．１　磁盘性能测试

磁盘性能测试中，测试了每台ＰＣ机的硬盘写入速率，如表１所列ＰＣ机为ＳＡＴＡ硬盘。测试后，得到６台ＰＣ机硬盘写入速率，如表２所列。

表２　ＰＣ机本地硬盘性能测试数据表

测试文件４ＧＰＣ－１ＰＣ－２ＰＣ－３ＰＣ－４ＰＣ－５ＰＣ－６运行时间（ｓ）１ｍ５０．８　２ｍ９．４　１ｍ５９．１　２ｍ１１．３　１ｍ５４．６　２ｍ５．３写入速度（ＭＢ／ｓ

）３６．９５　

３１．６３　

３４．４　

３１．２　

３５．７３　

３２．６８

接下来的测试中，连接存储设备使用的是千兆网络，千兆网络有１００ＭＢ／ｓ以上的通信带宽，而从测试结果来看ＰＣ机硬盘仅能提供３１．２ＭＢ／ｓ～３６．９５ＭＢ／ｓ的数据传输率，因此可以认为，所测得数据的差异能真实反映文件系统的性能

［６］

。

．２．２　ＰＮＦＳ读／写性能测试测试中客户端结点读／写４Ｇ的文件，每次测试读／写不同大小的数据块，数据块大小分别为：１ｋ、４ｋ、８ｋ、１６ｋ、３２ｋ、４ｋ、１２８ｋ、２５６ｋ、５１２ｋ、１０２４ｋ、２０４８ｋ、４０９６ｋ、８０９６ｋ。测试分别针对１个数据服务器、２个数据服务器、３个数据服务器、４个

·３９０·

数据服务器、５个数据服务器５种不同的情况进行。测试数据结果如图５、图６所示。

图５　块写带宽

图６　块读带宽

图５和图６显示了在读／写块不同、客户端为１个而数据服务器的数量从１到５递增时，系统读／写带宽随着数据服务器数目的增加而变化的柱形图。可以看出，在本测试中当数据服务器的数量达到５个时客户端的读／写速率可达到最大值，分别为：读速率４７．５５６ＭＢ／ｓ，写速率８７．６８９ＭＢ／ｓ

。．２．３　性能测试分析

明显可见，ＰＮＦＳ的块读速率和块写速率随着数据服务器数量的增长，

其聚合带宽一直在上升且几乎呈现线性的增长方式，表现出了其良好的可扩展性。可以预计随着数据服务器数量的增长，块读和块写聚合带宽将持续上升，直到达到网络环境中所能提供的最大带宽。

然而，从图６中可以看到，由于磁盘ｃａｃｈｅ的影响使得ＮＦＳ在数据服务器数量为２时反而比数据服务器数量为１时的读速率慢，由此诸如磁盘ｃａｃｈｅ等多种因素都会对并行网络文件系统的性能带来很大的影响，这也是将来需要我们进一步研究的方向。同时，比较ＰＮＦＳ块读／写速率不难发现，ＰＮＦＳ的读速率在存储服务器数量大于１时一直低于其块写速率，这是由于在５１２Ｍ内存的机器上测试４Ｇ的文件时，写操作能够部分利用系统缓存，而读操作则无法利用。ＰＮＦＳ结构中客户端获得高聚合带宽主要是因为，

客户得到元数据以后可以并发访问多个存储设备，

同时由于多个存储设备的并行工作使得在存储集群中单个设备的传输时延

和磁盘寻道时间被隐藏起来了，因此降低了客户端对整个文件的平均访问时延，提高了系统的整体性能。

由此可见，ＰＮＦＳ为客户端提供了并行访问文件数据的能力，提高了网络文件系统的性能。ＰＮＦＳ的提出消除传统网络文件系统局限于单个服务器文件访问的瓶颈问题，实现了用于并行数据访问的标准化客户端接口。ＰＮＦＳ系统运行于Ｌｉｎｕｘ文件系统上，基于当前的通信、磁盘的技术水平，充分利用了层次型系统中多处理器强大的并行处理能力，提供了较高的Ｉ／Ｏ服务带宽和较低的访问延迟，能较好地满足并行科学计算应用的Ｉ／Ｏ需求。

结束语　并行网络文件系统ＰＮＦＳ的研究是探索未来Ｐ量级存储技术的基础，也是大规模并行处理系统中解决Ｉ／Ｏ瓶颈的主要途径之一。本文对ＰＮＦＳ网络文件系统做了总体的介绍，并且对ＰＮＦＳ原型系统的实现进行了描述。下一步

４４４Ｐ４４４４６研究工作将从ＰＮＦＳ的安全性、实现方法和性能分析等角度着手做更进一步的探究。总之，并行网络文件系统技术是一个方兴未艾的研究领域，该领域中还有许多问题尚未解决，并且随着新技术的出现和新应用的需求，

新的问题和难点还会层出不穷。希望本文的工作能对并行网络文件系统的研究有一定的帮助。

参考文献

［１］Ｓｕｎ　Ｍｉｃｒｏｓｙｓｔｅｍｓ．ＮＦＳ：Ｎｅｔｗｏｒｋ　Ｆｉｌｅ　Ｓｙｓｔｅｍ　Ｐｒｏｔｏｃｏｌ　Ｓｐ

ｅｃｉｆｉ－ｃａｔｉｏｎ［Ｚ］．ＲＦＣ　１０９４，Ｍａｒｃｈ　

１９８９（上接第３７３页）

　　（６）ＶｉｒｔｕａｌＭａｃｈｉｎｅＩｍａｇｅ：虚拟机镜像表，保存着虚拟机镜像的大小、操作系统、应用程序等虚拟机镜像信息。（７）ＳｃｈｅｄｕｌｅＤｏｍａｉｎ：调度域表，保存着调度机器的配置、授权、ＩＰ等调度域信息。（８）ＳｅｃｕｒｉｔｙＧｒｏｕｐ：安全组表，保存着调度域、授权、安全级别等安全组信息。

（９）Ｓｔｏｒａｇｅ：存储表，保存着存储介质的大小、读写速度等存储信息。

图２　云资源管理数据库

．３　云资源管理数据库的使用

通过对云资源管理数据库操作，可以方便灵活地查询、更新、管理云资源。

１．

调度域查询Ｓｅｌｅｃｔ＊Ｆｒｏｍ　

ＳｃｈｅｄｕｌｅＤｏｍａｉｎ；图３　调度域查询

２．

更新物理机信息Ｕｐｄａｔｅ　ＰｈｙｓｉｃａｌＭａｃｈｉｎｅ　Ｓｅｔ　ＬｏｃａｔｉｏｎＩＤ＝‘２’ＷｈｅｒｅＰＭＩＤ＝５；

图４　更新物理机信息

［２］Ｂｌａｃｋ　Ｄ．ＰＮＦＳ　Ｂｌｏｃｋ／ＶｏｌｕｍｅＬａｙｏｕｔ［ＯＬ］．ｆｔｐ

：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ

／ｉｎｔｅｒｎｅｔ－ｄｒａｆｔｓ／ｄｒａｆｔ－ｂｌａｃｋ－ＰＮＦＳ－ｂｌｏｃｋ－０１．ｔｘｔ，２００５－０７［３］Ｇｏｏｄｓｏｎ　Ｇ．ＮＦＳｖ４ＰＮＦＳ　Ｅｘｔｉｎｃｔｉｏｎｓ［ＯＬ］．ｆｔｐ

：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ

／ｉｎｔｅｒｎｅｔ－ｄｒａｆｔｓ／ｄｒａｆｔ－ｉｅｔｆ－ｎｆｓｖ４－ＰＮＦＳ－００．ｔｘｔ，２００５－１０［４］Ｓｈｅｐｌｅｒ　Ｓ，Ｃａｌｌａｇｈａｎ　Ｂ，Ｒｏｂｉｎｓｏｎ　Ｄ，ｅｔ　ａｌ．Ｎｅｔｗｏｒｋ　Ｆｉｌｅ　Ｓｙ

ｓｔｅｍ（ＮＦＳ）ｖｅｒｓｉｏｎ　４Ｐｒｏｔｏｃｏｌ［Ｚ］．ＲＦＣ　３５３０，Ａｐ

ｒｉｌ　２００３［５］Ｓｈｅｐｌｅｒ　Ｓ．ＮＦＳｖ４Ｍｉｎｏｒ　Ｖｅｒｓｉｏｎ　１［ＯＬ］．ｆｔｐ：／／ｗｗｗ．ｉｅｔｆ．ｏｒｇ

／ｉｎｔｅｒｎｅｔ－ｄｒａｆｔｓ／ｄｒａｆｔ－ｉｅｔｆ－ｎｆｓｖ４－ｍｉｎｏｒｖｅｒｓｉｏｎ１－０２．ｔｘｔ，２００６－０３［６］曹立强，熊劲．Ｇｌｏｂａｌ　Ｆｉｌｅ　Ｓｙ

ｓｔｅｍ性能评测与分析［Ｊ］．高性能计算技术，２００３，１６５（１２）：２－３３．

增加虚拟机Ｉｎｓｅｒｔ　Ｉｎｔｏ　ＶｉｒｔｕａｌＭａｃｈｉｎｅ　Ｖａｌｕｅｓ（‘５’，‘１５’，‘３’，‘２’，‘２’，‘４

’，…）；图５　增加虚拟机

４．

删除指定虚拟机Ｄｅｌｅｔｅ　Ｆｒｏｍ　ＶｉｒｔｕａｌＭａｃｈｉｎｅ　Ｗｈｅｒｅ　

ＶＭＩＤ＝１２。图６　删除指定虚拟机

结束语　云计算可帮助医疗机构实现ＩＴ资源与应用的整合，给医疗机构传统的ＩＴ信息化运维环境带来式的变革，可有效地解决传统环境下的系统分散管理、应用维护复杂、灾难恢复困难、安全访问不足等多方面的问题与挑战。云计算应用到医疗机构中还可以显著减少服务器数量和数据中心的能耗，

为所有的应用提供高可用的架构平台，用低成本实现无中断的计划内停机与快速恢复的计划外停机，并大大降

低整合的难度，加速系统的部署。文中介绍的关于采用云资源数据库的云资源管理方式目前已经在部分医疗机构中得到部署，其可行性已经得到肯定。

参考文献

［１］Ｄａｎｉｅｌｓｏｎ，Ｋｒｉｓｓｉ．Ｄｉｓｔｉｎｇｕｉｓｈｉｎｇ　Ｃｌｏｕｄ　Ｃｏｍｐｕｔｉｎｇ　

ｆｒｏｍ　ＵｔｉｌｉｔｙＣｏｍｐｕｔｉｎｇ［Ｚ］．Ｅｂｉｚｑ

．ｎｅｔ，２０１０－０８－２２［２］Ｇａｒｔｎｅｒ　Ｓａｙｓ　Ｃｌｏｕｄ　Ｃｏｍｐｕｔｉｎｇ　

Ｗｉｌｌ　Ｂｅ　Ａｓ　Ｉｎｆｌｕｅｎｔｉａｌ　Ａｓ　Ｅ－ｂｕｓ－ｉｎｅｓｓ［Ｚ］．Ｇａｒｔｎｅｒ．ｃｏｍ，２０１０－０８－２２［３］Ｇｒｕｍａｎ，Ｇａｌｅｎ．Ｗｈａｔ　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ　ｒｅａｌｌｙ　

ｍｅａｎｓ［Ｚ］．Ｉｎ－ｆｏＷｏｒｌｄ，２００９－０６－０２·３９１·

２