2018/04/27

工作负载就绪 | 从HPC到大数据：戴尔-Intel Lustre存储解决方案

唐僧

引言

在北京举行的LUG（Lustre User Group）2015会议上，做为主办方Intel的合作伙伴，戴尔公司高性能计算技术顾问凌巍才先生发表了主题为《面向高性能计算的Dell/Intel Lustre存储解决方案》的演讲。

在本文中，小编截取了演讲里的一些精华内容，并加入部分自己的理解和认识。希望能够对大家有所帮助。

Lustre并行文件系统的优势和挑战

根据上面的图表，IDC在2014年5月的统计数字显示50%的高性能计算存储使用了Lustre文件系统，GPFS和NFS的份额分别为21%和17%。而在2013年另一家分析机构的存储管理软件调查中，Lustre也高居第一位。

开源的Lustre属于一种分布式文件系统，同时也是并行文件系统。它的优势包括提供单一命名空间；可增加节点数来扩展容量和性能，并支持在线扩展；支持多个客户端并发读/写，通过分布式锁机制保障数据一致性等。

有人说与开源伴生的一个名词是折腾。笔者很早就听说过Lustre对设计、部署和调优的技术要求较高；其实别的一些文件系统（乃至商业文件系统）也类似，用起来不难，但真正用好了不容易。

如上图，存在挑战之处可能包括：应用设计、工作负载模型、网络带宽、IO模型（主要影响元数据性能）、OSS（对象存储服务器）和LUN的负载均衡、故障切换以及I/O优化等方面。那么对于在Lustre技术上积累还不够的用户，怎样快速有效地解决这些问题呢？

戴尔HPC方案架构、存储配置建议

Lustre最主要的用途是高性能计算，上图为戴尔的HPC方案架构，存储是其中的一个部分。关于计算节点的选择，刀片服务器有着灵活的配置和可管理性；传统机架服务器可以提供大内存节点；云服务器兼具密度和性价比，还有专门针对GPU设计的机型；工作站用于高性能计算通常为视觉效果要求高，配置专业显卡。

如上图，除了IB交换机来自合作伙伴Mellanox之外，在Lustre存储典型配置“Boulder”中戴尔能提供全部的服务器、存储和网络设备，包括MDS元数据服务器+MD3420双控SAS阵列，OSS对象存储服务器+ MD3460双控高密度SAS阵列+MD3060e高密JBOD扩展柜；还有管理节点、千兆/万兆以太网交换机。

戴尔不仅是简单地提供设备，在磁盘阵列RAID配置等方面都有具体的建议。比如连接到OSS的MD3460/MD3060e，其中60块硬盘建议做成6组RAID，每组10块盘配置为RAID6（8+2），这样LUN（OST）可以达到比较理想的性能。在这里未配置热备盘，应该是HPC系统的可控性比OLTP等关键业务要高，在有硬盘故障Rebuild时可以酌情安排出停机时间，或者减少用户对存储的访问。由于采用了RAID10（MDT元数据存储）和RAID 6 技术，所以可以采用冷备磁盘的方式，来处理磁盘故障问题。

性能测试：吞吐量和元数据

上面是Boulder配置的IOzone性能测试结果，单一客户端读写性能分别达到0.75GiB/s和0.63GiB/s，24客户端时的最大聚合性能，读写分别达到10.04GiB/s和5.68GiB/s。用户可以此对比自己的实际需求，戴尔能够帮助给出适合您的配置建议。

MDtest元数据测试主要用于评估小文件较多的应用场景。Boulder配置在单客户端测试中，每秒文件创建操作500次，文件状态（列表）2000次，文件删除1800次；而到了240线程，每秒总文件创建达到15K，文件状态（列表）400K；文件删除性能在192线程时最高为100K操作每秒。

企业版Lustre：融合HPC和大数据

在2013年春季IDF期间，笔者曾简单总结过Lustre的历史：“Lustre项目从1999年起始，2003年成立CFS公司并发布1.0版本。2007年开始属于Sun，并于2009年发布版本1.8。2010年，随着Sun被Oracle收购而加入甲骨文，发布了2.0版本。同一年，Lustre团队应该是从Oracle独立出来，并成立了Whamcloud公司。Lustre建立OpenSFS和EOFS两个开源社区。去年，Whamcloud被Intel收购，之后发布了2.3版。”（引用自：《Lustre：Exascale文件系统的前世今生》）

Intel在保持Lustre开源的同时，也推出了自己的企业版软件（IEEL），上图中的绿色和红色方框里就是企业版才有的部分。其中包括生产级质量的文件系统增强；专用的Intel管理器；针对Apache Hadoop和Cloudera Hadoop的适配器能够提供MapReduce访问数据所需的HDFS接口；分级存储管理支持，包括POSIX拷贝工具和强大的策略引擎；使用ZFS最大化数据保护（数据完整性和快照）；针对Xeon Phi的客户端及优化；使用不同的存储服务改进小文件性能；24x7企业级支持、专业服务和培训等。