2019/07/30

物竞天择，“ADAPT”者生存！

戴尔官方企采中心

物竞天择，适者生存！

自然界如此，

人类社会亦如此，

优胜劣汰法则下，

只有那些符合时代发展规律的，

才能笑到最后。

随着大数据全面爆发，

多样化存储需求纷至沓来，

什么样的存储才能在

激烈竞争中抓紧客户芳心？

当然是“适”者！

本期主角：PowerVault ME4

友情客串：喵星人阿萌、阿福

21世纪是信息化时代，海量数据的爆发捧红了大容量存储——既能为各种应用提供足够空间，又具备良好性能的大容量存储，迎合了企业不断增加的存储需要，备受追捧，但与此同时，风险正在滋生。

最大风险是什么呢？

存储海量数据的硬盘故障！

常见的少量RAID组硬盘故障还是可以接受的，但大量磁盘、海量数据的环境却着实令人担忧，因为传统RAID重建时间比较久，在漫长的重建过程中，多块硬盘损坏、故障的机率也在加大，而且磁盘数量越多、设备使用越久，相应地磁盘故障域就越大，所以这种情况下，数据也越来越不安全了。

对IT运维人员来说，丢数据是件相当严重的事情——小则通报挨批，大则砸掉饭碗，若有海量数据丢失，后果更是不堪设想，而实际生活中，这样的惨剧并不少见。

另一方面，以海量文件存储、视频监控、邮件、视频编辑、重要备份及归档等为重心的大型存储池，往往要求极速的重建，注重数据安全，而且需要简化的初始部署及应用扩展，对此，难道只能选择中高端存储吗？

答案是否定的

安全、可靠、大容量的戴尔易安信入门级存储——PowerVault ME4了解一下☟☟☟

经济实惠的

入门级存储ME4

针对用户需求，戴尔易安信持续创新，推出入门级存储ME4，作为热门的PowerVault MD3阵列的下一代产品，全新的PowerVault ME4专为SAN和DAS构建优化，凭借着经济实惠、简单易用、快速强大诸多特质，深受客户青睐。

其中，ME4控制器软件新发布的ADAPT软件，可满足拥有海量数据的客户在重建速度、安全、简化部署及扩展性方面的需求，带来了诸多优势。

提供适应性的

ADAPT软件

英国生物学家赫胥黎在《天演论》中提出“物竞天择，适者生存”的观念，强调生物只有不断进化，适应自己的生存环境才不至于被淘汰。适，符合、适应之意，英文为Adapt，面对数字化时代多样的存储需求，ME4的ADPAT又是如何适应环境要求的呢？

ADAPT基本概念：

ADAPT:Autonomic Distributed Allocation Protection Technology，是基于RAID的数据保护方案，提供内置备盘容量，允许非常快速的重建，大型存储池和简化的扩展。

作为传统RAID类型（RAID 0、1、5、6等）的替代方案，ADAPT可将奇偶校验分布在更大的一组HDD或SSD上，提供更好的数据保护、可扩展性和其他优势。ADAPT磁盘组中的所有磁盘必须是相同的类型（如企业级SAS）并且在同一层中（ME4上的层性能=SSD，标准=10K/15K，存档=7.2K），但可以具有不同的容量。

在管理界面中，ADAPT显示为一个RAID级别（如下图▼）。

▲在WEB管理界面添加磁盘组——

ADAPT和RAID-1,5, 6 ,10在一个选项中

ADAPT技术原理：

通常，传统热备盘在磁盘组成员发生故障时保持备用状态，但热备盘是被动的；

而ADAPT通过在阵列中保留备用容量（而不是备用磁盘）来解决此问题，这意味着ADAPT磁盘组有保留容量且在一个或多个磁盘成员发生故障时可以将其用作备用磁盘，ADAPT的默认备用容量是磁盘组中最大容量磁盘的2倍，由此可保证组内任意两个磁盘丢失而不影响数据的恢复，而备盘容量会根据磁盘组的创建、扩容或再平衡而发生变化。

ADAPT的物理排列调整磁盘组使用所有可用空间来保持容错性，数据跨所有磁盘均匀分布，当添加新数据、新磁盘，或系统认为该数据未采用平衡方式跨磁盘分布时，它会自动移动数据以便在整个磁盘组之间保持平衡。

如何实现这一点呢？

▐ ADAPT由8个数据块+2个奇偶校验块组成的条带进行操作，提供了比RAID6更优化的顺写性能，因此不会在写入之前，对磁盘组的做大量的完整条带化而导致性能下降。

一个条带由磁盘组的10个成员组成，其中8个数据块和2个奇偶校验块。块是构成条带组件的相邻空间的每个磁盘的最小单位，这可能包含数据或奇偶校验信息以保护条带的其他数据块，采用里德-所罗门编码的RAID6双奇偶校验保护技术来保护数据。

一个块512kb，条带扩展为4Mib（任何虚拟模式卷的最小分配单位是一页4Mib）。条带在条带区线性聚集，每个条带区包含2048个相邻的RAID6条带，因此存储了8GB的用户数据在条带区内（如图所示）。

▲条带区跨越一个磁盘组

ADAPT采用与传统RAID6不同的方式处理备用磁盘。

在传统的RAID6中，你分配一个数字，如果磁盘出现故障，就开始使用备用磁盘。这种方法就带来一个问题：如果硬盘不出现故障，备用磁盘是不会被使用的；

而ADAPT的方法是使用所有磁盘，通过磁盘组提供空间，并且阵列重建也很方便，尽管可以更改，但默认保留2个备用容量的磁盘，这就是ADAPT组的最小磁盘数为12且有2个备用磁盘数容量的原因，其余10个磁盘中的80%用于用户数据，20%用于里德-所罗门编码的冗余（“奇偶校验”）。

备用容量均匀分布在所有磁盘的逻辑块地址(Logical Block Addressing)空间中，这个备用空间以1Mib为单位保留，备用空间的数量与2个相同磁盘的容量是等同的，均匀分布在磁盘组成员和磁盘组每个成员的逻辑块地址，下图就显示了备用空间均匀地分布在磁盘组空间中的状态。

▲硬盘组的备用容量分配

如果要补充当前目标备用容量或增加可用容量，可通过扩展ADAPT磁盘组来实现。一个14磁盘ADAPT阵列可以增加6个磁盘升到20个磁盘ADAPT阵列，如果采取措施，控制器将进行平衡操作。在此操作中，当前阵列将在新阵列的所有成员中旋转，这个过程需要在后台运行一段时间。

下图显示了如何添加多个成员到磁盘组及其扩展方式，并在控制器上重新对条带进行条带化。

▲磁盘组扩容重新条带

从构造的可用空间中提取备用磁盘容量，这允许在阵列内进行重建，其优点也相当可观的——重建速度更快，因为重建过程中磁盘组的所有成员都参与此过程。

ADAPT示例：

PowerVault ME4系列的ADAPT可利用大容量磁盘降低重建时间，并提高系统的整体可靠性和性能。

重建往往需要数小时或数天才能完成，具体多久取决于磁盘组的RAID级别和大小、磁盘速度、公用程序优先级、主机I/O活动和存储系统上运行的其他进程等因素。

下表展示了RAID 6（8+2）磁盘组和ADAPT磁盘组（24、48和128个磁盘）的性能影响和重建时间的计算值，以10TB磁盘为例，读写并行，重建速率为50MB/秒/磁盘。

▲磁盘组扩容重新条带

根据上表，对传统RAID来说，整个过程就是将10TB磁盘进行重新条带并数据重写，重建时间就是10,000,000MB除以50MB/秒，再除以3600秒，大约为55.5小时；

而对于ADAPT磁盘组，以无磁盘故障读性能为基准，对比磁盘故障时的读性能变化。可以看到，1块磁盘故障时，磁盘数越多，ADAPT的读性能影响越小，重建时间也越短；同时也能看出，2个磁盘故障虽然读性能影响没有优化，但128个磁盘关键数据的重建时间已经减少到了16分钟——这样的结果，无疑给海量存储的客户提供了良好的性能，以及数据安全方面的更高保障。

当阵列中有1个以上的磁盘成员出现故障时，某些条带将丢失1个和其他2个块，这取决于它们在阵列布局中的位置。丢失了2个成员的条带比丢失了1个成员的条带的风险更大，因为该条带中的任何进一步数据丢失都无法再得到纠正或保护。因此，重建过程中要优先考虑丢失2个块的条带，这意味着重建有两个关键的维度：一是重回冗余，二是完成重建并返回最佳状态。

下图展示了由于磁盘阵列的2个成员丢失而重建的优先级。

▲条带重建优先级

ADAPT只需对受磁盘丢失影响的条带执行此过程，这将减少需要重新生成的数据。此外，随着阵列变得更宽，对每个成员的数据量贡献也会减少，因此随着阵列磁盘变多，重建时间的改进也会提升。

另一个关键指标是当磁盘丢失时对性能的影响。在传统的RAID中，需要奇偶校验信息来重新构造因磁盘丢失而丢失的数据；

ADAPT方面，为了适应更多磁盘的阵列扩展，任何1个磁盘损耗的影响都会减小。此外，由于预留容量，并非所有条带都会受到影响。因此，与许多传统阵列相比，ADAPT在1或2个磁盘故障的情况下对性能的影响较小。

ADAPT最佳建议：

ADAPT是在生成磁盘组时提供的一个附加选项，可以在线性或虚拟模式下创建ADAPT磁盘组。

在线性模式中，空间被分配给阵列的所有成员；虚拟模式下，当在卷中创建新空间时，它会根据需要逐页分配。页面的概念是许多ME4系列高级功能的基本便利，当选择虚拟模式时，页面的基本概念将启用其他功能，例如分层、快照、远程复制。

▐ ADAPT作为一种辅助技术，有助于创造现代灵活的存储使用，例如将磁盘组分层。创建一个磁盘组时，如果将ADAPT用于大容量存储，则应将其与标准层或存档层关联，随后应将更高性能的SSD设备选择到自己的磁盘组中，并选择性能层选项。

在带两个控制器模块的存储系统中，可以尝试平衡控制器的工作负载，每个控制器可以拥有一个磁盘组，每个磁盘组中具有相同数量的磁盘组和卷将帮助平衡工作负载，从而提高性能。

由于ME4控制器在磁盘组级别拥有所有权，建议每个控制器拥有平衡数量的磁盘组，必须在五个驱动器组之间进行平衡可能会导致每个驱动器组级别的性能不同，因为每个控制器将在其各自的驱动器组数量上限制不同的性能，不平衡不是一个问题，但它确实会使每个控制器的最佳性能平衡负载变得更困难。

另外，拥有更多磁盘的磁盘组的带宽性能更快。如果我们考虑顺序读或写IO，使用ME4控制器和当前的磁盘技术，在单个磁盘组级接近控制器写入性能时对其限制。因此，如果添加更多的磁盘组或使用更多磁盘的磁盘组，在考虑顺序IO时可能不会观察到增量性能。

目前，ME4存储最大顺序写入为5500MB/s，最大顺序读为7000MB/s，读取IOPS高达32万。

▐综上，除了极速重建，在有一定的性能需求时，RAID组的平衡设计也是很重要的，特别是组数的平衡考虑。

ADAPT和传统RAID组之间的一个关键区别是可以构建阵列的扩展，RAID5和6最多可应用于16个磁盘的扩展。虽然ADAPT组最小为12，但最大可达128个磁盘，所以磁盘组扩展能力远远大于传统的RAID 6。这具有重要意义，尤其是考虑到ME4084的潜在拓扑结构时，使用此功能，可以考虑如何在ME4084上布局磁盘组。

RAID6将提供5*16个磁盘组和4个备用磁盘。

ADAPT：2*42个磁盘组为最佳或6*14个磁盘组。

5U机箱上构建的阵列的一些关键属性，下图以单盘8T硬盘，极速重建场景为例。

▲ME4084构建阵列参数示例

如上表所示，2*ADAPT 42个磁盘组，当2块磁盘故障后，恢复容错的速度比RAID 6快了近9倍，这意味着以这种方式配置的存储模块具有更高的可用性和可靠性。这里说明一下，建议每个控制器拥有1个磁盘组，1组84个磁盘虽然不是最优的，但在技术上是可行的。

如果对带宽性能有要求，可以将ME4084配置为6*14磁盘的ADAPT组，每个控制器拥有3个磁盘组。读带宽最大可达7.3GB/sreads，写带宽最高可达5.6GB/s。

对于关键数据，

为什么会有如此快的重建速度呢？

原因在于为ADAPT磁盘组保留备盘容量是自动进行的，专用于备盘的磁盘空间跨系统中的所有磁盘自动分布。在出现磁盘故障的情况下，数据将移动到磁盘组中的许多磁盘，从而允许快速重建并尽量降低对I/O的影响。

因此，在做ADAPT组时，建议每个控制器做平衡组，以确保性能的平衡，并要结合应用特点，针对不同的重建和性能需求，配置ADAPT的组数：性能要求越高，建议多组数；重建时间要求短，则组内磁盘数多点为佳。

大包大揽——

ME4存储的多维度特性

有时对于入门级存储的需求，业务部门在方案阶段通常以价格和容量为选购条件，往往不喜欢深入研究。其实从经验来看，需求是随着业务而变化的，而业务是变化多端的，所以建议企业在选购存储时做好前期评估，包括实施细节、方案优劣势、产品扩展性以及其它附加功能，多考虑几个维度，才能无后顾之忧。

ADAPT是戴尔易安信系统软件中最新的增强功能，默认情况下，除了更传统的RAID数据保护方案外，每个PowerVault ME4阵列都可以使用ADAPT，而ME4存储除了ADAPT软件功能外，还另有几个优秀特点——

大包大揽，所有功能软件均不再额外付费，全部随机内置！

所有软件内置随机自带全免费，对于存储常用的分层、快照、复制等增值功能，业内的采购费用普遍不低，配合起来利用的话，就相当于“赚钱”了。

高扩展性。

我们来看看ME4存储的扩展能力：

最大支持磁盘数

最大支持磁盘数：5U84控制器机柜+三个5U84扩展机柜=336磁盘，也就是说ME4可在20U高度支持336个磁盘，而ADAPT可以一次添加多达68个磁盘，这样的扩展能力对于入门级存储来说，也算是绝无仅有的了！

最大容量

最大容量：原始容量高达4PB，单个ADAPT最大磁盘组支持1PB，每个控制器支持4个ADAPT组。以视频监控为例，分辨率1080P，码流小大4Mbps，30天存储空间为1.236TB（存储容量计算：摄像头路数×码流4Mbps×3600秒×24小时×30天÷1024÷1024÷8），支持1000路的摄像头也是So Easy了！

数据驱动生产力，数字化和其应用平台的IT发展已成必然趋势，面对海量数据催生的入门级大容量存储需求，PowerVault ME4存储真可谓是物竞天择，“ADAPT”者生“存”，希望大家能通过此次介绍深入了解ME4存储的这一软件特性，重新认识并合理规划ME4存储，更好地开发和使用它的软件功能，从而获得更多收益。