一文回顾高端存储发展史

外置网络存储系统最早可以追溯到1983年。

当时著名的计算机设计制造厂商DEC（Digital Equipment Corporation）公司设计了一款集群系统，在该集群中，最高15台业务主机（DEC VAX系列主机）可以通过网络连接到HSC（Hierarchical Storage Controller）获取存储资源。

HSC50/HSC90系列存储控制器本质上也是一台计算机，其后端可通过SCSI接口连接SCSI设备或者硬盘扩展柜。

如下图所示，上世纪80年代的计算机由于集成度不高，所以普遍采用插卡+背板总线形式将多个不同部件相互连接的架构。

HSC90存储控制器前视图和后视图

说到高端存储，离不开Dell EMC，而关于高端存储，则不得不提高端存储之父Moshe Yanai这个名字。

近代SAN存储系统的鼻祖当属Dell EMC的Symmetrix DMX系列产品，其设计思路与前面说到的DEC HSC50/90系列控制器相似。

整体采用处理器插板、内存插板、HBA插板组成整个系统的核心控制部分，机柜内其他组件则是UPS和供电管理部分以及大量JBOD扩展柜。

下图所示为早期Symmetrix DMX系列架构示意图。在Symmetirx时代，计算机芯片集成度已经比较高了。

早期Symmetrix DMX系列架构示意图

下图右侧所示为近代的Symmetrix DMX4的系统架构，其满配时可以支持8个前端网络I/O控制器板（相当于前端HBA+处理器+本地内存）以及8个后端I/O控制器板（连接硬盘扩展柜的HBA+处理器+本地内存），以及8块共享的数据缓存板。

DMX1000实物图以及DMX4架构图

Symmetrix DMX系列产品属于整个存储系统发展史上的经典产品，其架构被认为是高端SAN存储系统经典架构，凡是不具备类似架构的都算不上是高端存储系统。

DMX表示Direct Matrix（直连矩阵），意思是整个系统内所有部件（前端和后端板）通过点对点直连的方式直接与共享存储器相连，所有部件采用共享内存的方式来通信。

这样做的好处是能够实现多控制器对称式多活协作、不存在缓存一致性问题（因为缓存是集中放置的且只有唯一的一份副本），具备极高的系统冗余性（任何一个/多个部件故障不影响整体系统可用性）。

Symmetrix DMX4系统满配时的架构及实物图

Symmetrix DMX4系统的部分单板实物图

网络速度快了，10GE普及，100甚至400GE都出现了。

单盘容量大了，目前机械盘单盘最高单盘14TB（非SMR），固态盘那就没边了，抛开成本，单盘达到1PB指日可待。

单盘速度快了，固态硬盘让硬盘速度直接腾飞。

这三个变化彻底释放了分布式系统的生产力。

高速网络是分布式系统赖以生存的根本，分布式存储系统早在上世纪中后期就已经形成了理论基础，但是一直到近几年，网络的时延和带宽才足以支撑分布式系统架构。

为了降低成本，业界兴起所谓软件定义，也就是利用廉价白牌机或者标准的机架服务器，加上分布式存储软件管理层，搭建出软件定义分布式存储系统，与传统的SAN存储系统瓜分市场。

而分布式系统的大行其道，极大地促进了固态存储的需求量。

出于成本考量，分布式系统中每个节点往往不会连接多级JBOD从而靠大量的硬盘形成高并发性能，而是只靠每个服务器自带的少量盘位，加上固态盘来抵消跨网络通信带来的时延增加，形成让传统机械盘系统望尘莫及的IOPS和时延性能。

所以，新时代存储系统具有的两个特质无疑就是：分布式、开放式。既能满足性能要求，又可以降低成本。

集中式共享缓存架构虽好，但是其最大一个劣势就是硬件实现成本过高，需要单独的缓存板、背板、以及对应的Mulplexer等模块。

在新时代技术背景下，借助高速网络，分布式+开放式系统也可以实现与DMX类似的共享缓存架构，这就是脱胎换骨的Symmetrix VMAX系统。

Symmetrix VMAX系列架构与DMX系列相比，有了很大变化：

►首先，VMAX系列不再区分前端I/O控制器和后端I/O控制器了，同一个控制器内同时插有前端网卡和后端SAS HBA，成为一种开放式架构。CPU也从之前的Power PC更换为了x86平台。

►其次，VMAX系列不再采用集中式共享缓存，而转为采用分布式共享缓存，也就是将原本集中的数据缓存分布到各个I/O控制器上。

►另外，VMAX采用独立的InfiniBand高速网络交换机来互连所有的控制节点，形成了一个共享缓存的分布式系统。

相比DMX而言，VMAX的架构更加开放，实现成本也更低，开发和维护上都降低了复杂度。

其本质上仍然属于共享缓存架构，I/O请求可以从任何节点进入，节点根据I/O目标地址范围做Hash来确定该I/O请求的数据缓存节点，并通过InfiniBand网络向该节点发起数据请求。

通过这种方式，缓存在整体上还是只有一份，而不是每个节点各自为政，否则就需要实现复杂的缓存一致性协议来解决这个问题了。

VMAX对缓存的实现方式，与多核心CPU对L3 Cache实现方式如出一辙。

为了实现充分的并行性，CPU内部的L3 Cache被划分为多个分片，各自放置在每个核心旁边，并通过硬件Hash来确定每个访存请求落入的目标L3 Cache分片，以便让所有核心看到一个统一、唯一的L3 Cache，而一旦访存目标落入了本地L3 Cache分片，则可以以更快的速度访问到数据。

通过这种分片方式还可以让访问不同分片的请求并行执行，避免了集中方式的串行队列化。集中L3 Cache在布线、延迟、并发方面都不是很理想。

下图所示为一台Symmetirx VMAX系统的部署照片前视图及后视图▼。

Dell EMC Symmetrix VMAX存储系统照片

2018年5月1日，Dell EMC在Dell Technologies World宣布了最新的计算和存储产品方案，存储方面，宣布的是基于全闪存架构的PowerMax存储系统，该系统将全面取代之前的VMAX。

PowerMax搭载英特尔® 至强® 处理器，可提供高达1000万次/秒的IOPS，该处理器提供实时分析和数据处理功能，使数据管理的可靠性和效率得到极大提高，可保护当前和未来的任务关键型应用程序。

这意味着后续Dell EMC的高端存储系统将全部是全闪存架构。

PowerMax存储阵列可以被视为历史悠久的VMAX产品家族的继任者，该产品家族的起源可追溯到1990年，存储巨头Dell EMC在2016年推出了首个全闪存VMAX，这是原EMC公司与Dell合并之前所推出的。

PowerMax的命名与Dell EMC服务器产品线的PowerEdge相呼应，形成统一的命名风格。PowerMax内部的控制器也被命名为PowerBrick（之前是V-Brick），操作系统被命名为PowerMax操作系统（之前为HyperMatrix操作系统）。

PowerMax相比VMAX的区别在于▼：

Dell EMC在2018年Dell Technologies World上发布了两款PowerMax型号产品，分别为2000和8000。其中2000可视为升级版的VMAX 250F，8000为升级版VMAX 950F。PowerMax使用SFF8639连接器的双端口NVMe SSD，并同时支持NVMe over Fabrics(NVMe-oF)协议。

在VMAX汲取了分布式、开放式的思想的基础之上，最新的PowerMax又彻底投靠了NVMe协议的固态盘。

走完这一步，Symmetrix这个高端血统家族彻底完成了蜕变，让Dell EMC的存储系统一直保持着潮流的引领者的地位。从DMX到VMAX再到PowerMax，一路走来，变的是名称、外形、架构和颜色，不变的依然是安全、稳定、可靠，和那颗值得客户信赖的心。