「存储极客」学习超融合，传统存储知识不可少

vSAN 的设计就是为了自家虚拟化，所以把自身嵌入到vSphere Hypervisor；Dell XC超融合设备则是每个节点上有一个CVM虚拟机运行的分布式存储软件。许多第三方厂商都是类似的实现，这样做也有一定好处，那就是可移植性。Dell XC除了VMware ESXi之外，还支持微软Hyper-V和AHV（KVM）虚拟化环境。

Dell XC几年前就在NDFS分布式文件系统上实现了压缩和重复数据删除，以及快照和克隆的支持，如今这些功能逐渐成为超融合产品的标配。vSAN 则倾向于简捷的设计——快照和克隆都是沿用vSphere虚拟机自身的功能。

本文将重点讨论Dell XC系列比较有特色的两个存储特性。

在传统服务器+SAN网络+存储阵列架构中，所有主机都是通过存储网络访问集中式存储，数据的可靠性和可用性在后者内部实现。而基于分布式存储技术的超融合集群，其虚拟机数据通过副本保护存放于多个服务器节点上，以此来保证冗余高可用。

在分布式存储/超融合集群中，相当于用以太网替代了传统FC交换机的功能，这时选择一款高品质的交换机更为重要。在Dell XC推荐的参考配置中，我们可以看到Dell Networking S4048-ON这款10/40 GbE架顶式开放式网络交换机——高密度1RU 48端口10 GbE，具有6条40 GbE上行链路，且具有超低延迟、无阻塞，可确保实现线速性能。

如果不做特别的设计，虚拟机需要访问的数据副本不一定位于其所在节点本地，读写操作将会增加一些集群间的网络流量。Dell XC超融合使用了下面的“本地读”技术来对此进行优化。

在常规情况下，每个虚拟机写入NDFS的数据，其中一个副本放在服务器本地存储，以保证后续读取不通过网络提高效率。一旦出现虚拟机迁移到其它节点，将会遵循以下规则处理：

新写入的数据，继续按照本地读优化规则，在新的服务器宿主机存储一个副本。

当虚拟机在新位置读取原来节点上的数据时，会触发数据迁移以维持“I/O本地化”。

（注：只在读操作发生时才移动数据，以减少网络流量，同时我们也应考虑到虚拟机可能随时根据需要迁移回原节点或者新的位置。）

在虚拟机被迁移之前，如果有部分数据的“第二副本”正好位于迁移后的新宿主机，这些数据在读取时将无需触发数据移动。

当从事技术工作到一定阶段，就会发现每种技术路线/选择都会有其限制，基本上没有十全十美的。无论是否为支持“本地读”的超融合，我们注意到一些分布式存储设计为只从主副本读，这样做不只是为了图省事，也能节约内存/SSD缓存的使用。

在I/O访问足够离散的情况下，只从主副本读不会造成不均衡的情况。而在服务器虚拟化应用中却有一种情况可能造成数据热点，那就是在分布式存储上创建快照，并以此作为虚机模板（黄金镜像）。如下图，此时“Base VM vDisk”的原有数据块被冻结为只读，而同时它还要为“链接克隆”并运行于其它服务器节点上的虚拟机提供读访问。此时怎样同时照顾多个节点上的“本地读”呢？

针对这种应用场景，Dell XC特别设计了影子克隆（Shadow Clones）特性。一旦NDFS定义基础虚拟机目标磁盘为multi-reader状态，该vDisk将被标记为不可变，并在出现跨节点读虚机模板时将数据缓存在本地CVM控制的存储上。

如此一来，在快照/克隆之后每个节点上的虚机仍然能够做到本地读，有效分散了数据热点。影子克隆（Shadow Clones）会增加一些磁盘占用，相比之下集中式存储阵列没有这个问题。比如Dell SC遇到SSD或者HDD分层性能不足的情况，向宽条带化存储池中添加对应的驱动器就可以轻松rebalance扩展性能。当然，这是由分布式/集中存储自身的特点所决定，并不意味着选择阵列就不需要做IOPS和SAN网络带宽性能设计。

Dell XC超融合提供了高效的数据压缩特性。如下图：大数据块或者顺序I/O将在内存中压缩处理并直接写入Extent Store持久存储层；而随机I/O则直接先进入OpLog——位于SSD上的写缓存，经过合并、在写入到Extent Store之前进行压缩。这样做显然是性能优先的考虑，原则上不会因为压缩处理而增加延时。

就像我在《存储极客：为什么说VSAN与Dell SC渐行渐近？》中所写，如今分布式和集中存储系统中的有些技术是相通并可以借鉴的。Dell SC阵列的活动数据压缩，也是先将原始内容直接写入高速SSD RAID1分层，然后向RAID 5/6或者HDD执行自动分层存储的数据调度时执行压缩。这一点与Dell XC超融合的在线压缩有类似之处。

在Dell服务器上有一个特色的Dual-SD模块选件，可以用于安装VMware ESXi等嵌入式操作系统。在XC系列超融合上，该选件有一个专门的用途——系统软件恢复介质，包括CVM在内的管理组件等。它能够快速重置XC系统至出厂镜像状态，只需要10-20分钟的时间。