2018/04/27

存储极客 | 瓜哥图解PCIE/NVMe

冬瓜哥

✎✎✎“存储极客”栏目再次与大家见面啦！在这里，只有一位大咖名叫“存储”，它的粉丝我们称为“存储极客”！

存储极客

这是一群存储偏执狂

为存储而生，跟存储死磕

各具独家秘笈

有观点，有碰撞，有干货

从2015年8月18起

做客存储极客栏目

与你分享存储里的那点事儿

上周瓜哥图解的那些知识，大家还记得吗？现在让我们小小的回顾一下：

在《瓜哥图解存储协议》中，瓜哥详尽的介绍了各类存储协议、接口及连接器等；

在《瓜哥图解RAS RAID》篇中，瓜哥图文并茂的讲解了存储系统控制器/HBA、RAID卡及其接入服务器的方式等。

今天，瓜哥又要图解什么呢？

七、NVMe固态盘、PCIE转接卡

及PCIE交换芯片的接入方式

NVMe固态盘、PCIE转接卡、PCIE交换芯片接入到服务器中的方式主要有以下三种：

1.全Combo形式。如下图，24个插槽均为SFF8639也就是U.2接口，这就意味着不管是插SATA/SAS还是NVMe SSD到任何一个槽位，混差，数量配比不限，系统都可以识别到对应的硬盘，也就是所谓三模式（Tri-mode）。所以，每个接口必须将对应的金手指触点真的连接到对应的控制芯片上，如下图，每个插槽均连接SAS信号到SAS HBA以及PCIE信号到PCIE Switch芯片。这样做的成本当然是非常高的。

2.只有固定槽位支持全Combo盘的形式。如下图，同样是这24个插槽，同样均为SFF8639也就是U.2接口，但是只有最后的4个槽位同时支持三模式Tri-mode，其余的20个槽位只支持SAS/SATA盘。

3.只有固定槽位支持NVMe盘的形式。为了进一步节省成本，服务器厂商还可以让少数几个槽位只支持NVMe固态盘而不支持SAS/SATA，虽然依然是U.2接口，上面依然有对应的SAS/SATA的金手指信号，但是这些信号是被空置在那里的，没有连接任何上游的芯片。只有PCIE对应的针脚会被连接到上游芯片。而由于只有比如2个、4个NVMe Only的槽位，按照每个NVMe固态盘使用x4 Lane的PCIE接口的话，4个盘共需要16个Lane，可以将这16个Lane对应的金手指信号直接连接到CPU，也就是连接到主板上的一个x16的槽位上。所以，需要一块连接器转接卡先插到主板的x16 PCIE插槽上，转接板下游再出4个x4的miniSAS或者HD miniSAS连接器，然后用线缆连接到该连接器，线缆另一端再与硬盘背板上对应的miniSAS或者HDminiSAS连接器相连，这样就是下图所示的拓扑了。

该服务器是一台戴尔服务器上的第一代 Express Flash PCIe SSD，以及PCIe 2.0的转接卡。散热片下面的是一块信号Repeter/Relay，其内部就是大量的三态缓冲门，为了增强信号质量，增强信号电流。

八、Dell R930服务器硬盘连接方式简析

Dell R930服务器是一台最大支持4路CPU，提供最大24盘位的高端服务器。在硬盘配置方面，其提供了3个不同的背板，4盘位SAS/SATA背板，24 SAS/SATA盘位背板，以及16 SAS/SATA盘位+8 NVMe固态盘位背板。下面我们就来说说最后这种SAS和NVMe混布的选择。

下图就是配置了该背板的服务器前视图。可以看到竖插的12块SAS/SATA盘和左右两边最下方的各两块横插的SAS/SATA盘；以及左右两边上方的各4块NVMe固态盘。

对于NVMe盘位，其采用了NVMe Only的方式而不是Combo方式，也就是说这8个NVMe插槽只有PCIE信号被接入了系统中，SAS信号空置。如下图所示，可以看到每一边的4个U.2插槽上的x4 PCIE Lane信号被分别连接到一个HDminiSAS连接器，两边各4个。再采用对应的线缆连接到分别连接到一块PCIE连接器转接卡上，插入到主板的x16插槽中。

下图中可以看到这两块PCIE连接器转接卡的样子，其插在了服务器的最后方。

可以看到散热片下面的信号中继芯片，以及右侧的对应的4个HDminiSAS连接器。

Dell R930服务器在前部还提供了一个特殊的托架，这个托架中可以安置两块子板，每个子板上有一片SAS Expander。由于戴尔R930配备的SAS HBA/RAID卡最大只能支持8盘直连，所以当配置的SAS硬盘数量大于8块时，必须增加SAS Expander。该Expander子板采用连接器的方式与背板相连，从而与硬盘信号对接，上游提供对应的HDminiSAS连接器，通过线缆连接到其PERC9 RAID卡上。该托架可放置两块Expander子板，这样就可以将所有SAS/SATA硬盘分两部分分别接入到其中一块Expander，提升SAS链路的并发度。同时，R930支持插两块PERC9 RAID卡，那就可以分别接一块Expander子卡，进一步提升存储系统性能了。