数据中心开始从硬盘驱动器过渡到固态驱动器（SSD）之后不久，NVMe协议就开始支持高性能的直连PCIe SSD。紧随NVMe之后的是基于结构的NVMe（NVMe-oF），其旨在有效地支持超大规模远程SSD池，从而有效地替代了直连式存储（DAS），成为云基础架构中分类存储的默认协议。

最近，基于TCP的NVMe已经到来，它提供了一种更强大的NVMe-oF技术，以降低部署成本以及设计复杂性的同时保证了高性能。本质上，基于TCP的NVMe使用简单高效的TCP / IP结构将NVMe扩展到整个数据中心。

“能够在高带宽、低延迟的情况下进行通信，同时在存储阵列之间实现物理隔离，然后添加一个包含TCP协议的普通交换网络进行传输，这将改变游戏规则。”北美技术咨询公司凯捷（Capgemini）的IT主管Eric Killinger说，“云Hyperscaler已经采用了这种技术，取代了以前使用了两年和三年的新SSD技术，以实现对数据分析和物联网的更大查询访问。”

背景：NVMe和NVMe-oF的出现

当第一个使用NVMe SSD构建的阵列到来时，存储速度得到了极大的提升，但是这些设备仍然通过基于SCSI的主机连接与服务器进行通信。NVMe-oF部署可以支持跨交换结构的基于NVMe的块存储设备的远程直接内存访问（RDMA）。

技术研究公司IDC的基础设施系统研究副总裁埃里克·伯根纳（Eric Burgener）表示：“这是一种针对固态存储进行了优化的高性能存储网络协议，它提供了更低的延迟、更高的带宽、并行度和更高的效率。”

NVMe-oF可用于不同类型的网络传输，包括光纤通道（FC），以太网和InfiniBand。在以太网中，有不同的传输选项，包括聚合以太网上的RDMA over Converged Ethernet（RoCE），iWARP以及TCP。

缺点是FC、InfiniBand、RoCE和iWARP选项都需要自定义主机总线适配器和驱动程序，这使其实施和维护起来既困难又昂贵。Burgener解释说：“基于TCP的NVMe是真正的行业标准，它可以与几乎所有企业服务器上附带的标准聚合以太网适配器一起使用。”此外，大多数主要的Linux变体现在都在其标准发行版中包括NVMe-over-TCP驱动程序。

Burgener说：“这是一个已发布并被接受的标准，这意味着从长远来看，它将主导NVMe-oF部署。”“它的实施成本也较低，并且不需要标准Linux或以太网适配器之外的升级计划，但是与RoCE（迄今为止已广泛部署的另一种以太网选择）相比，其延迟会更高。”

RoCE和iWARP均支持RDMA，而FC和TCP不支持。这种支持RDMA的能力可以使等待时间略微降低，但是所有这些方法都比基于普通SCSI的存储网络技术（如光纤通道（FC）和iSCSI）提供了显著的性能改进。 

NVMe / TCP部署和使用

采用NVMe / TCP的主要原因是提供低延迟的共享存储解决方案。

“如果您有一个基于NVMe的全闪存阵列，但仍通过基于SCSI的存储网络连接到服务器，则可能会在桌面上留下很多性能，而且你的固态存储资源使用效率也不高。”布尔格纳说，“如果您希望将基于NVMe的全闪存阵列的性能一直传递到您的应用程序，则需要NVMe-oF存储网络。”

对于大多数组织而言，最终的运输选择将取决于已经部署的任何技术或规模性能要求。

Burgener说：“FC是满足后一种需求的最佳传输方式，但随着更高带宽以太网的每一个新版本的推出，差异化因素都会缩小，因为以太网能够以更高的带宽处理更多的……存储工作负载。”他补充说，“有些性能敏感的应用程序将FC用作NVMe-oF的传输层会更好，但是随着时间的流逝，它们将越来越少。”

如果企业已经拥有FC网络，那么安装NVMe oF就相对容易，因为许多组织已经这样做了。Burgener说，然而，大多数商业未开发的部署都将选择使用以太网，而TCP最终将赢得以太网的青睐。

在应用程序方面，“我们可能会及时看到大量基于TCP的NVMe，用于AI/ML驱动的大数据分析工作负载，特别是如果它们是实时的情况。” Burgener说，“ [adoption]有意义的另一个地方是将大量工作负载整合到单个存储阵列中的环境中，并且需要能够在高工作负载密度下大规模提供性能。”

随着AI / ML驱动的大数据分析应用的增长，该领域仍处于一个相对新生的阶段。更直接的是，NVMe / TCP在基于超大型闪存的存储部署中越来越受欢迎，尤其是在必须通过对高带宽交换网络的现有投资来快速访问大型低延迟数据池的情况下。

“Hyperscaler自然是这项技术的消费者，因为它可以实现闪电般的快速数据访问，并允许将数据分布在多个数据中心的Pod中，从而为电网、散热和本地化的高可用性架构带来好处，而不必增加通过正常光纤网络构建而产生的额外成本。”基林格说。

NVMe / TCP还可以允许采用者利用已经在商品化且可从许多OEM获得的交换网络技术中的现有投资。Killinger说：“与单个Infiniband或光纤通道相比，连接多个绑定的10G交换以太网端口的每端口成本使利用NVMe的TCP堆栈实现成为可能。” 

许多高端存储采用者已经在致力于FC存储网络，并且已经或者正在计划升级到ROCE，Burgener如此写到。然而，这种情况在未来几年可能会改变。

随着存储基础架构越来越多地转向固态存储，并且客户越来越关注基础架构的效率，基于TCP的NVMe将明显胜过SCSI，并且价格便宜且易于实现，Burgener说。

NVMe-over-TCP可用性

NVMe及其规范由NVM Express，Inc.拥有和维护，Inc.是一个由网络、存储和其他IT相关公司组成的财团。2011年发布的NVMe规范定义了主机软件如何通过PCI-Express（PCIe）总线与非易失性存储器进行通信，现在已成为所有尺寸PCIe SSD的行业标准。NVMe / TCP已于2018年获得NVM Express财团批准。

就目前情况而言，NVMe / TCP支持主要来自网络供应商，例如Lightbits Labs和Mellanox Technologies（现在归NVIDIA所有），以及少数存储初创公司，包括Excelero，Pavilion Data和Ifinidat。SSD芯片制造商Kioxia（以前是东芝的一部分）也支持基于TCP的NVMe。

预计在接下来的几年中，NVMe / TCP的可用性将快速增长。Burgener预测：“大多数主要的企业存储供应商都尚未推出它，但可能会在未来12到18个月内推出。”

目前，短期、大规模的NVMe对TCP的采用也是一个障碍，但也很可能成为它获得长期成功的因素。

Killinger说：“大多数IT公司都正在试验公共云服务，据估计，超过90％的企业在一个或多个公共云中都具有一定的影响力。”同时，IT更新率呈下降趋势，许多组织没有预算足够的资金来使用高端NVMe技术更新其老化的存储基础架构。他说：“不过，其中一些公司正在寻求公共云服务提供商来替换其公司的IT服务，这就是基于TCP的NVMe蓬勃发展的地方，其增长速度是公司IT购买力的许多倍。”

展望未来，Burgener看到了NVMe / TCP的光明前景。他预测：“但是，[adoption]可能直到2022年或2023年底才真正开始增长。”

Killinger也对NVMe / TCP最终成为主流技术感到乐观。他说：“我看不出任何NVMe over TCP不蓬勃发展的理由，甚至在未来几年内SSD的部署会加快。”

Killinger预计SSD存储OEM厂商将很快进行大规模的市场推广，他们渴望在NVMe over TCP上展示其产品的性能。他说：“对于优秀的IT公司副总裁而言，这足以影响他们的采购决策。”

本文翻译自：https://www.networkworld.com/article/3609921/nvme-over-tcp-how-it-supercharges-ssd-storage-using-standard-ip-networks.html如若转载，请注明原文地址：