- 数据增长和对更高能效的需求正在推动创新存储解决方案的发展。
- 硬盘驱动器（HDD）的密度不断增长，但性能却没有提升，而TLC闪存的价格仍然限制了其规模化应用。
- QLC技术通过在HDD和TLC固态硬盘（SSD）之间形成一个中间层来应对这些挑战。QLC提供了比现有TLC SSD更高的密度、更高的能效和更好的成本效益。
如今，由于HDD与其他解决方案（如TLC闪存）相比成本更低、功耗更低，因此HDD是大多数数据中心的首选存储解决方案。但尽管HDD的容量在增长，但其I/O性能却没有增长。换句话说，HDD的每TB带宽一直在下降。这迫使数据中心工程师通过将热（频繁访问的）数据转移到TLC闪存层或过度配置存储来满足其存储性能需求。
QLC闪存技术自2009年以来就已存在。由于其历史上的驱动器容量较低（小于32TB），因此其普及速度一直较慢。此外，高成本和有限的写入耐久性使其在数据中心中不如TLC那样具有吸引力。
与此同时，HDD的密度一直在增长，但吞吐量却没有显著增加。随着给定驱动器上存储的数据越来越多，对I/O的需求也成比例地增加。HDD容量的持续高密度化导致了BW/TB的持续下降。这不利地影响了部分热工作负载，并迫使字节滞留在HDD上。
QLC闪存在性能谱中占据了HDD和SSD之间的独特空间，用于服务仍依赖于10 MB/s/TB范围内的性能的工作负载，即我们拥有16-20TB HDD的范围。此外，还有一些进行大批量I/O的工作负载，它们不需要非常高的性能，但仍在15-20 MB/s/TB范围内，并且目前使用TLC闪存。
引入作为HDD之上层的QLC闪存可以在耐久性规格方面提供足够的余量来满足写入性能要求。目标工作负载是读取带宽密集型，写入带宽需求不频繁且相对较低。由于任何NAND闪存介质中的大部分功耗都来自写入，因此我们期望我们的工作负载使用QLC SSD时功耗更低。
2Tb QLC NAND芯片的出现以及32芯片堆叠的普及表明，QLC闪存在NAND封装级别和驱动器级别的密度扩展速度有多快。
我们预计，在近期和长期内，QLC SSD的密度将比TLC SSD的密度扩展得更高。这将对服务器和机架级别的字节密度化产生重大影响，并有助于降低驱动器和服务器级别的每TB购置和功耗成本。
Meta的QLC应用
Meta的存储团队已开始与Pure Storage等合作伙伴密切合作，利用其DirectFlash模块（DFM）和DirectFlash软件解决方案，为Meta带来可靠的QLC存储。我们还与其他NAND供应商合作，将标准NVMe QLC SSD集成到我们的数据中心中。
尽管如今QLC的成本低于TLC，但其价格竞争力尚未达到可以广泛部署的水平。不过，能耗效率的提升非常显著，上述用例预计将从中受益匪浅。鉴于HDD的密度不断增加（BW/TB降低），并且NAND成本结构随着技术进步而改善，我们认为添加QLC层是正确的方向。
采用QLC的硬件考虑因素
虽然E1.S外形尺寸非常适合我们的TLC部署，但它并不是扩展我们QLC路线图的理想外形尺寸，因为其尺寸限制了每个驱动器的NAND封装数量。
行业标准U.2-15mm仍然是SSD供应商普遍采用的外形尺寸，它使我们能够扩展到512TB的容量。E3目前没有带来超过U.2的额外价值，并且E3的4种变体之间的市场采用率分散，使其吸引力降低。Pure Storage的DFM可以使用相同的NAND封装技术扩展到600TB。设计支持DFM的服务器允许驱动器插槽也接受U.2驱动器。此策略使我们能够在成本竞争、进度加速、能效和供应商多样性方面获得最大收益。
QLC驱动器的主要优点是驱动器和服务器级别的字节密度以及相关的能效。在Meta内部，基于QLC的服务器的字节密度目标是我们目前出货的密度最高的基于TLC的服务器的6倍。尽管QLC的预期BW/TB低于TLC，但QLC服务器的字节密度需要性能更高的CPU、更快的内存和网络子系统才能利用介质功能。
为QLC调整我们的存储软件
将Meta现有的存储软件调整为QLC带来了一些有趣的挑战。如上所述，我们的QLC系统密度非常高。与HDD相比，我们将QLC SSD定位为性能更高的介质。这提高了我们前所未有的单服务器吞吐量期望。
跨CPU内核和插槽扩展如此高的吞吐量需要仔细放置数据和计算来处理该I/O。我们需要确保我们最大限度地减少数据接触点，并且可以按类型分离I/O。Pure Storage解决方案中的软件堆栈使用基于io_uring的Linux用户空间块设备驱动程序（ublk）设备，既将存储公开为常规块设备，又支持零复制以消除数据复制，并在后台与其用户空间FTL（DirectFlash软件）通信。
对于其他供应商，堆栈使用io_uring直接与NVMe块设备交互。
此外，QLC SSD在读取和写入吞吐量之间存在显著差异。QLC的读取吞吐量可能比写入吞吐量高4倍或更多。更重要的是，围绕读取的典型用例对延迟敏感，因此我们需要确保提供大量读取带宽的I/O不会在写入之后被序列化。这需要构建和仔细调整速率控制器和I/O调度程序。
展望未来
Meta认识到QLC闪存作为数据中心工作负载存储成本、性能和功耗的可行且有前景的优化机会的潜力。随着闪存供应商继续投资于先进的晶圆厂工艺和封装设计，并提高QLC闪存的产量，我们预计成本将大幅降低，使QLC闪存对于更广泛的数据中心工作负载更具吸引力。我们很高兴能够在这个不断发展的存储领域推动创新、促进协作并促进生态系统协调。
