每隔一段时间,总会有一个与众不同的Server到达实验室,让大家感觉非常兴奋。技嘉(Gigabyte) E251-U70就是一款这样的服务器。这个2U短深度的设计旨在提供一个单Socket的边缘AI和网络平台。因此,这与我们通常看到的感觉有些不同。如果你觉得在其他什么地方看到过的这个平台,这是有可能的。它其实是NVIDIA Ariel 5G vRAN平台采用的服务器。
Gigabyte E251-U70硬件评论
由于我们的评论内容相对较多,因此我们将硬件评论分为两部分,首先,我们将研究一下外部功能; 然后,我们再看一下机箱内部有什么。
Gigabyte E251-U70外部硬件评论
你首先看到的是这个服务器非常小,确实,尽管我们通常不对未拆箱的照片进行报告,但下面就是服务器在包装箱中的样子,是不是确实很小巧。
在现代运输包装箱中,泡沫与服务器所占空间之比可能是最高的了。 这样做的原因是这是一个短深度的前I/O平台。它的尺寸是439mm x 86mm x 449mm 或 17.3“ x 3.4” x 17.7“。
在系统的左侧,我们会看到常规的LED以及电源/复位按钮,还有一个USB 3.0 Type-C的端口。机箱这一侧的主要功能是提供了6个2.5英寸的盘。我们的系统已将通过线缆安装成为SATA的盘,使用了我们非常喜欢的技嘉(Gigabyte)的免工具的盘托架。
在前面板的中间,有一个串行的COM端口,一个VGA端口,四个用于标准IO的USB 3.0 Gen1端口。产品还提供了两个由Intel i210控制器驱动的1GbE NIC。这通常是一个相当低端的配置选项,但是在此平台中,该设计专门用于安装用于网络的高端NIC。这些NIC最终作为软件/系统管理NIC和/或用于配置。尽管这是用于服务器的软件和OS的,但由于该机器也具有IPMI,所以还有一个RJ45管理端口。
在机箱的右侧,有可安装使用全高扩展卡的水平I/O区域,我们将在进行内部系统评论时讨论对应的配置。
下面是安装了一张高速NIC卡和一张低速NIC卡的系统前I/O的样子。我们最近在Silicom PE2G6I35-R评测中就用了这张6x 1GbE的NIC卡。
该系统的后面有四个大型风扇,侧面有冗余电源,这是vRAN空间中的常见配置。另一种替代方案通常是后面仅安装风扇,将电源移至前面,取代部分2.5英寸的存储盘,但所有线缆都从机箱的前面进行布线。
可通过卸下单个指旋螺钉来卸下热插拔风扇,系统设计了一个latch将风扇锁定到位或将其卸下,这是比我们所期望的更坚固的载体。
电源是FSP(全汉)的冗余800W 80Plus 白金(Platinum)电源。
下面是安装在我们正在使用的第三个数据中心的机架中的系统的样子(我们已获得拍摄这张照片的许可。)该系统使用端口来为气流设计提供供电。因此,你可能希望像这样设置你所有的机架来扩展这些系统并获取匹配的交换机。 或者,如果将它们安装在具有标准服务器和PSU的机架中来给端口向后地安装在机架上的交换机提供气流,你则需要将电缆从设备的前部移到机架的后部。 新的数据中心机架在其两侧都可以看到专门为该布线方案设计的通道,同时仍允许冷通道封闭。
关于系统的另一个快速说明,Gigabyte(技嘉)有非常不错的服务标签。盖子的顶部和内部都有标签。外部的服务器上有一个黄色的“注意”部分,表示这是“需要两个人提拿”的服务器。这肯定是标准的警告模板,因为此服务器非常小,钣金也用得少,因此非常得轻便。此外,只有一个CPU有助于减轻重量。数据中心技术人员和我都情不自禁地一笑,因为它比许多现代交换机都更轻巧。正式来说,这需要两个人才能抬起。非正式地,我们只要一个人就可以进行此操作,并认为两个人一起来抬升服务器反而花费更长的时间。
外部可服务性和端口配置水平在vRAN市场中非常重要。虽然我们只有两个人并且可以使用各种工具,但是如果将服务器安装在5G塔旁的现场,技术人员可能无法使用服务器升降机,甚至进入机架都很困难。拥有这样一个短深度的服务器意味,不需要那么宽的走道就能将服务器从其免工具导轨上滑出机架。这些看似很小的细节,但是在期望它们可以发挥作用的地方可能会产生很大的不同的个性。
接下来,我们将看看系统的内部,以了解这个机器是如何构建的。
Gigabyte E251-U70内部硬件评论
在系统的内部,你可以看到用于第一代和第二代Intel Xeon CPU的可扩展处理器的标准LGA3647 CPU插槽。 我们用两代CPU都做了测试,都能够正常工作。
该系统有一个2U高度的散热器(和一个导风罩,你在”外部硬件评论“那章节中可以看到),该散热器可以冷却最高205W TDP的处理器。八个DIMM插槽可用于接插DDR4的内存,在该系统中你可以使用Optane DCPMM或PMem 100模块。
CPU之外的下一个重要功能是PCIe配置。我们注意到的是,那儿有一个没有外部I/O安装点的PCIe插槽。由于没有标准方法将卡固定在该PCIe插槽中,因此感觉该插槽可在系统中更好地被使用。
在外部硬件评论中,你可能已经在Riser上看到了三个I/O扩展插槽。这些全高的插槽连接到两个PCIe Gen3的x16插槽。在插槽之间,你可以看到Broadcom PEX8747 PCIe Switch(交换芯片)的散热片。这允许将单个PCIe x16插槽扩展导Riser上的两个PCIe x16插槽来使用。最靠近Riser的金手指的插槽用于高速NIC/DPU,顶部的插槽用于GPU。这是专门为NVIDIA Ariel 5G vRAN平台设计的,并且NVIDIA拥有可以直接通过PCIe在NIC/DPU和GPU上进行大量处理的软件,而不必返回到主机CPU进行处理,这是这种设计的主要原因。
可能你还会注意到Riser卡上有一个电源连接器。 那儿有一个外部电源连接器,因为我们有两个x16的PCIe插槽以及一个PCIe Switch,所以此电源连接器是必需的。我们无意中测试了安装两个非常低功耗的NIC卡但是不接插此电源线的情况,机器就不开机了。看来这是为该设计中的PCIe Switch供电的,这就是为什么需要它的原因。
由于此系统是为GPU设计的,因此我们在此处连接了一组健康的GPU电源连接器和线缆。
注意:我们将它们从线缆槽位中拉出来,以获得更好的外观。
机器里有一个很小但很好的功能,系统随附一个电源适配器。该系统主要有一个数据中心GPU PCIe电源连接器,而该具有分离作用的适配器则允许你连接一个标准的台式机/工作站的设备并为其供电。如果有人想使用备用电源输入来驱动GPU卡的话,这是一个小巧但很受欢迎的功能。
下面是卸掉了PCIe Riser和电源线的主板的样子,关于电源,ATX电源输入在主板的前端是水平放置的(下图的底部),CPU电源不在主板的上边缘,而是在前I/O面板附近,并且前面板仍然阻塞了气流,这是一个很小的细节,但是必须赞赏。
主板上还有一个用于存储的M.2插槽,它最多仅支持M.2 2280,需要卸下Riser才能使用该插槽。如果技嘉(Gigabyte)在Riser和DIMM插槽之间的PCIe插槽中有解决方案可用于此存储,则我们会更愿意,因为这样可以更快地进行维护。
总体而言,这是一个非常有趣的2U单CPU的vRAN平台。
接下来,在转到性能和功耗数据之前,我们将先查看一下系统框图,管理和测试配置。
Gigabyte E251-U70的系统框图
从我们发布”边缘服务器头条-Gigabyte E251-U70“到现在,Gigabyte(技嘉)对系统框图进行了一些小而重要的更新:
此处的主要更新是Gagabyte(技嘉)在Riser卡模块上添加了PEX8747 PCIe Switch。
我们将很快注意到的一点是,除了Riser之外,系统的其余部分似乎都在成本上进行了优化。最初的Lewisburg芯片组具有未在此处使用的带有10GbE和加密功能的选项(某些国家将其用作“便宜的” 10GbE网络”)。我们还可以看到,在48个CPU PCIe Gen3的通道中,只有16个用于M.2插槽以及所有连接到Intel C621 PCH的I/O端口。设计这样一个系统的原因通常是为了降低成本来优化平台。针对NVIDIA Ariel 5G vRAN平台部署的这个大市场,这么设计是有意义的,因为该平台的重点是GPU和NIC/DPU,而不是服务器平台本身。
Gigabyte E251-U70的管理功能
你可以看到,Gigabyte(技嘉)E251-U70为技嘉使用了一种更新的MegaRAC SP-X接口,该接口在其许多较新的平台上都很常见。此界面是一种更现代的HTML5用户界面,其功能类似于当今的网页,而不像十年前的页面。我们喜欢这种变化,下面就是是仪表盘。
你可在此处找到标准的BMC IPMI的管理功能,例如监控传感器的功能。你还可以直接从Web界面执行诸如更新BIOS和IPMI固件之类的功能。像Supermicro这样的公司都为此功能额外收费,但是Gigabyte(技嘉)的解决方案中已经包含了该功能。
其他任务(例如节点清单)也可用,你可以看到带有通用TSV内存的这一特殊节点。
其他功能之一是用于远程管理的新HTML5 iKVM,我们认为这是一个很棒的解决方案。其他一些供应商已经实现了iKVM HTML5客户端,但一开始并没有实现虚拟媒体的支持。Gigabyte(技嘉)通过单个浏览器控制台就具有此功能以及支持电源控制。
我们要强调的是,这是Gigabyte(技嘉)的关键差异点。许多大型系统供应商(例如Dell EMC,HPE和Lenovo)都为iKVM功能收费。现如今,此功能已是远程系统管理的必备工具。Gigabyte(技嘉)将这项功能作为标准功能包含在内,对于担心License数量少的客户来说是非常有用的。
Web GUI可能是最容易在线显示的,但是,该系统也具有Redfish API功能用于自动化,Redfish已成为服务器管理的行业标准API,其他服务器厂商也都在这样做。
测试配置
对于此测试,我们使用以下设置:
- System: Gigabyte E251-U70
- CPU: Various 1st and 2nd Gen Intel Xeon Scalable
- RAM: 6x 16GB DDR4-2400 ECC RDIMMs
- Storage: 2x 960GB Samsung SATA SSDs, 2x Intel DC S3710 for applications.
- NIC: Chelsio T580-SO-CR, Mellanox ConnectX-5 VPI (tested, not pictured), Silicom PE2G6I35-R
- GPU: NVIDIA T4 (tested, not pictured)
不巧的是,我们没有你可能想要在GPU系统中进行测试的NVIDIA A100 PCIe GPU。不过,我们能够测试来自不同供应商的一些NIC卡,只要将PCIe电源线连接到Riser卡,它们都可以正常工作。
功耗
服务器中的冗余电源为800W,这是80 Plus白金等级的电源。至此,我们在此类服务器中看到的大多数电源都是80 Plus白金级别的,几乎没有80 Plus的金牌电源,现在有一些是用钛金电源。
下面是我们看到的安装了Xeon Gold 6226R(类似于Gold 6208U)时服务器使用的部件:
- Idle: 0.12kW
- STH 70% CPU Load: 0.21kW
- 100% Load: 0.23kW
- Maximum Recorded: 0.26kW
这为我们提供了足够的功耗空间来增加功率更高的CPU,GPU和NIC,但整体功耗仍远低于任何一个电源的额定功耗800W。
小结
Gigabyte(技嘉)E251-U70是一台引人入胜的服务器,多年以来,许多读者已经公开问询前端I/O的2U服务器,希望这些服务器是短深度的的,同时还可以有更多空间进行扩展。已经过了一些时间了,但是5G的发展以及边缘市场的扩展意味着我们今天在这些机器上将拥有一个新的产品领域。必须记住以下特点:该服务器只有449mm或17.7英寸深。