在2020年Innovium发布25.6T交换容量的Teralynx 8交换芯片之后,Innovium就有了覆盖6.4T、12.8T和25.6T这三个交换容量等级的交换芯片产品。Teralynx 5系列交换芯片主要用于低端的ToR交换机、边缘和5G设备上,Teralynx 7和8系列交换芯片则主要针对数据中心领域。由于Teralynx 8交换芯片刚刚发布没多久,因此这次我们来重点看看基于Teralynx 7交换芯片的盒式交换机设备的整机设计。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-2-1024x574.png)
Teralynx 7交换芯片主要针对400GbE网络端口市场。众所周知,Broadcom是网络领域的领头羊。但从Innovium给出的市场数据来看,截止2020年Q4,Innovium已经出货的Teralynx 7芯片在3万片左右,可以支持100万个400GbE网络端口,占据了50G Serdes交换芯片出货量的29%左右。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-3-1024x574.png)
为了与行业巨头Broadcom进行竞争,Innovium的Teralynx 7交换芯片不仅提供了更高的性价比,而且在延时性能、遥测(Telemetry)和数据分析方面提供了差异化的竞争亮点。这也是其能够占据一定市场份额的原因。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-4-1024x576.png)
基于Teralynx 7交换芯片,Innovium的ODM/OEM合作伙伴为其开发了一款1U高的盒式交换机产品。在这款1U交换机的前部,放置了32个支持400GbE带宽的QSFP-DD端口,与Teralynx 7交换芯片12.8T的交换容量相匹配。虽然样机的机箱上盖印上了Innovium公司的Logo,但在给用户正式发货的时候,可以将其改为用户的Logo。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-5.png)
在这款交换机前面板的左侧,放置的是一系列的状态指示灯和一个复位按钮。相比于小巧的状态指示灯,复位按钮显得要大很多。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-6.png)
在交换机前面板的右侧,则是一个RJ45管理网口、一个USB端口和一个串行Console端口。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-7.png)
在这款交换机后部的中间,放置了7个可以热插拔的风扇模块。每个风扇模块上都有状态指示灯,便于用户识别风扇模块的运行状态。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-8.png)
在机箱后部左右两侧,Innovium还配备了两个可以方便地进行插拔的一次电源模块。这两个1+1备份的电源模块均为1.3KW的80Plus铂金电源模块。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-9.png)
打开机箱上盖,这款使用Innovium Teralynx 7芯片的交换机内部就展露在我们面前。除了所用的交换芯片不是Broadcom的外,机箱前部模块、中间的交换和控制单板,以及后部模块的排布方式与绝大部分1U高的盒式交换机相似。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-10.png)
前面板的位置紧凑地放了一排QSFP-DD Cage。由于要提供400GbE的端口带宽,所用到的光模块功耗会较大,因此每个Cage上都会放置独立的散热器。在这一排QSFP-DD Cage的后部,则是一个很大的散热器。在这个大散热器下面,就是Innovium Teralynx 7交换芯片了。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-11.png)
在机箱左侧QSFP-DD Cage的后部,有一个黑色的小散热器,在其之下放置的是一块CPLD芯片。在这个CPLD芯片后部,还有一个差不多大小的黑色散热器,其下放置的则是一块FPGA芯片。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-12.png)
在机箱右侧QSFP-DD Cage的后部,还有另外一片CPLD芯片。左侧的CPLD芯片负责前面板上状态指示灯和复位按钮信号的处理,右侧的CPLD芯片则负责管理网口和Console口信号的处理。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-13.png)
在交换板右侧的CPLD芯片后部,还有一个M.2存储扩展插槽,用于增加交换机内部的SSD存储空间。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-14.png)
在Teralynx 7交换芯片的后部,如下图所示一共有两块扣板。左边的一块是使用Intel Xeon D-1500 CPU的控制板,右边的一块则是使用ASPEED AST2500芯片的BMC扣板。通过将CPU模块和BMC模块做成扣板的方式,可以根据不同的需求更换芯片的规格,从而增加机型的通用性。在CPU控制板上,还可以运行如SONiC这样的开源网络操作系统,使这台1U高的盒式交换机成为白盒网络设备。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-15.png)
在交换板的后部,还有一块单独的风扇控制板。由于风扇都是支持热插拔的,因此风扇通过连接器与这块控制板相连。在风扇控制板上的金属把手旁边,放有一片Altera Max V FPGA芯片,用于进行风扇转速调节、风扇状态监控和风扇状态指示灯的明灭设置。由于这块FPGA芯片功耗较低,因此没有在其上加装散热器。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-16-1.png)
由于这台1U高的交换机支持12.8Tbps的交换容量,因此需要有较好的整机散热性能。在机箱前部QSFP-DD Cage的尾部,有一个很大的导风罩。在交换板上Teralynx 7芯片的两侧,各放置了一个挡风条。在交换板与风扇控制板之间还有一块长条状的塑料导风条。通过这些导风装置,将机箱后部风扇产生的风集中在温度较高的交换芯片、CPU控制板、BMC扣板和绝大部分QSFP-DD模块上。一次电源模块依靠自带的风扇进行散热,同时给前面板左右两侧的各两个QSFP-DD模块进行散热。
![](https://www.gaitpu.com/wp-content/uploads/2023/04/Innovium-switch-17.png)
总 结
总的来说,Innovium的这款使用Teralynx 7交换芯片的32个400G端口盒式交换机与本公众号之前介绍过的32个100G端口盒式交换机在整机形态上较为类似。但由于交换带宽的增大,整机在散热和供电方面都做了一定的提升,使得整机能够更好地满足芯片的带宽性能。
在2021年的今天,32个100GbE端口的交换机已经变得稀松平常,32个400GbE端口的交换机也已经在数据中心领域开始大批量地使用。更高的端口带宽有助于简化网络拓扑,还可以提供更大的数据容量,从而满足数据中心网络演进的需求。另外,随着PCIe Gen5速率在2022年的到来,服务器侧使用PCIe Gen5 x16通道的网卡就能够线速地处理400GbE数据容量。到那时,400G网络产品将成为业界最为主流的产品。