Broadcom BCM57508 NetXtreme

Jan 30, 2024

Parfois, vous voulez juste aller vite. Le Broadcom BCM57508 NetXtreme-E est un adaptateur 200GbE OCP NIC 3.0. On nous a dit qu'il s'agissait d'un adaptateur 100GbE, mais nous avons découvert plus tard qu'il s'agissait en fait d'une version 200GbE, nous avons donc pensé que cela valait la peine de le montrer à nos lecteurs.

Voici la carte réseau Broadcom BCM57508 NetXtreme-E. L'une des plus grandes tendances dans les serveurs est l'utilisation du facteur de forme OCP NIC 3.0 dans les serveurs. Il y a des années, nous avions un facteur de forme mezzanine différent pour presque tous les fournisseurs de serveurs. Maintenant, nous avons le facteur de forme OCP NIC 3.0 qui est utilisé non seulement par les hyper-scalers, mais aussi par les fournisseurs de serveurs traditionnels.

À l'arrière de la carte, nous avons deux ports QSFP56. Ceux-ci permettent une communication plus rapide que les ports 100GbE QSFP28 que nous avons vus.

La Broadcom BCM57508 est l'une des cartes PCIe Gen4 x16 de la société. Pour les connexions doubles 200GbE, il faudrait PCIe Gen5 x16 pour disposer de la bande passante hôte pour piloter deux ports 200Gbps.

Voici un aperçu rapide du radiateur. Ces cartes et les versions PCIe voient une consommation électrique typique inférieure à 20W. L'un des plus grands défis pour les DPU dans ces facteurs de forme est la consommation d'énergie et le refroidissement des cartes OCP NIC 3.0 qui ont un TDP plus élevé.

Voici une vue latérale de la carte.

Voici l'autre côté.

Sur ce, regardons à quoi ressemble la carte réseau installée.

Bien qu'on nous ait dit lors de l'examen du Supermicro SYS-221H-TNR qu'il s'agissait d'un adaptateur 100GbE, voici ce que nous avons vu lors de son installation dans Ubuntu :

En vérifiant ethtool, nous avons vu 200000baseCR4/Full ou 200Gbps full duplex.

Nous avons un adaptateur compatible 200GbE que nous pourrions tester.

L'un des défis est que même si nous avons une tonne d'équipements 100GbE, et nous aurons beaucoup d'équipements 400GbE, du côté 200GbE, nous avons moins d'infrastructure. Nous avions le commutateur QSFP28-DD dans le Dell EMC S5248F-ON, mais ce n'était pas le QSFP56.

Nous avons fini par obtenir des optiques à chaque extrémité et avons finalement pu lier le commutateur à la carte réseau, mais nous avons dû utiliser plusieurs nœuds de test 100GbE pour les sessions iperf3. Avec la couverture 400GbE au cours des prochaines semaines, nous allons en savoir plus sur la complexité de certains câbles et connecteurs. Nous avons dépensé quelque chose comme 1 000 $ pour trouver des DAC "peu coûteux" pour connecter quatre nœuds à un commutateur avec ce projet

Pourtant, voici ce que nous avons vu en essayant de faire un lien 1x 200GbE :

Nous avons certainement obtenu des vitesses bien supérieures à 100 GbE, mais nous étions également notablement éloignés de 200 Gbps. À ces vitesses, nous devons effectuer beaucoup plus de réglages de carte réseau pour obtenir ce niveau de performances. Pour nos résultats 400GbE bientôt, nous avons dû faire beaucoup plus que ce que nous faisons ici, alors veuillez lire ceci car nous avons vérifié qu'il est lié et transfère des vitesses supérieures à 100GbE, mais il n'est pas optimisé.

Voici ce que nous avons obtenu en essayant deux clients 100GbE via le passage à la carte réseau.

C'est probablement plus proche de ce à quoi nous nous attendions.

Une note rapide ici est que nous devons exécuter quelque chose comme DPDK ou similaire qui n'a pas été configuré. L'utilisation du processeur à des vitesses de 200 Gbit/s est un défi.

Sur le plan de l'alimentation, une version PCIe de cette carte devrait être évaluée à 16-20 W typique avec les DAC, et plus avec l'optique.

Nous avons tendance à utiliser principalement les cartes NVIDIA (Mellanox) ConnectX-5/ConnectX-6 (et les DPU BlueField-2) en laboratoire, ainsi que la série Intel E800. Néanmoins, Broadcom détient une solide part de marché des NIC, nous devrions donc les couvrir davantage que nous ne le faisons.

Il s'agit soit d'un double adaptateur 100GbE, soit d'un seul adaptateur 200GbE. Le PCIe Gen4 x16 nous limite à ne pas obtenir de doubles vitesses de 200 GbE vers un hôte via la carte réseau.

Ces adaptateurs prennent en charge RDMA et d'autres fonctionnalités, mais comme il y a tellement de fonctionnalités que nos lecteurs recherchent, nous allons suggérer aux gens de les rechercher s'ils sont intéressés par les cartes.

Espérons que les gens aiment voir ces types de cartes au fur et à mesure que nous les rencontrons.