Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 InfiniBand Switch ในกิจกรรม
July 13, 2026
Mellanox (NVIDIA Mellanox) 920-9B110-00FH-0D0 สวิตช์ InfiniBand ในการทำงาน – การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันแบบ Latency ต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI
ศูนย์ซูเปอร์คอมพิวเตอร์ระดับภูมิภาคแห่งหนึ่งได้ทำการอัปเกรดโครงสร้างพื้นฐานการประมวลผล AI ครั้งใหญ่ โดยขยายจาก NVIDIA A100 GPU 64 ตัวเป็น 256 ตัว เพื่อรองรับการฝึกอบรมโมเดลภาษาขนาดใหญ่และปริมาณงานการจัดลำดับจีโนม อย่างไรก็ตาม เครือข่าย 100GbE RoCEv2 ที่มีอยู่กลับกลายเป็นปัญหาคอขวดอย่างต่อเนื่อง โดยเกิดพายุ PFC บ่อยครั้ง เวลาแฝงที่คาดเดาไม่ได้ และการปรับแต่ง ECN ที่ซับซ้อนต้องใช้ความพยายามทางวิศวกรรมอย่างมากและขยายเวลาการทำงานให้เสร็จสิ้นได้มากกว่า 40% กรณีศึกษานี้จะตรวจสอบว่าศูนย์ปรับใช้ระบบอย่างไรเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) 920-9B110-00FH-0D0สวิตช์ InfiniBand เพื่อแปลงโครงสร้าง โดยมอบการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำตามที่กำหนดสำหรับแอปพลิเคชันที่ใช้ RDMA‑intensive
ความเป็นมาและความท้าทาย – เพดานอีเทอร์เน็ต
สถาปัตยกรรมเริ่มต้นของศูนย์ใช้สวิตช์ลีฟ 100GbE สองตัวพร้อม RoCEv2 ซึ่งเชื่อมต่อเซิร์ฟเวอร์ GPU และระบบไฟล์แบบขนาน เมื่องานการฝึกอบรมขยายตัว เครือข่ายแสดงปัญหาสำคัญสามประการ: ประการแรก การหยุดชะงักของ PFC (Priority Flow Control) เกิดขึ้นทุกวัน บังคับให้รีเซ็ตด้วยตนเอง; ประการที่สอง ลดการทำงานโดยรวมทั้งหมดซึ่งประสบกับความล่าช้าด้านท้ายเกิน 200 μs ซึ่งทำให้การใช้งาน GPU ช้าลงโดยตรง ประการที่สาม การแก้ไขปัญหาจำเป็นต้องมีการตรวจสอบแพ็คเก็ตเชิงลึก ซึ่งใช้เวลานานและหาข้อสรุปได้ยาก ทีมปฏิบัติการตระหนักว่าอีเธอร์เน็ต แม้จะมีส่วนขยาย RDMA ก็ไม่สามารถมอบแฟบริคที่กำหนดแบบไม่สูญเสียซึ่งจำเป็นสำหรับปริมาณงาน AI ยุคถัดไปได้
โซลูชันและการปรับใช้ – The920-9B110-00FH-0D0 สวิตช์ InfiniBand OPNในฐานะกระดูกสันหลังใหม่
หลังจากประเมินหลายตัวเลือกแล้ว ศูนย์ก็เลือกNVIDIA เมลลาน็อกซ์ 920-9B110-00FH-0D0สวิตช์ขึ้นอยู่กับ920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDRแพลตฟอร์ม. การปรับใช้ใช้โทโพโลยี fat-tree สองชั้น: สี่ระดับ920-9B110-00FH-0D0สลับเป็นใบไม้ (แต่ละโหนดเชื่อมต่อ GPU 64 โหนดผ่านลิงก์ 200G) และอีกสองยูนิตเป็นสไปน์ ซึ่งให้แบนด์วิธแบบแบ่งครึ่งเต็ม สวิตช์ถูกจับคู่กับอะแดปเตอร์ ConnectX-6 HDR ที่มีอยู่ โดยใช้ประโยชน์จากเข้ากันได้ 920-9B110-00FH-0D0ระบบนิเวศเพื่อให้แน่ใจว่าบูรณาการได้อย่างราบรื่น การตัดสินใจใช้งานที่สำคัญได้แก่:
- การเดินสาย:โมดูลออปติคัล 200G HDR สำหรับระยะห่างระหว่างกระดูกสันหลังถึง 100 เมตร พร้อมด้วย DAC แบบพาสซีฟสำหรับการเชื่อมต่อภายในชั้นวาง
- การจัดการ:NVIDIA UFM (Unified Fabric Manager) สำหรับการค้นพบโทโพโลยีอัตโนมัติ นโยบายการกำหนดเส้นทางแบบปรับเปลี่ยนได้ และการวัดและส่งข้อมูลทางไกลแบบเรียลไทม์
- ออฟโหลดโดยรวม:เปิดใช้งาน SHARPv2 เพื่อเร่งการดำเนินการลดทั้งหมด ลดภาระงานจาก CPU ของโฮสต์ และลดการพูดคุยในเครือข่าย
ทีมงานได้อ้างอิงถึงเอกสารข้อมูลสินค้า 920-9B110-00FH-0D0และข้อมูลจำเพาะ 920-9B110-00FH-0D0เพื่อตรวจสอบข้อกำหนดด้านพลังงานและการทำความเย็น - ฟอร์มแฟคเตอร์ 1U ของสวิตช์และความหนาแน่น 200G ต่อพอร์ตเข้ากันได้อย่างลงตัวกับชั้นวางที่มีอยู่โดยไม่ต้องเปลี่ยนแปลงโครงสร้างพื้นฐานเพิ่มเติม ที่โซลูชัน OPN สวิตช์ InfiniBand 920-9B110-00FH-0D0นอกจากนี้ การจัดซื้อยังทำให้ง่ายขึ้นด้วย OPN (หมายเลขชิ้นส่วนในการสั่งซื้อ) ที่แน่นอน ช่วยให้มั่นใจว่ามีการกำหนดค่าที่ถูกต้อง
ผลลัพธ์และผลประโยชน์ที่วัดได้ – ประสิทธิภาพที่เพิ่มขึ้นเชิงปริมาณ
หลังจากการปรับใช้และการตรวจสอบเป็นเวลาสองสัปดาห์ ศูนย์ได้บันทึกการปรับปรุงที่สำคัญในตัวบ่งชี้ประสิทธิภาพหลัก ตารางต่อไปนี้สรุปตัววัดก่อนและหลังสำหรับงานฝึกอบรม 256-GPU ที่เป็นตัวแทน (การฝึกอบรมล่วงหน้าขนาดใหญ่ของ BERT):
| เมตริก | ก่อน (RoCEv2) | หลัง (920-9B110-00FH-0D0) |
|---|---|---|
| ลดเวลาแฝงทั้งหมด (เฉลี่ย) | ~24 ไมโครวินาที | ~9 ไมโครวินาที |
| เวลาแฝงส่วนท้าย (เปอร์เซ็นไทล์ที่ 99.9) | > 250 ไมโครวินาที | ~18 ไมโครวินาที |
| การใช้ GPU อย่างมีประสิทธิภาพ | ~68% | ~89% |
| เวลาเสร็จงาน (เฉลี่ย) | พื้นฐาน | −36% (เร็วขึ้น 1.56×) |
| เหตุการณ์ที่เกี่ยวข้องกับเครือข่าย (รายสัปดาห์) | 8–12 | 0 |
นอกเหนือจากตัวเลขแล้ว ทางทีมงานรายงานว่าNVIDIA เมลลาน็อกซ์ 920-9B110-00FH-0D0ส่งมอบแฟบริคแบบหยดแบบแพ็คเก็ตเป็นศูนย์ ซึ่งขจัดการแทรกแซงแบบแมนนวลที่จำเป็นสำหรับการกู้คืน PFC ก่อนหน้านี้โดยสิ้นเชิง การวัดและส่งข้อมูลทางไกลในตัวที่จัดทำโดย920-9B110-00FH-0D0 สวิตช์ InfiniBand OPNช่วยให้เจ้าหน้าที่ฝ่ายปฏิบัติการมองเห็นได้ละเอียดเกี่ยวกับความแออัดต่อโฟลว์และการใช้เส้นทาง ทำให้สามารถวางแผนกำลังการผลิตเชิงรุกได้ นอกจากนี้ราคา 920-9B110-00FH-0D0ได้รับการพิสูจน์แล้วว่าคุ้มค่าเมื่อเปรียบเทียบกับการอัพเกรดเป็นสวิตช์ NDR 400G ทำให้เหมาะอย่างยิ่งสำหรับงบประมาณระดับกลางของศูนย์
สรุปและแนวโน้ม – เส้นทางที่ได้รับการพิสูจน์แล้วสู่การเชื่อมต่อระหว่างกันที่มีเวลาแฝงต่ำ
ประสบการณ์ของศูนย์ซูเปอร์คอมพิวเตอร์แสดงให้เห็นว่าเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) 920-9B110-00FH-0D0นำเสนอทางเลือกที่ใช้งานได้จริงและมีประสิทธิภาพสูงสำหรับทั้งแฟบริคอีเทอร์เน็ตที่ประสบปัญหาและโซลูชันระดับไฮเอนด์ที่มีราคาแพง ด้วยการมอบทรูพุต HDR ที่ 200 Gb/s เวลาแฝงเฉลี่ยต่ำกว่า 10 μs และการขนส่ง RDMA แบบไม่สูญเสีย สวิตช์นี้ช่วยให้องค์กรปลดล็อกศักยภาพสูงสุดในการลงทุน GPU ของตน โดยเร่งเวลาในการทำความเข้าใจสำหรับปริมาณงาน AI และ HPC
เมื่อมองไปข้างหน้า ทางศูนย์วางแผนที่จะขยายโครงสร้างเป็น 512 GPU โดยใช้แบบเดียวกันโซลูชัน OPN สวิตช์ InfiniBand 920-9B110-00FH-0D0ปรับขนาดโดยการเพิ่มสวิตช์ลีฟเพิ่มเติมในขณะที่ยังคงรักษาโครงสร้างพื้นฐานของกระดูกสันหลังที่มีอยู่ ความเข้ากันได้ของสวิตช์กับอะแดปเตอร์ NVIDIA ในอนาคต (รวมถึง ConnectX‑7) ช่วยให้มั่นใจได้ถึงเส้นทางการอัพเกรดที่ราบรื่น สำหรับองค์กรที่ประเมินการอัพเกรดที่คล้ายกันข้อมูลจำเพาะ 920-9B110-00FH-0D0และเอกสารข้อมูลสินค้า 920-9B110-00FH-0D0จัดเตรียมพารามิเตอร์การออกแบบที่จำเป็นทั้งหมด และมีหน่วยพร้อมใช้งาน (ขาย 920-9B110-00FH-0D0ผ่านช่องทางที่ได้รับอนุญาต)
การใช้งานจริงนี้ช่วยยืนยันว่า920-9B110-00FH-0D0เป็นมากกว่าผลิตภัณฑ์ โดยเป็นตัวเปิดใช้งานที่ได้รับการพิสูจน์แล้วสำหรับเครือข่ายคลัสเตอร์ประสิทธิภาพสูงที่มีความหน่วงต่ำ และพร้อมที่จะตอบสนองความต้องการของ AI และการประมวลผลทางวิทยาศาสตร์ในทศวรรษหน้า