NVIDIA Mellanox MQM8790-HS2F การแก้ไขทางเทคนิค: การปรับปรุงการเชื่อมต่อระยะยาวต่ําสําหรับ RDMA / HPC / AI Clusters

April 10, 2026

NVIDIA Mellanox MQM8790-HS2F การแก้ไขทางเทคนิค: การปรับปรุงการเชื่อมต่อระยะยาวต่ําสําหรับ RDMA / HPC / AI Clusters

การแก้ไขทางเทคนิคนี้ถูกออกแบบให้กับสถาปนิกเครือข่าย, วิศวกรก่อนการขาย, และผู้นําการดําเนินงานและใช้งานผ้า InfiniBand ที่มีประสิทธิภาพสูงNVIDIA Mellanox MQM8790-HS2F, เป้าหมายกลุ่มฝึกอบรม HPC และ AI ที่ใช้ RDMA มาก

1. สถานการณ์และการวิเคราะห์ความต้องการ

การฝึกอบรม AI และคอมพิวเตอร์ทางวิทยาศาสตร์ที่ทันสมัยกําลังเผชิญหน้ากับการเชื่อมต่อระหว่างเครือข่ายเป็นข้อขัดขวางการทํางานหลักความช้าของหาง, และความสามารถในการลดความจืดของ CPU, ไม่สามารถตอบสนองความต้องการของรูปแบบการสื่อสารการฝึกอบรมที่กระจาย เช่น All-Reduce และ All-to-All. ความต้องการหลักประกอบด้วย:อัตราการอ่อนที่ระยะยาวไม่เกิน 1 ไมโครวินาที,การขนส่งโดยไม่เสียค่าเสียหาย,การสนับสนุน GPU Direct RDMAและความสามารถในการขยายขนาดแบบเส้นตรงเป็นพันๆ node. อาร์คิทอเรกชั่นสวิตชิ่ง InfiniBand ที่มุ่งเน้นนั้นจําเป็นที่จะแก้ปัญหาประสิทธิภาพการเชื่อมต่อเหล่านี้

2. การออกแบบระบบระบบ/เครือข่ายทั่วไป

การแก้ไขนี้แนะนํา topology Fat-Tree สองชั้นเพื่อบรรลุความกว้างแบนด์เบนด์ที่ไม่กักขัด และเต็ม bisectional ทั้งชั้นใบและชั้นกระดูกสันหลังMQM8790-HS2F สวิตช์ InfiniBand, ซึ่งให้บริการ 40 ท่าทางของ 200Gb / s HDR QSFP56. โดยใช้คลาสเตอร์ 512 หน่วยเป็นตัวอย่าง, การออกแบบคือดังนี้:

  • ชั้นใบ: แต่ละ MQM8790-HS2F เชื่อมต่อ 20 คอมพิวเตอร์โน๊ด (dual-uplink) และ 8 uplink กับชั้นสันหลัง
  • ชั้นกระดูกสันหลัง: 8 สวิทช์ MQM8790-HS2F สร้างระดับกระดูกสันหลัง โดยมีการเชื่อมต่อแบบเต็ม Mesh ระหว่างใบและกระดูกสันหลัง
  • เครือข่ายเก็บและบริหาร: สับเน็ต InfiniBand หรือ Ethernet นอกแบนด์ที่แยกแยก เพื่อหลีกเลี่ยงการขัดแย้งกับการจราจรคอมพิวเตอร์

สถาปัตยกรรมนี้รับประกันความกว้างแบนด์ 200Gb / s ระหว่างสองโน้ดใด ๆ โดยมีเส้นทางที่เหลือใช้หลายเส้นทางที่รับประกันว่าจุดหนึ่งของความล้มเหลวจะไม่ส่งผลกระทบต่อการเชื่อมต่อโลกความหนาแน่นสูงของท่าเรือMQM8790-HS2F 200Gb/s HDR 40 ท่า QSFP56ลดจํานวนสวิทช์ที่จําเป็น 50% เมื่อเทียบกับโซลูชั่น EDR รุ่นก่อน ๆ โดยยังลดความซับซ้อนของผ้าด้วย

3. บทบาทและลักษณะสําคัญของ NVIDIA Mellanox MQM8790-HS2F

รายการNVIDIA Mellanox MQM8790-HS2Fทําหน้าที่เป็นหน่วยสลับหลักในทางแก้ไขนี้ โดยปฏิบัติหน้าที่สําคัญต่อไปนี้:

  • เครื่องเปลี่ยนอัตราการเสีย: การควบคุมการไหลของชั้นเชื่อม InfiniBand ทําให้การสูญเสียแพ็คเก็ตหายไป โดยให้ประสิทธิภาพในการขนส่ง RDMA
  • การปรับเปลี่ยนเส้นทาง: ทําให้การจราจรสมดุลได้อย่างไดนามิก ระหว่างหลายเส้นทาง หลีกเลี่ยงจุดร้อนของการจราจร และปรับปรุงการจราจรได้อย่างมีประสิทธิภาพ
  • SHARPv3 ในเครือข่ายคอมพิวเตอร์: ติดต่อการลดการทํางานต่อสวิตช์, เร่ง All-Leduce โดย 2 ٪ 3 *
  • ความหนาแน่นสูงและพลังงานต่ํา: 40 ท่าทางที่ 200Gb / s กับการบริโภคพลังงานต่อท่าทางชั้นนําในอุตสาหกรรม, ลด TCO

ตามใบข้อมูล MQM8790-HS2Fและรายละเอียด MQM8790-HS2F, เครื่องสวิทช์มีกําลังสวิทช์รวม 16Tb / s, ความช้า Port-to-Port ต่ํากว่า 130 ns, และรองรับปัสดุพลังงานที่เปลี่ยนได้ร้อนและแฟนสําหรับสภาพแวดล้อมการผลิต 24/7.อุปกรณ์เข้ากันได้อย่างเต็มที่กับ NVIDIA ConnectX-6/7 HDR adapters และสายไฟฟ้า HDR optical/copper cables จํานวนมาก, ยืนยันถึงระยะเวลาของสอดคล้องกับ MQM8790-HS2Fระบบนิคม

4. แนะนําการจัดจําหน่ายและการปรับขนาด (มีทอปโลยีทั่วไป)

ติดตามขั้นตอนต่อไปนี้เมื่อนําคําตอบไปใช้:

  • การบริหารย่อยเครือ: ใช้ Active-standby Subnet Managers (SM) แพลตฟอร์ม NVIDIA UFM แนะนําสําหรับการบริหารจัดการและการวัดทางไกล
  • พาร์ติชั่นและระดับการบริการ: ใช้คีย์พาร์ติชั่น (P_Key) เพื่อแยกตัวเช่าหรือภาระงาน; ปรับปรุงการ mapping SL2VL เพื่อให้ความสําคัญกับการจราจรการฝึกอบรม AI
  • การเลือกสาย: ใช้สายทองแดงแบบเปียกสําหรับระยะทางสั้น (≤3m) และสายไฟฟ้าออฟติก หรือเครื่องรับสัญญาณแบบแอคทีฟสําหรับระยะทางที่ยาวกว่า เพื่อรักษาความสมบูรณ์ของสัญญาณ

สําหรับคลาสเตอร์ขนาดใหญ่กว่า 2,000 หน่วย สามารถนํามาใช้โตปโลจี Fat-Tree หรือ Dragonfly+ สามระดับ โดยชั้นหลักยังคงใช้MQM8790-HS2Fเมื่อจัดซื้อหน่วยเพิ่มเติมราคา MQM8790-HS2Fและมีให้บริการผ่านผู้จําหน่ายที่ได้รับอนุญาตMQM8790-HS2F สําหรับขายรายการโดยทั่วไปรวม firmware ล่าสุดและการรับประกันMQM8790-HS2F โซลูชั่นสวิตช์ InfiniBandจากการวิจัยด้าน AI ของกระทรวงไปยังศูนย์คอมพิวเตอร์ขนาดใหญ่

5การดําเนินงาน ติดตาม ตรวจสอบปัญหา และปรับปรุง

การทํางานอย่างมีประสิทธิภาพของ InfiniBand fabric ต้องการการติดตามอย่างระมัดระวัง และการแก้ไขปัญหาอย่างมีวินัย

  • การติดตาม: การใช้ibnetdiscoverสําหรับการตรวจสอบโทปโลจีสินค้า:สําหรับคอนเตอร์ท่าเรือ และ UFM telemetry สําหรับการมองเห็นความจุกจุกในเวลาจริง
  • ประเด็นร่วมและการแก้ไข:
    • สายเชื่อม: ตรวจสอบที่นั่งสายไฟฟ้าและดําเนินการทดสอบการวินิจฉัยสายไฟฟ้า; เปลี่ยนเครื่องมองเห็นที่บกพร่อง
    • failover ผู้จัดการซับเน็ต: รับรองว่าความสําคัญของ SM ได้ตั้งค่าถูกต้อง และว่า SM ระดับสองมีฐานข้อมูลที่ถูกต้อง
    • การจัดเส้นทางปรับปรุงที่ไม่เท่าเทียมกัน: ปรับปรุงพารามิเตอร์อัลการิทึมการเดินเส้นทาง (เช่นrouting_engine=ftree) และสามารถกระจายภาระได้
  • คําแนะนําในการปรับปรุง: ทําให้การรวม SHARP สําหรับการดําเนินงานร่วมกัน; ปรับ MTU เป็น 4096 ไบท์สําหรับการโอนข้อความขนาดใหญ่; ใช้คุณภาพการบริการเพื่อแยกการควบคุม, ข้อมูล, และการจัดการการจราจร

การปรับปรุงฟอร์มแวร์เป็นประจําผ่านทางพอร์ตัลการสนับสนุนของ NVIDIA รับรองการปรับปรุงความปลอดภัยและการปรับปรุงผลงานใบข้อมูล MQM8790-HS2Fสําหรับเส้นฐานการทํางานรายละเอียด และค่าคอนเตอร์ที่คาดหวังในสภาพสุขภาพ

6. สรุปและการประเมินค่า

รายการNVIDIA Mellanox MQM8790-HS2Fนําเสนอแพลตฟอร์มสวิตชิ่ง InfiniBand ที่มีความมั่นคงในอนาคต ซึ่งตอบโจทย์หลักของ RDMA / HPC / AI cluster interconnect: ความช้า, ความสูญเสีย, CPU overhead และความสามารถในการปรับขนาดโดยการนําสถาปัตยกรรม Fat-Tree สองชั้นที่อธิบายไว้ข้างต้น, องค์กรสามารถบรรลุการปรับขนาดการทํางานแบบเส้นตรง, เวลาในการเสร็จสิ้นงานที่คาดเดาได้, และลด TCO ได้อย่างสําคัญเมื่อเทียบกับคําตอบ Ethernet ที่ผ่านมาสวิตช์ ผสมผสานความเร็ว HDR 200Gb/sความหนาแน่น 40 ท่าทาง และความสามารถในการคํานวณในเครือข่ายทําให้มันเป็นตัวเลือกที่เหมาะสมสําหรับการจัดจําหน่ายในสนามใหม่หรือการปรับปรุงอย่างช้าช้าจากผ้า EDR / HDRสําหรับทีมสถาปัตยกรรมประเมินคลาสเตอร์รุ่นต่อไป, การMQM8790-HS2F โซลูชั่นสวิตช์ InfiniBandมีการพิสูจน์ออกแบบมาตรฐานพร้อมการผลิต