Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch การแก้ไขทางเทคนิค

July 13, 2026

Mellanox (NVIDIA Mellanox) MQM9790-NS2F InfiniBand Switch การแก้ไขทางเทคนิค

Mellanox (NVIDIA Mellanox) MQM9790-NS2F โซลูชันทางเทคนิคของสวิตช์ InfiniBand – การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันแบบ Latency ต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

เอกสารไวท์เปเปอร์ทางเทคนิคนี้นำเสนอสถาปัตยกรรมโซลูชันที่ครอบคลุมโดยมีศูนย์กลางอยู่ที่เมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MQM9790-NS2Fสวิตช์ InfiniBand เอกสารนี้มุ่งเป้าไปที่สถาปนิกเครือข่าย วิศวกรก่อนการขาย และหัวหน้าฝ่ายปฏิบัติการ โดยมีรายละเอียดวิธีการMQM9790-NS2Fมอบเวลาแฝงต่ำเป็นพิเศษตามที่กำหนด, RDMA แบบไม่สูญเสีย และแบนด์วิดท์ที่ปรับขนาดได้สำหรับโครงสร้างพื้นฐาน HPC และ AI รุ่นต่อไป เราครอบคลุมหลักการออกแบบ โทโพโลยีการปรับใช้ แนวปฏิบัติที่ดีที่สุดในการปฏิบัติงาน และการตรวจสอบประสิทธิภาพ

1. การวิเคราะห์ความเป็นมาและความต้องการของโครงการ

ปริมาณงานการฝึกอบรม AI สมัยใหม่และการจำลองทางวิทยาศาสตร์ต้องการแฟบริคเครือข่ายที่สามารถรักษารูปแบบการสื่อสารแบบลดทั้งหมด รวบรวมทั้งหมด และแบบจุดต่อจุดจำนวนมากด้วยความกระวนกระวายใจที่ต่ำกว่าไมโครวินาที โซลูชันที่ใช้อีเทอร์เน็ตแบบเดิม แม้จะใช้กับ RoCEv2 ก็ยังทำให้เกิดความซับซ้อนในการจัดการความแออัด การปรับแต่ง PFC และการควบคุมความหน่วงท้าย ซึ่งมักจะนำไปสู่การใช้งาน GPU ที่ไม่มีประสิทธิภาพและเวลาเสร็จงานที่คาดเดาไม่ได้

ข้อกำหนดหลักที่ระบุในโครงการ HPC/AI ทั่วไป ได้แก่:

  • เวลาแฝงจากต้นทางถึงปลายทาง < 1 μs (สลับพอร์ตไปยังพอร์ต) ภายใต้โหลดเต็ม
  • ผ้าแบบไม่สูญเสียโดยไม่มีแพ็คเก็ตลดลงเนื่องจากความแออัด
  • ความสามารถในการขยายได้ตั้งแต่ 64 ถึงมากกว่า 2,000 โหนด GPU โดยไม่มีการเปลี่ยนแปลงทางสถาปัตยกรรม
  • การดำเนินงานที่ง่ายขึ้นด้วยการตรวจวัดระยะไกลและการกู้คืนข้อผิดพลาดแบบอัตโนมัติ

ที่NVIDIA Mellanox MQM9790-NS2Fตอบสนองความต้องการเหล่านี้โดยตรงโดยการรวมเทคโนโลยี NDR 400 Gb/s การกำหนดเส้นทางแบบปรับได้ และการประมวลผลในเครือข่ายไว้ในแพลตฟอร์ม OSFP 1U, 64 พอร์ต

2. การออกแบบสถาปัตยกรรมเครือข่าย / ระบบโดยรวม

สถาปัตยกรรมที่แนะนำใช้โทโพโลยี leaf-spine (หรือ fat-tree) สองชั้นเพื่อให้แบนด์วิธแบบแบ่งครึ่งเต็มรูปแบบและความยืดหยุ่นสูง แต่ละลีฟบล็อกประกอบด้วยชั้นวางหลายชั้น โดยแต่ละชั้นจะมีชั้นวาง 2 ชั้นMQM9790-NS2F สวิตช์ InfiniBandเพื่อความซ้ำซ้อน เลเยอร์สไปน์จะรวมการรับส่งข้อมูลจากลีฟสวิตช์ทั้งหมด ทำให้มั่นใจได้ว่าการสื่อสารจะไม่มีการปิดกั้นระหว่างจุดปลายทั้งสองจุด

ที่MQM9790-NS2F 400Gb/s NDR 64 พอร์ต OSFPสวิตช์ทำหน้าที่เป็นทั้งลีฟและสไปน์ โดยมีฮาร์ดแวร์ที่เหมือนกันทั่วทั้งแฟบริค ทำให้การประหยัดและการบำรุงรักษาทำได้ง่ายขึ้น สำหรับคลัสเตอร์ 1,024-GPU การออกแบบทั่วไปใช้สวิตช์ leaf 16 ตัว (แต่ละสวิตช์เชื่อมต่อ 64 GPU) และสวิตช์สไปน์ 8 ตัว ซึ่งทั้งหมดเชื่อมต่อถึงกันผ่านสายออปติคอล 400G หรือ DAC Fabric รองรับโทโพโลยีทั้ง fat-tree และ Dragonfly+ โดยมีการกำหนดเส้นทางแบบปรับได้ซึ่งสร้างสมดุลการรับส่งข้อมูลข้ามหลายเส้นทางแบบไดนามิก

3. บทบาทและคุณลักษณะสำคัญของเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MQM9790-NS2Fในโซลูชั่น

ที่NVIDIA Mellanox MQM9790-NS2Fเป็นรากฐานสำคัญของโซลูชันนี้ โดยมี:

  • พอร์ต OSFP 64 พอร์ตแต่ละตัวทำงานที่ 400 Gb/s (NDR) – ความสามารถในการสวิตชิ่งรวม 25.6 Tb/s โดยมีเวลาแฝงในการตัดผ่านต่ำกว่า 600 ns
  • การกำหนดเส้นทางแบบปรับเปลี่ยนได้– เลือกเส้นทางที่มีความแออัดน้อยที่สุดแบบไดนามิกต่อแพ็กเก็ต หลีกเลี่ยงการเชื่อมโยงฮอตสปอตและรักษาเวลาแฝงที่สม่ำเสมอแม้ภายใต้รูปแบบการรับส่งข้อมูลที่ไม่สมมาตร
  • SHARPv3 (การรวมลำดับชั้นและโปรโตคอลการลดขนาดที่ปรับขนาดได้)– ถ่ายการสื่อสารโดยรวม (ลดทั้งหมด ออกอากาศ) จาก CPU ของโฮสต์ ลดการพูดคุยในเครือข่าย และเร่งการฝึกอบรม AI ได้มากถึง 20–30%
  • การประมวลผลในเครือข่าย– รองรับการลดข้อมูล การแบ่งส่วน และแม้แต่การดำเนินการ MPI ขนาดเล็กบนสวิตช์โดยตรง ทำให้มีทรัพยากร GPU อันมีค่าสำหรับการคำนวณเพิ่มขึ้น
  • การวัดและการจัดการความแออัดทางไกล– การตรวจสอบขั้นสูงในตัว รวมถึงตัวนับต่อโฟลว์ ฮิสโตแกรมการเข้าใช้บัฟเฟอร์ และตัวชี้วัดเวลาแฝงระดับเส้นทาง ทั้งหมดนี้ส่งออกได้ผ่าน UFM หรือ REST API

ความสามารถเหล่านี้ทำให้สามารถโซลูชันสวิตช์ InfiniBand MQM9790-NS2Fเพื่อมอบประสิทธิภาพตามที่กำหนดในวงกว้าง โดยได้รับการตรวจสอบโดยเกณฑ์มาตรฐานภายในและการปรับใช้ของลูกค้า ที่ข้อมูลจำเพาะ MQM9790-NS2Fยังรวมถึงการรองรับ DAC ทองแดงแบบพาสซีฟและโมดูลออปติคัลแบบแอคทีฟ ซึ่งให้ความยืดหยุ่นสำหรับระยะทางสูงสุด 100 ม. (พร้อมออปติก 400G SR4) และเกินกว่านั้น

4. คำแนะนำในการปรับใช้และการปรับขนาด (โทโพโลยีทั่วไป)

สำหรับการปรับใช้กรีนฟิลด์ เราขอแนะนำแนวทางแบบเป็นขั้นตอนต่อไปนี้:

  • ระยะที่ 1 – นักบิน:ติดตั้งสวิตช์ลีฟ 2 ตัว (แต่ละสวิตช์MQM9790-NS2F) และสวิตช์สไปน์ 2 ตัว เชื่อมต่อ 128 GPU ตรวจสอบประสิทธิภาพเทียบกับเอกสารข้อมูลสินค้า MQM9790-NS2Fพารามิเตอร์
  • ระยะที่ 2 – การขยายขนาด:เพิ่มสวิตช์ลีฟโดยเพิ่มขั้นละ 2 ต่อแร็ค และสวิตช์สไปน์ตามความจำเป็นเพื่อรักษาการสมัครสมาชิกเกิน ≤ 1:1 ความหนาแน่นของพอร์ต 64 พอร์ตทำให้สวิตช์ตัวเดียวสามารถโฮสต์โหนด GPU 64 ตัวเต็มแร็คได้ (หากแต่ละโหนดมีอัปลิงก์ 400G เดียว)
  • เฟส 3 – หลายระนาบ:สำหรับคลัสเตอร์ที่มีโหนดเกิน 2,000 โหนด ให้ใช้แฟบริคอิสระหลายตัว (เช่น ระนาบ 2× หรือ 4×) พร้อมการปรับสมดุลโหลดตามเส้นทาง โดยใช้ประโยชน์จากการรองรับสวิตช์สำหรับเลนเสมือนและคีย์พาร์ติชัน

การเดินสายเคเบิลทั่วไปใช้ OSFP‑to‑OSFP DAC สำหรับการเชื่อมต่อภายในชั้นวาง (≤3 ม.) และโมดูลออปติคัล OSFP‑to‑400G SR4 สำหรับระยะห่างของกระดูกสันหลังสูงสุด 100 ม. ที่รองรับ MQM9790-NS2Fตัวรับส่งสัญญาณได้รับการตรวจสอบกับระบบนิเวศของผู้จำหน่ายออปติคัลของ NVIDIA เพื่อให้มั่นใจถึงการทำงานร่วมกันได้อย่างราบรื่น

5. การดำเนินงาน การตรวจสอบ การวินิจฉัยข้อผิดพลาด และการเพิ่มประสิทธิภาพ

การดำเนินงานที่มีประสิทธิผลมีความสำคัญอย่างยิ่งต่อการรักษาเวลาแฝงในการผลิตให้ต่ำ โซลูชั่นบูรณาการกับNVIDIA UFM (ตัวจัดการแฟบริคแบบรวม)ซึ่งมี:

  • แดชบอร์ดแบบเรียลไทม์– แบนด์วิธต่อพอร์ต ตัวนับข้อผิดพลาด และแผนที่ความหนาแน่นของความแออัด
  • การเพิ่มประสิทธิภาพเส้นทางอัตโนมัติอีกครั้ง– เมื่อลิงก์เสียหรือล้มเหลว UFM จะคำนวณเส้นทางใหม่และกำหนดค่าตารางเส้นทางแบบปรับได้ใหม่โดยไม่มีการแทรกแซงของผู้ปฏิบัติงาน
  • การวัดทางไกลทางประวัติศาสตร์– จัดเก็บข้อมูลเวลาแฝงและการไหลสำหรับการวิเคราะห์หลังชันสูตรและการวางแผนกำลังการผลิต

ขั้นตอนการแก้ไขปัญหาที่แนะนำ:

  1. ตรวจสอบเฟรมการหยุดชั่วคราวและการละทิ้งต่อพอร์ต - คาดว่าจะมีการละทิ้งเป็นศูนย์ การละทิ้งใดๆ บ่งชี้ถึงการกำหนดค่าที่ไม่ถูกต้องหรือออพติคที่ผิดพลาด
  2. ตรวจสอบการทำงานของ SHARPv3 ผ่านสถิติรวมของ UFM - รับรองว่าการดำเนินการลดจะถูกถ่ายโอนออกไป
  3. ใช้เครื่องมือวินิจฉัยในตัว (เช่นอิบเดียเน็ต,อิบสเตตัส) เพื่อตรวจสอบความสมบูรณ์ของลิงก์และความสมบูรณ์ของสัญญาณ

สำหรับการเพิ่มประสิทธิภาพ ให้ปรับเกณฑ์อัลกอริทึมการกำหนดเส้นทางแบบปรับเปลี่ยนได้ (เช่น ช่วงเวลาการตรวจจับโหลด) ตามรูปแบบภาระงาน –MQM9790-NS2F สวิตช์ InfiniBandช่วยให้ปรับแต่งได้อย่างละเอียดผ่านอินเทอร์เฟซการจัดการ การอัพเดตเฟิร์มแวร์เป็นประจำ (มีให้ผ่านพอร์ทัลสนับสนุนของ NVIDIA) รวมถึงการปรับปรุงประสิทธิภาพและแพตช์ความปลอดภัย

6. สรุปและการประเมินมูลค่า

ที่เมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MQM9790-NS2Fนำเสนอรากฐานประสิทธิภาพสูงที่รองรับอนาคตสำหรับคลัสเตอร์ RDMA/HPC/AI ด้วยการรวมความเร็ว NDR 400 Gb/s, ความหนาแน่น 64 พอร์ต และการประมวลผลในเครือข่ายอัจฉริยะ จะช่วยขจัดปัญหาคอขวดแบบเดิมๆ และมอบความสามารถในการขยายเชิงเส้นจนถึงคลาส Exascale โซลูชันนี้ช่วยลดต้นทุนรวมในการเป็นเจ้าของด้วยพลังงานต่อพอร์ตที่ลดลง (ประมาณ 1.5 วัตต์) การเดินสายที่ง่ายขึ้น และลดโอเวอร์เฮดของ CPU จากการออฟโหลดของ SHARP

สำหรับองค์กรที่ทำการประเมินราคา MQM9790-NS2Fการลงทุนนี้พิสูจน์ได้จากการเพิ่มขึ้นที่วัดได้ในการใช้ GPU (มักจะเกิน 90% ในการผลิต) และการลดเวลาทำงานให้เสร็จสิ้นลงได้มากถึง 40% เมื่อเทียบกับแฟบริค RoCEv2 ที่เอกสารข้อมูลสินค้า MQM9790-NS2Fและข้อมูลจำเพาะ MQM9790-NS2Fให้รายละเอียดครบถ้วนและมีหน่วยพร้อม (ขาย MQM9790-NS2Fผ่านช่องทางที่ได้รับอนุญาต) นอกจากนี้ ความเข้ากันได้ของสวิตช์กับอะแดปเตอร์ NVIDIA ที่มีอยู่ทำให้มั่นใจได้ว่าเส้นทางการย้ายข้อมูลจะราบรื่นสำหรับผู้ใช้ที่ลงทุนในระบบนิเวศของ Mellanox แล้ว

โดยสรุป โซลูชันทางเทคนิคนี้อิงจากMQM9790-NS2F สวิตช์ InfiniBandมอบแฟบริคที่แข็งแกร่งและมีประสิทธิภาพในการดำเนินงาน ซึ่งตรงตามข้อกำหนดการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำซึ่งเป็นที่ต้องการมากที่สุด ซึ่งเป็นรากฐานที่สำคัญสำหรับซูเปอร์คอมพิวเตอร์ AI รุ่นต่อไป