NVIDIA Mellanox MQM8790-HS2F อินฟินินแบนด์ สวิตช์ เทคนิคอ้างอิง

เอกสารไวท์เปเปอร์ทางเทคนิคนี้มีไว้สำหรับสถาปนิกเครือข่าย วิศวกรก่อนการขาย และหัวหน้าฝ่ายปฏิบัติการ มีศูนย์กลางอยู่ที่NVIDIA Mellanox MQM8790-HS2Fสวิตช์ InfiniBand ให้การอ้างอิงโดยละเอียดสำหรับการออกแบบ ปรับใช้ และใช้งานแฟบริคประสิทธิภาพสูงที่รองรับการฝึกอบรม AI ขนาดใหญ่และการจำลอง HPC โดยมุ่งเน้นไปที่การเร่งความเร็ว RDMA และการสื่อสารที่มีความหน่วงต่ำตามที่กำหนด

ปริมาณงาน AI และ HPC สมัยใหม่กำลังขับเคลื่อนคลัสเตอร์ GPU ไปยังโหนดนับหมื่น อีเธอร์เน็ตแฟบริคแบบดั้งเดิม แม้จะใช้กับ RoCE ก็ยังแสดงประสิทธิภาพที่ไม่สอดคล้องกันภายใต้รูปแบบ incast และประสบปัญหาโอเวอร์เฮดของ CPU ที่สูงขึ้น ข้อกำหนดหลักสำหรับการเชื่อมต่อระหว่างคลัสเตอร์รุ่นถัดไป ได้แก่:

• เวลาแฝงแบบจุดต่อจุดต่ำกว่าไมโครวินาทีสำหรับการดำเนินการรวมแบบซิงโครไนซ์
• การขนส่งที่ปราศจากการสูญเสียและแออัดเพื่อป้องกันการพลัดพรากจากระยะหมดเวลา
• ออฟโหลดการประมวลผลการสื่อสารจากแกน CPU/GPU เต็มรูปแบบ
• โทโพโลยี fat-tree หรือ dragonfly+ ที่ปรับขนาดได้พร้อมแบนด์วิดท์ที่ไม่ปิดกั้น
• เส้นทางการโยกย้ายที่คุ้มค่าจากออปติก 100G/200G ที่มีอยู่

เพื่อตอบสนองความต้องการเหล่านี้MQM8790-HS2F สวิตช์ InfiniBandให้ 200Gb/s HDR ต่อพอร์ต, 40 พอร์ต QSFP56 ต่อยูนิต และรองรับ RDMA และการประมวลผลในเครือข่ายแบบเนทีฟ โซลูชันนี้สร้างขึ้นตามวัตถุประสงค์โดยเฉพาะสำหรับสภาพแวดล้อมที่ประสิทธิภาพการเชื่อมต่อระหว่างกันแปลเป็นเวลาที่งานเสร็จและ TCO โดยตรง

โทโพโลยีทางกายภาพที่แนะนำสำหรับคลัสเตอร์ AI/HPC ที่ใช้NVIDIA Mellanox MQM8790-HS2Fเป็นไม้อ้วน 2 ชั้นหรือ 3 ชั้น (เรียกอีกอย่างว่าสันใบ) สวิตช์ลีฟแต่ละตัวเชื่อมต่อกับเซิร์ฟเวอร์ GPU ผ่านลิงก์ HDR หรือ HDR100 ในขณะที่สวิตช์สไปน์ให้การเชื่อมต่อแบบตาข่ายเต็มรูปแบบระหว่างลีฟ การกำหนดค่า 800‑GPU โดยทั่วไปใช้:

• สวิตช์ใบไม้ 20 อัน: อันละMQM8790-HS2F 200Gb/s HDR 40 พอร์ต QSFP56ให้บริการเซิร์ฟเวอร์สูงสุด 20 เครื่อง (การเชื่อมต่อแบบรางคู่)
• สวิตช์สไปน์ 4 ตัว: เชื่อมต่อกันอย่างสมบูรณ์กับใบไม้โดยใช้อัปลิงก์ 200Gb/s
• อัตราส่วนการไม่ปิดกั้น 1:1 ในแต่ละชั้น

สำหรับคลัสเตอร์ขนาดใหญ่ (2,000+ GPU) สถาปัตยกรรมสามชั้นจะเพิ่มเลเยอร์ซูเปอร์สไปน์ การจัดการแฟบริคทั้งหมดได้รับการจัดการโดย Subnet Manager (SM) ไม่ว่าจะทำงานบนคอนโทรลเลอร์เฉพาะหรือฝังอยู่ในเฟิร์มแวร์สวิตช์สำหรับแฟบริคขนาดเล็ก

ภายในสถาปัตยกรรมแห่งนี้MQM8790-HS2Fทำหน้าที่เป็นทั้งองค์ประกอบใบและกระดูกสันหลัง ตัวสร้างความแตกต่างหลัก ได้แก่:

• 200Gb/s HDR ต่อพอร์ต:ทรูพุตแบบสองทิศทางเต็มรูปแบบพร้อมความสามารถในการสลับแบบไม่บล็อกรวม 16Tb/s
• การกำหนดเส้นทางแบบปรับเปลี่ยนได้ (AR):กระจายการรับส่งข้อมูลแบบไดนามิกในหลายเส้นทางเพื่อหลีกเลี่ยงฮอตสปอต ซึ่งมีความสำคัญอย่างยิ่งต่อประสิทธิภาพของทรีอ้วน
• SHARPv2 (โปรโตคอลการรวมและการลดลำดับชั้นที่ปรับขนาดได้):ถ่ายโอนการดำเนินการโดยรวม (ลดทั้งหมด ลดกระจาย) ลงในเครือข่ายสวิตช์โดยตรง ช่วยลดเวลาว่างของ GPU
• การควบคุมความแออัด:การควบคุมการไหลแบบละเอียดพร้อมกลไก FECN/BECN ช่วยให้มั่นใจได้ว่าเนื้อผ้าจะไม่สูญเสีย
• ความหนาแน่นของพอร์ตสูง:พอร์ต QSFP56 จำนวน 40 พอร์ตต่อแชสซี 1U ทำให้เค้าโครงชั้นวางง่ายขึ้น และลดความซับซ้อนของสายเคเบิลระหว่างชั้นวาง

วิศวกรสามารถอ้างถึงเอกสารข้อมูลสินค้า MQM8790-HS2Fและข้อมูลจำเพาะ MQM8790-HS2Fสำหรับรายละเอียดกำลัง ความร้อน และเวลาแฝง แพลตฟอร์มก็เช่นกันรองรับ MQM8790-HS2Fด้วยช่วงกว้างของ HDR, HDR100 และแม้กระทั่งเลนส์ EDR ช่วยให้สามารถอัพเกรดได้ทีละน้อย

สำหรับคลัสเตอร์ AI 1,000-GPU แบบสมดุล แนะนำให้ใช้ลำดับการปรับใช้ต่อไปนี้:

• ขั้นตอนที่ 1 - ชั้นใบไม้:ติดตั้ง 25xMQM8790-HS2Fหน่วยเป็นสวิตช์ใบ เชื่อมต่อเซิร์ฟเวอร์ GPU แต่ละตัว (8 GPU ต่อเซิร์ฟเวอร์) ผ่านพอร์ต HDR สองพอร์ตไปยังสองลีฟที่แตกต่างกันเพื่อความซ้ำซ้อนและแบนด์วิธ
• ขั้นตอนที่ 2 - ชั้นกระดูกสันหลัง:ปรับใช้ 8xNVIDIA Mellanox MQM8790-HS2Fขณะที่กระดูกสันหลังเปลี่ยนไป เชื่อมต่อทุกลีฟกับทุกสไปน์โดยใช้ลิงก์ 200Gb/s (40 อัปลิงก์ต่อลีฟ แต่โดยทั่วไปแล้วจะเป็นเซ็ตย่อยที่เพียงพอต่อการรักษาอัตราส่วนการบล็อก ≤1:1)
• ขั้นตอนที่ 3 – ตำแหน่ง Subnet Manager:เรียกใช้อินสแตนซ์ SM ที่ซ้ำซ้อนบนเซิร์ฟเวอร์ขนาดเล็กสองตัว หรือใช้ SM แบบฝังสำหรับคลัสเตอร์ที่มีพอร์ตน้อยกว่า 2,000 พอร์ต
• ขั้นตอนที่ 4 - การแบ่งพาร์ติชัน:ใช้พาร์ติชั่น InfiniBand เพื่อแยกโฟลว์การผลิต การพัฒนา และการจัดเก็บบนฟิสิคัลแฟบริคเดียวกัน

หากต้องการขยายเป็น 2,500+ GPU ให้เพิ่มเลเยอร์ super-spine โดยใช้ยูนิต MQM8790-HS2F เพิ่มเติม และเพิ่มความหนาแน่นของอัปลิงก์แบบ leaf-to-spine ที่โซลูชันสวิตช์ InfiniBand MQM8790-HS2Fปรับขนาดเชิงเส้นโดยไม่ต้องออกแบบสถาปัตยกรรมหลักใหม่

การทำงานในแต่ละวันของผ้าที่สร้างขึ้นMQM8790-HS2Fสวิตช์ได้รับการจัดการผ่าน Fabric Manager ของ NVIDIA และ MLNX‑OS แนวทางปฏิบัติหลัก ได้แก่ :

• การตรวจสอบ:ใช้ `ibdiagnet` สำหรับการตรวจสอบโทโพโลยี, `perfquery` สำหรับตัวนับพอร์ต และแดชบอร์ด Grafana กับผู้ส่งออก Prometheus สำหรับการวัดและส่งข้อมูลทางไกลแบบเรียลไทม์ (การใช้ลิงก์ ข้อผิดพลาดของสัญลักษณ์ เครื่องหมายความแออัด)
• เฟิร์มแวร์และซอฟต์แวร์:รักษาเฟิร์มแวร์ให้สม่ำเสมอบนสวิตช์ทั้งหมด อ้างถึงบันทึกประจำรุ่นล่าสุดในเอกสารข้อมูลสินค้า MQM8790-HS2Fสำหรับความเข้ากันได้ของเวอร์ชัน
• การแก้ไขปัญหา:ปัญหาทั่วไป เช่น การสลับลิงก์, MTU ที่ไม่ตรงกัน หรือการกำหนดค่าพาร์ติชันไม่ถูกต้อง จะถูกแยกออกอย่างรวดเร็วโดยใช้ `ibstatus`, `smpquery` และสวิตช์ syslog บันทึกการกำหนดเส้นทางแบบปรับเปลี่ยนสามารถระบุแหล่งที่มาของความแออัดได้
• การเพิ่มประสิทธิภาพ:ปรับแต่งเกณฑ์การกำหนดเส้นทางแบบปรับเปลี่ยนได้และพารามิเตอร์ควบคุมความแออัดโดยอิงตามโปรไฟล์ปริมาณงาน สำหรับการฝึกอบรม AI ขนาดใหญ่ ให้เปิดใช้งาน SHARP บนไลบรารี MPI ที่เกี่ยวข้อง (เช่น NCCL พร้อมปลั๊กอิน SHARP)

เมื่อวางแผนงบประมาณหรือขยายขอราคา MQM8790-HS2Fคำพูดจากพันธมิตรที่ได้รับอนุญาตและตรวจสอบขาย MQM8790-HS2Fความพร้อมใช้งาน ความเข้ากันได้ของแพลตฟอร์มกับสายเคเบิล QSFP56 ที่มีอยู่ช่วยลดความเสี่ยงในการจัดซื้อ

ที่MQM8790-HS2Fไม่ได้เป็นเพียงสวิตช์ แต่ยังเป็นองค์ประกอบพื้นฐานสำหรับแฟบริค HPC และ AI ที่มีความหน่วงต่ำ การผสมผสานระหว่าง 200Gb/s HDR, ความหนาแน่น 40 พอร์ต, การกำหนดเส้นทางแบบปรับได้ และการประมวลผลในเครือข่าย SHARP จะช่วยแก้ไขจุดบกพร่องที่สำคัญของการเชื่อมต่อระหว่างคลัสเตอร์สมัยใหม่ได้โดยตรง เมื่อเปรียบเทียบกับโซลูชันอีเธอร์เน็ต 200G ทางเลือก ระบบนิเวศ InfiniBand นำเสนอ:

• โอเวอร์เฮด CPU ที่ต่ำกว่า (RDMA จริงพร้อมออฟโหลดการขนส่งฮาร์ดแวร์)
• เวลาแฝงระดับไมโครวินาทีที่กำหนดภายใต้โหลดจริง
• การจัดการแฟบริคที่ง่ายขึ้นด้วย Subnet Manager แบบรวมศูนย์
• ความสามารถในการปรับขนาดที่พิสูจน์แล้วไปยังปลายทางนับหมื่น

สำหรับองค์กรที่สร้างหรือขยายคลัสเตอร์ GPU โดยการนำNVIDIA Mellanox MQM8790-HS2Fหมายถึงการได้รับ FLOPS ที่มีประสิทธิภาพสูงขึ้นต่อดอลลาร์ ลดเวลาทำงานให้เสร็จสิ้น และรองรับการเชื่อมต่อถึงกันในอนาคตสำหรับการอัปเกรด HDR200 (400Gb/s) รุ่นต่อไป การออกแบบอ้างอิงโดยละเอียดรวมถึงฉบับสมบูรณ์ข้อมูลจำเพาะ MQM8790-HS2Fและเมทริกซ์สายเคเบิล มีจำหน่ายผ่านพอร์ทัลพันธมิตร NVIDIA