NVIDIA Mellanox MQM9790-NS2F เอกสารอ้างอิงทางเทคนิค: การปรับแต่งการเชื่อมต่อความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

NVIDIA Mellanox MQM9790-NS2F เอกสารอ้างอิงทางเทคนิค: การปรับปรุงการเชื่อมต่อความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

1. ภูมิหลังโครงการและการวิเคราะห์ข้อกำหนด

เวิร์กโหลดการฝึกอบรม AI สมัยใหม่และการจำลอง HPC มีลักษณะเฉพาะของการสื่อสารแบบทุกทิศทางที่เข้มข้น ซึ่งสร้างความต้องการอย่างมากต่อโครงข่ายเครือข่ายพื้นฐาน เมื่อคลัสเตอร์ GPU ขยายขนาดเกิน 1,000 โหนด วิธีการแบบดั้งเดิมที่อาศัย Ethernet พร้อมการควบคุมความแออัดที่ใช้ซอฟต์แวร์พิสูจน์แล้วว่าไม่เพียงพอ ข้อกำหนดหลักที่เกิดขึ้นจากสภาพแวดล้อมเหล่านี้ ได้แก่:

• ความหน่วงต่ำพิเศษแบบกำหนดได้: ความหน่วงจากพอร์ตถึงพอร์ตต่ำกว่าไมโครวินาทีเพื่อลดเวลาการทำงานของงาน MPI ให้เหลือน้อยที่สุด
• โครงข่ายที่ไม่มีการสูญเสีย: การทิ้งแพ็กเก็ตเป็นศูนย์ภายใต้ความแออัดเพื่อป้องกัน TCP incast และการล่มสลายของประสิทธิภาพ
• การประมวลผลในโครงข่ายแบบออฟโหลด: การลดภาระ CPU โฮสต์สำหรับโอเปอเรชันแบบรวม (เช่น all-reduce, broadcast)
• โครงสร้างที่ปรับขนาดได้: รองรับโครงสร้างแบบ fat-tree และ dragonfly+ พร้อมแบนด์วิดท์ bisection เต็มรูปแบบสำหรับปลายทางหลายพันรายการ

NVIDIA Mellanox MQM9790-NS2F ถูกออกแบบมาเพื่อตอบสนองความต้องการเหล่านี้ในฐานะสวิตช์ InfiniBand 400Gb/s NDR ที่มีพอร์ต OSFP 64 พอร์ต ซึ่งให้ความหนาแน่นและประสิทธิภาพที่จำเป็นสำหรับการใช้งานระดับ exascale

2. การออกแบบสถาปัตยกรรมเครือข่ายโดยรวม

โซลูชันที่นำเสนอใช้สถาปัตยกรรมแบบ leaf-spine สองชั้น ซึ่งให้ความสมดุลของการปรับขนาด การควบคุมการโอเวอร์ซับสคริปชัน และความเรียบง่ายของการเดินสาย ที่ชั้น leaf สวิตช์ InfiniBand MQM9790-NS2F หนึ่งหรือสองตัวจะติดตั้งในแต่ละแร็คคอมพิวเตอร์ โดยให้การเชื่อมต่อ 64 พอร์ต 400Gb/s กับเซิร์ฟเวอร์ GPU ที่ชั้น spine สวิตช์ MQM9790-NS2F ชั้นที่สองจะเชื่อมต่อ leaf ทั้งหมดเข้าด้วยกัน สร้างโครงข่ายที่ไม่บล็อก

สำหรับการใช้งานขนาดใหญ่เกิน 2,000 โหนด GPU สามารถใช้สถาปัตยกรรม folded-Clos สามชั้น โดย MQM9790-NS2F 400Gb/s NDR 64-port OSFP ทำหน้าที่ทั้ง leaf และ spine เพื่อรักษาประสิทธิภาพที่สม่ำเสมอในทุกระดับ การออกแบบนี้รับประกันว่าเซิร์ฟเวอร์ใดๆ สามารถสื่อสารกับเซิร์ฟเวอร์อื่นใดได้ที่อัตราสาย โดยมี hop ของสวิตช์สูงสุดสาม hop

ตารางต่อไปนี้สรุปพารามิเตอร์การปรับขนาดทั่วไปสำหรับโครงข่าย leaf-spine แบบ 2 ชั้นที่สร้างขึ้นรอบๆ MQM9790-NS2F:

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MQM9790-NS2F

ภายในสถาปัตยกรรมนี้ NVIDIA Mellanox MQM9790-NS2F ทำหน้าที่เป็นส่วนประกอบพื้นฐาน โดยให้ความสามารถที่สำคัญหลายประการ:

• 400Gb/s NDR ต่อพอร์ต: พอร์ต OSFP ทั้ง 64 พอร์ตรองรับ 400Gb/s แบบสองทิศทาง พร้อมการแก้ไขข้อผิดพลาดไปข้างหน้า (FEC) สำหรับการเชื่อมต่อระยะไกลที่เชื่อถือได้
• SHARPv3 ในตัว (Scalable Hierarchical Aggregation and Reduction Protocol): ออฟโหลดการสื่อสารแบบรวมจาก CPU โฮสต์ ลดความหน่วงของ MPI all-reduce ได้ถึง 40% ในงานขนาดใหญ่
• การกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัด: กำหนดเส้นทางการรับส่งข้อมูลใหม่แบบไดนามิกเพื่อหลีกเลี่ยงจุดร้อน ทำให้มั่นใจได้ถึงประสิทธิภาพที่คาดการณ์ได้แม้ภายใต้รูปแบบการรับส่งข้อมูลที่ท้าทาย
• การวัดขั้นสูง: ตัวนับต่อโฟลว์และต่อพอร์ต พร้อมกับการตรวจสอบการใช้บัฟเฟอร์ ให้การมองเห็นเชิงลึกเกี่ยวกับสุขภาพของโครงข่าย

ตาม เอกสารข้อมูล MQM9790-NS2F สวิตช์ให้ความหน่วงแบบ cut-through ต่ำกว่า 100ns และรองรับความจุการสลับรวมสูงสุด 51.2 Tb/s ข้อมูลจำเพาะเหล่านี้ทำให้เป็นตัวเลือกที่เหมาะสมที่สุดสำหรับการใช้งานใหม่และการอัปเกรดโครงสร้างพื้นฐาน HDR (200Gb/s) แบบเป็นระยะ

4. คำแนะนำในการติดตั้งและปรับขนาด

สำหรับองค์กรที่วางแผนจะนำ โซลูชันสวิตช์ InfiniBand MQM9790-NS2F มาใช้ ขอแนะนำแนวทางการติดตั้งดังต่อไปนี้:

• กลยุทธ์การเดินสาย: ใช้สายเคเบิลทองแดงแบบต่อตรง OSFP-to-OSFP (DAC) สำหรับการเชื่อมต่อภายในแร็ค (สูงสุด 3 เมตร) และสายเคเบิลออปติคัลแบบแอคทีฟ (AOC) หรือตัวรับส่งสัญญาณออปติคัลสำหรับการเชื่อมต่อระหว่างแร็คและ spine-leaf (สูงสุด 100 เมตร)
• ความซ้ำซ้อน: ติดตั้งแหล่งจ่ายไฟคู่และโมดูลพัดลมที่สามารถเปลี่ยนได้ขณะทำงาน เชื่อมต่อแหล่งจ่ายไฟแต่ละตัวเข้ากับ PDU แยกต่างหากเพื่อความทนทานต่อความผิดพลาด
• ความสอดคล้องของเฟิร์มแวร์: ตรวจสอบให้แน่ใจว่าสวิตช์ทั้งหมดใช้เฟิร์มแวร์เวอร์ชัน NVIDIA เดียวกันเพื่อหลีกเลี่ยงความไม่ตรงกันของคุณสมบัติ ใช้ฟีเจอร์อัปเกรดเฟิร์มแวร์อัตโนมัติของ UFM สำหรับการอัปเดตแบบ rolling
• การปรับขนาด: สำหรับคลัสเตอร์ที่เกิน 4,000 โหนด ให้พิจารณาสถาปัตยกรรม folded-Clos สามชั้นหรือ dragonfly+ พร้อมเปิดใช้งานการกำหนดเส้นทางแบบปรับได้ ระบบนิเวศที่ เข้ากันได้กับ MQM9790-NS2F ประกอบด้วยออปติกและสายเคเบิลที่หลากหลายเพื่อรองรับสถาปัตยกรรมเหล่านี้

เมื่อคำนวณต้นทุนรวมในการเป็นเจ้าของ ให้พิจารณาจำนวนชั้นสวิตช์ที่ลดลงและการเดินสายที่ง่ายขึ้นเมื่อเทียบกับทางเลือกที่มี radix ต่ำกว่า แม้ว่า ราคา MQM9790-NS2F ต่อหน่วยจะสูงกว่าสวิตช์รุ่นก่อนหน้า แต่ต้นทุนต่อพอร์ตและต้นทุนเครือข่ายต่อ GPU จะต่ำกว่าอย่างมากในการใช้งานขนาดใหญ่ ทำให้เป็นตัวเลือกที่คุ้มค่าสำหรับโครงการ Exascale

5. การดำเนินงาน การตรวจสอบ และการแก้ไขปัญหา

การจัดการโครงข่าย NDR ที่มีประสิทธิภาพต้องใช้กรอบการตรวจสอบและแก้ไขปัญหาที่ครอบคลุม NVIDIA Unified Fabric Manager (UFM) ให้มุมมองเดียวสำหรับโครงข่าย NVIDIA Mellanox MQM9790-NS2F-based ทั้งหมด โดยนำเสนอ:

• การแสดงภาพโครงสร้าง: การค้นพบอัตโนมัติและการแสดงผลแบบกราฟิกของสวิตช์ ลิงก์ และปลายทางทั้งหมด
• แดชบอร์ดประสิทธิภาพ: มุมมองแบบเรียลไทม์ของการใช้งานพอร์ต อัตราข้อผิดพลาด และตัวบ่งชี้ความแออัด
• การแจ้งเตือนเชิงรุก: การแจ้งเตือนตามเกณฑ์สำหรับความเสื่อมของลิงก์ ความผิดปกติของอุณหภูมิ และความล้มเหลวของแหล่งจ่ายไฟ
• การแยกข้อผิดพลาด: เวิร์กโฟลว์การแก้ไขปัญหาแบบแนะนำที่ระบุสายเคเบิล ตัวรับส่งสัญญาณ หรือพอร์ตสวิตช์ที่ชำรุด

สำหรับการแก้ไขปัญหาขั้นสูง ข้อมูลจำเพาะ MQM9790-NS2F รวมถึงการตรวจสอบบัฟเฟอร์โดยละเอียดและสถิติระดับโฟลว์ที่สามารถส่งออกผ่าน REST API เพื่อรวมเข้ากับสแต็กการตรวจสอบแบบกำหนดเอง วิศวกรเครือข่ายควรกระจายเครื่องมือวินิจฉัยในตัวของสวิตช์ เช่น การทดสอบ loopback และการวิเคราะห์ BER (bit error rate) เพื่อตรวจสอบความสมบูรณ์ของลิงก์ก่อนใช้งานเวิร์กโหลดการผลิต

ปัญหาทั่วไปที่พบระหว่างการติดตั้งในช่วงแรก ได้แก่ การกำหนดเส้นทางที่ไม่เหมาะสมซึ่งเกิดจากความเร็วลิงก์ที่ไม่เท่ากันหรือประเภทสายเคเบิลที่ไม่ตรงกัน การเปิดใช้งานการกำหนดเส้นทางแบบปรับได้และการตรวจสอบว่าลิงก์ทั้งหมดทำงานที่ 400Gb/s (พร้อมเปิดใช้งาน FEC) จะแก้ไขความผิดปกติของประสิทธิภาพส่วนใหญ่ได้ โซลูชันสวิตช์ InfiniBand MQM9790-NS2F ยังรวมถึงการรองรับความซ้ำซ้อนของตัวจัดการซับเน็ต เพื่อให้แน่ใจว่าการกำหนดค่าโครงข่ายสามารถเกิดขึ้นได้โดยไม่ต้องมีการแทรกแซงด้วยตนเองในกรณีที่โหนดการจัดการล้มเหลว

6. สรุปและการประเมินมูลค่า

MQM9790-NS2F แสดงถึงความก้าวหน้าอย่างมีนัยสำคัญในเครือข่ายประสิทธิภาพสูง โดยให้แบนด์วิดท์ 400Gb/s NDR ความหนาแน่น 64 พอร์ต และการเร่งการประมวลผลในโครงข่ายในแพลตฟอร์ม 1U เดียวที่จัดการได้ สำหรับสถาปนิกและวิศวกรที่ออกแบบคลัสเตอร์ AI และ HPC สวิตช์นี้เป็นเส้นทางที่พิสูจน์แล้วสู่ประสิทธิภาพระดับ exascale ทำให้สามารถ:

• ลดลงสูงสุด 30% ในเวลาการทำงานของงานสำหรับเวิร์กโหลดการฝึกอบรมขนาดใหญ่ผ่านการออฟโหลด SHARPv3
• TCO ที่ต่ำลง เมื่อเทียบกับโซลูชันทางเลือก ซึ่งขับเคลื่อนโดย radix ที่สูงขึ้นและจำนวนชั้นสวิตช์ที่ลดลง
• การดำเนินงานที่ง่ายขึ้น ผ่านการรวม UFM และการวัดผลที่ครอบคลุมสำหรับการจัดการข้อผิดพลาดเชิงรุก
• การปรับขนาดที่พร้อมสำหรับอนาคตเพื่อรองรับการเชื่อมต่อ GPU และตัวเร่งรุ่นต่อไป

สำหรับองค์กรที่ประเมิน MQM9790-NS2F สำหรับการขาย ผ่านเครือข่ายพันธมิตรของ NVIDIA เราขอแนะนำให้ตรวจสอบ เอกสารข้อมูล MQM9790-NS2F โดยละเอียด และติดต่อสถาปนิกโซลูชันที่ได้รับการรับรองเพื่อปรับการติดตั้งให้เหมาะกับเวิร์กโหลดและข้อกำหนดขนาดเฉพาะของคุณ NVIDIA Mellanox MQM9790-NS2F พร้อมแล้วที่จะทำหน้าที่เป็นกระดูกสันหลังของการเชื่อมต่อประสิทธิภาพสูงสำหรับทศวรรษหน้าของการค้นพบทางวิทยาศาสตร์และนวัตกรรม AI