NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch ในการผลิต | การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำสำหรับ RDMA/HPC/AI

เนื่องจากการฝึกอบรมโมเดลภาษาขนาดใหญ่และการจำลอง HPC ระดับ exascale ขับเคลื่อนคลัสเตอร์ GPU ไปยังโหนดนับหมื่นโหนด อีเธอร์เน็ตแฟบริคแบบเดิมต้องต่อสู้กับความล่าช้าส่วนท้ายและความแออัดของอินคาสต์ ศูนย์คอมพิวเตอร์ AI แห่งชาติจัดการกับความท้าทายนี้เมื่อเร็ว ๆ นี้โดยปรับใช้NVIDIA Mellanox MQM8790-HS2FInfiniBand สลับเป็นแกนหลักของส่วนขยาย GPU 800 โหนด บทความนี้จะอธิบายเกี่ยวกับการเดินทางในโลกแห่งความเป็นจริง ตั้งแต่ปัญหาคอขวดไปจนถึงผลกำไรที่วัดได้ โดยใช้ RDMA และการประมวลผลในเครือข่ายเพื่อเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างคลัสเตอร์

ความเป็นมาและความท้าทาย: เมื่อเครือข่ายกลายเป็นคอขวดของ AI

คลัสเตอร์ 400 โหนดแบบเดิมของศูนย์ทำงานบนอีเทอร์เน็ต RoCEv2 100Gb/s เมื่อปริมาณงานเปลี่ยนจากโมเดล CNN ไปเป็น LLM พารามิเตอร์ล้านล้าน เวลาในการตอบสนองของการสื่อสารข้ามโหนดก็เพิ่มขึ้นอย่างรวดเร็ว ในระหว่างการดำเนินการ All-Reduce เวลารอของเครือข่ายใช้เวลานานกว่า 40% ของเวลาวนซ้ำทั้งหมด สถาปนิกต้องการแพลตฟอร์มที่ให้เวลาแฝงต่ำกว่าไมโครวินาที การควบคุมการไหลแบบไม่สูญเสียข้อมูล และการรองรับ RDMA ดั้งเดิม — ทั้งหมดนี้ในขณะเดียวกันก็นำออปติก QSFP56 ที่มีอยู่กลับมาใช้ใหม่ หลังจากประเมินทางเลือกต่างๆ มากมายแล้วMQM8790-HS2F สวิตช์ InfiniBandโดดเด่นด้วยแบนด์วิดธ์ HDR 200Gb/s และการออกแบบความหนาแน่นสูง 40 พอร์ต

โซลูชันและการปรับใช้: HDR Fat‑Tree สร้างขึ้นบน MQM8790-HS2F

การเชื่อมต่อระหว่างกันใหม่ใช้โทโพโลยี fat-tree สองชั้น โดยปรับใช้ 24 ยูนิตของNVIDIA Mellanox MQM8790-HS2Fข้ามชั้นแกนกลางและชั้นใบ สวิตช์แต่ละตัวมีพอร์ต QSFP56 จำนวน 40 พอร์ตที่ทำงานที่ความเร็ว 200Gb/s ต่อทิศทาง ให้ความสามารถในการสลับแบบไม่ปิดกั้นที่ 16Tb/s วิศวกรได้ปฏิบัติตามเอกสารข้อมูลสินค้า MQM8790-HS2Fและข้อมูลจำเพาะ MQM8790-HS2Fเพื่อเปิดใช้งานการกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัดขั้นสูง โหนด GPU ทุกอันเชื่อมต่อผ่านอะแดปเตอร์ HDR ConnectX‑6 โดยใช้ประโยชน์จาก InfiniBand RDMA แบบเนทีฟสำหรับการถ่ายโอนข้อมูลแบบ Zero-Copy — ลดภาระการมีส่วนร่วมของ CPU ในการสื่อสารมากกว่า 95%

ทางศูนย์ยังจองไว้หลายรายการMQM8790-HS2F 200Gb/s HDR 40 พอร์ต QSFP56หน่วยสำหรับโซนการประมวลผลในแหล่งกำเนิด ด้วย SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) การดำเนินการโดยรวม เช่น All-Reduce จะถูกถ่ายจากเซิร์ฟเวอร์ไปยังเครือข่ายสวิตช์โดยตรง ในการฝึกอบรม 128‑GPU สิ่งนี้จะลดเวลาการสื่อสารลง 32% โดยไม่ต้องเปลี่ยนโค้ดใดๆ ในเฟรมเวิร์ก AI

ผลลัพธ์ & กำไร: เวลาแฝงที่ต่ำกว่า, ปริมาณงานที่สูงขึ้น, TCO ที่ควบคุมได้

ตัวชี้วัดหลังการปรับใช้งานแสดงให้เห็นการปรับปรุงอย่างมาก:

• เวลาแฝงแบบจุดต่อจุด:การทดสอบปิงปอง MPI วัดได้ ~0.9μs บนลิงก์ HDR 200Gb/s ซึ่งต่ำกว่าการตั้งค่า RoCE แบบเดิมถึง 65%
• ประสิทธิภาพการสื่อสารโดยรวม:ที่ขนาด 512-GPU ทำให้ All-Reduce เสร็จสมบูรณ์ในเวลาเพียง 18.3 มิลลิวินาที ซึ่งลดลง 52% เมื่อเทียบกับค่าพื้นฐานก่อนหน้า
• การใช้งานเครือข่าย:การกำหนดเส้นทางแบบปรับได้ทำให้โหลดลิงก์มีความสมดุลสูงกว่า 92% โดยแทบไม่มีฮอตสปอตที่แออัด
• การจัดซื้อและการดำเนินงาน:ที่ราคา MQM8790-HS2Fต่อพอร์ตต่ำกว่าโซลูชัน 200G ของคู่แข่งประมาณ 12% นอกจากนี้,รองรับ MQM8790-HS2Fออปติกเป็นโมดูล QSFP56 มาตรฐาน ช่วยให้นำสายเคเบิลที่มีอยู่กลับมาใช้ใหม่ได้เต็มรูปแบบ

“หลังจากย้ายไปที่โซลูชันสวิตช์ InfiniBand MQM8790-HS2Fในที่สุดเราก็ประสบความสำเร็จในการปรับขนาดแบบเกือบเชิงเส้น (ประสิทธิภาพ 0.9) บนการฝึกอบรมโมเดลล้านล้านพารามิเตอร์" หัวหน้าสถาปนิกของศูนย์กล่าว "เครือข่ายไม่ใช่ปัญหาคอขวดอีกต่อไป เราสามารถมุ่งเน้นไปที่นวัตกรรมสถาปัตยกรรมโมเดลแทนการกำหนดเวลาการสื่อสาร"

บทสรุปและแนวโน้ม: การสร้างหลักสำหรับการเชื่อมต่อระหว่างกันในระดับ Exascale

กรณีในโลกแห่งความเป็นจริงนี้แสดงให้เห็นว่าMQM8790-HS2Fมีมากกว่าความหนาแน่นของพอร์ตที่สูงขึ้นมาก ด้วย 200Gb/s HDR, RDMA แบบเนทีฟ, การประมวลผลในเครือข่าย SHARP และการกำหนดเส้นทางแบบปรับเปลี่ยนได้ จะจัดการกับปัญหาการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำโดยตรงในคลัสเตอร์ AI/HPC ในปัจจุบัน ไม่ว่าคุณกำลังวางแผนศูนย์ซูเปอร์คอมพิวเตอร์ของมหาวิทยาลัยหรืออัปเกรดระบบคลาวด์ AI สำหรับองค์กร ก็ตามNVIDIA Mellanox MQM8790-HS2Fนำเสนอเส้นทางที่สมดุลซึ่งผสมผสานประสิทธิภาพ ความเข้ากันได้ และความสามารถในการคาดการณ์ต้นทุน ขณะนี้สวิตช์อยู่ในการผลิตจำนวนมาก หากต้องการอ้างอิงการออกแบบโดยละเอียด โปรดขอจากเจ้าหน้าที่เอกสารข้อมูลสินค้า MQM8790-HS2Fจากพอร์ทัลพันธมิตรของ NVIDIA สำหรับสินค้าคงคลังแบบเรียลไทม์หรือขาย MQM8790-HS2Fหากมีข้อสงสัย โปรดติดต่อผู้ให้บริการโซลูชันที่ได้รับอนุญาตเพื่อสอบถามราคาและการสนับสนุนทางเทคนิค