Mellanox (NVIDIA) MQM9790-NS2F InfiniBand สวิตช์ในการใช้งาน | การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำสำหรับ RDMA/HPC/AI

เนื่องจากคลัสเตอร์การฝึกอบรม AI ขนาดใหญ่และศูนย์คอมพิวเตอร์ประสิทธิภาพสูง (HPC) ผลักดันแบนด์วิดท์เครือข่ายและข้อกำหนดด้านเวลาแฝงไปสู่ระดับที่ไม่เคยมีมาก่อน โซลูชันอีเธอร์เน็ตแบบเดิมจึงประสบปัญหากับการควบคุมความแออัดและเวลาแฝงด้านท้ายที่คาดเดาไม่ได้มากขึ้นภายใต้ปริมาณงาน RDMA ศูนย์ซูเปอร์คอมพิวเตอร์ชั้นนำระดับประเทศเพิ่งเผชิญกับความท้าทายนี้เมื่ออัปเกรดคลัสเตอร์ GPU รุ่นถัดไป หลังจากประเมินตัวเลือกการเชื่อมต่อระหว่างกันหลายตัวเลือกแล้ว ทีมงานก็เลือกเมลลาน็อกซ์ (NVIDIA) MQM9790-NS2Fในฐานะสวิตช์โครงสร้างหลัก — การตัดสินใจที่เปลี่ยนแปลงโปรไฟล์ประสิทธิภาพของคลัสเตอร์โดยพื้นฐาน

ความเป็นมาและความท้าทาย: กำแพงความสามารถในการปรับขนาด

HDR InfiniBand Fabric ที่มีอยู่ของศูนย์ซูเปอร์คอมพิวเตอร์นั้นทำงานใกล้จะอิ่มตัวแล้ว ด้วย GPU มากกว่า 2,000 ตัวที่รันงานการฝึกอบรม AI แบบคู่ขนาน การดำเนินการสื่อสารแบบรวม เช่น all-reduce และ all-to-all ประสบปัญหาความล่าช้าอย่างมากอย่างมาก เครือข่ายกลายเป็นปัญหาคอขวดหลัก ส่งผลให้ GPU ไม่ทำงานซึ่งสิ้นเปลืองทั้งทรัพยากรการคำนวณและพลังงาน วิศวกรประเมินว่าเกือบ 30% ของรอบการประมวลผลสูญเสียไปกับค่าใช้จ่ายในการสื่อสารระหว่างการดำเนินการฝึกอบรมแบบกระจายขนาดใหญ่

สิ่งที่ทีมต้องการคือสวิตช์ที่สามารถส่งมอบได้400Gb/s ต่อพอร์ต, รองรับ RDMA ดั้งเดิม และการเร่งความเร็วการประมวลผลในเครือข่าย — ทั้งหมดนี้ในขณะเดียวกันก็รักษาความเข้ากันได้แบบย้อนหลังกับโครงสร้างพื้นฐาน HDR ที่มีอยู่ หลังจากที่ได้ทบทวน.เอกสารข้อมูลสินค้า MQM9790-NS2Fและข้อมูลจำเพาะ MQM9790-NS2Fพวกเขาได้พิจารณาแล้วว่าMQM9790-NS2F สวิตช์ InfiniBandนำเสนอสมดุลที่เหมาะสมระหว่างความหนาแน่น ประสิทธิภาพ และชุดคุณลักษณะ

โซลูชันและการปรับใช้: การอัพเกรดแฟบริค NDR แบบ 64 พอร์ต

ศูนย์ปรับใช้สี่MQM9790-NS2F 400Gb/s NDR 64 พอร์ต OSFPสวิตช์ในโทโพโลยีแบบกระดูกสันหลังที่เชื่อมต่อ GPU 2,048 ตัวเข้าด้วยกันบนโหนดประมวลผล 64 โหนด แต่ละโหนดเชื่อมต่อผ่านสายเคเบิลแยก OSFP-to-4x100Gb/s เส้นเดียว โดยให้แบนด์วิธรวม 400Gb/s ต่อเซิร์ฟเวอร์ ในขณะเดียวกันก็ปรับความหนาแน่นของการจัดการสายเคเบิลให้เหมาะสม

กุญแจสำคัญในการปรับใช้คือการทำให้มั่นใจว่าเต็มรูปแบบรองรับ MQM9790-NS2Fการดำเนินการกับอะแดปเตอร์จุดสิ้นสุด HDR ที่มีอยู่ การเจรจาความเร็วอัตโนมัติของสวิตช์และการแปลเลเยอร์ลิงก์ทำให้มีกลยุทธ์การโยกย้ายแบบเป็นขั้นตอน โดยโหนดแบบเดิมทำงานที่ความเร็ว HDR ในขณะที่เซิร์ฟเวอร์ที่รองรับ NDR ใหม่ใช้ประโยชน์จากแบนด์วิดท์เต็ม 400Gb/s ศูนย์ยังใช้การรวมกลุ่มในเครือข่าย SHARPv3 ซึ่งช่วยลดการรับส่งข้อมูลทั้งหมดลงกว่า 65% สำหรับข้อความขนาดใหญ่ที่พบได้ทั่วไปในการฝึกอบรม LLM

สำหรับผู้ที่ประเมินการอัพเกรดที่คล้ายกันราคา MQM9790-NS2Fสอบถามข้อมูลและขาย MQM9790-NS2Fความพร้อมใช้งานได้เพิ่มขึ้นอย่างมีนัยสำคัญระหว่างลูกค้าองค์กรและลูกค้าการวิจัย ต้นทุนรวมในการเป็นเจ้าของที่แข่งขันได้ของสวิตช์ — โดยคำนึงถึงจำนวนสวิตช์ที่ลดลงเนื่องจากความหนาแน่นของพอร์ต 64 พอร์ต — ทำให้สวิตช์นี้เป็นตัวเลือกที่น่าสนใจสำหรับทั้งโปรเจ็กต์การสร้างใหม่และรีเฟรช

ผลลัพธ์และคุณประโยชน์: ประสิทธิภาพที่เพิ่มขึ้นที่วัดได้

• ลดเวลาแฝงทั้งหมด (ข้อความ 1GB):ลดลงจาก 48µs เป็น 19µs (ปรับปรุง 60%)
• การใช้งาน GPU อย่างมีประสิทธิภาพ:เพิ่มขึ้นจาก 71% เป็น 93% ในระหว่างการฝึกอบรมขนาดใหญ่
• เวลาทำงานให้เสร็จ (เทียบเท่า GPT-3 175B):สั้นลง 41%
• เวลาแฝงหางที่เกิดจากเครือข่าย (เปอร์เซ็นไทล์ที่ 99):ตัดจาก 210µs ให้เหลือน้อยกว่า 35µs

ในฐานะที่เป็นโซลูชันสวิตช์ InfiniBand MQM9790-NS2Fการใช้งานแสดงให้เห็นว่าแฟบริค NDR ขนาด 400Gb/s สามารถส่งมอบตามสัญญาทางทฤษฎีได้ การผสมผสานระหว่างอัลกอริธึมควบคุมความแออัดและการกำหนดเส้นทางแบบปรับได้ช่วยขจัดรูปแบบการล่มสลาย "incast" ที่รบกวนแฟบริค HDR ก่อนหน้าในระหว่างขั้นตอนการสื่อสารแบบ all-to-all

สรุปและแนวโน้ม: รากฐานสำหรับ Exascale AI

ความสำเร็จของศูนย์ซูเปอร์คอมพิวเตอร์ด้วยMQM9790-NS2Fได้เร่งแผนงานไปสู่ขีดความสามารถ AI ในระดับ exascale ขณะนี้พวกเขากำลังวางแผนระยะที่สองที่จะเพิ่มจำนวน GPU เป็นสองเท่าเป็น 4,096 โดยใช้เพิ่มเติมMQM9790-NS2F 400Gb/s NDR 64 พอร์ต OSFPสวิตช์ในโทโพโลยีทรีไขมันสามชั้น คุณสมบัติการวัดและส่งข้อมูลทางไกลและการจัดการนอกแบนด์ของสวิตช์ยังช่วยให้สามารถหลีกเลี่ยงความแออัดที่คาดการณ์ได้ ซึ่งช่วยลดค่าใช้จ่ายในการดำเนินงานสำหรับทีมเครือข่าย

สำหรับสถาปนิกเครือข่ายและผู้จัดการฝ่ายไอทีที่กำลังประเมินแฟบริคยุคถัดไปNVIDIA Mellanox MQM9790-NS2Fแสดงถึงโซลูชั่นที่สมบูรณ์และได้รับการพิสูจน์แล้วจากการผลิต ไม่ว่าคุณกำลังสร้างคลัสเตอร์การวิจัย AI ใหม่หรืออัปเกรดสิ่งอำนวยความสะดวก HPC ที่มีอยู่ สวิตช์นี้มอบรากฐานที่มีแบนด์วิดธ์สูงที่มีความหน่วงต่ำ ซึ่งจำเป็นสำหรับปริมาณงานแบบขนานสมัยใหม่