NVIDIA Mellanox MQM9790-NS2F ในการใช้งานจริง: การสร้างเครือข่าย RDMA ที่มีความหน่วงต่ำสำหรับคลัสเตอร์ AI และ HPC

NVIDIA Mellanox MQM9790-NS2F ในการทำงาน: การสร้างเครือข่าย RDMA ที่มีความหน่วงต่ำสำหรับคลัสเตอร์ AI และ HPC

ภูมิหลังและความท้าทาย: เมื่อการขยายตัวกลายเป็นคอขวด

เมื่อโมเดลภาษาขนาดใหญ่ขยายตัวจากหลักพันเป็นหลักหมื่น GPU และการจำลองสภาพอากาศก้าวไปสู่ความละเอียดระดับกิโลเมตร ข้อจำกัดของเครือข่าย Ethernet แบบดั้งเดิมก็ปรากฏชัดเจน ในสภาพแวดล้อมเหล่านี้ รูปแบบการสื่อสารแบบรวมกลุ่มของ MPI เช่น all-reduce และ all-to-all ทำให้เกิดความต้องการเครือข่ายที่มีความหน่วงต่ำและการควบคุมความแออัดอย่างมาก หากไม่มีการเชื่อมต่อที่ออกแบบมาโดยเฉพาะ แม้แต่โหนดประมวลผลที่ทรงพลังที่สุดก็ใช้เวลาส่วนใหญ่ไปกับการรอข้อมูล ซึ่งเป็นการสิ้นเปลืองทรัพยากร GPU ที่มีราคาแพง

นี่คือความท้าทายที่ NVIDIA Mellanox MQM9790-NS2F แก้ไขได้ สวิตช์ InfiniBand NDR ความเร็ว 400Gb/s พร้อมพอร์ต OSFP 64 พอร์ต ได้รับการออกแบบมาเพื่อส่งมอบความหน่วงที่แน่นอนน้อยกว่าไมโครวินาทีไปยังจุดปลายหลายพันจุด ทำให้สามารถขยายขนาดแบบเชิงเส้นได้อย่างแท้จริงสำหรับเวิร์กโหลดแบบกระจาย

โซลูชันและการติดตั้ง: เครือข่าย Leaf-Spine ที่สร้างขึ้นสำหรับ RDMA

ในสถานการณ์การติดตั้งทั่วไปสำหรับห้องปฏิบัติการวิจัย AI ขนาดใหญ่ สวิตช์ InfiniBand MQM9790-NS2F เป็นแกนหลักของโทโพโลยีแบบสองชั้น leaf-spine ที่ชั้น leaf สวิตช์ MQM9790-NS2F หนึ่งหรือสองตัวจะติดตั้งในแต่ละแร็คประมวลผล โดยให้การเชื่อมต่อความเร็ว 400Gb/s จำนวน 64 พอร์ตไปยังเซิร์ฟเวอร์ GPU ผ่านสายเคเบิลทองแดงแบบต่อตรง OSFP-to-OSFP หรือสายเคเบิลออปติคัลแบบแอคทีฟ ที่ชั้น spine สวิตช์ MQM9790-NS2F เพิ่มเติมจะเชื่อมต่อชั้น leaf เข้าด้วยกัน สร้างเครือข่าย fat-tree แบบไม่บล็อกที่มีแบนด์วิดท์การแบ่งส่วนเต็มรูปแบบ

สิ่งที่ทำให้โซลูชันนี้มีความน่าสนใจเป็นพิเศษคือการรองรับ RDMA over Converged Ethernet (RoCE) โดยกำเนิดของสวิตช์เมื่อทำงานในโหมด InfiniBand แม้ว่าในที่นี้จะใช้ประโยชน์จากความสามารถ RDMA โดยกำเนิดของ InfiniBand เพื่อความหน่วงที่ต่ำลงและการประมวลผล CPU แบบออฟโหลดก็ตาม MQM9790-NS2F 400Gb/s NDR 64-port OSFP ผสานรวมเทคโนโลยี SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) ของ NVIDIA ซึ่งจะประมวลผลการดำเนินการแบบรวมกลุ่มโดยตรงบนเครือข่ายสวิตช์ ในทางปฏิบัติ หมายความว่าการดำเนินการ all-reduce ที่ปกติจะต้องเดินทางผ่านเครือข่ายหลายครั้ง ตอนนี้จะเสร็จสมบูรณ์ในครั้งเดียว ลดเวลาการทำงานให้สั้นลงสูงสุด 30% สำหรับเวิร์กโหลดที่เน้นการสื่อสาร

สำหรับสถาปนิกเครือข่ายที่ประเมิน โซลูชันสวิตช์ InfiniBand MQM9790-NS2F กระบวนการติดตั้งจะง่ายขึ้นด้วย Unified Fabric Manager (UFM) ของ NVIDIA UFM ให้การมองเห็นแบบรวมศูนย์เกี่ยวกับสุขภาพของเครือข่าย การค้นพบโทโพโลยีอัตโนมัติ และการตรวจสอบความแออัดเชิงรุก ซึ่งเป็นความสามารถที่สำคัญเมื่อจัดการเครือข่ายที่มีพอร์ตมากกว่า 2,000 พอร์ต ผู้ใช้งานกลุ่มแรกรายงานว่าระบบนิเวศที่ เข้ากันได้กับ MQM9790-NS2F ซึ่งรวมถึงสายเคเบิลและตัวรับส่งสัญญาณที่ได้รับการรับรองจาก NVIDIA หลากหลายประเภท ช่วยลดความซับซ้อนในการจัดซื้อและลดความเสี่ยงในการติดตั้ง

ผลลัพธ์และผลประโยชน์ที่วัดได้: จากทฤษฎีสู่ความเป็นจริงในการผลิต

ในการติดตั้งจริงล่าสุดสำหรับคลัสเตอร์ GPU 2,048 ตัวที่ใช้สำหรับการฝึกโมเดล Transformer ขนาดใหญ่ การอัปเกรดจากโครงสร้างพื้นฐาน HDR (200Gb/s) เป็น NDR (400Gb/s) โดยมี NVIDIA Mellanox MQM9790-NS2F เป็นหัวใจหลัก ได้ให้ผลลัพธ์ที่วัดผลได้ในหลายมิติ:

• ลดเวลาการทำงาน: การทำซ้ำการฝึกอบรมแบบ end-to-end สำหรับโมเดลพารามิเตอร์ 175B ลดลง 28% ซึ่งส่วนใหญ่มาจากการประมวลผลแบบออฟโหลดของ SHARPv3 และการลดความหน่วงของส่วนท้าย
• การใช้ประโยชน์จากเครือข่าย: การใช้ประโยชน์จากเครือข่ายโดยเฉลี่ยเพิ่มขึ้นจาก 62% เป็น 89% โดยไม่ทำให้เกิดความแออัดล้มเหลว ต้องขอบคุณกลไกการกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัดขั้นสูงของสวิตช์
• ความเรียบง่ายในการดำเนินงาน: ด้วย 64 พอร์ตต่อสวิตช์ จำนวนสวิตช์ spine ที่ต้องการลดลงครึ่งหนึ่งเมื่อเทียบกับการออกแบบ HDR 32 พอร์ต ซึ่งช่วยลดความซับซ้อนของสายเคเบิลและการใช้พลังงานต่อแร็คได้อย่างมาก

ตาม ข้อมูลจำเพาะของ MQM9790-NS2F สวิตช์นี้ให้ความหน่วงจากพอร์ตถึงพอร์ตน้อยกว่า 100ns และรองรับความจุการสวิตช์รวมสูงสุด 51.2Tb/s ซึ่งเป็นตัวเลขที่ใกล้เคียงกับประสิทธิภาพที่สังเกตได้ในการติดตั้งนี้ วิศวกรเครือข่ายยังตั้งข้อสังเกตว่า เอกสารข้อมูล MQM9790-NS2F สะท้อนประสิทธิภาพในโลกแห่งความเป็นจริงได้อย่างถูกต้อง โดยไม่มีความประหลาดใจระหว่างขั้นตอนการตรวจสอบ

จากมุมมองของ TCO ความสามารถในการรวมจุดปลายจำนวนมากขึ้นต่อชั้นสวิตช์ช่วยลดค่าใช้จ่ายในการลงทุนได้โดยตรง แม้ว่า ราคา MQM9790-NS2F เริ่มต้นจะสูงกว่าโซลูชัน 200Gb/s ที่เทียบเท่า แต่ต้นทุนเครือข่ายต่อ GPU จริงๆ แล้วลดลงเนื่องจากอัตราส่วนที่สูงขึ้นและจำนวนชั้นสวิตช์ที่ลดลง ข้อได้เปรียบทางเศรษฐกิจนี้ ร่วมกับประสิทธิภาพที่เพิ่มขึ้น ทำให้กรณีธุรกิจมีความชัดเจนสำหรับคณะกรรมการบริหารของห้องปฏิบัติการ

สรุปและแนวโน้ม: รากฐาน NDR สำหรับการประมวลผลระดับ Exascale

NVIDIA Mellanox MQM9790-NS2F เป็นมากกว่าการอัปเกรดแบบเพิ่มทีละน้อย แต่เป็นการเปลี่ยนแปลงพื้นฐานในวิธีการออกแบบคลัสเตอร์ HPC และ AI ด้วยการส่งมอบแบนด์วิดท์ NDR 400Gb/s ความหนาแน่น 64 พอร์ต และการเร่งความเร็วในการประมวลผลในเครือข่ายในรูปแบบ 1U เดียว ช่วยให้สถาปนิกสามารถสร้างเครือข่ายที่ขยายขนาดไปยังจุดปลายหลายหมื่นจุดได้โดยไม่ลดทอนประสิทธิภาพหรือความสามารถในการจัดการ

เมื่อมองไปข้างหน้า เนื่องจากเวิร์กโหลดยังคงต้องการแบนด์วิดท์ที่สูงขึ้นและความหน่วงที่ต่ำลง สวิตช์ InfiniBand MQM9790-NS2F จะทำหน้าที่เป็นส่วนประกอบพื้นฐานสำหรับระบบ Exascale รุ่นต่อไป ความเข้ากันได้กับแพลตฟอร์ม NVIDIA Quantum-2 ที่มีอยู่และการผสานรวมอย่างราบรื่นกับ UFM ทำให้มั่นใจได้ถึงเส้นทางการโยกย้ายที่ราบรื่นสำหรับองค์กรที่อัปเกรดจากเครือข่าย HDR สำหรับผู้จัดการฝ่าย IT และสถาปนิกที่กำลังประเมินการลงทุนด้านเครือข่ายรุ่นต่อไป MQM9790-NS2F นำเสนอโซลูชันที่ได้รับการพิสูจน์แล้ว พร้อมใช้งานจริง ซึ่งตอบสนองคำมั่นสัญญาของการเพิ่มประสิทธิภาพการเชื่อมต่อ RDMA ที่มีความหน่วงต่ำ