Mellanox (NVIDIA Mellanox) MQM9790-NS2F สวิตช์ InfiniBand ในการทำงาน – การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันแบบ Latency ต่ำสำหรับ RDMA/HPC

Mellanox (NVIDIA Mellanox) MQM9790-NS2F สวิตช์ InfiniBand ในการทำงาน – การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันแบบ Latency ต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

เนื่องจากคลัสเตอร์การฝึกฝน AI ปรับขนาดจาก GPU นับพันเป็นหมื่นตัว เวลาแฝงของเครือข่ายและการควบคุมความแออัดกลายเป็นปัจจัยชี้ขาดในการใช้การประมวลผลอย่างมีประสิทธิภาพ เมื่อเร็วๆ นี้องค์กรวิจัย AI ชั้นนำระดับโลกได้ปรับใช้เมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MQM9790-NS2Fเปลี่ยนไปสนับสนุนสิ่งอำนวยความสะดวกซูเปอร์คอมพิวเตอร์เจเนอเรชั่นถัดไป โดยรองรับโมเดลภาษาขนาดใหญ่ การจำลองไดนามิกของโมเลกุล และการกระจายการเรียนรู้เชิงลึก บทความนี้จะตรวจสอบการใช้งานในโลกแห่งความเป็นจริง โดยมีรายละเอียดว่าสวิตช์ InfiniBand นี้แปลงการขนส่ง RDMA, การสื่อสาร HPC และแฟบริคการฝึกอบรมข้อมูลแบบคู่ขนานของ AI ได้อย่างไร

ความเป็นมาและความท้าทาย: จากการประนีประนอมของอีเธอร์เน็ตไปจนถึงความจำเป็นในการเชื่อมต่อระหว่างกันแบบไร้การสูญเสีย

ในตอนแรกองค์กรอาศัยแฟบริคอีเธอร์เน็ต 100GbE ที่มี RoCEv2 อย่างไรก็ตาม เนื่องจากโหนด GPU ของพวกเขาเติบโตขึ้นจนมีเซิร์ฟเวอร์มากกว่า 1,200 เซิร์ฟเวอร์ (แต่ละเซิร์ฟเวอร์มี GPU NVIDIA H100 ขนาด 8×) พวกเขาประสบปัญหาการหยุดชะงักของ PFC อย่างต่อเนื่อง การปรับแต่ง ECN ที่ซับซ้อน และแพ็กเก็ตลดลงเป็นครั้งคราวซึ่งทำให้การฝึกอบรมหยุดชะงัก ปัญหาเหล่านี้ช่วยยืดเวลาการทำงานให้เสร็จสิ้นโดยเฉลี่ยมากกว่า 35% และใช้ความพยายามทางวิศวกรรมอย่างมากในการแก้ไขปัญหาเครือข่าย โครงสร้างพื้นฐานที่มีอยู่ไม่สามารถส่งมอบเวลาแฝงระดับไมโครวินาทีตามที่กำหนดและทรูพุตที่ปราศจากความแออัดอีกต่อไป ซึ่งจำเป็นสำหรับการดำเนินการโดยรวมแบบลดทั้งหมดจำนวนมากและทั้งหมดต่อทั้งหมด

โซลูชันและการปรับใช้: TheMQM9790-NS2F สวิตช์อินฟินิแบนด์เป็นแกนหลักของผ้า

หลังจากประเมินทางเลือกหลายทางแล้ว ทีมงานก็เลือกNVIDIA Mellanox MQM9790-NS2Fเป็นองค์ประกอบหลักสำหรับสถาปัตยกรรมลีฟกระดูกสันหลังสองชั้นใหม่ ชั้นวางใบไม้แต่ละใบมีสองตัวMQM9790-NS2F 400Gb/s NDR 64 พอร์ต OSFPสวิตช์ โดยมีพอร์ต OSFP 64 พอร์ตต่อยูนิต และความสามารถในการสลับรวม 25.6 Tb/s ความเร็ว NDR 400 Gb/s ต่อพอร์ต เมื่อรวมกับการสลับแบบตัดผ่านและการกำหนดเส้นทางแบบปรับได้ ช่วยให้มีเวลาแฝงระหว่างพอร์ตต่อพอร์ตต่ำกว่า 600 ns ซึ่งเป็นข้อกำหนดที่สำคัญสำหรับเวิร์กโหลดที่ใช้ GPU มาก การปรับใช้ใช้ประโยชน์จากโซลูชันสวิตช์ InfiniBand MQM9790-NS2Fผสานรวมกับเฟิร์มแวร์ NVIDIA Quantum-2 ทำให้มั่นใจได้ว่าจะราบรื่นรองรับ MQM9790-NS2Fการใช้งานร่วมกับอะแดปเตอร์ ConnectX-7 และ BlueField-3 DPU ที่มีอยู่

ตัวเลือกการใช้งานที่สำคัญได้แก่:

• โทโพโลยี:ทรีไขมันที่ไม่มีการปิดกั้นพร้อมตัวรับส่งสัญญาณออปติคัล OSFP 64 พอร์ตถึง 400G ช่วยให้แบนด์วิดท์แบบเต็มการแบ่งส่วนสำหรับโหนด GPU ทั้งหมด
• การจัดการ:NVIDIA UFM (Unified Fabric Manager) สำหรับการวัดระยะไกลแบบเรียลไทม์ การตรวจจับความแออัด และการเปลี่ยนเส้นทางเชิงรุก
• ออฟโหลดโดยรวม:เปิดใช้งาน SHARPv3 เพื่อเร่งการดำเนินการลดทั้งหมด ลดภาระการสื่อสารจาก CPU โฮสต์

เพื่อให้การเปลี่ยนแปลงเป็นไปอย่างราบรื่น ทีมงานได้ปรึกษากับทางบริษัทเอกสารข้อมูลสินค้า MQM9790-NS2Fและข้อมูลจำเพาะ MQM9790-NS2Fเพื่อตรวจสอบข้อกำหนดด้านพลังงานและสายเคเบิล ฟอร์มแฟคเตอร์ 1U และอุปกรณ์จ่ายไฟสำรองเข้ากันได้อย่างลงตัวกับความหนาแน่นของชั้นวางที่มีอยู่ และพอร์ต OSFP รองรับทั้งสาย DAC และโมดูลออปติคัล ซึ่งให้ความยืดหยุ่นสำหรับการขยายในอนาคต

ผลลัพธ์และผลประโยชน์ที่วัดได้ – กำไรเชิงปริมาณในด้านประสิทธิภาพและประสิทธิภาพ

หลังจากการปรับใช้และการเพิ่มประสิทธิภาพอย่างเต็มรูปแบบ องค์กรได้บันทึกการปรับปรุงที่สำคัญในหลายมิติ:

นอกเหนือจากตัวเลขดิบแล้ว ทีมงานยังรายงานการหยุดชะงักที่เกี่ยวข้องกับความแออัดเกือบเป็นศูนย์ ซึ่งช่วยให้การดำเนินงานเครือข่ายง่ายขึ้นอย่างมาก การวัดและส่งข้อมูลทางไกลในตัวและการกำหนดเส้นทางแบบปรับได้ของNVIDIA Mellanox MQM9790-NS2Fอนุญาตให้มีการปรับสมดุลโหลดอัตโนมัติทั่วทั้งพอร์ต OSFP ทั้ง 64 พอร์ต ซึ่งช่วยลดการปรับแต่ง ECN ด้วยตนเอง นอกจากนี้MQM9790-NS2F สวิตช์ InfiniBandให้ประสิทธิภาพที่กำหนดได้แม้ใช้งานลิงก์ต่ำกว่า 95% ซึ่งเป็นไปไม่ได้เลยกับการตั้งค่าอีเทอร์เน็ตก่อนหน้านี้

ทางองค์กรยังได้ตั้งข้อสังเกตอีกว่าราคา MQM9790-NS2Fเมื่อตัดจำหน่ายตลอดอายุการใช้งาน 5 ปี จะถูกชดเชยด้วยการใช้พลังงานต่อพอร์ตที่ลดลง (ประมาณ 1.5W ต่อพอร์ต 400G) และค่าสายเคเบิลที่ลดลงเนื่องจากความหนาแน่นของพอร์ตที่สูงขึ้น เนื่องจากความพร้อมทั่วไปในขณะนี้ครบกำหนดแล้ว พวกเขาจึงยืนยันเช่นนั้นขาย MQM9790-NS2Fผ่านช่องทางที่ได้รับอนุญาตทำให้การจัดซื้อจัดจ้างตรงไปตรงมาและเอกสารข้อมูลสินค้า MQM9790-NS2Fจัดเตรียมรายละเอียดการติดตั้งและการปฏิบัติตามข้อกำหนดที่จำเป็นทั้งหมด

สรุปและแนวโน้ม – พิมพ์เขียวสำหรับโครงสร้างพื้นฐาน AI รุ่นถัดไป

การรับเลี้ยงบุตรบุญธรรมของเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MQM9790-NS2Fในคลัสเตอร์ HPC/AI ขนาดใหญ่นี้แสดงให้เห็นว่าแฟบริค InfiniBand ที่สร้างขึ้นตามวัตถุประสงค์ไม่ใช่สิ่งหรูหราอีกต่อไป แต่เป็นสิ่งจำเป็นสำหรับองค์กรที่ก้าวข้ามขอบเขตของ AI และการประมวลผลทางวิทยาศาสตร์ ด้วยการส่งมอบความหน่วงต่ำกว่าไมโครวินาทีที่สม่ำเสมอ การขนส่ง RDMA แบบไม่สูญเสีย และการเร่งความเร็วการประมวลผลในเครือข่ายMQM9790-NS2F 400Gb/s NDR 64 พอร์ต OSFPสวิตช์ช่วยให้ศูนย์ข้อมูลบรรลุความสามารถในการขยายขนาดแบบเกือบเชิงเส้นได้สูงสุดถึง GPU นับหมื่นตัว

มองไปข้างหน้าทีมงานวางแผนที่จะขยายผ้าเพิ่มเติมMQM9790-NS2F สวิตช์ InfiniBandหน่วยเพื่อรองรับปริมาณงานระดับ Exascale ที่กำลังจะเกิดขึ้น รวมถึงการสร้างแบบจำลองสภาพภูมิอากาศและจีโนมิกส์ ที่รองรับ MQM9790-NS2Fระบบนิเวศพร้อม NVIDIA รุ่นอนาคตช่วยให้มั่นใจได้ถึงการคุ้มครองการลงทุน สำหรับสถาปนิกและผู้จัดการฝ่ายไอทีที่กำลังประเมินการอัพเกรดที่คล้ายกัน กรณีในโลกแห่งความเป็นจริงนี้ยืนยันว่าโซลูชันสวิตช์ InfiniBand MQM9790-NS2Fนำเสนอเส้นทางที่ได้รับการพิสูจน์แล้วและคุ้มต้นทุนสำหรับเครือข่ายคลัสเตอร์ประสิทธิภาพสูงและมีความหน่วงต่ำ ซึ่งเป็นปัจจัยสำคัญสำหรับนวัตกรรม AI ในทศวรรษหน้า