สวิตช์ InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 ในการผลิต

องค์กรและสถาบันวิจัยที่ปรับขนาดการฝึกอบรม AI และการจำลอง HPC มักจะเผชิญกับปัญหาคอขวดทั่วไป ได้แก่ ความหน่วงที่เกิดจากเครือข่ายและความแออัดซึ่งทำให้วงจรการประมวลผล GPU สิ้นเปลือง กรณีศึกษาการปรับใช้นี้ตรวจสอบว่าห้องปฏิบัติการวิจัย AI ขนาดกลางเปลี่ยนประสิทธิภาพของคลัสเตอร์โดยใช้เมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) 920-9B210-00FN-0D0สวิตช์ InfiniBand บรรลุแฟบริคที่มีเวลาแฝงต่ำตามที่กำหนดสำหรับความต้องการปริมาณงานแบบขนาน

ความเป็นมาและความท้าทาย: เมื่ออีเธอร์เน็ตกลายเป็นคอขวด

แฟบริคอีเทอร์เน็ต 100Gb ที่มีอยู่ของห้องปฏิบัติการแสดงค่าความหน่วงส่วนท้ายที่พุ่งสูงขึ้นอย่างสม่ำเสมอในระหว่างการดำเนินการแบบลดขนาดทั้งหมด ส่งผลให้ GPU มีเวลาไม่ได้ใช้งานสูงถึง 25% ในงานฝึกอบรมขนาดใหญ่ สวิตช์แบบเดิมของพวกเขาขาดการควบคุมความแออัดของ RDMA และความสามารถในการประมวลผลในเครือข่าย สถาปนิกต้องการโซลูชันที่สามารถให้เวลาแฝงต่ำกว่าไมโครวินาที การขนส่งแบบไม่สูญเสีย และความสามารถในการปรับขนาดที่ราบรื่นสำหรับแกนหลัก NDR ที่ขยาย 400Gb/s หลังจากประเมินหลายตัวเลือกแล้ว ทีมงานก็เลือก920-9B210-00FN-0D0เป็นองค์ประกอบหลักสำหรับแฟบริค InfiniBand ใหม่ของพวกเขา

โซลูชันและการปรับใช้: การสร้างแฟบริค AI ที่มีความหน่วงต่ำ

การใช้งานมีศูนย์กลางอยู่ที่920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRสวิตช์ซึ่งทำหน้าที่เป็นกระดูกสันหลังใบสำหรับเซิร์ฟเวอร์ GPU 32 ตัว การตัดสินใจใช้งานที่สำคัญได้แก่:

• รองรับ RDMA เต็มรูปแบบ:กำจัดโอเวอร์เฮดเคอร์เนลบายพาสโดยใช้เลเยอร์การขนส่งที่เป็นกรรมสิทธิ์ของ NVIDIA
• การกำหนดเส้นทางแบบปรับได้:ปรับสมดุลการรับส่งข้อมูลแบบไดนามิกในหลายเส้นทางเพื่อหลีกเลี่ยงฮอตสปอต
• การรวมกลุ่มในเครือข่าย SHARPv3:ถ่ายโอนการดำเนินการโดยรวมจาก CPU ของโฮสต์ไปยังระนาบข้อมูลของสวิตช์

วิศวกรกล่าวถึงเอกสารข้อมูลสินค้า 920-9B210-00FN-0D0และข้อมูลจำเพาะ 920-9B210-00FN-0D0เพื่อตรวจสอบความเข้ากันได้กับอะแดปเตอร์ ConnectX-7 ที่มีอยู่ ที่เข้ากันได้ 920-9B210-00FN-0D0ระบบนิเวศทำให้สามารถทดแทนสวิตช์สไปน์รุ่นก่อนหน้าได้โดยไม่ต้องเปลี่ยนสายเคเบิล นอกจากนี้920-9B210-00FN-0D0 สวิตช์ InfiniBand OPN(หมายเลขชิ้นส่วนการสั่งซื้อ) การจัดซื้อจัดจ้างที่ง่ายขึ้นและขั้นตอนการทำงาน RMA

ผลลัพธ์และคุณประโยชน์: กำไรที่วัดได้สำหรับ HPC และ AI

หลังจากย้ายถิ่นฐานมาที่NVIDIA เมลลาน็อกซ์ 920-9B210-00FN-0D0-จากเนื้อผ้า ห้องปฏิบัติการบันทึกการปรับปรุงต่อไปนี้ตลอดระยะเวลาการประเมิน 30 วัน:

สำหรับผู้จัดการฝ่ายไอทีที่ประเมินต้นทุนการเป็นเจ้าของทั้งหมดราคา 920-9B210-00FN-0D0ได้รับการชดเชยด้วยพลังงานที่ไม่ได้ใช้งานของคลัสเตอร์ที่ลดลง 40% และปริมาณงานที่เร็วขึ้น ที่ขาย 920-9B210-00FN-0D0ช่องทางผ่านผู้จัดจำหน่ายที่ได้รับอนุญาตยังให้การสนับสนุนวงจรชีวิต 5 ปี ซึ่งมีความสำคัญอย่างยิ่งต่อการวางแผนโครงสร้างพื้นฐาน HPC ในระยะยาว

สรุปและแนวโน้ม: พิมพ์เขียวสำหรับคลัสเตอร์ AI ยุคถัดไป

ขณะนี้ห้องปฏิบัติการวิจัยได้จัดทำมาตรฐานเกี่ยวกับโซลูชัน OPN สวิตช์ InfiniBand 920-9B210-00FN-0D0สำหรับส่วนขยาย GPU ใหม่ทั้งหมด เมื่อมองไปข้างหน้า ทีมงานวางแผนที่จะขยายขนาดพอร์ตจาก 32 เป็น 256 NDR โดยใช้แพลตฟอร์มสวิตชิ่งเดียวกัน โดยใช้ประโยชน์จากสถาปัตยกรรมที่ไม่ปิดกั้นและการควบคุมความแออัด สำหรับสถาปนิกที่ออกแบบแฟบริค RDMA ที่มีความหน่วงต่ำNVIDIA เมลลาน็อกซ์ 920-9B210-00FN-0D0มอบรากฐานที่พร้อมสำหรับการผลิตที่ได้รับการพิสูจน์แล้ว ซึ่งขจัดความไม่แน่นอนของเครือข่าย ตั้งแต่คลัสเตอร์การสร้างต้นแบบ AI ขนาดเล็กไปจนถึงการปรับใช้ HPC ที่ขยายขนาดได้