NVIDIA Mellanox 920-9B210-00FN-0D0 ประกาศเปิดตัว: กำหนดนิยามใหม่ของเครือข่าย AI ระดับ Ultra-Scale ด้วยความเร็ว 400Gb/s NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 เปิดตัว: กำหนดนิยามใหม่ของรากฐานเครือข่าย AI ระดับ Ultra-Scale ด้วยความเร็ว 400Gb/s NDR

เมื่อโมเดลภาษาขนาดใหญ่ขยายขนาดจากหลายแสนล้านเป็นหลายล้านล้านพารามิเตอร์ เครือข่าย HDR 200Gb/s แบบดั้งเดิมกำลังแสดงข้อจำกัดในสถานการณ์การสื่อสารแบบรวมกลุ่มที่หนาแน่น เช่น all-to-all ซึ่งการใช้งาน GPU มักจะลดลงเนื่องจากความแออัดของเครือข่าย NVIDIA ได้เปิดตัวอย่างเป็นทางการแล้วNVIDIA Mellanox 920-9B210-00FN-0D0สวิตช์ InfiniBand NDR ความเร็ว 400Gb/s ที่ออกแบบมาเพื่อมอบแบนด์วิดท์ ความหนาแน่น และความอัจฉริยะในเครือข่ายที่จำเป็นสำหรับเวิร์กโหลด AI และ HPC ที่มีความต้องการสูงสุด

ความท้าทาย: เมื่อ HDR กลายเป็นคอขวด

สำหรับองค์กรที่ขยายขนาดคลัสเตอร์ GPU เกิน 2,000 โหนด ข้อจำกัดของ HDR 200Gb/s จะชัดเจนยิ่งขึ้น ในระหว่างการดำเนินการ all-reduce และ all-to-all ซึ่งเป็นพื้นฐานของการฝึกอบรมแบบกระจาย ความแออัดของเครือข่ายสามารถลดการใช้งาน GPU จาก 85% เหลือต่ำกว่า 50% ซึ่งเป็นการสิ้นเปลืองการลงทุนด้านการประมวลผลหลายล้านดอลลาร์ สถาปนิกเครือข่ายต้องเผชิญกับความท้าทายสองประการในการส่งมอบความหน่วงเวลาที่แน่นอนน้อยกว่าไมโครวินาที ในขณะที่ยังคงรักษาประสิทธิภาพแบบไม่สูญเสียข้อมูลทั่วทั้งปลายทางหลายพันแห่ง

920-9B210-00FN-0D0 (หมายเลขชิ้นส่วนการสั่งซื้อ) แก้ไขความท้าทายเหล่านี้โดยตรงด้วยการนำเสนอประสิทธิภาพ NDR 400Gb/s บนแพลตฟอร์ม OSFP 64 พอร์ต ซึ่งให้พื้นที่สำรองและความอัจฉริยะที่จำเป็นในการขจัดปัญหาคอขวดที่เกิดจากเครือข่าย แม้ในสภาพแวดล้อมการฝึกอบรม AI ที่มีความต้องการสูงสุด

คุณสมบัติทางเทคนิคที่สำคัญ

สร้างขึ้นบนชิปเซ็ตเดียวกับ MQM9790-NS2F ที่ได้รับความนิยมอย่างแพร่หลาย แพลตฟอร์ม 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR นำเสนอชุดคุณสมบัติที่ครอบคลุมซึ่งออกแบบมาสำหรับการใช้งานระดับ exascale ตาม เอกสารข้อมูล 920-9B210-00FN-0D0 สวิตช์นำเสนอ:

• 64 พอร์ต 400Gb/s NDR: แต่ละพอร์ต OSFP รองรับ 400Gb/s แบบสองทิศทางพร้อมการแก้ไขข้อผิดพลาดไปข้างหน้า (FEC) ให้ความจุสวิตชิ่งรวม 51.2 Tb/s
• ความหน่วงเวลาต่ำพิเศษ: ความหน่วงเวลาแบบ cut-through น้อยกว่า 100 นาโนวินาที ตามที่ระบุไว้ใน ข้อมูลจำเพาะ 920-9B210-00FN-0D0 รับประกันการโอเวอร์เฮดน้อยที่สุดสำหรับการดำเนินการ RDMA และ MPI
• SHARPv3 ในตัว: ปลดภาระการดำเนินการแบบรวมกลุ่ม (all-reduce, all-to-all, broadcast) โดยตรงบนโครงสร้างสวิตช์ ลดความหน่วงเวลาในการสื่อสารลงสูงสุด 40% สำหรับงานขนาดใหญ่
• การกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัด: กำหนดเส้นทางการรับส่งข้อมูลใหม่แบบไดนามิกเพื่อหลีกเลี่ยงจุดร้อน รักษาประสิทธิภาพที่คาดการณ์ได้แม้ภายใต้รูปแบบการรับส่งข้อมูลที่ท้าทาย
• การวัดขั้นสูง: ตัวนับต่อโฟลว์และต่อพอร์ต พร้อมการตรวจสอบการครอบครองบัฟเฟอร์ ให้การมองเห็นเชิงลึกสำหรับการจัดการเชิงรุก

เข้ากันได้กับ 920-9B210-00FN-0D0 ประกอบด้วยสายเคเบิล OSFP ที่ได้รับการรับรองจาก NVIDIA, ตัวรับส่งสัญญาณออปติคัล และเครื่องมือซอฟต์แวร์ที่หลากหลาย เพื่อให้มั่นใจว่าสามารถรวมเข้ากับสภาพแวดล้อม HDR ที่มีอยู่หรือสภาพแวดล้อม NDR ใหม่ได้อย่างราบรื่น สำหรับองค์กรที่วางแผนโครงสร้างพื้นฐานรุ่นต่อไป สวิตช์นี้รองรับเครือข่ายแบบผสม HDR/NDR ทำให้สามารถอัปเกรดเป็นระยะๆ ได้โดยไม่กระทบต่อเวิร์กโหลดการผลิต

ตอบสนองความต้องการในการใช้งานจริง

สำหรับสถาปนิกเครือข่ายที่ออกแบบคลัสเตอร์การฝึกอบรม AI ใหม่ หรืออัปเกรดเครือข่าย HDR ที่มีอยู่ โซลูชัน สวิตช์ InfiniBand 920-9B210-00FN-0D0 OPN นำเสนอข้อได้เปรียบที่น่าสนใจหลายประการ ความหนาแน่น 64 พอร์ตช่วยให้สามารถติดตั้งที่ด้านบนของแร็คได้สูงสุด 64 เซิร์ฟเวอร์แบบพอร์ตคู่ต่อสวิตช์ ลดจำนวนสวิตช์และสายเคเบิลที่จำเป็นเมื่อเทียบกับทางเลือก 40 พอร์ต ในโทโพโลยีแบบ leaf-spine สิ่งนี้แปลว่ามีชั้น spine น้อยลง ความหน่วงเวลาที่ต่ำลง และต้นทุนรวมในการเป็นเจ้าของที่ลดลง

สวิตช์ยังสืบทอดความสามารถในการจัดการที่แข็งแกร่งของกลุ่มผลิตภัณฑ์ InfiniBand ของ NVIDIA ด้วย NVIDIA Unified Fabric Manager (UFM) ผู้ดูแลระบบสามารถมองเห็นสุขภาพของเครือข่ายได้อย่างลึกซึ้ง ทำให้การจัดเตรียมเป็นไปโดยอัตโนมัติ และตรวจจับความผิดปกติเชิงรุกก่อนที่จะส่งผลกระทบต่อเวิร์กโหลดการผลิต แหล่งจ่ายไฟสำรองคู่ของสวิตช์และโมดูลพัดลมที่สามารถเปลี่ยนได้ขณะทำงานช่วยให้มั่นใจได้ถึงความพร้อมใช้งาน 99.999% สำหรับแอปพลิเคชันที่สำคัญต่อภารกิจ

เมื่อประเมิน ราคา 920-9B210-00FN-0D0 และต้นทุนรวมในการเป็นเจ้าของ สวิตช์นี้มอบเศรษฐศาสตร์ที่น่าสนใจสำหรับการใช้งานขนาดใหญ่ แม้ว่าต้นทุนเริ่มต้นจะสูงกว่าทางเลือก HDR แต่ต้นทุนต่อพอร์ตและต้นทุนเครือข่ายต่อ GPU จะต่ำกว่าอย่างมากเมื่อคิดเฉลี่ยตลอดคลัสเตอร์ขนาดใหญ่ ทำให้ NDR เป็นตัวเลือกที่คุ้มค่ามากขึ้นเรื่อยๆ สำหรับโครงการ exascale 920-9B210-00FN-0D0 สำหรับขาย มีจำหน่ายแล้วผ่านพันธมิตรช่องทางของ NVIDIA โดยมีการจัดส่งให้กับลูกค้ากลุ่มแรกแล้ว

สรุป: รากฐาน NDR สำหรับ AI ยุคถัดไป

NVIDIA Mellanox 920-9B210-00FN-0D0 แสดงถึงก้าวสำคัญในเครือข่ายประสิทธิภาพสูง โดยมอบแบนด์วิดท์ ความหนาแน่น และความอัจฉริยะที่จำเป็นสำหรับคลัสเตอร์ AI และ HPC รุ่นต่อไป ด้วยการรวมความเร็ว NDR 400Gb/s เข้ากับความหนาแน่น OSFP 64 พอร์ตและการประมวลผลในเครือข่าย SHARPv3 สวิตช์นี้ช่วยให้สถาปนิกสามารถสร้างเครือข่ายที่ปรับขนาดได้และแน่นอน ซึ่งสามารถก้าวทันเวิร์กโหลดหลายล้านล้านพารามิเตอร์ที่ต้องการมากที่สุด

สำหรับองค์กรที่วางแผนโครงสร้างพื้นฐานรุ่นต่อไป 920-9B210-00FN-0D0 นำเสนอเส้นทางที่ชัดเจนและมีประสิทธิภาพสูงไปข้างหน้า ไม่ว่าจะเป็นการติดตั้งใหม่ทั้งหมด หรือการอัปเกรดเชิงกลยุทธ์จากเครือข่าย HDR ที่มีอยู่ ด้วยชุดคุณสมบัติที่แข็งแกร่ง การจัดการระดับองค์กร และความเข้ากันได้ที่ราบรื่นกับระบบนิเวศที่กว้างขึ้นของ NVIDIA สวิตช์นี้จึงพร้อมที่จะกลายเป็นรากฐานสำคัญของเครือข่ายระดับ exascale