สวิตช์ InfiniBand Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 ในการผลิต

สถาบันวิจัย AI ที่นําหน้าในเอเชียตะวันออกเผชิญกับปัญหาใหญ่ แต่เป็นปัญหาที่สําคัญ คลัสเตอร์ 512-GPU ของพวกเขามีการลดลงอย่างรุนแรงในผลงาน เมื่องานเพิ่มขนาดสาเหตุหลักคือเนื้อเยื่อ Ethernet 100Gb / s ที่เสียค่าใช้จ่าย TCP / IP และการสูญเสียแพ็คเก็ตระหว่างเหตุการณ์ incast ส่งผลให้ GPU มีเวลาว่างถึง 35%ผ้าที่มีความช้าต่ําสุดที่สามารถรองรับ RDMA และปรับขนาดได้ถึงพัน ๆ ค้อนของหน่วยโดยไม่ต้องเสี่ยงในการทํางานหลังจากประเมินวิธีแก้ปัญหาหลายอย่าง พวกเขาเลือกMellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0สวิตช์ InfiniBand เป็นแกนหลักของโครงสร้างกระดูกสันหลังใหม่ของพวกเขา

การจัดตั้งตั้งอยู่รอบ ๆ920-9B210-00FN-0D0เป็นชั้นสันหลัง, ด้วย 32 สวิตช์ใบเชื่อมต่อ 512 GPU NVIDIA A100 ผ่านตัวปรับ ConnectX-7.920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRสวิตช์ให้ 400Gb / s ต่อท่าทาง, ยกความกว้างแบนด์วิทของคําตอบ HDR ก่อนหน้านี้เป็นสองเท่าในขณะที่รักษาความช้าในการสวิตช์ sub-microsecond.920-9B210-00FN-0D0 InfiniBand สวิตช์ OPNการจัดซื้อจัดจ้างที่เรียบง่ายและรับประกันความสอดคล้องของฟอร์มแวร์ในหน่วยทั้งหมดใบข้อมูล 920-9B210-00FN-0D0และรายละเอียด 920-9B210-00FN-0D0เพื่อรับรองความต้องการพลังงานและความร้อน ทําให้สามารถบูรณาการได้อย่างต่อเนื่องใน racks 19" ที่มีอยู่920-9B210-00FN-0D0 รองรับด้วยทั้งโครงสร้าง HDR ที่มีอยู่ และจุดสิ้นสุด NDR ใหม่ๆ เพื่อให้มีการย้ายไปในระยะ

• RDMA ประหยัดประสิทธิภาพ:กับNVIDIA Mellanox 920-9B210-00FN-0D0การควบคุมความจุกจุกที่ใช้ฮาร์ดแวร์ทําให้ความช้าในการเขียน RDMA ลดลงจาก 12μs เป็น 1.2μs. GPU direct RDMA (GDR) ได้มีประสิทธิภาพอย่างเต็มที่ โดยกําจัดความยุ่งยากในความจําของ CPU.
• ความเร็วการใช้งาน HPC:รหัสการจําลองสภาพอากาศหลัก (พัฒนาจาก MPI) ได้เห็นการปรับปรุงผลงาน 2.7 เท่า เนื่องจากการปรับเปลี่ยนเส้นทางของสวิตช์และการลดภาระร่วม SHARP v2
• ผลการฝึกอบรม AI:สําหรับงานฝึกอบรม LLM ที่มีค่าใช้จ่าย 175 พันล้านบาท ผ้าใหม่ลดเวลาลดทั้งหมด 68% ปรับปรุงการใช้งาน GPU จาก 62% เป็น 91%
• การทํางานง่าย:รายการ920-9B210-00FN-0D0 โซลูชั่น OPN สวิตช์ InfiniBandผู้นํา IT รายงานการลดเวลาในการแก้ไขปัญหาเกี่ยวกับเครือข่าย 50%

ในการประเมินโครงการสถาบันวิจัยได้เปรียบเทียบ920-9B210-00FN-0D0 ราคาถึงแม้จะมีต้นทุนสูงขึ้น แต่ค่าบริการรวม (TCO) สนับสนุน InfiniBand เนื่องจากการใช้งาน GPU ที่สูงขึ้นและพลังงานต่ําต่อ Gb / sหน่วยมีให้บริการง่าย ๆ เช่น920-9B210-00FN-0D0 สําหรับขายผ่านช่องทางการจําหน่ายของ NVIDIA, ด้วยเวลานําที่สั้นกว่าอย่างมากจากสวิตช์ NDR อื่น ๆ.รายละเอียด 920-9B210-00FN-0D0ยังยืนยันการสนับสนุนสําหรับปัสดุพลังงานที่เหลือใช้และแฟนที่เปลี่ยนได้ร้อน ซึ่งตอบสนองความต้องการความน่าเชื่อถือของสถาบันสําหรับการดําเนินงานวิจัย AI 24 / 7

สถาบันวิจัย AI ได้มาตรฐาน920-9B210-00FN-0D0สําหรับการขยายคลาสเตอร์ในอนาคตทั้งหมด รวมถึงการวางแผน 2,048-GPU NDR200 fabric.NVIDIA Mellanox 920-9B210-00FN-0D0ไม่ใช่เพียงแค่สวิตช์ ครับ มันเป็นองค์ประกอบพื้นฐานสําหรับการบรรลุการปรับขนาดการทํางานแบบเส้นตรงในสภาพแวดล้อม AI และ HPC สําหรับสถาปนิกและผู้บริหารไอทีที่ต้องการกําจัดข้อขัดขวางในการเชื่อมต่อรายการ920-9B210-00FN-0D0 โซลูชั่น OPN สวิตช์ InfiniBandเปิดช่องทางที่ผ่านการพิสูจน์ และพร้อมสําหรับการผลิต