การวิเคราะห์สถาปัตยกรรมเครือข่ายของ Mellanox เพื่อรองรับการฝึกอบรมโมเดล AI ขนาดใหญ่

สรุป:เนื่องจากความต้องการด้านการคำนวณสำหรับการการฝึกอบรมโมเดล AIเพิ่มขึ้นอย่างมาก คอขวดของเครือข่ายจึงกลายเป็นข้อจำกัดที่สำคัญ บทความนี้เจาะลึกถึงวิธีการที่โซลูชันเครือข่าย GPUประสิทธิภาพสูงของ Mellanox (ปัจจุบันเป็นส่วนหนึ่งของ NVIDIA) ซึ่งสร้างขึ้นบนเทคโนโลยีMellanox InfiniBandกำลังสร้างสถาปัตยกรรมอินเตอร์คอนเนคความเร็วสูงที่จำเป็นในการฝึกอบรมโมเดล AI ขนาดใหญ่ได้อย่างมีประสิทธิภาพ ลดเวลาการฝึกอบรมจากหลายสัปดาห์เหลือเพียงไม่กี่วัน

ขนาดของโมเดล AI สมัยใหม่ที่มีจำนวนพารามิเตอร์พุ่งสูงขึ้นถึงหลายแสนล้านตัว ทำให้ต้องมีการประมวลผลแบบขนานใน GPU หลายพันตัว ในคลัสเตอร์แบบกระจายเหล่านี้ เวลาที่ GPU ใช้ไปกับการรอข้อมูลจากโหนดอื่น ๆ —ค่าใช้จ่ายในการสื่อสาร—อาจขัดขวางประสิทธิภาพโดยรวมอย่างมาก การวิเคราะห์อุตสาหกรรมชี้ให้เห็นว่าในคลัสเตอร์ขนาดใหญ่ เครือข่ายที่ไม่มีประสิทธิภาพอาจทำให้พลังการคำนวณ GPU ที่มีราคาแพงกว่า 50% ไม่ได้ใช้งาน เครือข่ายไม่ใช่แค่ท่อส่งข้อมูลอีกต่อไป แต่เป็นระบบประสาทส่วนกลางของซูเปอร์คอมพิวเตอร์ AI

Mellanox InfiniBand ได้กลายเป็นมาตรฐานโดยพฤตินัยสำหรับการเชื่อมต่อ GPU ในสภาพแวดล้อมการประมวลผลประสิทธิภาพสูง (HPC) และ AI สถาปัตยกรรมของมันถูกสร้างขึ้นโดยมีวัตถุประสงค์เพื่อจัดการกับความท้าทายที่เกิดจากการการฝึกอบรมโมเดล AIแบบกระจายโดยเฉพาะ ข้อได้เปรียบทางเทคโนโลยีที่สำคัญ ได้แก่:

• ความหน่วงต่ำพิเศษและแบนด์วิดท์สูง:ให้ความหน่วงในระดับนาโนวินาทีและแบนด์วิดท์เกิน 400 Gb/s (NDR) ทำให้มั่นใจได้ว่าข้อมูลจะไหลระหว่าง GPU โดยมีความล่าช้าน้อยที่สุด
• การเข้าถึงหน่วยความจำโดยตรงระยะไกล (RDMA):ช่วยให้ GPU สามารถอ่านและเขียนไปยังหน่วยความจำของ GPU อื่นได้โดยตรง โดยข้าม CPU และเคอร์เนลระบบปฏิบัติการ ซึ่งช่วยลดความหน่วงและค่าใช้จ่ายของ CPU อย่างมาก
• Sharp™ In-Network Computing:คุณสมบัติปฏิวัติวงการที่ถ่ายโอนการดำเนินการลด (เช่น MPI_ALLREDUCE) ไปยังตัวสวิตช์เครือข่ายเอง ซึ่งจะเปลี่ยนเครือข่ายจากแบบพาสซีฟเป็นแบบแอคทีฟ เร่งการดำเนินการร่วมกันซึ่งเป็นพื้นฐานสำหรับการฝึกอบรม AI

ความเหนือกว่าทางสถาปัตยกรรมของ Mellanox InfiniBand แปลเป็นผลลัพธ์ทางธุรกิจและการวิจัยที่เป็นรูปธรรมโดยตรง การทดสอบเกณฑ์มาตรฐานแสดงให้เห็นถึงความแตกต่างของประสิทธิภาพที่สำคัญเมื่อเทียบกับเทคโนโลยีเครือข่ายทางเลือก

การเพิ่มประสิทธิภาพเหล่านี้แปลเป็นต้นทุนการคำนวณบนคลาวด์ที่ต่ำลง รอบการทำซ้ำที่เร็วขึ้นสำหรับนักวิจัย และเวลาในการวางจำหน่ายผลิตภัณฑ์ที่ขับเคลื่อนด้วย AI ที่เร็วขึ้นโดยตรง

วิถีของ AI ต้องการเครือข่ายที่สามารถปรับขนาดได้ แผนงานของ Mellanox InfiniBand พร้อมความก้าวหน้าตามแผนไปสู่ 800 Gb/s (XDR) และสูงกว่านั้น ทำให้มั่นใจได้ว่าเครือข่ายจะไม่เป็นปัจจัยจำกัดสำหรับนวัตกรรม AI รุ่นต่อไป การผสานรวมอย่างราบรื่นกับกรอบงาน NGC และสแต็กการคำนวณของ NVIDIA ทำให้โซลูชันแบบองค์รวมและเหมาะสมที่สุดสำหรับองค์กรที่สร้างโครงสร้างพื้นฐาน AI

สำหรับองค์กรใดๆ ที่จริงจังกับการใช้ประโยชน์จากปัญญาประดิษฐ์ขนาดใหญ่ การเพิ่มประสิทธิภาพโครงสร้างพื้นฐานเครือข่ายไม่ใช่ทางเลือกอีกต่อไป การลงทุนในเครือข่าย GPUประสิทธิภาพสูงด้วยMellanox InfiniBandเป็นสิ่งจำเป็นเชิงกลยุทธ์ในการเพิ่ม ROI สูงสุดบนคลัสเตอร์ GPU เร่งการวิจัยและพัฒนา และรักษาความได้เปรียบในการแข่งขัน เป็นเทคโนโลยีพื้นฐานที่ช่วยให้การฝึกอบรมโมเดล AIมีประสิทธิภาพและปรับขนาดได้