NVIDIA Mellanox MCX556A-ECAT Server Adapter ในการทํางาน: ปลดล็อค RDMA / RoCE การทํางานความช้าต่ําและเร่ง AI

NVIDIA Mellanox MCX556A-ECAT Server Adapter in Action: ปลดล็อค RDMA / RoCE การทํางานความช้าต่ําและเร่ง AI และภาระการทํางานที่กระจาย

รุ่น:MCX556A-ECATแบรนด์: NVIDIA Mellanox ประเภท: อดอปเตอร์อีเทอร์เน็ตประสิทธิภาพสูง ความสามารถสําคัญ: RDMA / RoCE การขนส่งความช้าต่ํา และการปรับปรุงการทํางานของเซอร์เวอร์

สถานการณ์และความท้าทาย: ความยุ่งยากของเครือข่ายในการฝึกอบรม AI ในขนาดใหญ่

สําหรับทีมงานโครงสร้างพื้นฐานข้อมูล ในบริษัทเทคโนโลยีขับขี่อิสระชั้นนําการเติบโตอย่างรวดเร็วของภาระงานการฝึกอบรมแบบ AI มากกว่าความสามารถของพื้นฐานเครือข่ายปัจจุบันคลัสเตอร์คอมพิวเตอร์ของพวกเขาประกอบด้วยเซอร์เวอร์ GPU กว่า 200 เครื่อง ซึ่งแต่ละเครื่องมีตัวปรับ 25GbE เชื่อมต่อกับระบบการเก็บข้อมูลที่กระจายระหว่างงานฝึกอบรมขนาดใหญ่, ทีมงานได้สังเกตเห็นอย่างต่อเนื่องว่ามีปัญหาสําคัญสองประเด็น: การใช้งาน GPU น้อยครั้งที่เกิน 70% เนื่องจากความคับคั่งในการลดข้อมูลและการประหยัดจุดตรวจสอบ หลักในการฟื้นตัวแบบ ใช้เวลามากกว่า 40 วินาที, ความช้าลงอย่างมากรอบการฝึกซ้อม

สาเหตุหลักถูกตามรอยไปยังชั้นการเข้าถึงเครือข่าย: อัดปรับที่มีอยู่ไม่มีความสามารถ RDMA ที่แข็งแกร่งในการลดภาระ, ยกบังคับให้ I / O ของการเก็บข้อมูลข้าม TCP / IP และใช้จักรยาน CPU มากเกินไป.ผลลัพธ์คือความช้าของหางสูง การใช้งานทรัพยากร GPU ที่ไม่มีประสิทธิภาพ และการจํากัดความสามารถในการปรับขนาดในการขยายคลาสเตอร์ในอนาคตทีมงานต้องการตัวปรับประสิทธิภาพสูงอย่างเร่งด่วน ที่สามารถให้ความช้าของ RDMA ต่ํากว่า 5μs และความเร็วเต็มของสายเพื่อปลดปล่อยศักยภาพของผ้าเก็บของ NVMe-oF ของพวกเขาที่นี่คือที่ที่NVIDIA Mellanox MCX556A-ECATเข้าสู่กระบวนการประเมิน

การแก้ไขและการใช้งาน: สร้างผ้าที่ดีที่สุดแบบ RDMA รอบ MCX556A-ECAT

หลังจากการตรวจสอบอย่างละเอียดใบข้อมูล MCX556A-ECATและการรับรองรายละเอียด MCX556A-ECATจากการพิจารณาระเบียงผลงานภายใน ทีมสถาปัตยกรรมออกแบบกลยุทธ์การนํามาใช้ในระยะการ์ดเครือข่าย PCIe MCX556A-ECAT ConnectXได้ถูกเลือกสําหรับความสามารถ 50GbE ที่มีสองท่าทางและ ConnectX-5 ASIC ที่วัยรุ่น ซึ่งให้ความสมดุลที่ดีที่สุดของผลงาน ประสิทธิภาพการใช้พลังงาน และความวัยรุ่นของระบบนิเวศ

กลยุทธ์การนําเสนอปฏิบัติตาม 3 ขั้นตอนหลัก

• ขั้นตอนที่ 1 รายการทดลอง (16 GPU Node)มีการติดตั้งตัวปรับ MCX556A-ECAT สองตัวต่อหน่วยคอมพิวเตอร์, ที่มีบ้านสองตัวเพื่อแยกสวิทช์ใบ RoCEv2ทีมงานปรับปรุงตัวปรับกับ SR-IOV เพื่อจัดสรรฟังก์ชันเสมือนเพื่อการเก็บ I / O และการสื่อสารการฝึกอบรม, รับประกัน QoS การแยก
• ขั้นตอนที่ 2 การบูรณาการผ้าเก็บของเป้าหมายการเก็บของ NVMe-oF ได้ถูกตั้งค่าเพื่อโฆษณาจุดสิ้น RDMA สามารถ. PFC และ ECN ได้ถูกเปิดให้ใช้ได้ทั่วเนื้อเยื่อเพื่อรับประกันการขนส่งที่ไม่มีการสูญเสียสําหรับการจราจร RoCEv2
• ขั้นตอนที่ 3 ขยายการผลิต (ทุก 200 GPU Node)จากผลการทดลองที่เป็นบวก การใช้งานถูกขยายไปยังกลุ่มทั้งหมดสอดคล้องกับ MCX556A-ECATระบบนิเวศให้ความมั่นคงกับการบูรณาการที่เรียบร้อยกับแพลตฟอร์มเซอร์เวอร์, แอรเรย์การเก็บข้อมูล และโครงสร้างพื้นฐานสวิตช์

ตลอดการใช้งานการ์ด MCX556A-ECAT Ethernetได้แสดงให้เห็นถึงความเรียบง่ายสุดๆของ plug-and-playทีมงานได้นําเครื่องขับขี่ MLNX_OFED มาใช้กับห้องสมุดการสื่อสารรวมของ NVIDIA (NCCL) เพื่อปรับปรุงผลงาน RDMA สําหรับรูปแบบการสื่อสาร GPU-to-GPU และ GPU-to-storage.

ผลลัพธ์ที่สามารถวัดได้: การเพิ่มผลงานที่สําคัญ และการปลดปล่อยทรัพยากร

หลังจากการนําการผลิตมาใช้ในขนาดใหญ่ ทีมงานได้บันทึกการปรับปรุงที่สําคัญในหลายเมตรสําคัญตารางด้านล่างสรุปการเปรียบเทียบผลประกอบการก่อนและหลังการนํามาใช้NVIDIA Mellanox MCX556A-ECAT:

นอกเหนือจากการปรับปรุงปริมาณ ทีมงานรายงานการลดเวลาในการฝึกซ้อมอย่างน่าทึ่ง จากเฉลี่ย 4.2 วันต่อรุ่น เป็นเพียง 2.8 วันส่งผลให้การเร่งเร่ง 33% ในเวลารวมในการตลาดสําหรับรุ่นขับขี่อิสระใหม่นอกจากนี้ เมื่อประเมินราคา MCX556A-ECATเมื่อเทียบกับค่าบริการทั้งหมด, ROI กลายเป็นแรงดึงดูดภายในสองเดือนแรกของการใช้ในการผลิต ความจุ CPU ที่ได้รับอนุญาตให้ทีมงานเลื่อนการปรับปรุงเซอร์เวอร์ที่วางแผนขณะที่เวลาการฝึกอบรมที่ลดลง.MCX556A-ECAT สําหรับขายทางเลือกผ่านพันธมิตรช่องทางของ NVIDIA ได้นําเสนอรูปแบบการจัดซื้อขายที่ยืดหยุ่นที่สอดคล้องกับวงจรการลงทุนของบริษัท

สรุปและมุมมอง: รากฐานสําหรับพื้นฐาน AI ในอนาคต

การนํามาใช้ในโลกจริงของNVIDIA Mellanox MCX556A-ECATในสภาพแวดล้อมการขับขี่อิสระนี้แสดงให้เห็นว่า การเชื่อมต่อเซอร์เวอร์ที่รองรับ RDMA / RoCE ไม่ได้เป็นของหรูหราอีกต่อไป แต่เป็นความจําเป็นสําหรับภาระงาน AI ใหม่MCX556A-ECAT การแก้ไขบัตรแอดป์เตอร์อีเทอร์เน็ตได้พิสูจน์ความสามารถในการกําจัดขัดขวางในการเก็บข้อมูล, การใช้งาน GPU ให้มากที่สุด, และเร่งระยะเวลาการฝึกแบบอย่างสําคัญ ทั้งหมดภายในระบบเครือข่ายที่รวมและสามารถจัดการได้

มองไปข้างหน้า ทีมงานวางแผนที่จะสํารวจกรณีการใช้เพิ่มเติมการ์ดเครือข่าย PCIe MCX556A-ECAT ConnectX, รวมถึงการสตรีมเมนต์ข้อมูลเซ็นเซอร์ในเวลาจริง และการร่วมกันหลายคลาสเตอร์เพื่อการเรียนรู้แบบรวมใบข้อมูล MCX556A-ECATและพัฒนารายละเอียด MCX556A-ECATขณะที่บริษัทมากขึ้นเผชิญหน้ากับความกดดันในการปรับขนาดที่คล้ายกันในพื้นที่ AI และ HPCMCX556A-ECATให้รูปแบบที่ผ่านการพิสูจน์ในการสมดุลผลงาน ความน่าเชื่อถือ และความเรียบง่ายในการปฏิบัติงานในสภาพแวดล้อมที่สําคัญต่อภารกิจ