NVIDIA Mellanox MCX653105A-HDAT Server Adapter ในการทำงาน | RDMA/RoCE การขนส่งที่มีความหน่วงต่ำ & การเพิ่มปริมาณงานของเซิร์ฟเวอร์

NVIDIA Mellanox MCX653105A-HDAT Server Adapter ในกิจกรรม

สถานการณ์และความท้าทาย: ปัญหาของการฝึกอบรม AI

บริษัทเทคโนโลยีการเงินชั้นนําที่เชี่ยวชาญในธุรกิจอัลกอริทึมและการวิเคราะห์ความเสี่ยงในเวลาจริง ต้องเผชิญกับความท้าทายด้านโครงสร้างพื้นฐานที่สําคัญทีมงานการเรียนรู้เครื่องจักรของพวกเขาได้จัดตั้งกลุ่มการฝึกอบรมกระจาย ซึ่งประกอบด้วย 32 เซอร์เวอร์ที่เร่งด้วย GPUแต่เมื่อความซับซ้อนของโมเดลเติบโตจากหลายล้านไปเป็นพันล้านพารามิเตอร์ ความช้าของเครือข่ายกลายเป็นข้อขัดขวางที่เด่นตัวปรับ 25GbE ที่มีอยู่, ที่ทํางานกับ TCP/IP แบบดั้งเดิม นํามาใช้ความช้าในระยะเวลาที่ไม่คาดเดาได้ ซึ่งทําให้การร่วมกันของ gradient ผ่านคลัสเตอร์ช้าลงอย่างมาก

ผู้ออกแบบโครงสร้างพื้นฐานของบริษัท ได้ระบุปัญหาหลักสองประการสเตค TCP/IP ใช้ทรัพยากร CPU ที่สําคัญในแต่ละเซอร์เวอร์อย่างที่สอง การขาดความอ่อนแอของฮาร์ดแวร์สําหรับ RDMA ทําให้การโอนข้อมูลระหว่างความจํา GPU และเครือข่ายต้องมีสําเนาความจําหลายตัวการเพิ่มความช้าระดับไมโครวินาทีที่สะสมผ่านการแลกเปลี่ยนพารามิเตอร์หลายพันต่อขั้นตอนการฝึกอบรมทีมงานต้องการคําตอบที่สามารถนําเสนอการสื่อสารระยะยาวต่ําโดยไม่เสียสละความเร็วของเซอร์เวอร์หรือต้องการการปรับปรุงเครือข่ายอย่างสมบูรณ์

การแก้ไขและการจัดจําหน่าย: การนํา RoCE มาใช้กับ MCX653105A-HDAT

หลังจากการประเมินตัวเลือกหลายอย่าง บริษัทได้เลือกNVIDIA Mellanox MCX653105A-HDATเป็นองค์ประกอบหลักของการปรับปรุงเครือข่ายของพวกเขา การ์ดเครือข่าย PCIe นี้ถูกจัดจําหน่ายในแต่ละ 32 เซอร์เวอร์การฝึกอบรมMCX653105A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIeให้การผสมผสานที่ต้องการของความกว้างแบนด์วิทสูงและการสนับสนุน RoCEv2 ที่เร่งเร็วด้วยฮาร์ดแวร์, ทําให้การสื่อสาร RDMA ที่แท้จริงผ่านเนื้อหา Ethernet ที่มีอยู่.

การจัดตั้งปฏิบัติตามแนวทางที่มีโครงสร้าง

• การติดตั้งทางกายภาพ:แต่ละเซอร์เวอร์ได้รับการ์ด MCX653105A-HDAT Ethernet, เชื่อมต่อผ่านการเชื่อมโยง SFP28 25GbE ที่มีประตูสองทางไปยังสวิตช์ด้านบนของเรคที่เหลือใช้
• การตั้งค่า RoCEv2:สวิตช์เครือข่ายถูกปรับแต่งด้วยการควบคุมการไหลของความสําคัญ (PFC) และการแจ้งความอึดอัดอย่างชัดเจน (ECN) เพื่อให้แน่ใจว่าการขนส่ง Ethernet ไม่มีการสูญเสีย
• GPUDirect Integration: การบูรณาการโดยตรงทีมงานได้นําความสามารถของ GPUDirect ของตัวปรับใช้ไปใช้ เพื่อทําให้การเคลื่อนไหวของข้อมูลตรงระหว่างความจํา GPU และอินเตอร์เฟซเครือข่ายได้โดยไม่ต้องมีส่วนร่วมของ CPU ที่เป็นเจ้าภาพ
• ซอฟต์แวร์สเต็ก:การติดตั้ง NVIDIA networking driver stack และโครงสร้างการฝึกอบรม (PyTorch พร้อมข้อมูลกระจายในแนวขนาน) ได้มีการตั้งค่าเพื่อใช้ชั้นขนส่ง RDMA

ตามใบข้อมูล MCX653105A-HDAT, ตัวปรับรองรองรับ PCIe Gen 4.0 x16ให้ความกว้างแบนด์วิทของโฮสต์สูงสุด 256 GB/s ✓ เพียงพอที่จะให้ความเต็มที่กับพอร์ต 25GbE แบบคู่ โดยให้ช่องว่างในการปรับปรุงในอนาคตเป็น 50GbE หรือ 100GbEทีมงานระบุว่าความยืดหยุ่นของตัวปรับทําให้มันMCX653105A-HDAT รองรับกับฮาร์ดแวร์เซอร์ที่มีอยู่ของพวกเขา ซึ่งสนับสนุนทั้ง PCIe Gen 3.0 และ 40.

รายการรายละเอียด MCX653105A-HDATพวกเขาปรับปรุงปริมาตรการสับสนสับสน เพื่อสมดุลความช้ากับการใช้ CPUและตั้งค่าความสําคัญต่อคิวเพื่อให้แน่ใจว่าการจราจรการเรียงลําดับการร่วมสynchronization ได้รับการรักษา QoS ที่สูงสุด.

ผล & ผลประโยชน์ที่สามารถวัดได้

การปรับปรุงผลการดําเนินงานเป็นอย่างมาก และสามารถวัดได้โดยตรงในหลายมิติ:

นอกจากการปรับปรุงปริมาณNVIDIA Mellanox MCX653105A-HDATส่งผลประโยชน์ทางการดําเนินงาน ที่ทีมงานไม่คาดคิดความช้าช้าที่กําหนดได้ทําให้การฝึกอบรมเข้าใกล้กันได้อย่างต่อเนื่อง ภายในระยะเวลาที่คาดการณ์ได้คีย์ CPU ที่ได้รับการปลดปล่อยถูกนําไปสู่การคํานวณจริง โดยเพิ่มความสามารถในการคํานวณของคลาสเตอร์โดยไม่เพิ่มฮาร์ดแวร์ใหม่

ทีมงานยังได้นําเทเลเมตรีที่ติดตั้งในตัวปรับตัวไปใช้ เพื่อให้เห็นรูปแบบการติดต่อของผ้าข้อมูลเหล่านี้ช่วยให้พวกเขาปรับปรุงการตั้งค่าเซลล์พัฟเฟอร์ของเครือข่าย และระบุการลดลงของผลประกอบการที่อาจเกิดขึ้นได้.MCX653105A-HDAT Ethernet adapter การ์ดแก้ไขพิสูจน์ว่าเป็นทั้งตัวเร่งผลงาน และเป็นเครื่องมือสํารวจการปฏิบัติงาน

สรุปและมุมมอง

การใช้งานนี้ยืนยันว่าNVIDIA Mellanox MCX653105A-HDATมากกว่าการปรับปรุงเครือข่าย ✓ มันเป็นการลงทุนทางกลยุทธ์ในการทํางานคอมพิวเตอร์กระจายตัวปรับอัตราการใช้งานลดเวลาการฝึกอบรม 70%, เร่งเวลาในการตลาดสําหรับรุ่นใหม่ และปรับปรุงประสิทธิภาพโครงสร้างพื้นฐานอย่างสําคัญ

บริษัทตอนนี้วางแผนที่จะขยายสถาปัตยกรรมนี้ไปยังกลุ่มอื่นๆ รวมถึงแพลตฟอร์มวิเคราะห์ความเสี่ยงในเวลาจริงในกรณีที่การเคลื่อนไหวของข้อมูลในความช้าต่ําระหว่างฐานข้อมูลในความทรงจําและคอมพิวเตอร์โน๊ด เป็นสิ่งจําเป็น.MCX653105A-HDAT ราคาเมื่อประเมินกับการประหยัดการดําเนินงานและการเพิ่มผลประกอบการได้แสดงผลตอบแทนที่น่าเชื่อถือจากการลงทุน โดยเฉพาะอย่างยิ่งเมื่อเปรียบเทียบกับค่าใช้จ่ายในการจัดจําหน่ายพื้นฐาน InfiniBand หรือการจัดหาหน่วยคอมพิวเตอร์เพิ่มเติม.

สําหรับองค์กรที่ประเมินMCX653105A-HDAT สําหรับขายตัวเลือก, การศึกษากรณีนี้แสดงให้เห็นว่า adapter ส่งผลให้กับสัญญาของความช้าต่ํา, การเชื่อมต่อเครือข่ายผ่านสูงในสภาพแวดล้อมการผลิตในโลกจริง.การผสมผสานของความเร่งของฮาร์ดแวร์, ทีเลเมตรีที่ครบวงจร และความสอดคล้องได้อย่างต่อเนื่องกับพื้นฐาน Ethernet ที่มีอยู่NVIDIA Mellanox MCX653105A-HDATเป็นองค์ประกอบพื้นฐานของสถาปัตยกรรมศูนย์ข้อมูลที่ทันสมัย