การใช้งานจริง: NVIDIA Mellanox MCX631102AN-ADAT – การขนส่ง RDMA/RoCE ที่มีความหน่วงต่ำ & การเพิ่มประสิทธิภาพการรับส่งข้อมูลเซิร์ฟเวอร์

ในระบบจองที่กระจาย, คอมพิวเตอร์ที่มีประสิทธิภาพสูง, และคลาสเตอร์การฝึกอบรม AI ความช้าของเครือข่ายและค่าใช้จ่ายส่วนกลางของ CPU ได้กลายเป็นอุปสรรคหลักที่จํากัดการทํางานของเซอร์เวอร์ผู้ให้บริการบริการเมฆล่าสุดปรับปรุง NVMe-oF ของมันNVIDIA Mellanox MCX631102AN-ADATโดยการจัดจําหน่าย RDMA ผ่าน Converged Ethernet (RoCEv2) พวกเขาได้รับการขนส่งระยะยาวต่ําจากปลายไปปลายและการเพิ่มความเร็วของเซอร์เวอร์อย่างสําคัญการศึกษากรณีนี้วิเคราะห์วิธีการปรับปรุงการทํางานในสภาพแวดล้อมการผลิต.

สถานการณ์และความท้าทาย: ปริศนาขั้นต่ําของโปรโตคอล TCP/IP

พื้นฐาน 25GbE ที่มีอยู่ของผู้ให้บริการจัดการกับการจอดข้อมูลโดยใช้ซอฟต์แวร์ TCP/IP แบบดั้งเดิมการใช้งาน CPU สําหรับการคัดกรองและถอดกรองแพคเก็ตเกิน 40%, ส่งผลให้ความช้าในการเก็บข้อมูลมากกว่า 200μs และการลดความจุในการคํานวณในเซอร์เวอร์แอพลิเคชั่นอย่างหนักลดการรบกวนของ CPUหลังจากการประเมินตัวเลือกหลายอย่าง พวกเขาเลือกMCX631102AN-ADAT ConnectX-6 Lx ท่าสอง 25GbE SFP28เป็นฮาร์ดแวร์หลักในการปรับปรุงผ้าเก็บของ

การแก้ไขและการจัดจําหน่าย: RDMA/RoCEv2 กับการลดภาระของฮาร์ดแวร์

การจัดจําหน่ายแทนเซอร์เวอร์ที่เผชิญหน้ากับการเก็บข้อมูลทั้งหมดการ์ด MCX631102AN-ADAT Ethernet, วิ่งใน RoCEv2 โหมดไร้การสูญเสีย (ใช้ ECN และ PFC) ขั้นตอนการจัดจําหน่ายหลักรวมถึง:

• การเปิด SR-IOV และมอบฟังก์ชันเสมือน (VFs) ให้กับเครื่องจักรเสมือนในการเก็บข้อมูล โดยเลี่ยงสเตคเครือข่ายไฮเปอร์วิเซอร์
• การตั้งค่า NVMe over Fabrics (NVMe-oF) ด้วย RDMA Transport, การกําจัด TCP Overhead อย่างสมบูรณ์
• ขั้นต่ําของพัฟเฟอร์การปรับเปลี่ยนสําหรับการจราจร RoCE 25GbE ที่ไม่มีการสูญเสียผ่านโทปโลยีใบ-กระดูกสันหลัง

รายการรายละเอียด MCX631102AN-ADATรวมถึงเครื่องหมายเวลาของฮาร์ดแวร์, การขนส่งการเชื่อมต่อแบบไดนามิก (DCT) และเครื่องรับเวกเตอร์.

ผลประกอบการที่ได้รับการวัด & ประโยชน์ในการดําเนินงาน

หลังจากการอพยพไปยังNVIDIA Mellanox MCX631102AN-ADAT-เนื้อเยื่อที่มาจากผ้า, เมติกรอื่น ๆ ได้ถูกจับ:

วิศวกรสังเกตว่าMCX631102AN-ADAT โซลูชั่นการ์ดแอดป์เตอร์อีเทอร์เน็ตส่งการคาดเดาความช้าของหางที่เหมาะสมสําหรับฐานข้อมูลการวิเคราะห์ในเวลาจริง นอกจากนี้, หน่วย CPU ที่ได้รับการปลดปล่อยได้ถูกจัดสรรใหม่ให้กับภาระการทํางานของแอปพลิเคชั่น,เพิ่มความหนาแน่นของผู้เช่าโดยรวมโดยประมาณ 24% บนเซอร์ฟิสิกส์เดียวกัน.

ความเหมาะสมและการบูรณาการระบบนิเวศ

เมื่อขยายการใช้งาน ทีมปฏิบัติการตรวจสอบว่า adapterรองรับ MCX631102AN-ADATกับสวิตช์ NVIDIA Spectrum ที่มีอยู่ (โปรไฟล์ RoCE ที่ไม่มีการสูญเสีย) รวมถึงสวิตช์ ToR ของบริษัทที่สามจาก Arista และ Cisco ด้วยการตั้งค่า DCBXใบข้อมูล MCX631102AN-ADATการตรวจสอบจํานวนมากในช่วงแรกยืนยันว่าMCX631102AN-ADAT ราคายังคงมีความแข่งขันเมื่อเทียบกับ SmartNICs ในหมวดเดียวกัน โดยมีผู้จําหน่ายหลายคนMCX631102AN-ADAT สําหรับขายตามข้อตกลงปริมาณมาตรฐาน

สรุปและมุมมอง

กรณีการผลิตแสดงอย่างชัดเจนว่าMCX631102AN-ADATทําให้การเปลี่ยนแปลงพื้นฐานจากเครือข่ายเก็บข้อมูลที่ผูกพันกับ TCP ไปยังผ้าที่เร่ง RDMA โดยไม่ต้องต้องการการปรับปรุงพื้นฐาน 100GbE อย่างสมบูรณ์แบบMCX631102AN-ADAT ConnectX-6 Lx ท่าสอง 25GbE SFP28การออกแบบ, องค์กรสามารถปันผลประสิทธิภาพในการทํางานในการทํางานที่มีความรู้สึกต่อความช้า โดยการเรียกคืนทรัพยากร CPU ที่สําคัญรูปแบบการจัดจําหน่ายเดียวกันจะขยายไปยังกรอบการเรียนรู้เครื่องจักรกระจาย (NCCL ผ่าน RoCE) และแอปพลิเคชั่นที่มีสภาวะที่ใช้บริการไมโครสําหรับสถาปนิกประเมินการปรับปรุง 25GbENVIDIA Mellanox MCX631102AN-ADATถือว่าเป็นก้อนสร้างที่ผ่านการพิสูจน์และแข็งแกร่งในการผลิต สําหรับเครือข่ายศูนย์ข้อมูลที่มีประสิทธิภาพสูงและความช้าต่ํา