การทำงานของ NVIDIA Mellanox MCX653106A-HDAT: บรรลุความก้าวหน้าด้านการขนส่ง RDMA/RoCE และเซิร์ฟเวอร์ที่มีความหน่วงต่ำ

ในสภาพแวดล้อมศูนย์ข้อมูลที่ทันสมัย ช่วงที่ครอบคลุมการเก็บข้อมูลที่กระจาย, การค้าความถี่สูง และกลุ่มฝึกอบรม AI ยังคงมีปัญหาอยู่ 2 อย่าง:การลดความช้าที่เกิดจากเครือข่าย และยกระดับความเร็วของเซอร์เวอร์ให้มากที่สุด โดยไม่ทําให้ CPU มีภาระแอปพลิเคชันนี้ดําน้ําลึกตรวจสอบวิธีการที่ผู้ให้บริการพื้นฐานเมฆชั้นนําแก้ปัญหาเหล่านี้โดยการจัดจําหน่ายNVIDIA Mellanox MCX653106A-HDATแอดป์เตอร์เซอร์เวอร์ในหน่วยคอมพิวเตอร์และหน่วยเก็บข้อมูล

สถานการณ์และความท้าทาย

พื้นฐาน 25GbE ของผู้ให้บริการที่มีอยู่แล้ว ซึ่งใช้แอพเดทเมอร์ Ethernet มาตรฐาน พร้อมกับ TCP/IP ที่ใช้โปรแกรม มีข้อจํากัดอย่างชัดเจนภาระการทํางานในการเก็บข้อมูลที่ใช้ NVMe over Fabrics มีการเพิ่มความช้าที่ไม่คาดเดาได้ (มักจะเกิน 50μs)ขณะที่คลาสเตอร์ฐานข้อมูลได้รับผลกระทบจากการใช้งาน CPU ที่สูงถึง 35% ของคีย์ที่ใช้ในการประมวลผลเครือข่ายเท่านั้นทีมวิศวกรรมต้องการคําตอบที่สามารถให้ความช้าต่ํากว่า 10μs สําหรับธุรกิจ RDMA และสนับสนุนการผ่าน 200GbE โดยไม่จําเป็นต้องปรับปรุงสถาปัตยกรรมอย่างสมบูรณ์แบบ.

หลังจากการประเมินตัวเลือกหลายอย่าง พวกเขาหันไปยังการ์ด MCX653106A-HDAT Ethernet, ซึ่งสัญญาว่า RoCE (RDMA over Converged Ethernet) และการบูรณาการที่เรียบร้อยกับเทปโลยีกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดาน

วิธีแก้ไขและการใช้งาน

การจัดตั้งตั้งอยู่รอบ ๆMCX653106A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIe, โดยใช้การปรับแต่ง 100GbE ที่มีสองท่าทางในการสร้างเนื้อเยื่อที่ไม่กักขวาง แต่ละโน้ดคํานวณได้รับตัวปรับหนึ่งตัว, ในขณะที่โน้ดการเก็บข้อมูลได้รับสองตัวเพื่อการขยายตัว.ขั้นตอนการดําเนินงานหลัก:

• การเปิด RoCEv2 ด้วย PFC (การควบคุมการไหลของความสําคัญ) และ ECN (การแจ้งความอึดอัดอย่างชัดเจน) เพื่อให้การขนส่งไม่มีการสูญเสีย
• การตั้งค่า SR-IOV เพื่อมอบฟังก์ชันเวอร์ชูอัลให้กับฐานข้อมูลและภาระงานที่เก็บความสําคัญสูง
• การนําเสนอรองรับ MCX653106A-HDATรวม Driver Stack (NVIDIA DOCA 2.5) ระหว่าง Ubuntu 22.04 LTS node
• การนํา DPDK เร่งขึ้นโดยใช้ฮาร์ดแวร์สําหรับเส้นทางการประมวลผลแพ็คเก็ต

จากใบข้อมูล MCX653106A-HDATและการรับรองก่อนการจัดจําหน่าย, ทีมงานคาดการณ์ความช้าของฮาร์ดแวร์ต่ํากว่า 1μs และสูงถึง 215 ล้านแพ็คเก็ตต่อวินาที (MPPS) สําหรับเทรนซัคซั่นแพ็คเก็ตขนาดเล็ก

ผล & ผลประโยชน์ที่สามารถวัดได้

หลังการทดลอง 4 สัปดาห์ที่ 50 จุดการผลิต ทีมงานพื้นฐานบันทึกการปรับปรุงต่อไปนี้NVIDIA Mellanox MCX653106A-HDATต่อต้านตัวปรับเก่าของพวกเขา:

นอกเหนือจากตัวเลขดิบ ทีมวิศวกรสังเกตว่าMCX653106A-HDAT Ethernet adapter การ์ดแก้ไขกําจัดการแก้ไขที่จําเป็นก่อนหน้านี้ เช่น การตัดหักและการรับพัฟเฟอร์ขนาดใหญ่อัดแปลงของอุปกรณ์อุปกรณ์ของ VXLAN และ Geneve ยังทําให้สะดวกสบายของคอนเทนเนอร์เน็ตสเตคของพวกเขา, ลดความช้าของ pod-to-pod ถึง 40% ในสภาพแวดล้อม Kubernetes

สําหรับผู้บริหารไอทีที่ประเมินค่าใช้จ่ายMCX653106A-HDAT ราคาการเปรียบเทียบกับการแก้ไข 200GbE ที่เทียบได้แสดงให้เห็นว่า ค่าใช้จ่ายรวมในการครอบครองที่ต่ํากว่า 15-20% เมื่อคํานวณการประหยัดแกน CPU และการใช้งานพอร์ตสวิตช์ที่ลดลงMCX653106A-HDAT สําหรับขายคําถามจากทีมที่อยู่ใกล้เคียงกัน รวมถึง HPC และการวิเคราะห์ในเวลาจริง

สรุปและมุมมอง

การจัดจําหน่ายยืนยันว่าNVIDIA Mellanox MCX653106A-HDATไม่เพียงแค่การปรับปรุงรายละเอียด แต่เป็นการกระโดดทางการทํางานสําหรับสภาพแวดล้อมที่มีความรู้สึกต่อความช้า และการผ่านที่ผูกพันกับการผ่าน,และสถาปัตยกรรม GPUDirect-ready องค์กรสามารถบรรลุความช้าระดับไมโครวินาทีที่กําหนดได้ในขณะที่เรียกคืนวงจร CPU สําหรับโลจิกการใช้งาน

ในขณะที่ทีมงานพื้นฐานขยายการวางจําหน่ายของพวกเขาไป 500+ nodeพวกเขายังกําลังศึกษาการเข้ารหัสอินไลน์ (IPsec/TLS) ของตัวปรับ เพื่อความปลอดภัยของหลายผู้เช่า และ PTP (IEEE 1588v2) สําหรับภาระงานบริการการเงินสําหรับวิศวกรที่ต้องการการตั้งค่าที่ผ่านการรับรองรายละเอียด MCX653106A-HDATและการออกแบบอ้างอิงที่สามารถใช้ได้ผ่าน NVIDIA ของ DOCA พอร์ตัลผู้พัฒนา กรณีในโลกจริงนี้ทําให้สิ่งหนึ่งชัดเจนMCX653106A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIeส่งผลให้กับสัญญาของเอเธอร์เน็ตที่มีความช้าต่ํา และความเร็วสูง สําหรับศูนย์ข้อมูลรุ่นใหม่

สําหรับการตรวจสอบทางเทคนิคที่ลึกซึ้งกว่านี้ ให้ปรึกษาเจ้าหน้าที่ใบข้อมูล MCX653106A-HDATหรือติดต่อกับสถาปนิก NVIDIA solution ภูมิภาคของคุณ