RDMA/RoCE การขนส่งที่มีความหน่วงต่ำ & การทะลวงประสิทธิภาพเซิร์ฟเวอร์
April 29, 2026
ห้องปฏิบัติการวิจัย AI ที่กําลังเติบโตอย่างรวดเร็ว กําลังดิ้นรนกับปัญหาที่คุ้นเคย อุปกรณ์พื้นฐาน 100GbE ของพวกเขาส่งความกว้างของแบนด์วิดในอัตราการเชื่อมต่อ แต่ความช้าของแอปพลิเคชั่นยังคงสูงมากงานฝึกอบรมที่กระจายกระจาย, และ NVMe-over-Fabrics การเข้าถึงที่เก็บของเพิ่มการช้าช้าที่ไม่คาดเดาได้ สาเหตุหลัก? TCP / IP สตัคประเพณีใช้เกือบ 30% ของ CPU หลักเพียงสําหรับการประมวลผลแพคเกตปล่อยให้การคํานวณน้อยลงสําหรับภาระงานจริงทีมงานต้องการการเปลี่ยนแปลงพื้นฐานในการเคลื่อนไหวข้อมูลโดยไม่บกวน CPU ที่เป็นเจ้าภาพ การค้นหาที่นําพวกเขาเพื่อประเมินMellanox (NVIDIA Mellanox) MCX653105A-HDATNIC ของเซอร์เวอร์
ห้องทดลองใช้MCX653105A-HDATผ่าน 24 หน่วยคอมพิวเตอร์ ซึ่งแต่ละหน่วยพร้อมด้วยการเชื่อมต่อ 100GbEMCX653105A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIe, มันสนับสนุน RoCE (RDMA over Converged Ethernet) ที่อํานวยความสะดวกจากฮาร์ดแวร์, ทําให้ข้อมูลสามารถเลี่ยงเนอร์เนลและเคลื่อนไหวโดยตรงระหว่างภูมิภาคความจํา. กระบวนการตั้งค่าเรียบง่าย:หลังจากตรวจสอบMCX653105A-HDAT รองรับหน่วยวิศวกรติดตั้งเครื่องขับเคลื่อน MLNX_OFED ล่าสุดและเปิด RoCE ด้วย DCQCN การควบคุมความจุกจุกการ์ด MCX653105A-HDAT Ethernetดําเนินการในการประมวลผลเครือข่ายจาก CPU ทันที ลดค่าใช้จ่ายซอฟต์แวร์ให้เกือบศูนย์
สําหรับการจราจรที่เก็บข้อมูล ทีมงาน mapped NVMe namespaces โดยตรงผ่าน RDMANVIDIA Mellanox MCX653105A-HDATจัดการการเคลื่อนไหวของข้อมูลด้วยความช้าต่ํากว่าไมโครเซกอนด์ ในขณะที่การควบคุมที่ใช้ฮาร์ดแวร์ใบข้อมูล MCX653105A-HDAT, ตัวปรับรองรองถึง 200Gb / s อัตราต่อเนื่องรวม และในปฏิบัติการ, ห้องปฏิบัติการบรรลุอัตราการเชื่อมต่อสาย 100GbE ต่อพอร์ตโดยไม่ต้องแพ็คเก็ตเดียวตกในภาระเต็ม.
- การลดความช้า 50% จากปลายไปปลายการทดสอบปิงปอง MPI ลดลงจาก 2.8μs (TCP) เป็น 1.4μs (RoCE)
- การใช้งาน CPU ลดลง 70%การประมวลผลสตั๊กเครือข่ายย้ายไปใช้ฮาร์ดแวร์โดยสิ้นเชิง ปลดปล่อยคอร์สําหรับการฝึกแบบ
- การเก็บ IOPS เพิ่มเป็นสองเท่า:NVMe-oF ผ่าน RDMA กําจัดสายพานซอฟต์แวร์ ทําให้ความช้าต่ํากว่า 10μs สําหรับการเข้าถึงบล็อกขนาดเล็ก
ทีมงานยังได้ตรวจสอบรายละเอียด MCX653105A-HDATในสภาพแวดล้อมการผลิตของตน: PCIe 4.0 x16 อินเตอร์เฟซ, การออกแบบความร้อนสองสล็อต และการสนับสนุนอย่างเต็มที่สําหรับ RoCE การแจ้งความอึดอัดMCX653105A-HDAT ราคาเมื่อเทียบกับค่าใช้จ่ายทั้งหมดในการครอบครอง อะแดปเตอร์จ่ายตัวเองภายใน 3 เดือนโดยการลดการแพร่กระจายของเซอร์เวอร์และปรับปรุงความหนาแน่นของภาระงานMCX653105A-HDAT สําหรับขายผ่านผู้จําหน่ายที่ได้รับอนุญาต พวกเขาพบตัวเลือกการปรับแต่งหลายแบบ (โพร์ตเดียว, โพร์ตสองตัว, พร้อมหรือไม่มีบูทที่ปลอดภัย)
| เมทริก | ก่อน (TCP) | หลังจาก (MCX653105A-HDAT / RoCE) | การปรับปรุง |
|---|---|---|---|
| MPI ปิงปองอ่อนช้า | 2.8 μs | 1.4 μs | -50% |
| การใช้ CPU (Network Stack) | ~ 30% (8 โคร) | ~ 5% (ฮาร์ดแวร์ลด) | -83% |
| NVMe-oF IOPS บล็อกเล็ก | 320k | 680k | +112% |
การใช้งานนี้ยืนยันว่าNVIDIA Mellanox MCX653105A-HDATเป็นมากกว่า NIC ความเร็วสูง มันเป็นแพลตฟอร์มเร่งขัดข้อมูลที่สมบูรณ์แบบ โดยการย้ายการประมวลผลเครือข่ายไปยังฮาร์ดแวร์และทําให้ RDMA / RoCE ที่แท้จริงองค์กรสามารถปลดปล่อยจากเครือข่ายที่ผูกพันกับ CPU โดยไม่ต้องปรับปรุงฟอร์คลิฟท์ไม่ว่าคุณจะทํางานฝึกอบรม AI, แบรนด์ฐานข้อมูลกระจาย หรือการเก็บข้อมูลที่เชื่อมโยงกันสูงMCX653105A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIeส่งผลิตความยืดหยุ่นต่ําและการผ่านสูงสุดใบข้อมูล MCX653105A-HDATและรายละเอียด MCX653105A-HDATเป็นขั้นตอนแรกที่ตกลงMCX653105A-HDAT สําหรับขายผ่านผู้จําหน่ายทั่วโลก และความสอดคล้องกับแพลตฟอร์มเซอร์เวอร์ชั้นนําการ์ด MCX653105A-HDAT Ethernetเปลี่ยนผ้า 100GbE ของเราจากขัดขวาง เป็นเครื่องคูณผลงาน"