NVIDIA Mellanox MCX631432AN-ADAB Server Adapter การแก้ไขทางเทคนิค: RDMA/RoCE การขนส่งและเซอร์เวอร์ความช้าต่ํา

July 28, 2026

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter การแก้ไขทางเทคนิค: RDMA/RoCE การขนส่งและเซอร์เวอร์ความช้าต่ํา

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter การแก้ไขทางเทคนิค: RDMA / RoCE การขนส่งความช้าต่ําและสถาปัตยกรรมการเพิ่มความเร็วของเซอร์เวอร์

1การวิเคราะห์พื้นฐานและความต้องการของโครงการ

ในขณะที่ปัญญาประดิษฐ์ คอมพิวเตอร์ที่มีประสิทธิภาพสูง และภาระงานในการเก็บข้อมูลที่กระจายตัวเพิ่มมากขึ้น เครือข่ายศูนย์ข้อมูลต้องเผชิญกับความท้าทายในการทํางานที่ไม่เคยมีมาก่อนสตั๊กโปรโตคอลเครือข่าย TCP/IP แบบดั้งเดิมแสดงความบกพร่องทางโครงสร้างเมื่อจัดการการสื่อสารกระจายขนาดใหญ่การใช้งานความยืดหยุ่นที่ไม่คาดเดาได้ และการใช้งานความกว้างแบนด์วิทที่ไม่สมควร สําหรับการประสานงานรวมของ GPU คลัสเตอร์ เช่น All-Reduce และ All-Gatherทุก 1 มิลลิสกอนด์ของความช้าของเครือข่ายสามารถลดประสิทธิภาพการฝึกอบรมโดยรวมโดย 10 ٪ 15.

ความต้องการทั่วไปขององค์กรประกอบด้วย

  • ความช้าในการสื่อสารในขนาดไมโครเซกอนด์การฝึกแบบกระจายและฉากสรุปในเวลาจริงต้องการความช้าในการสื่อสารระหว่างโน้ดต่ํากว่า 1 มิลลิสekunth โดยการควบคุมความสั่นสะเทือนภายใน 100 ไมโครสekunth
  • CPU คอมพิวเตอร์อัพโหลด:การประมวลผลโปรโตคอลเครือข่ายต้องใช้สมาธิ CPU ต่ํากว่า 10% เพื่อเก็บความจุในการคํานวณและการประมวลผลข้อมูลก่อน
  • การปรับขนาดความกว้างแบนด์วิทแบบเส้นตรง:เมื่อคลัสเตอร์มีขนาดจากหลายสิบถึงหลายร้อยโน้ด ความกว้างแบนด์วิทของเครือข่ายไม่ควรกลายเป็นข้อจํากัด เพื่อรองรับการพัฒนาที่เรียบร้อยจาก 25GbE เป็น 100GbE
  • การรับประกันเครือข่ายที่ขาดทุน:RoCE มีความรู้สึกสูงต่อการสูญเสียแพ็คเก็ต ซึ่งต้องการสิ่งแวดล้อม Ethernet ที่ไม่มีการสูญเสียจากปลายไปปลาย โดยมีกลไก PFC และ ECN ที่ตั้งค่าอย่างถูกต้อง

รายการNVIDIA Mellanox MCX631432AN-ADABตอบโจทย์ความต้องการเหล่านี้ผ่านสถาปัตยกรรม ConnectX-6 Lx ของมัน, ส่ง RDMA ที่เร่งด้วยฮาร์ดแวร์พร้อมความสามารถในการลดภาระที่ครบวงจร.

2. การออกแบบระบบระบบ/เครือข่ายทั่วไป

สถาปัตยกรรมที่เสนอใช้ topology กระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานMCX631432AN-ADAB การแก้ไขการ์ดปรับเปลี่ยน Ethernet, ใช้ในแต่ละโน้ดเซอร์เวอร์เพื่อให้ความเชื่อมต่อ 25GbE ที่มีสองพอร์ต

ชั้นสถาปัตยกรรม:

  • คอมพิวเตอร์/สตอเรจโน้ด:แต่ละเซอร์เวอร์มีMCX631432AN-ADAB ConnectX-6 Lx ท่าสอง 25GbE SFP28แอดป์เทปที่ตั้งค่าในโหมดแอคทีฟ-แอคทีฟ โดยมีทั้งสองพอร์ตใช้สําหรับการมีให้บริการสูงและการสมดุลภาระอินเตอร์เฟซ 0 x8 รับประกันว่าบัสโฮสต์จะไม่กลายเป็นอุปสรรคในการผ่าน.
  • ชั้นใบ:สวิทช์ NVIDIA Spectrum-3 ให้การส่งอีเทอร์เน็ตที่มีความช้าต่ําและไม่มีการสูญเสียด้วยการควบคุมความจุกจิกที่รู้ RoCE (PFC / ECN) และการจัดการพัฟเฟอร์ที่ก้าวหน้า
  • ชั้นกระดูกสันหลังสวิทช์กระดูกสันหลังความจุสูงเชื่อมต่อหน่วยกระดูกใบผ่านการเชื่อมต่อขึ้น 100GbE, รับประกันการทํางานที่ไม่ปิดในผ้าทั้งหมด
  • แผนการจัดการ:เครือข่ายการจัดการนอกวงจรทําให้การรวบรวมเทเลเมตร, การปรับปรุงการตั้งค่า, และการติดตามสุขภาพผ่าน NVIDIA DOCA และ MLNX-OS.

การออกแบบนี้รวม vSwitch offload ที่ใช้ด้วยฮาร์ดแวร์เพื่อการแบ่งแยกขนาดเล็กและแยกการจราจร, รับประกันว่าการจราจรของผู้เช่ายังคงแยกกันโดยไม่ต้องเสียผลงานใด ๆ

3. บทบาทและคุณสมบัติสําคัญของ NVIDIA Mellanox MCX631432AN-ADAB ในคําตอบ

ในฐานะอินเตอร์เฟซเครือข่ายพื้นฐานสําหรับเซอร์เวอร์แต่ละตัวNVIDIA Mellanox MCX631432AN-ADABเล่นบทบาทสําคัญในการให้ผลงานและประสิทธิภาพเป้าหมายของสถาปัตยกรรมโดยรวม ลักษณะทางเทคนิคหลักที่ทําให้ความสามารถนี้รวมถึง:

ลักษณะ ประโยชน์
RDMA/RoCEv2 การอํานวยความสะดวก Hardware การถ่ายทอดข้อมูลแบบไม่มีสําเนา ความช้าต่ําต่ํากว่าไมโครเซกอนด์ การใช้ CPU ลดลงถึง 78%
สายพานสองสาย 25GbE SFP28 ความกว้างแบนด์วิทรวม 50 Gb/s, การเปลี่ยนความผิดพลาดแบบทํางาน-ทํางาน, รองลงเข้ากับ 10GbE
PCIe 4.0 x8 อินเตอร์เฟซ ความกว้างแบนด์วิท 16 GT/s กําจัดข้อจํากัดในการถ่ายทอดข้อมูลทางด้านเจ้าภาพ
NVMe-oF แฮร์ดแวร์เร่ง การเข้าถึงการเก็บข้อมูลโดยตรงโดยมีการแทรกแซง CPU อย่างน้อย ทําให้การเก็บข้อมูลที่แยกแยกได้อย่างมีประสิทธิภาพ
การสนับสนุน eSwitch และ SR-IOV การสวิตชิ่งแบบเวอร์ชัวร์ที่ใช้ด้วยฮาร์ดแวร์สําหรับสภาพแวดล้อมหลายตัวเช่าที่มีผลงานเกือบเป็นพื้นเมือง

ตามใบข้อมูล MCX631432AN-ADAB, ตัวปรับปรุงยังรวมเครื่องยนต์การเข้ารหัส IPsec และ MACsec ในสาย, รับประกันความปลอดภัยของข้อมูลในการขนส่งโดยไม่เสี่ยงความเร็วของสาย.รายละเอียด MCX631432AN-ADABยืนยันการสนับสนุนความสามารถด้านเทเลเมตรีที่ก้าวหน้า รวมถึงตัวนับต่อการไหลของข้อมูล, ไฮสตอแกรมความช้า และเมทริกการตรวจสอบความหนาแน่น ซึ่งเป็นสิ่งสําคัญสําหรับการดําเนินงานของเครือข่ายอย่างระวัง

4. แนะนําการจัดจําหน่ายและการปรับขนาด (มีทอปโลยีทั่วไป)

สําหรับองค์กรที่วางแผนการผลิตNVIDIA Mellanox MCX631432AN-ADABแนะนําให้ใช้แนวทางในระยะต่อไปนี้

ขั้นตอนที่ 1 รายการทดลอง (48 หน่วยงาน)เริ่มต้นด้วยคลาสเตอร์เล็ก ๆ เพื่อรับรองการตั้งค่า RoCE, ปรับปรุงปริมาตร PFC / ECN และการผลิตแอปพลิเคชัน benchmarkการ์ด MCX631432AN-ADAB Ethernetควรติดตั้งกับ Driver และ Firmware Mellanox OFED ล่าสุด เพื่อให้มีความสอดคล้องและการทํางานที่ดีที่สุด

ขั้นตอนที่ 2 การขยายโพด (20-50 หน่วย):ขยายขนาดเป็น rack หรือ pod ครบครัน โดยใช้สวิทช์ใบสองคู่ที่มีการตั้งค่า Ethernet ที่ไม่มีการเสียค่าทําให้การจัดการความหนาแน่นโดยใช้ฮาร์ดแวร์ และตั้งค่าปารามิเตอร์ DCB (Data Center Bridging) ตามแนวปฏิบัติที่ดีที่สุดที่ได้รับการรับรองในระยะนี้MCX631432AN-ADAB รองรับลักษณะของคําตอบทําให้การบูรณาการกับเครื่องมือการจัดการที่มีอยู่ง่ายขึ้น

ขั้นตอนที่ 3 ✅ การเปิดตัวทั่วเนื้อผ้า (100+ node)ลงโครงการผ่านเรคหลายตัวด้วยสวิทช์กระดูกสันหลังเชื่อมต่อหน่วยกระดูกใบและใช้ NVIDIA Unified Fabric Manager สําหรับการออร์เคสเตอร์และการจัดหาอัตโนมัติ.

คําอธิบายทอปโลจีทั่วไป:การตั้งค่า rack แบบมาตรฐานประกอบด้วย 20 เซอร์เวอร์คอมพิวเตอร์ / เซอร์เวอร์ที่เก็บของMCX631432AN-ADAB ConnectX-6 Lx ท่าสอง 25GbE SFP28. ท่าเรือ 1 เชื่อมต่อกับ Leaf Switch A, ท่าเรือ 2 เชื่อมต่อกับ Leaf Switch B, ให้เส้นทางการทํางานที่ใช้งานได้. ท่าเรือ Leaf Switches อัพลิงก์กับท่าเรือสายสันหลังผ่าน 100GbE, สร้างเส้นใย CLOSโทปโลยีนี้ทําให้แน่ใจว่าการผิดพลาดของลิงค์หรือสวิตช์เดียวจะไม่ส่งผลกระทบต่อการใช้งานของแอปพลิเคชั่น, ในขณะที่กลไกความล้มเหลวของฮาร์ดแวร์ของตัวปรับ ให้การฟื้นฟูในช่วงไม่เกินสองวินาที

5การดําเนินงาน ติดตาม ตรวจสอบปัญหา และปรับปรุง

การดําเนินงานที่มีประสิทธิภาพของเครือข่าย RoCE ต้องการวิธีการติดตามและแก้ปัญหาที่เชี่ยวชาญMCX631432AN-ADABจําหน่ายเครื่องมือที่ติดตั้งครบวงจรเพื่อสนับสนุนกิจกรรมเหล่านี้

  • คอลเลคชั่นเทเลเมตรี่:ใช้เครื่องนับฮาร์ดแวร์ของแอพเดทเมอร์เพื่อติดตามความละเอียดของรายการการไหล, ความลึกของคิว, แพ็คเก็ตตก, และการกระจายความอ่อนเพลียในความละเอียดต่ํากว่าวินาทีข้อมูลนี้นําไปสู่ดัสบอร์ดการติดตามกลาง (e.g., Grafana, Prometheus) สําหรับการมองเห็นในเวลาจริง
  • การตรวจสอบและวิเคราะห์ความจุกจูงติดตามกรอบหยุด PFC, แพ็คเก็ตที่ติดป้าย ECN และการใช้งานพัฟเฟอร์เพื่อระบุการกระจายไมโครและจุดร้อนของการจราจรใบข้อมูล MCX631432AN-ADABให้คําแนะนํารายละเอียดเกี่ยวกับการตีความตัวนับเหล่านี้ และการกําหนดขั้นต่ําการเตือน
  • การจัดการรอบชีวิตของฟอร์มแวร์และ Driverการอัพเดทแบบปกติของ NVIDIA OFED ไดรเวอร์และฟอร์มแวร์ตัวปรับมีความจําเป็นสําหรับการปรับปรุงผลงาน ความปลอดภัย และคุณสมบัติการบริหารวงจรชีวิตแบบไม่มีการสัมผัส (zero-touch lifecycle management) ในกองทัพเรือขนาดใหญ่.
  • แนวทางการปรับประสิทธิภาพ:ปริมาตรการปรับปรุงหลักประกอบด้วย ปริมาณขั้นต่ํา PFC buffer, ขั้นต่ําการตรา ECN (โดยทั่วไป 80-90% ของความลึกของคิว),และการปรับเปลี่ยนการตัดการตั้งค่าการปรับปรุงเพื่อสมดุลความช้าและการผ่านได้อย่างสมบูรณ์แบบ.
  • กรอบแก้ปัญหา:ปัญหาการทํางานส่วนใหญ่สามารถติดตามไปยังการตั้งค่าผิดของ DCB, ความไม่ตรงกันของ MTU, หรือเวอร์ชั่น Driver ที่ไม่เข้ากันได้และ mlxlink) ให้ความเห็นอย่างครบถ้วนในสถานะการดําเนินงานสถิติความสุขของลิงค์ และความผิดพลาด

สําหรับองค์กรที่ประเมินค่าบริการรวมMCX631432AN-ADAB ราคาควรพิจารณาพร้อมกับการประหยัด CPU (โดยทั่วไป 2-3 คอร์รีคอนเวอร์ต่อเซอร์เวอร์) และการเพิ่มผลิตMCX631432AN-ADAB สําหรับขายแบนด์เกตที่มีสวิตช NVIDIA Spectrum ให้ทางที่คุ้มค่าที่สุดสําหรับการใช้งานในกรีนฟิลด์

6สรุปและการประเมินค่า

รายการNVIDIA Mellanox MCX631432AN-ADABเป็นการลงทุนในพื้นฐานทางกลยุทธ์ ที่ส่งผลให้มีคุณค่าทางธุรกิจที่สามารถวัดได้ในสามมิติ:

ขนาด ความคุ้มค่า
ผลงาน ความเร็ว 50 Gb/s ความช้าต่ํากว่า 0.5μs การปรับปรุงความเร็วในระดับแอปพลิเคชั่น 2 หน
ประสิทธิภาพ การลดแรง CPU ถึง 78%, การบริโภคพลังงานต่ํา (TDP ~ 18W), จํานวนความต้องการในการเย็นที่ลดลง
TCO โอนการปรับปรุงเซอร์เวอร์ ลดจํานวน Node สําหรับภาระงานเดียวกัน ปรับความเรียบง่ายในการจัดการผ่านเครื่องมือร่วม

ในฐานะที่ปลายไปปลายMCX631432AN-ADAB การแก้ไขการ์ดปรับเปลี่ยน Ethernet, มันทําให้องค์กรสามารถสร้างเครือข่ายที่ไม่มีการสูญเสียและมีประสิทธิภาพสูง ที่สามารถทําความสําเร็จอย่างเต็มที่กับศักยภาพของแอปพลิเคชั่น AI, HPC และการจองที่กระจายได้ที่ทันสมัยไม่ว่าจะเป็นการจัดจําหน่ายในศูนย์ข้อมูลองค์กรสถานที่การวิจัยMCX631432AN-ADABส่งผลให้มีความช้าต่ํา, ความสามารถในการทํางานสูง และความเรียบง่ายในการปฏิบัติงาน ที่สถาปนิกพื้นฐานต้องการสําหรับภาระงานรุ่นใหม่