NVIDIA Mellanox MCX653106A-HDAT Server Adapter หนังสือขาวทางเทคนิค RDMA/RoCE การขนส่งความช้าต่ําและการผ่านของเซอร์เวอร์

เอกสารทางเทคนิค NVIDIA Mellanox MCX653106A-HDAT สำหรับเซิร์ฟเวอร์ | การขนส่ง RDMA/RoCE ที่มีความหน่วงต่ำ & การเพิ่มประสิทธิภาพปริมาณงานของเซิร์ฟเวอร์

1. ภูมิหลังโครงการและการวิเคราะห์ข้อกำหนด

ปริมาณงานศูนย์ข้อมูลสมัยใหม่ — ครอบคลุมปัญญาประดิษฐ์, การประมวลผลประสิทธิภาพสูง (HPC), ฐานข้อมูลแบบกระจาย, และการจัดเก็บข้อมูลระดับองค์กร — ได้เปลี่ยนแปลงข้อกำหนดเครือข่ายไปอย่างสิ้นเชิง กองซ้อนเครือข่ายแบบ TCP/IP แบบดั้งเดิม แม้จะแพร่หลาย แต่ก็สร้างความหน่วงและภาระ CPU ที่กลายเป็นข้อจำกัดเมื่อขยายขนาด แอปพลิเคชัน เช่น NVMe over Fabrics (NVMe-oF), การฝึกอบรมการเรียนรู้ของเครื่องแบบกระจาย, และการวิเคราะห์แบบเรียลไทม์ ต้องการความหน่วงที่กำหนดได้, ต่ำกว่า 5 ไมโครวินาที และการเคลื่อนย้ายข้อมูลที่เร่งด้วยฮาร์ดแวร์เพื่อให้ได้ประสิทธิภาพสูงสุด

สถาปนิกเครือข่ายและหัวหน้าโครงสร้างพื้นฐานกำลังนำ RDMA over Converged Ethernet (RoCE) มาใช้มากขึ้นเรื่อยๆ เป็นการขนส่งที่เลือกสำหรับปริมาณงานที่สำคัญต่อประสิทธิภาพเหล่านี้ อย่างไรก็ตาม การใช้งาน RoCE ที่ประสบความสำเร็จขึ้นอยู่กับความสามารถของอะแดปเตอร์พื้นฐานในการยกเลิกการประมวลผลการขนส่ง, จัดการความแออัดได้อย่างมีประสิทธิภาพ, และผสานรวมกับเครือข่าย Ethernet ที่มีอยู่ได้อย่างราบรื่นโดยไม่ต้องอัปเกรดครั้งใหญ่ ข้อกำหนดหลักที่ระบุไว้ในสภาพแวดล้อมระดับองค์กร, คลาวด์, และ HPC รวมถึง:

• ความหน่วง RDMA แบบ end-to-end ต่ำกว่า 3 ไมโครวินาทีสำหรับแอปพลิเคชันที่ไวต่อความหน่วง เช่น การซื้อขายความถี่สูงและฐานข้อมูลในหน่วยความจำ
• ปริมาณงานรวมเกิน 100 Gb/s ต่อเซิร์ฟเวอร์เพื่อรองรับโหนดจัดเก็บข้อมูลความหนาแน่นสูงและคลัสเตอร์ประมวลผลที่เร่งด้วย GPU
• การยกเลิกการประมวลผลด้วยฮาร์ดแวร์สำหรับ GPUDirect เพื่อกำจัดสำเนาหน่วยความจำฝั่งโฮสต์ในปริมาณงาน AI และ HPC
• การขนส่ง Ethernet ที่ไม่สูญเสียข้อมูลด้วย PFC และ ECN เพื่อประสิทธิภาพที่กำหนดได้, ปราศจากการสั่น
• การวัดปริมาณข้อมูลที่ครอบคลุมและเส้นทางข้อมูลที่ตั้งโปรแกรมได้เพื่อการมองเห็นการดำเนินงานเชิงรุกและการแก้ไขปัญหา

NVIDIA Mellanox MCX653106A-HDAT ตอบสนองข้อกำหนดเหล่านี้โดยตรงผ่านสถาปัตยกรรม ConnectX ขั้นสูง, ให้ RoCEv2 ที่เร่งด้วยฮาร์ดแวร์, การจัดการความแออัดขั้นสูง, และกรอบการทำงานที่ตั้งโปรแกรมได้ครอบคลุมซึ่งเหมาะสำหรับสภาพแวดล้อมระดับองค์กรและคลาวด์ที่ต้องการมากที่สุด

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมโซลูชันที่นำเสนอใช้โทโพโลยีแบบ leaf-spine ที่มีการเชื่อมต่อ 25/50/100GbE ที่ชั้นการเข้าถึงเซิร์ฟเวอร์ โหนดประมวลผล, จัดเก็บข้อมูล, หรือเร่งด้วย GPU แต่ละโหนดจะติดตั้ง อะแดปเตอร์เครือข่าย PCIe MCX653106A-HDAT ConnectX, ให้การเชื่อมต่อที่ซ้ำซ้อนกับสวิตช์ top-of-rack (ToR) สถาปัตยกรรมประกอบด้วยสี่ชั้นที่แตกต่างกัน:

• ขอบการประมวลผล/จัดเก็บข้อมูล: การ์ดอะแดปเตอร์ Ethernet MCX653106A-HDAT เชื่อมต่อผ่าน PCIe Gen 4.0 x16 กับโฮสต์, ให้แบนด์วิดท์โฮสต์แบบสองทิศทางสูงสุด 256 GB/s — เพียงพอที่จะอิ่มตัวพอร์ต 100GbE คู่ได้อย่างเต็มที่ ในขณะที่ยังคงมีส่วนเผื่อสำหรับการรับส่งข้อมูลแบบกระชากและการอัปเกรดความเร็วในอนาคต
• เครือข่าย: พอร์ตคู่รองรับสื่อที่ยืดหยุ่น (SFP28 สำหรับ 25GbE, QSFP สำหรับ 50/100GbE) พร้อมการกระจายโหลดแบบ active-active และการยกเลิก LAG ด้วยฮาร์ดแวร์ อะแดปเตอร์รองรับปริมาณงานรวมสูงสุด 200 Gb/s พร้อมการทำงานสำรองที่ใช้ฮาร์ดแวร์
• ชั้นการขนส่ง RDMA: RoCEv2 ที่เร่งด้วยฮาร์ดแวร์พร้อมการยกเลิกการประมวลผลการแบ่งส่วน, การประกอบกลับ, การควบคุมความแออัด, และการจัดการการเสร็จสิ้นอย่างเต็มรูปแบบ อะแดปเตอร์รองรับข้อความสูงสุด 200 ล้านข้อความต่อวินาที (Mpps) ด้วยความหน่วงต่ำกว่าไมโครวินาที
• การจัดการและการวัดปริมาณข้อมูล: การจัดการแบบ out-of-band พร้อมการรองรับ Redfish และ SNMP อย่างเต็มรูปแบบ, เสริมด้วยการวัดปริมาณข้อมูลแบบ in-band สำหรับการตรวจสอบเครือข่ายแบบเรียลไทม์และการเพิ่มประสิทธิภาพ

การออกแบบเน้นเครือข่าย Ethernet แบบรวม, ไม่สูญเสียข้อมูล โดยที่ NVIDIA Mellanox MCX653106A-HDAT ทำหน้าที่เป็นจุดสิ้นสุด RDMA, เปิดใช้งานการถ่ายโอนหน่วยความจำต่อหน่วยความจำโดยตรงโดยไม่ต้องมีการแทรกแซง CPU โฮสต์ สถาปัตยกรรมเข้ากันได้กับโครงสร้างพื้นฐานสวิตชิ่ง Ethernet ที่มีอยู่ เข้ากันได้กับ MCX653106A-HDAT อย่างสมบูรณ์, ต้องการเพียงการรองรับ PFC และ ECN — คุณสมบัติที่มีอยู่ทั่วไปในสวิตช์ศูนย์ข้อมูลสมัยใหม่จากผู้จำหน่ายรายใหญ่ทั้งหมด

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MCX653106A-HDAT

MCX653106A-HDAT มีบทบาทสำคัญในสถาปัตยกรรม, ให้ชั้นมูลค่าที่แตกต่างกันสี่ชั้นที่ร่วมกันเปิดใช้งานเครือข่ายที่มีความหน่วงต่ำ, ปริมาณงานสูง:

A. เอนจิ้น RDMA ที่เร่งด้วยฮาร์ดแวร์
อะแดปเตอร์รวมไปป์ไลน์การประมวลผลแพ็กเก็ตที่ตั้งโปรแกรมได้อย่างเต็มที่ ซึ่งยกเลิกการประมวลผลการขนส่ง RoCEv2 — รวมถึงการแบ่งส่วน, การประกอบกลับ, การควบคุมความแออัด, และการจัดการการเสร็จสิ้น — ออกจาก CPU โฮสต์ทั้งหมด ตาม เอกสารข้อมูล MCX653106A-HDAT, ฮาร์ดแวร์รองรับประสิทธิภาพ wire-rate ในทุกขนาดแพ็กเก็ต, ด้วยอัตราข้อความสูงสุด 200 Mpps และความหน่วง end-to-end ต่ำกว่าไมโครวินาที

B. การยกเลิก GPUDirect & NVMe-oF
จุดเด่นสำคัญของ MCX653106A-HDAT คือการรองรับ GPUDirect ในตัว, เปิดใช้งานการเคลื่อนย้ายข้อมูลโดยตรงระหว่างหน่วยความจำ GPU และอินเทอร์เฟซเครือข่ายโดยไม่ต้องคัดลอกฝั่งโฮสต์ — กำจัดคอขวดที่สำคัญในการฝึกอบรม AI แบบกระจาย สำหรับปริมาณงานจัดเก็บข้อมูล, อะแดปเตอร์จะยกเลิกการประมวลผล NVMe-oF, เปลี่ยน Ethernet มาตรฐานให้เป็นเครือข่ายจัดเก็บข้อมูลประสิทธิภาพสูงที่มีลักษณะความหน่วงที่ก่อนหน้านี้ทำได้เฉพาะกับ InfiniBand โดยเฉพาะ

C. QoS ขั้นสูงและการจัดการความแออัด
อะแดปเตอร์ให้การจัดลำดับความสำคัญต่อคลาสการรับส่งข้อมูลด้วยการรองรับลำดับความสำคัญที่เข้มงวด, การจัดคิวแบบถ่วงน้ำหนักอย่างยุติธรรม, และการจำกัดอัตรา คุณสมบัติการจัดการความแออัดรวมถึงการทำเครื่องหมาย ECN ที่ใช้ฮาร์ดแวร์, การสร้าง PFC, และความสามารถในการกำหนดเส้นทางแบบปรับได้ — ทั้งหมดสามารถกำหนดค่าได้ผ่าน ข้อมูลจำเพาะ MCX653106A-HDAT.

D. ความปลอดภัยและการตั้งโปรแกรม
อะแดปเตอร์รวมถึงรากฐานความน่าเชื่อถือของฮาร์ดแวร์, การบูตที่ปลอดภัย, การอัปเดตเฟิร์มแวร์ที่เข้ารหัส, และอินเทอร์เฟซการจัดการที่ปลอดภัย เส้นทางข้อมูลที่ตั้งโปรแกรมได้รองรับการประมวลผลแบบ match-action ที่ยืดหยุ่น, เปิดใช้งานการยกเลิกที่กำหนดเองและการรวบรวมการวัดปริมาณข้อมูลเครือข่ายแบบ in-band (INT) เพื่อการมองเห็นการดำเนินงานขั้นสูง

4. คำแนะนำในการติดตั้งและปรับขนาด

โทโพโลยีการติดตั้งทั่วไป

การติดตั้งที่แนะนำเป็นไปตามโทโพโลยี "spine-leaf" ด้วยการกำหนดค่าต่อไปนี้:

• สวิตช์ Leaf: สวิตช์ ToR 25/50/100GbE พร้อมการรองรับ RoCEv2, กำหนดค่าด้วย PFC บนคิวลำดับความสำคัญเฉพาะ (โดยทั่วไปหนึ่งหรือสองลำดับความสำคัญ) และ ECN สำหรับการส่งสัญญาณความแออัด แนะนำให้ใช้เฟรมจัมโบ้ (MTU 9000) เพื่อประสิทธิภาพ RoCE ที่ดีที่สุด
• โหนดเซิร์ฟเวอร์: แต่ละโหนดติดตั้ง MCX653106A-HDAT, เชื่อมต่อผ่าน dual homing กับสวิตช์ leaf หลักและรองเพื่อความซ้ำซ้อน อินเทอร์เฟซ PCIe Gen 4.0 x16 ของอะแดปเตอร์รับประกันว่าจะไม่มีคอขวดฝั่งโฮสต์
• ชั้น Spine: สวิตช์ spine 100/400GbE ให้การเชื่อมต่อระหว่างแร็คแบบไม่บล็อกพร้อมความจุบัฟเฟอร์เพียงพอที่จะรองรับ micro-bursts ทั่วทั้งแร็คหลายตัว
• การรวมจัดเก็บข้อมูล/ประมวลผล: สำหรับการติดตั้ง NVMe-oF, โหนดเป้าหมายใช้ประเภทอะแดปเตอร์เดียวกันสำหรับความสามารถ RDMA ที่สอดคล้องกัน สำหรับคลัสเตอร์ AI, การรองรับ GPUDirect ของอะแดปเตอร์จะถูกนำมาใช้สำหรับการซิงโครไนซ์เกรเดียนท์ระหว่าง GPU

ข้อควรพิจารณาด้านการปรับขนาด

• โดเมนความแออัด: แบ่งเครือข่ายออกเป็นโซนการจัดการความแออัดหลายโซน (เช่น ต่อแร็คหรือต่อคลัสเตอร์) เพื่อจำกัดการแพร่กระจายของ PFC การจำกัดอัตราต่อพอร์ตของอะแดปเตอร์ช่วยแยกเพื่อนบ้านที่มีเสียงดังและรักษาการจัดสรรแบนด์วิดท์ที่เป็นธรรม
• การรวมระบบประสานงาน: อะแดปเตอร์ได้รับการสนับสนุนอย่างเต็มที่จาก Kubernetes (ผ่าน NVIDIA network operator) และ OpenStack, เปิดใช้งานการจัดเตรียมอัตโนมัติและการจัดการวงจรชีวิตในสภาพแวดล้อมระดับคลาวด์
• การเตรียมพร้อมสำหรับอนาคต: MCX653106A-HDAT รองรับความเร็ว 100GbE และสูงกว่า, ให้ส่วนเผื่อสำหรับการอัปเกรดเครือข่ายในอนาคตโดยไม่ต้องเปลี่ยนอะแดปเตอร์ อินเทอร์เฟซ PCIe Gen 4.0 ยังรับประกันความเข้ากันได้กับแพลตฟอร์มเซิร์ฟเวอร์รุ่นต่อไป

สำหรับองค์กรที่กำลังประเมิน ราคา MCX653106A-HDAT, ต้นทุนรวมในการเป็นเจ้าของควรคำนึงถึงการประหยัดจากการกำจัดเครือข่ายจัดเก็บข้อมูลแยกต่างหาก, การลดการจัดสรรคอร์ CPU (โดยทั่วไปจะกู้คืน 4-6 คอร์ต่อเซิร์ฟเวอร์), และประสิทธิภาพการดำเนินงานจากการจัดการเครือข่ายแบบรวม

5. การดำเนินงาน, การตรวจสอบ, การแก้ไขปัญหา & การเพิ่มประสิทธิภาพ

กรอบการตรวจสอบ

โซลูชันรวมแนวทางการสังเกตการณ์หลายระดับ:

• การวัดปริมาณข้อมูลระดับอะแดปเตอร์: MCX653106A-HDAT เปิดเผยเคาน์เตอร์ฮาร์ดแวร์หลายร้อยรายการผ่าน ethtool, sysfs, และเครื่องมือการจัดการของ NVIDIA ตัวชี้วัดสำคัญรวมถึงปริมาณงานต่อพอร์ต, เฟรม PFC pause, แพ็กเก็ตที่ทำเครื่องหมาย ECN, เหตุการณ์ความแออัด RoCEv2, สถิติ RDMA completion queue, และฮิสโตแกรมความหน่วงต่อโฟลว์
• การมองเห็นระดับเครือข่าย: การรวมกับแพลตฟอร์มการจัดการแบบรวมของ NVIDIA ให้การแสดงภาพโทโพโลยี, การวิเคราะห์เส้นทางโฟลว์, และการตรวจจับความผิดปกติทั่วทั้งเครือข่าย
• การเชื่อมโยงแอปพลิเคชัน: อะแดปเตอร์ให้สถิติต่อคิวและต่อ RDMA completion queue, เปิดใช้งานการเชื่อมโยงประสิทธิภาพเครือข่ายกับความหน่วงธุรกรรมระดับแอปพลิเคชันได้อย่างแม่นยำ

สถานการณ์การแก้ไขปัญหาส่วนใหญ่

จากประสบการณ์การดำเนินงานกับ NVIDIA Mellanox MCX653106A-HDAT, รูปแบบการวินิจฉัยต่อไปนี้ถูกระบุ:

• การตรวจจับ PFC Storm: ตรวจสอบเคาน์เตอร์เฟรม PFC pause ต่อลำดับความสำคัญ — การหยุดชั่วคราวอย่างต่อเนื่อง >5% ของอัตราสายบ่งชี้ถึงความแออัดหรือการกำหนดค่าผิดพลาด ตรวจสอบแหล่งที่มาโดยใช้เคาน์เตอร์การใช้บัฟเฟอร์ต่อคิวของอะแดปเตอร์
• การสูญเสียแพ็กเก็ต RoCEv2: ตรวจสอบเคาน์เตอร์การสูญเสียของอะแดปเตอร์ (rx_discard, tx_discard) และเชื่อมโยงกับแพ็กเก็ตที่ทำเครื่องหมาย ECN เพื่อแยกความแตกต่างระหว่างการสูญเสียระดับอะแดปเตอร์และการจำกัดอัตราระดับเครือข่าย
• การปรับแต่งประสิทธิภาพ: ปรับพารามิเตอร์การรวม interrupt เพื่อสร้างสมดุลระหว่างความหน่วงกับภาระ CPU — โดยทั่วไปจะตั้งค่าการรวมปานกลางสำหรับปริมาณงานจัดเก็บข้อมูล และการรวมน้อยที่สุดสำหรับแอปพลิเคชันการซื้อขาย เอกสารข้อมูล MCX653106A-HDAT ให้คำแนะนำโดยละเอียดเกี่ยวกับพารามิเตอร์ที่ปรับได้ทั้งหมด

แนวทางการเพิ่มประสิทธิภาพ

เพื่อให้ได้ปริมาณงานสูงสุดและความหน่วงต่ำสุดด้วย โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX653106A-HDAT, ขอแนะนำการเพิ่มประสิทธิภาพดังต่อไปนี้:

• เปิดใช้งาน CRC ด้วยฮาร์ดแวร์, การยกเลิกการแยกส่วนหัว/ข้อมูล, และ receive-side scaling (RSS) เพื่อกระจายการรับส่งข้อมูลอย่างมีประสิทธิภาพไปยังคอร์ CPU หลายตัว
• กำหนดค่าเกณฑ์ PFC ต่อลำดับความสำคัญแบบไดนามิกโดยใช้เครื่องมือการกำหนดค่าบัฟเฟอร์เฉพาะของผู้จำหน่ายอะแดปเตอร์, ตามโปรไฟล์ปริมาณงานที่สังเกตได้
• เปิดใช้งานคุณสมบัติ QoS ขั้นสูงของอะแดปเตอร์, รวมถึงการจำกัดอัตราต่อคลาสการรับส่งข้อมูลและลำดับความสำคัญที่เข้มงวดหรือการจัดคิวแบบถ่วงน้ำหนักอย่างยุติธรรม
• สำหรับการติดตั้งขนาดใหญ่, ใช้ประโยชน์จากการรองรับอะแดปเตอร์สำหรับ 802.1Qaz DCBX เพื่อทำให้การเจรจา PFC และ ECN กับสวิตช์เป็นอัตโนมัติ
• ใช้ประโยชน์จากเส้นทางข้อมูลที่ตั้งโปรแกรมได้ของอะแดปเตอร์เพื่อใช้การรวบรวมการวัดปริมาณข้อมูลที่กำหนดเองหรือการยกเลิกการประมวลผลแพ็กเก็ตพิเศษที่ปรับให้เหมาะกับข้อกำหนดแอปพลิเคชันเฉพาะ

6. สรุปและการประเมินมูลค่า

โซลูชันทางเทคนิคที่เน้นที่ MCX653106A-HDAT จาก NVIDIA Mellanox นำเสนอเส้นทางที่ชัดเจนสู่การบรรลุความหน่วง RDMA ต่ำกว่า 3 ไมโครวินาทีและปริมาณงานรวมเกิน 100 Gb/s ต่อเซิร์ฟเวอร์ การ์ดอะแดปเตอร์ Ethernet MCX653106A-HDAT ทำหน้าที่เป็นส่วนประกอบพื้นฐานสำหรับเครือข่ายศูนย์ข้อมูลแบบรวมสมัยใหม่ที่รองรับปริมาณงาน AI training, HPC, การจัดเก็บข้อมูลระดับองค์กร, และการวิเคราะห์แบบเรียลไทม์พร้อมกัน

ข้อเสนอคุณค่าหลักรวมถึง:

• การรวมโครงสร้างพื้นฐาน: กำจัดความจำเป็นสำหรับเครือข่ายจัดเก็บข้อมูลและประมวลผลแยกต่างหากโดยเปิดใช้งาน Ethernet ที่ไม่สูญเสียข้อมูลสำหรับปริมาณงานทุกประเภท, ลดทั้งค่าใช้จ่ายในการลงทุนและค่าใช้จ่ายในการดำเนินงาน
• ความเป็นผู้นำด้านประสิทธิภาพ: RoCEv2 ที่ยกเลิกการประมวลผลด้วยฮาร์ดแวร์พร้อม GPUDirect รับประกันความหน่วงที่กำหนดได้, ต่ำกว่าไมโครวินาที แม้ภายใต้การใช้งาน 90%+ ของอัตราสาย — สำคัญสำหรับการฝึกอบรม AI, การวิเคราะห์แบบเรียลไทม์, และการซื้อขายความถี่สูง
• ประสิทธิภาพการดำเนินงาน: การวัดปริมาณข้อมูลที่ครอบคลุม, การจัดการความแออัดที่ซ่อมแซมตัวเองได้, และการรวมระบบประสานงานอัตโนมัติช่วยลดเวลาเฉลี่ยในการแก้ไขปัญหา (MTTR) และภาระในการดำเนินงาน
• การปกป้องการลงทุน: อินเทอร์เฟซ PCIe Gen 4.0 ของอะแดปเตอร์, ความสามารถในการตั้งโปรแกรม, และการรองรับพอร์ตหลายความเร็วรับประกันความเข้ากันได้กับ CPU รุ่นต่อไปและเครือข่ายความเร็วสูงขึ้น

สำหรับองค์กรที่กำลังประเมินตัวเลือก MCX653106A-HDAT สำหรับขาย, โซลูชันนี้มีสถาปัตยกรรมอ้างอิงที่ได้รับการพิสูจน์แล้วซึ่งได้รับการตรวจสอบในสภาพแวดล้อมการผลิตในภาคบริการทางการเงิน, ผู้ให้บริการคลาวด์, การดูแลสุขภาพ, และสถาบันวิจัย การผสมผสานระหว่างประสิทธิภาพ, ความสามารถในการปรับขนาด, และความสมบูรณ์ของการดำเนินงานทำให้ NVIDIA Mellanox MCX653106A-HDAT เป็นการลงทุนเชิงกลยุทธ์สำหรับองค์กรใดๆ ที่มุ่งมั่นในการสร้างโครงสร้างพื้นฐานศูนย์ข้อมูลประสิทธิภาพสูงที่พร้อมสำหรับอนาคต