โซลูชันทางเทคนิค NVIDIA Mellanox MCX556A-ECAT: RDMA/RoCE สำหรับการขนส่งที่มีความหน่วงต่ำและการเพิ่มประสิทธิภาพปริมาณงานของเซิร์ฟเวอร์

April 23, 2026

หนังสือขาวทางเทคนิคนี้มีเป้าหมายสําหรับสถาปนิกเครือข่าย วิศวกรก่อนการขาย และผู้จัดการปฏิบัติการNVIDIA Mellanox MCX556A-ECATแอดป์เตอร์เซอร์เวอร์และให้กราฟฟอร์มที่เป็นระบบสําหรับการสร้างเครือข่ายศูนย์ข้อมูลที่มีประสิทธิภาพสูงและความช้าต่ํา โดยใช้เทคโนโลยี RDMA และ RoCE

1. สถานการณ์โครงการและการวิเคราะห์ความต้องการ

ค่าภาระงานศูนย์ข้อมูลที่ทันสมัย รวมถึงการจองที่กระจาย (Ceph, Lustre), ฐานข้อมูลในความทรงจํา (Redis, Aerospike) และกรอบการฝึกอบรม AI ต้องการทั้งความเร็วในการทํางานที่สูงและความช้าต่ํากว่าพันล้านวินาทีสตั๊ก TCP/IP แบบดั้งเดิม นํามาซึ่งค่าใช้จ่ายส่วนกลาง CPU ที่สําคัญ, การสลับเนื้อหาและการคัดลอกข้อมูล ซึ่งกลายเป็นอุปสรรคเมื่อความเร็วของเครือข่ายถึง 100Gb / s และมากกว่าCPU offload (ลดการใช้งานโปรเซสเซอร์โฮสต์), ความช้าที่ต่ํามากและคาดการณ์ (โดยเฉพาะสําหรับความช้าหาง), การขนส่งไร้ความสูญเสียสําหรับโปรโตคอลการเก็บข้อมูล (NVMe-oF, iSER) และการบูรณาการที่เรียบร้อยกับพื้นฐาน Ethernet ที่มีอยู่MCX556A-ECATตอบโจทย์แต่ละข้อบังคับนี้โดยตรง

2. การออกแบบระบบระบบและเครือข่ายโดยรวม

สถาปัตยกรรมที่แนะนําใช้ทอปโลยีกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานทุกหน่วยคอมพิวเตอร์และสตอเรชั่นการ์ด MCX556A-ECAT Ethernet, เชื่อมต่อกับสวิตช์ใบผ่าน 100GbE QSFP28 ลิงค์ สวิตช์กระดูกสันหลังรวมการจราจรชั้นใบ, ให้ความกว้างแบนด์วิดเนอร์ที่ไม่กั้น. หลักการสถาปัตยกรรมสําคัญประกอบด้วย:

การแยกระดับการควบคุมและระดับข้อมูลRoCEv2 บังคับ RDMA ใน UDP/IP ทําให้การนําทางผ่านขอบเขตชั้น 3
การควบคุมการไหลของความสําคัญ (PFC):ช่วยให้เกิดการพฤติกรรมที่ขาดทุนสําหรับ RDMA คลาสการจราจร
การคัดเลือกการส่งไฟที่ขยาย (ETS):รับประกันความกว้างของแบนด์วิธ สําหรับการไหลผ่านที่มีความรู้สึกต่อความช้า
การแจ้งความหนาแน่นการใช้ DCQCN (Data Center Quantized Congestion Notification) สําหรับการควบคุมการไหลผ่านปลายไปปลาย

สถาปัตยกรรมนี้รองรับทั้งแวดล้อม bare-metal และ virtual โดย SR-IOV ให้การผ่านโดยตรงของฟังก์ชัน virtual ไปยัง VMs

3. บทบาทของ NVIDIA Mellanox MCX556A-ECAT และลักษณะสําคัญ

ในฐานะการ์ดเครือข่าย PCIe MCX556A-ECAT ConnectX, แอดป์เทอร์นี้เป็นมุมก้อนของคําตอบ. เครื่องยนต์การลดความจมของฮาร์ดเวิร์ดที่อํานวยความสามารถผ่านเนอร์เนล, ทําให้การถ่ายทอดข้อมูลจากเมมรี่ไปยังเมมรี่ตรง. คุณสมบัติสําคัญประกอบด้วย:

ลักษณะ	ประโยชน์
โปรแกรมการใช้งานของเครื่องยนต์	การปรับขนาดความเร็วแบบเส้นตรงสําหรับภาระงานที่อยากได้ความกว้างแบนด์
RDMA พร้อมการสนับสนุน RoCEv2	ความช้าต่ํากว่าไมโครเซกอนด์ คลิป CPU 0
NVMe-oF และ GPUDirect ถอน	ระบบเก็บข้อมูลที่เร่งรัด และการฝึกอบรม AI
แฮร์ดแวร์ T10-DIF, IPsec, TLS	ความสมบูรณ์แบบและความปลอดภัยของข้อมูลจากปลายไปปลาย
SR-IOV, VirtIO ความเร่ง	การทํางานที่ใกล้กับพื้นเมืองในสภาพแวดล้อมเสมือนจริง

สําหรับทีมงานที่ตรวจสอบใบข้อมูล MCX556A-ECATและรายละเอียด MCX556A-ECAT, หมายเหตุว่าตัวปรับรองรองรองรับทั้ง PCIe 3.0 และ 4.0 (x16), รับรองความสอดคล้องแบบย้อนหลังกับเซอร์เวอร์ที่มีอยู่ในขณะที่เปิดช่องทางการย้ายไปยังแพลตฟอร์มรุ่นใหม่

4. แนะนําการจัดจําหน่ายและการปรับขนาด (ทอปโลยีทั่วไป)

การใช้งานอ้างอิงสําหรับคลาสเตอร์ขนาดกลาง (สูงสุด 200 หน่วย)MCX556A-ECATได้ติดตั้งในสล็อต PCIe ของเซอร์เวอร์แต่ละตัว พร้อมการเชื่อมต่อสองพอร์ตเพื่อการเพิ่มระยะยาวและการรวมความกว้างแบนด์

ทอปโลยีทางกายภาพ:สวิทช์กระดูกสันหลังสองตัว สวิทช์ใบสี่ใบ ใบแต่ละใบเชื่อมต่อกับกระดูกสันหลังทั้งหมด (เมชเต็ม) เซอร์เวอร์แต่ละใบเชื่อมต่อกับใบสองใบ (การเชื่อมต่อแบบแอคทีฟ-แอคทีฟ)
การตั้งค่า RoCE:VLAN เฉพาะสําหรับการจราจร RoCE การตรา QoS ที่ใช้ DSCP (ตัวอย่างเช่น DSCP 46 สําหรับ RDMA) PFC เอนกประสงค์ในความสําคัญ 3
การจัดการพัฟเฟอร์:การตั้งค่าท่อนหัวที่ไม่มีการสูญเสียต่อพอร์ต โดยใช้เวลาเดินทางไปกลับและระยะทางเชื่อมต่อ
ที่อยู่:ใช้การมอบหมาย IP สถานหรือการจอง DHCP สําหรับอินเตอร์เฟซ RDMA. รับประกันกรอบยัมโบ (MTU 9000) ทิศไป ทิศ

การปรับขนาดเกิน 200 หน่วย: นําเสนอชั้น super-spine และจัดจําหน่าย BGP-EVPN สําหรับการขยายชั้น 2 ผ่านหลาย pods.สอดคล้องกับ MCX556A-ECATการประเมินการใช้งานของเครื่องประปาและสายไฟฟ้าจากผู้จําหน่ายที่มีคุณสมบัติ (เช่น Mellanox, FS.com)ราคา MCX556A-ECATสําหรับการจัดซื้อจัดจ้างขนาดใหญ่ พิจารณาราคารวมกับสวิทช์และออฟติกส์

5การดําเนินงาน ติดตาม ตรวจสอบปัญหา และปรับปรุง

การทํางานที่มีประสิทธิภาพของผ้า RoCE ต้องการการติดตามอย่างระวังและเครื่องมือเฉพาะเจาะจง

การติดตามผลงาน:การใช้mlxlinkและอีธทูลสําหรับสถิติการเชื่อมโยง (BER, ความผิดพลาด FEC)MCX556A-ECAT การแก้ไขบัตรแอดป์เตอร์อีเทอร์เน็ตรวมถึงการวัดทางไกลผ่าน PCM (Performance Counters Monitor)
การตรวจสอบความจุกจูง:ติดตามแพ็คเก็ตที่มีเครื่องหมาย ECN และเฟรมหยุด PFC โดยใช้เทเลเมตรี่สวิตช์ (เช่น Mellanox SNMP MIBs) อัตราเฟรมหยุดสูงชี้ให้เห็นถึงความดันของพัฟเฟอร์
การจัดการฟอร์มแวร์และไดรเวอร์:อัพเดทเป็นประจําถึงเวอร์ชั่นล่าสุดจาก NVIDIA OFEDmstflintสําหรับการรับรอง firmware
การแก้ไขปัญหาทั่วไป:สําหรับความล้มเหลวของการเชื่อมต่อ RDMA, ตรวจสอบความสอดคล้องของ MTU, การเป็นสมาชิก VLAN, และการ mapping DSCP-to-CoS. ใช้ibdev2netdevและrdma โชว์ลิงค์เพื่อตรวจสอบสถานะของอุปกรณ์
คําแนะนําในการปรับปรุง:ปรับปรุงพารามิเตอร์ DCQCN (อัลฟา, เบต้า, ไทม์การเพิ่มอัตรา) ขึ้นอยู่กับภาระงาน สําหรับภาระงานในการเก็บข้อมูล เพิ่มความลึกของคิวการเสร็จสิ้น สําหรับการฝึก AI ให้เปิด GPUDirect RDMA และพิมพ์พิน

สําหรับการวางแผนความจุใบข้อมูล MCX556A-ECATสําหรับความร้อนและความสามารถเฉพาะเจาะจง (ทั่วไป 15W)MCX556A-ECAT สําหรับขายผ่านผู้จําหน่ายที่ได้รับอนุญาต รวมถึงโปรแกรมการจัดเก็บของสํารอง

6. สรุปและการประเมินค่า

รายการMCX556A-ECATส่งผลให้มีค่าที่สามารถวัดได้ในสามมิติ:ผลงาน(การลดความช้าในการใช้งานถึง 90% การเพิ่มความเร็ว 4 เท่า)ประสิทธิภาพ( 70% CPU หมดแรง, พลังงานต่ําต่อ Gb/s) และราคาครบวงจรของเจ้าขององค์กรที่ใช้งานระบบออนไลน์NVIDIA Mellanox MCX556A-ECATสําหรับศูนย์ข้อมูลรุ่นใหม่ที่ใช้ AI, HPC, หรือ Software-Defined Storageตัวปรับตัวนี้เป็นตัวแทนที่พิสูจน์เริ่มต้นด้วยการขอใบข้อมูล MCX556A-ECATและยืนยันสอดคล้องกับ MCX556A-ECATการตั้งค่ากับผู้ขายสวิตช์ของคุณ