เอกสารทางเทคนิค NVIDIA Mellanox MCX631432AN-ADAB Server Adapter

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter Technical White Paper | RDMA/RoCE Low-Latency Transport & Server Throughput Optimization

1. ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

สถาปัตยกรรมศูนย์ข้อมูลสมัยใหม่ถูกกำหนดโดยการหลอมรวมของคอมพิวเตอร์ประสิทธิภาพสูง, เวิร์กโหลดปัญญาประดิษฐ์, และระบบจัดเก็บข้อมูลแบบกระจาย แอปพลิเคชันเหล่านี้มีชุดข้อกำหนดเครือข่ายร่วมกัน: ความหน่วงต่ำพิเศษ, อัตราข้อความสูง, และภาระ CPU ต่ำสุดสำหรับการเคลื่อนย้ายข้อมูล กองโปรโตคอล TCP/IP แบบดั้งเดิม แม้จะแพร่หลาย แต่ก็สร้างความหน่วงและต้นทุนการประมวลผล CPU ที่มีนัยสำคัญ ซึ่งกลายเป็นข้อจำกัดเมื่อขยายขนาด

สำหรับองค์กรที่ใช้งาน NVMe over Fabrics (NVMe-oF), คลัสเตอร์การฝึกอบรมการเรียนรู้ของเครื่องแบบกระจาย, หรือแพลตฟอร์มการซื้อขายทางการเงินที่ไวต่อความหน่วง การ์ดเชื่อมต่อเครือข่าย (NIC) ได้พัฒนาจากอุปกรณ์ I/O แบบธรรมดาไปสู่ตัวเร่งประสิทธิภาพเชิงกลยุทธ์ ข้อกำหนดหลักที่ระบุในการใช้งานสมัยใหม่ ได้แก่:

• ความหน่วงระดับแอปพลิเคชันต่ำกว่า 5 ไมโครวินาทีผ่านการขนส่งที่ยกเลิกภาระงานด้วยฮาร์ดแวร์
• ปริมาณงานรวมเกิน 40 Gb/s ต่อเซิร์ฟเวอร์เพื่อขจัดคอขวดในการจัดเก็บข้อมูล
• ประสิทธิภาพที่คาดการณ์ได้ด้วยความแปรปรวนของความหน่วงหางที่น้อยที่สุดภายใต้ภาระงาน
• การผสานรวมอย่างราบรื่นกับโครงสร้างพื้นฐาน Ethernet ที่มีอยู่โดยไม่ต้องใช้สวิตช์ที่เป็นกรรมสิทธิ์
• ความสามารถในการวัดและวินิจฉัยที่ครอบคลุมสำหรับการดำเนินงานเชิงรุก

NVIDIA Mellanox MCX631432AN-ADAB ตอบสนองข้อกำหนดเหล่านี้โดยตรงผ่านสถาปัตยกรรม ConnectX-6 Lx ของตน โดยนำเสนอ RoCEv2 (RDMA over Converged Ethernet) ที่เร่งด้วยฮาร์ดแวร์ พร้อมการควบคุมความแออัดขั้นสูงและความสามารถของเส้นทางข้อมูลที่ตั้งโปรแกรมได้

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมโซลูชันที่นำเสนอใช้โทโพโลยีเครือข่ายแบบ leaf-spine พร้อมการเชื่อมต่อ 25GbE ที่ชั้นการเข้าถึงเซิร์ฟเวอร์ โหนดคอมพิวเตอร์หรือจัดเก็บข้อมูลแต่ละโหนดติดตั้ง MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 อะแดปเตอร์ ซึ่งให้เส้นทางสำรองสองเส้นไปยังสวิตช์ top-of-rack (ToR) สถาปัตยกรรมประกอบด้วย:

• ขอบเซิร์ฟเวอร์: MCX631432AN-ADAB Ethernet adapter card เชื่อมต่อผ่าน PCIe Gen 4.0 x8 กับ CPU โฮสต์ ให้แบนด์วิดท์โฮสต์แบบสองทิศทางสูงสุด 64 GB/s ซึ่งเพียงพออย่างสมบูรณ์ในการทำให้พอร์ต 25GbE ทั้งสองพอร์ตทำงานเต็มที่พร้อมกัน
• โครงสร้างเครือข่าย: พอร์ต 25GbE SFP28 สองพอร์ตให้การกระจายภาระงานแบบ active-active หรือการทำงานสำรองแบบ active-standby อะแดปเตอร์รองรับปริมาณงานรวมสูงสุด 50 Gb/s พร้อมการยกเลิกภาระงาน LAG (Link Aggregation) ด้วยฮาร์ดแวร์
• การรวมระบบจัดเก็บข้อมูล: สำหรับการใช้งาน NVMe-oF อะแดปเตอร์ทำหน้าที่เป็นจุดสิ้นสุด RDMA ทำให้สามารถถ่ายโอนข้อมูลจากหน่วยความจำไปยังหน่วยความจำโดยตรงด้วยความหน่วงต่ำกว่าไมโครวินาที
• ระนาบการจัดการ: การจัดการแบบนอกแถบผ่านอินเทอร์เฟซการจัดการที่ปลอดภัยของอะแดปเตอร์ พร้อมการสนับสนุนเต็มรูปแบบสำหรับการตรวจสอบ Redfish และ SNMP

การออกแบบเน้นย้ำถึง Ethernet ที่ไม่สูญเสียข้อมูลผ่าน RoCEv2 พร้อม Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN) — เพื่อให้แน่ใจว่า MCX631432AN-ADAB Ethernet adapter card solution ทำงานภายในโครงสร้างแบบรวมหลายโปรโตคอลโดยไม่ต้องใช้โครงสร้างพื้นฐาน InfiniBand เฉพาะ

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MCX631432AN-ADAB

NVIDIA Mellanox MCX631432AN-ADAB ทำหน้าที่เป็นส่วนประกอบพื้นฐานของโซลูชันนี้ โดยให้คุณค่าสามระดับที่แตกต่างกัน:

A. เอนจิ้นเร่งความเร็วด้วยฮาร์ดแวร์
อะแดปเตอร์รวมไปป์ไลน์การประมวลผลแพ็กเก็ตที่ตั้งโปรแกรมได้สูง ซึ่งยกเลิกภาระงานโปรโตคอลการขนส่ง — รวมถึงการแบ่งส่วน RoCE, การประกอบใหม่, และการควบคุมความแออัด — จาก CPU โฮสต์ ตาม MCX631432AN-ADAB datasheet ฮาร์ดแวร์รองรับข้อความสูงสุด 200 ล้านข้อความต่อวินาที (Mpps) ทำให้มั่นใจได้ว่าแม้แต่แพ็กเก็ตขนาดเล็กที่สุดก็ได้รับประสิทธิภาพระดับสาย

B. การใช้งาน RDMA และ RoCEv2
MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 ใช้งาน RoCEv2 พร้อมการขนส่งที่ยกเลิกภาระงานด้วยฮาร์ดแวร์เต็มรูปแบบ สิ่งนี้ช่วยให้:

• การถ่ายโอนข้อมูลแบบ zero-copy โดยตรงระหว่างบัฟเฟอร์แอปพลิเคชันและหน่วยความจำระยะไกล
• ความหน่วงแบบเที่ยวเดียวต่ำกว่า 2 ไมโครวินาทีสำหรับการสื่อสารแบบ peer-to-peer
• ความเข้ากันได้เต็มรูปแบบกับสวิตช์ Ethernet มาตรฐาน โดยต้องการเพียงการสนับสนุน PFC และ ECN

C. การวัดและตั้งโปรแกรมขั้นสูง
อะแดปเตอร์มีชุดตัวนับการวัดที่ให้ความหน่วงต่อโฟลว์, ความลึกของคิว, และเมตริกความแออัด — ซึ่งมีความสำคัญต่อการจัดการประสิทธิภาพเชิงรุก MCX631432AN-ADAB specifications ให้รายละเอียดคุณสมบัติที่ตั้งโปรแกรมได้เต็มรูปแบบ รวมถึงการประมวลผล match-action ที่ยืดหยุ่นและการสนับสนุนการวัดเครือข่ายแบบ in-band (INT)

สำหรับองค์กรที่พิจารณาการใช้งาน อะแดปเตอร์นี้เข้ากันได้กับ MCX631432AN-ADAB compatible กับ Linux distribution หลักทั้งหมด (RHEL, Ubuntu, SLES), VMware ESXi, และ Windows Server ทำให้มั่นใจได้ถึงการผสานรวมอย่างราบรื่นในสภาพแวดล้อมที่หลากหลาย

4. คำแนะนำในการติดตั้งและปรับขนาด

โทโพโลยีการติดตั้งทั่วไป

การติดตั้งที่แนะนำเป็นไปตามโทโพโลยี "spine-leaf" พร้อมการกำหนดค่าดังต่อไปนี้:

• สวิตช์ Leaf: สวิตช์ 25GbE ToR พร้อมการสนับสนุน RoCEv2 กำหนดค่าด้วย PFC บนคิวลำดับความสำคัญเฉพาะและ ECN สำหรับการส่งสัญญาณความแออัด
• โหนดเซิร์ฟเวอร์: แต่ละโหนดติดตั้ง MCX631432AN-ADAB เชื่อมต่อกับ leaf หลักและรองเพื่อความซ้ำซ้อน
• ชั้น Spine: สวิตช์ spine 100GbE หรือ 400GbE ให้การเชื่อมต่อระหว่างแร็คแบบไม่บล็อก
• เป้าหมายการจัดเก็บข้อมูล: โหนดเป้าหมาย NVMe-oF ใช้ประเภทอะแดปเตอร์เดียวกันสำหรับความสามารถ RDMA ที่สอดคล้องกัน

ข้อควรพิจารณาด้านการปรับขนาด

โซลูชันนี้ปรับขนาดเป็นเส้นตรงตั้งแต่แร็คเดียวไปจนถึงหลายพันโหนด หลักการปรับขนาดที่สำคัญ ได้แก่:

• การจัดการบัฟเฟอร์: ใช้สถาปัตยกรรมบัฟเฟอร์ที่ใช้ร่วมกันของอะแดปเตอร์ (กำหนดค่าได้สูงสุด 4 MB ต่อพอร์ต) เพื่อรองรับการเพิ่มขึ้นชั่วคราวโดยไม่สูญเสียแพ็กเก็ต
• โดเมนความแออัด: แบ่งโครงสร้างออกเป็นหลายโซนการจัดการความแออัดเพื่อจำกัดการแพร่กระจายของ PFC โดยใช้การจำกัดอัตราต่อพอร์ตของอะแดปเตอร์
• การจัดการระดับคลาวด์: อะแดปเตอร์ได้รับการสนับสนุนอย่างเต็มที่จาก Kubernetes (ผ่าน NVIDIA network operator) และ OpenStack ทำให้สามารถจัดเตรียมและจัดการวงจรชีวิตโดยอัตโนมัติ

เมื่อประเมิน MCX631432AN-ADAB price เทียบกับต้นทุนรวมในการเป็นเจ้าของ องค์กรควรถือว่าการยกเลิกโครงสร้างพื้นฐาน InfiniBand แยกต่างหาก และการลดการจัดสรรคอร์ CPU สำหรับงานเครือข่ายอย่างมีนัยสำคัญ — โดยทั่วไปจะกู้คืน 2-4 คอร์ CPU ต่อเซิร์ฟเวอร์

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการปรับปรุงประสิทธิภาพ

กรอบการตรวจสอบ

โซลูชันนี้รวมแนวทางการสังเกตการณ์สามระดับ:

• การวัดระดับอะแดปเตอร์: MCX631432AN-ADAB Ethernet adapter card เปิดเผยตัวนับฮาร์ดแวร์มากกว่า 200 รายการผ่าน ethtool, sysfs, และเครื่องมือเฉพาะของผู้จำหน่าย เมตริกหลัก ได้แก่: ปริมาณงานต่อพอร์ต, การสูญเสียแพ็กเก็ต, เฟรม PFC pause, แพ็กเก็ตที่ถูกทำเครื่องหมาย ECN, และเหตุการณ์ความแออัดของ RoCEv2
• การมองเห็นระดับโครงสร้าง: การผสานรวมกับแพลตฟอร์มการจัดการแบบรวมของ NVIDIA ให้การแสดงภาพโทโพโลยีและการวิเคราะห์เส้นทางโฟลว์
• การตรวจสอบประสิทธิภาพแอปพลิเคชัน: อะแดปเตอร์ให้สถิติของคิวต่อคิวและคิวการเสร็จสิ้น RDMA ต่อคิว ทำให้สามารถเชื่อมโยงประสิทธิภาพเครือข่ายกับความหน่วงของธุรกรรมระดับแอปพลิเคชันได้

สถานการณ์การแก้ไขปัญหาทั่วไป

จากประสบการณ์การดำเนินงาน รูปแบบต่อไปนี้ถูกระบุโดยใช้ MCX631432AN-ADAB specifications และข้อมูลการวัด:

• การตรวจจับ PFC Storm: ตรวจสอบตัวนับเฟรม PFC pause ต่อลำดับความสำคัญ — การหยุดชั่วคราวอย่างต่อเนื่อง >5% ของอัตราสายบ่งชี้ถึงความแออัดหรือการกำหนดค่าผิดพลาด
• การสูญเสียแพ็กเก็ต RoCEv2: ตรวจสอบตัวนับการสูญเสียของอะแดปเตอร์ (เช่น ตัวนับ rx_discard_*) เพื่อแยกแยะว่าการสูญเสียเกิดขึ้นที่อะแดปเตอร์, สวิตช์, หรือเนื่องจากการจำกัด ECN
• การปรับแต่งประสิทธิภาพ: ปรับพารามิเตอร์การรวมอินเทอร์รัปต์ (อัตราการกลั่นกรองอินเทอร์รัปต์) เพื่อแลกเปลี่ยนการใช้ CPU กับความหน่วง — โดยทั่วไปจะตั้งค่าการกลั่นกรองปานกลางสำหรับเวิร์กโหลดการจัดเก็บข้อมูล และการกลั่นกรองน้อยที่สุดสำหรับแอปพลิเคชันการซื้อขาย

แนวทางการปรับปรุงประสิทธิภาพ

เพื่อให้ได้ปริมาณงานสูงสุดและความหน่วงต่ำสุด ขอแนะนำการปรับปรุงประสิทธิภาพต่อไปนี้ตาม MCX631432AN-ADAB datasheet:

• เปิดใช้งานการยกเลิกภาระงาน CRC และ header/data split ด้วยฮาร์ดแวร์เพื่อลดการใช้แบนด์วิดท์หน่วยความจำโฮสต์
• กำหนดค่าเกณฑ์ PFC ต่อลำดับความสำคัญแบบไดนามิกตามโปรไฟล์เวิร์กโหลด — โดยใช้เครื่องมือการกำหนดค่าบัฟเฟอร์เฉพาะของผู้จำหน่ายของอะแดปเตอร์
• เปิดใช้งานคุณสมบัติ QoS ขั้นสูงของอะแดปเตอร์ รวมถึงการจำกัดอัตราต่อคลาสทราฟฟิก และการจัดลำดับความสำคัญที่เข้มงวดหรือการจัดคิวแบบถ่วงน้ำหนักที่ยุติธรรม
• สำหรับการติดตั้งขนาดใหญ่ ใช้การสนับสนุนของอะแดปเตอร์สำหรับ 802.1Qaz Data Center Bridging Exchange (DCBX) เพื่อเจรจา PFC และ ECN กับสวิตช์โดยอัตโนมัติ

6. สรุปและการประเมินมูลค่า

โซลูชันทางเทคนิคที่เน้นที่ NVIDIA Mellanox MCX631432AN-ADAB นำเสนอเส้นทางที่ชัดเจนในการบรรลุความหน่วง RDMA ต่ำกว่า 10 ไมโครวินาที พร้อมทั้งเพิ่มปริมาณงานของเซิร์ฟเวอร์ได้ถึง 5-6 เท่าเมื่อเทียบกับการใช้งาน 10GbE TCP/IP แบบดั้งเดิม ข้อเสนอคุณค่าหลัก ได้แก่:

• การทำให้โครงสร้างพื้นฐานง่ายขึ้น: ยกเลิกความจำเป็นสำหรับเครือข่ายจัดเก็บข้อมูลและคอมพิวเตอร์แยกต่างหาก โดยทำให้ Ethernet ไม่สูญเสียข้อมูลสำหรับประเภททราฟฟิกทั้งหมด
• ประสิทธิภาพที่คาดการณ์ได้: RoCEv2 ที่ยกเลิกภาระงานด้วยฮาร์ดแวร์รับประกันความหน่วงที่คาดการณ์ได้แม้ภายใต้การใช้งาน 90%+ ของอัตราสาย
• ประสิทธิภาพการดำเนินงาน: การวัดและระบบจัดการความแออัดที่สามารถแก้ไขตัวเองได้ช่วยลดเวลาเฉลี่ยในการแก้ไขปัญหา (MTTR) สำหรับปัญหาเครือข่าย
• การปกป้องการลงทุน: อินเทอร์เฟซ PCIe Gen 4.0 และความสามารถในการตั้งโปรแกรมของอะแดปเตอร์รับประกันความเข้ากันได้กับ CPU และสวิตช์รุ่นใหม่ในอนาคต

สำหรับองค์กรที่กำลังประเมินตัวเลือก MCX631432AN-ADAB for sale โซลูชันนี้มีสถาปัตยกรรมอ้างอิงที่ได้รับการพิสูจน์แล้ว ซึ่งได้รับการตรวจสอบในสภาพแวดล้อมการผลิตในภาคบริการทางการเงิน, ผู้ให้บริการคลาวด์, และการใช้งานระบบจัดเก็บข้อมูลระดับองค์กร การผสมผสานระหว่างประสิทธิภาพ, ความสามารถในการปรับขนาด, และความสมบูรณ์ของการดำเนินงาน ทำให้ MCX631432AN-ADAB Ethernet adapter card เป็นการลงทุนเชิงกลยุทธ์สำหรับการเปลี่ยนแปลงศูนย์ข้อมูลสมัยใหม่