การแก้ไขทางเทคนิค: NVIDIA Mellanox MCX631102AN-ADAT Server Adapter

เอกสารทางเทคนิคฉบับนี้ให้ข้อมูลอ้างอิงที่ครอบคลุมสำหรับสถาปนิกเครือข่าย วิศวกรฝ่ายขายล่วงหน้า และผู้นำฝ่ายปฏิบัติการที่วางแผนจะติดตั้ง NVIDIA Mellanox MCX631102AN-ADAT อะแดปเตอร์เซิร์ฟเวอร์ในสภาพแวดล้อมศูนย์ข้อมูลประสิทธิภาพสูง โซลูชันนี้มุ่งเน้นไปที่การกำจัดโอเวอร์เฮดของสแต็ก TCP/IP การเปิดใช้งานการขนส่ง RDMA/RoCEv2 ที่มีความหน่วงต่ำ และการเพิ่มปริมาณงานของเซิร์ฟเวอร์ให้สูงสุดสำหรับเวิร์กโหลดการจัดเก็บข้อมูล ฐานข้อมูล และ AI

1. ภูมิหลังโครงการและการวิเคราะห์ข้อกำหนด

สถาปัตยกรรมศูนย์ข้อมูลสมัยใหม่เผชิญกับความท้าทายที่บรรจบกันสามประการ: การเติบโตอย่างรวดเร็วของการรับส่งข้อมูลแบบ east-west การเปลี่ยนไปสู่การจัดเก็บข้อมูลแบบแยกส่วน (NVMe-oF, vSAN) และความจำเป็นในการรักษา CPU cycles สำหรับตรรกะแอปพลิเคชันแทนการประมวลผลเครือข่าย การใช้งาน 25GbE แบบเดิมที่ใช้ TCP/IP แบบดั้งเดิมประสบปัญหาความหน่วงหางสูง (200–500µs สำหรับการดำเนินการจัดเก็บข้อมูล) การประมวลผลเคอร์เนลต่อแพ็กเก็ตที่มากเกินไป และปริมาณงานแพ็กเก็ตขนาดเล็กที่ไม่มีประสิทธิภาพ ข้อกำหนดหลักคือเครือข่ายที่หน่วงต่ำและไม่สูญเสียข้อมูล ซึ่งช่วยให้สามารถเข้าถึงหน่วยความจำโดยตรงระหว่างเซิร์ฟเวอร์ได้โดยไม่ต้องมีการแทรกแซง CPU ในขณะที่ยังคงความเข้ากันได้กับโครงสร้างพื้นฐาน Ethernet ที่มีอยู่

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

โซลูชันที่นำเสนอใช้โทโพโลยีแบบ leaf-spine สองชั้นพร้อมการกำหนดค่า RoCEv2 ที่ไม่สูญเสียข้อมูล การตัดสินใจเชิงสถาปัตยกรรมที่สำคัญ ได้แก่:

• ชั้นกายภาพ: การเชื่อมต่อ 25GbE SFP28 จากเซิร์ฟเวอร์คอมพิวต์/จัดเก็บข้อมูลแต่ละเครื่องไปยังสวิตช์ leaf, การเชื่อมต่อแบบ uplinks 100GbE หรือ 400GbE จาก leaf ไปยัง spine
• เครือข่ายแบบรวม: เครือข่าย Ethernet ที่ใช้ร่วมกันซึ่งรองรับทั้งการรับส่งข้อมูล TCP มาตรฐานและการไหลของ RoCEv2 ที่ไม่สูญเสียข้อมูล โดยใช้การจัดลำดับความสำคัญตาม DSCP
• การควบคุมการไหล: Priority Flow Control (PFC) สำหรับลำดับความสำคัญที่ไม่สูญเสียข้อมูล, การทำเครื่องหมาย ECN สำหรับการแจ้งเตือนความแออัด และการเจรจา DCBX
• ฝั่งโฮสต์: ช่องเสียบ PCIe 4.0 x16 เฉพาะสำหรับแต่ละ การ์ดอะแดปเตอร์ Ethernet MCX631102AN-ADAT, พร้อมเปิดใช้งาน SR-IOV สำหรับสภาพแวดล้อมเสมือนจริง

สำหรับการใช้งาน NVMe-oF เซิร์ฟเวอร์จัดเก็บข้อมูลแต่ละเครื่องจะโฮสต์อะแดปเตอร์ MCX631102AN-ADAT ConnectX-6 Lx แบบพอร์ตคู่ 25GbE SFP28 สองตัว — ตัวหนึ่งสำหรับการรับส่งข้อมูลแอปพลิเคชันส่วนหน้า และอีกตัวหนึ่งสำหรับการรับส่งข้อมูลการจำลองแบบและการสร้างใหม่ส่วนหลัง เพื่อให้มั่นใจถึงการแยกความผิดพลาดและการแยก QoS

3. บทบาทและคุณสมบัติหลักของ MCX631102AN-ADAT ในโซลูชัน

MCX631102AN-ADAT ทำหน้าที่เป็นอุปกรณ์ปลายทางที่สำคัญซึ่งช่วยเร่งความเร็ว RDMA ฝั่งโฮสต์ การมีส่วนร่วมทางเทคนิคที่สำคัญคือ:

โดยอ้างอิงจาก เอกสารข้อมูล MCX631102AN-ADAT, อะแดปเตอร์ยังมีการประทับเวลาฮาร์ดแวร์ (ตัวนับการประทับเวลาแบบอิสระพร้อมความละเอียด 1ns) ซึ่งช่วยให้ PTP/SyncE ที่แม่นยำสำหรับการซื้อขายทางการเงินหรือแอปพลิเคชันขอบโทรคมนาคม

4. คำแนะนำในการติดตั้งและปรับขนาด (โทโพโลยีทั่วไป)

สำหรับการติดตั้งแบบ brownfield ขอแนะนำให้ใช้วิธีการแบบเป็นระยะ:

• ระยะที่ 1 – การอัปเกรดระนาบจัดเก็บข้อมูล: ติดตั้ง MCX631102AN-ADAT บนเซิร์ฟเวอร์จัดเก็บข้อมูลทั้งหมดที่รันซอฟต์แวร์เป้าหมาย NVMe-oF (เช่น SPDK, TargeR) กำหนดค่าพอร์ตสวิตช์ด้วยลำดับความสำคัญ PFC 3 สำหรับ RoCE และ 1 สำหรับ CNP โดยใช้การเจรจาอัตโนมัติ DCBX
• ระยะที่ 2 – การเปิดใช้งานระนาบการประมวลผล: ติดตั้งอะแดปเตอร์บนเซิร์ฟเวอร์คอมพิวต์ที่รันเฟรมเวิร์กฐานข้อมูลหรือ AI (TensorFlow, PyTorch กับ NCCL) เปิดใช้งานไลบรารีที่รองรับ RDMA verbs และกำหนดค่า GID index สำหรับ RoCEv2
• ระยะที่ 3 – การรวมเครือข่าย: ย้ายเวิร์กโหลด TCP ที่มีความละเอียดอ่อนสูง (การวิเคราะห์แบบเรียลไทม์, sidecars ของไมโครเซอร์วิส) ไปยัง RoCE ด้วยประเภทบริการ UC หรือ RC

รายการตรวจสอบการยืนยันโทโพโลยี:

• สวิตช์ leaf ทั้งหมดต้องรองรับ RoCE ที่ไม่สูญเสียข้อมูล (PFC + ECN) พร้อมบัฟเฟอร์สำรองที่เพียงพอ
• MTU แบบ end-to-end อย่างน้อย 2000 ไบต์ (แนะนำ 9000 สำหรับเฟรมจัมโบ้)
• การเข้าถึงเส้นทางการรับส่งข้อมูลแบบ unicast สำหรับการรับส่งข้อมูล RoCEv2 (พอร์ต UDP 4791)
• รายการ MCX631102AN-ADAT ที่เข้ากันได้ ที่ผ่านการตรวจสอบแล้ว: NVIDIA Spectrum (แนะนำ), Cisco Nexus 9300-EX/FX, Arista 7050X/7050X3 พร้อมโปรไฟล์ DCBX

5. การดำเนินงานและการบำรุงรักษา – การตรวจสอบ การแก้ไขปัญหา และการปรับปรุงประสิทธิภาพ

ความสำเร็จในการติดตั้งการผลิตขึ้นอยู่กับการวัดทางไกลที่เหมาะสมและการจัดการข้อยกเว้นเชิงรุก แนวทางปฏิบัติในการดำเนินงานที่แนะนำ ได้แก่:

• การตรวจจับความแออัด: ตรวจสอบตัวนับเฟรม PFC pause ต่อพอร์ตบนสวิตช์และสถิติแพ็กเก็ตที่ทำเครื่องหมาย ECN ของอะแดปเตอร์โดยใช้ ethtool -S หรือ mlxlink
• การรับประกัน SLO ความหน่วง: ติดตั้งการตรวจสอบความหน่วงที่ประทับเวลาฮาร์ดแวร์ด้วยเครื่องมือเช่น ucxtrace หรือ mlx5cmd; RTT ปกติที่ทำงานได้ดีภายใต้ 10µs ภายในแร็ค, ภายใต้ 30µs ข้ามสปายน์
• การจัดตำแหน่งเฟิร์มแวร์และไดรเวอร์: ใช้ชุดเฟิร์มแวร์ที่ผ่านการตรวจสอบแล้วของ NVIDIA (อ้างอิง ข้อมูลจำเพาะ MCX631102AN-ADAT สำหรับหมายเลขชิ้นส่วนที่แน่นอน) และเวอร์ชันไดรเวอร์ (mlx5_core ≥ 5.9)
• การจัดการ RMA และวงจรชีวิต: เมื่อวิเคราะห์ ราคา MCX631102AN-ADAT เทียบกับ TCO ให้รวมรอบการรีเฟรชโหนด 3-5 ปี; ผู้จัดจำหน่ายทั่วโลกหลายรายมี MCX631102AN-ADAT สำหรับขาย พร้อมการสนับสนุนการรับประกันหลายปี

สำหรับการแก้ไขปัญหา ข้อผิดพลาดที่พบบ่อยที่สุดคือ: การกำหนดค่าเกณฑ์บัฟเฟอร์สวิตช์ไม่ถูกต้อง (นำไปสู่พายุเฟรม pause), ประเภท GID ที่ไม่ตรงกัน (แนะนำ GID ประเภท 2 สำหรับ IPv6 RoCEv2) และการขาดการเปิดใช้งานการยกเลิกฮาร์ดแวร์ใน verbs ของแอปพลิเคชัน (ตรวจสอบให้แน่ใจว่า ibv_reg_mr มีสิทธิ์เข้าถึงการเขียนภายใน)

6. สรุปและการประเมินมูลค่า

NVIDIA Mellanox MCX631102AN-ADAT นำเสนอ โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX631102AN-ADAT ที่ผ่านการทดสอบในสภาพแวดล้อมการผลิต สำหรับองค์กรที่ต้องการปลดล็อกประสิทธิภาพอัตราสายความหน่วงต่ำอย่างแท้จริงบนโครงสร้างพื้นฐาน 25GbE ที่สมบูรณ์ ด้วยการเปิดใช้งานการยกเลิกฮาร์ดแวร์ RDMA/RoCEv2 โซลูชันนี้จึงบรรลุความหน่วง NVMe-oF ต่ำกว่า 20 ไมโครวินาที กู้คืน CPU cores ได้มากกว่า 30% สำหรับเวิร์กโหลดแอปพลิเคชัน และรักษาปริมาณงานรวม 50Gbps ด้วยประสิทธิภาพแพ็กเก็ตขนาดเล็กที่เคยทำได้เฉพาะกับอะแดปเตอร์ 100GbE เท่านั้น สำหรับสถาปนิกที่วางแผนคลัสเตอร์จัดเก็บข้อมูลแบบ hyperconverged หรือ AI แบบ greenfield, MCX631102AN-ADAT ถือเป็นตัวเปิดใช้งานเชิงกลยุทธ์ — นำเสนอโปรไฟล์ความหน่วงของ InfiniBand ด้วยความเรียบง่ายในการดำเนินงานของ Ethernet