เอกสารทางเทคนิค NVIDIA Mellanox MCX653105A-HDAT Server Adapter

เอกสารทางเทคนิค NVIDIA Mellanox MCX653105A-HDAT Server Adapter | การขนส่ง RDMA/RoCE ที่มีความหน่วงแฝงต่ำและการเพิ่มประสิทธิภาพปริมาณงานของเซิร์ฟเวอร์

1. ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

วิวัฒนาการของปริมาณงานในศูนย์ข้อมูล โดยเฉพาะอย่างยิ่งในด้านปัญญาประดิษฐ์ การประมวลผลประสิทธิภาพสูง (HPC) และการจัดเก็บข้อมูลแบบกระจาย ได้เปลี่ยนแปลงข้อกำหนดเครือข่ายสำหรับโครงสร้างพื้นฐานเซิร์ฟเวอร์อย่างสิ้นเชิง สแต็กเครือข่ายแบบดั้งเดิมที่ออกแบบมาสำหรับการรับส่งข้อมูลทั่วไป ทำให้เกิดความหน่วงแฝงและภาระงานของ CPU ที่มากเกินไปเมื่อขยายขนาด แอปพลิเคชัน เช่น NVMe over Fabrics (NVMe-oF) การฝึกอบรมแมชชีนเลิร์นนิงแบบกระจาย และการวิเคราะห์แบบเรียลไทม์ ต้องการความหน่วงแฝงที่แน่นอนน้อยกว่าไมโครวินาทีและการเคลื่อนย้ายข้อมูลที่เร่งด้วยฮาร์ดแวร์

สถาปนิกเครือข่ายและหัวหน้าโครงสร้างพื้นฐานกำลังหันมาใช้ RDMA over Converged Ethernet (RoCE) มากขึ้นเรื่อยๆ ในฐานะการขนส่งที่เลือกสำหรับปริมาณงานเหล่านี้ อย่างไรก็ตาม การใช้งาน RoCE ที่ประสบความสำเร็จขึ้นอยู่กับความสามารถของอะแดปเตอร์พื้นฐานในการยกเลิกการประมวลผลการขนส่ง จัดการความแออัดได้อย่างมีประสิทธิภาพ และผสานรวมกับเครือข่าย Ethernet ที่มีอยู่ได้อย่างราบรื่น ข้อกำหนดหลักที่ระบุไว้ในการใช้งานระดับองค์กรและคลาวด์ ได้แก่:

• ความหน่วงแฝง RDMA แบบ end-to-end น้อยกว่า 3 ไมโครวินาทีสำหรับแอปพลิเคชันที่ไวต่อความหน่วงแฝง
• ปริมาณงานรวมเกิน 40 Gb/s ต่อเซิร์ฟเวอร์เพื่อรองรับโหนดจัดเก็บข้อมูลและโหนดประมวลผลความหนาแน่นสูง
• การยกเลิกการประมวลผลด้วยฮาร์ดแวร์สำหรับ GPUDirect เพื่อขจัดสำเนาหน่วยความจำฝั่งโฮสต์ในปริมาณงาน AI
• การขนส่ง Ethernet แบบไม่สูญเสียข้อมูลด้วย PFC และ ECN เพื่อประสิทธิภาพที่แน่นอน
• การวัดปริมาณข้อมูลที่ครอบคลุมและเส้นทางข้อมูลที่ตั้งโปรแกรมได้เพื่อการมองเห็นการดำเนินงาน

NVIDIA Mellanox MCX653105A-HDAT ตอบสนองข้อกำหนดเหล่านี้ผ่านสถาปัตยกรรม ConnectX โดยนำเสนอ RoCEv2 ที่เร่งด้วยฮาร์ดแวร์ การจัดการความแออัดขั้นสูง และกรอบการทำงานที่ตั้งโปรแกรมได้ที่ครอบคลุมซึ่งเหมาะสำหรับสภาพแวดล้อมระดับองค์กรที่ต้องการมากที่สุด

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมโซลูชันที่นำเสนอใช้โทโพโลยีแบบ leaf-spine ที่มีการเชื่อมต่อ 25/50/100GbE ที่ชั้นการเข้าถึงเซิร์ฟเวอร์ โหนดประมวลผล จัดเก็บข้อมูล หรือเร่งด้วย GPU แต่ละโหนดจะติดตั้ง MCX653105A-HDAT ConnectX adapter PCIe network card ซึ่งให้การเชื่อมต่อที่ซ้ำซ้อนกับสวิตช์ top-of-rack (ToR) สถาปัตยกรรมประกอบด้วยสี่ชั้นที่แตกต่างกัน:

• ขอบการประมวลผล/จัดเก็บข้อมูล: MCX653105A-HDAT Ethernet adapter card เชื่อมต่อผ่าน PCIe Gen 4.0 x16 กับโฮสต์ ให้แบนด์วิดท์โฮสต์แบบสองทิศทางสูงสุด 256 GB/s ซึ่งเพียงพอที่จะทำให้พอร์ต 100GbE สองพอร์ตเต็มที่ในขณะที่ยังคงมีพื้นที่เหลือสำหรับปริมาณการรับส่งข้อมูลแบบ burst
• เครือข่าย Fabric: พอร์ตคู่รองรับสื่อที่ยืดหยุ่น (SFP28 สำหรับ 25GbE, QSFP สำหรับ 50/100GbE) พร้อมการกระจายโหลดแบบ active-active และการยกเลิก LAG ด้วยฮาร์ดแวร์ อะแดปเตอร์รองรับปริมาณงานรวมสูงสุด 200 Gb/s
• การขนส่ง RDMA: RoCEv2 ที่เร่งด้วยฮาร์ดแวร์พร้อมการยกเลิกการแบ่งส่วน การประกอบใหม่ และการควบคุมความแออัดทั้งหมด อะแดปเตอร์รองรับข้อความสูงสุด 200 ล้านข้อความต่อวินาที (Mpps) ด้วยความหน่วงแฝงน้อยกว่าไมโครวินาที
• การจัดการและการวัดปริมาณข้อมูล: การจัดการแบบ out-of-band พร้อมการรองรับ Redfish และ SNMP อย่างสมบูรณ์ เสริมด้วยการวัดปริมาณข้อมูลแบบ in-band สำหรับการตรวจสอบ fabric แบบเรียลไทม์

การออกแบบเน้นที่เครือข่าย Ethernet แบบรวมที่ไม่สูญเสียข้อมูล ซึ่ง NVIDIA Mellanox MCX653105A-HDAT ทำหน้าที่เป็นจุดสิ้นสุด RDMA ทำให้สามารถถ่ายโอนข้อมูลจากหน่วยความจำไปยังหน่วยความจำได้โดยตรงโดยไม่ต้องมีการแทรกแซงของ CPU โฮสต์ สถาปัตยกรรมนี้ MCX653105A-HDAT compatible อย่างสมบูรณ์กับโครงสร้างพื้นฐานสวิตชิ่ง Ethernet ที่มีอยู่ โดยต้องการเพียงการรองรับ PFC และ ECN ซึ่งเป็นคุณสมบัติที่มีอยู่ในสวิตช์ศูนย์ข้อมูลสมัยใหม่ทั่วไป

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MCX653105A-HDAT

MCX653105A-HDAT มีบทบาทสำคัญในสถาปัตยกรรม โดยนำเสนอชั้นคุณค่าที่แตกต่างกันสามชั้น ซึ่งรวมกันทำให้เกิดเครือข่ายที่มีความหน่วงแฝงต่ำและปริมาณงานสูง:

A. เอนจิ้น RDMA ที่เร่งด้วยฮาร์ดแวร์
อะแดปเตอร์รวมไปป์ไลน์การประมวลผลแพ็กเก็ตที่ตั้งโปรแกรมได้อย่างสมบูรณ์ ซึ่งยกเลิกการดำเนินการขนส่ง RoCEv2 รวมถึงการแบ่งส่วน การประกอบใหม่ การควบคุมความแออัด และการจัดการการเสร็จสิ้น ออกจาก CPU โฮสต์ทั้งหมด ตาม MCX653105A-HDAT datasheet ฮาร์ดแวร์รองรับประสิทธิภาพ wire-rate ในทุกขนาดแพ็กเก็ต โดยมีอัตราข้อความสูงสุด 200 Mpps

B. การยกเลิก GPUDirect และ NVMe-oF
จุดเด่นสำคัญของ MCX653105A-HDAT คือการรองรับ GPUDirect ในตัว ทำให้สามารถเคลื่อนย้ายข้อมูลโดยตรงระหว่างหน่วยความจำ GPU และอินเทอร์เฟซเครือข่ายโดยไม่ต้องคัดลอกฝั่งโฮสต์ สิ่งนี้จะขจัดคอขวดที่สำคัญในการฝึกอบรม AI แบบกระจาย สำหรับปริมาณงานจัดเก็บข้อมูล อะแดปเตอร์จะยกเลิกการดำเนินการ NVMe-oF โดยเปลี่ยน Ethernet มาตรฐานให้เป็น fabric จัดเก็บข้อมูลประสิทธิภาพสูง

C. QoS ขั้นสูงและการจัดการความแออัด
อะแดปเตอร์ให้การจัดลำดับความสำคัญต่อคลาสการรับส่งข้อมูลด้วยการรองรับลำดับความสำคัญที่เข้มงวด การจัดคิวแบบถ่วงน้ำหนักที่ยุติธรรม และการจำกัดอัตรา คุณสมบัติการจัดการความแออัดรวมถึงการทำเครื่องหมาย ECN ด้วยฮาร์ดแวร์ การสร้าง PFC และความสามารถในการกำหนดเส้นทางแบบปรับได้ ทั้งหมดนี้สามารถกำหนดค่าได้ผ่าน MCX653105A-HDAT specifications.

D. ความปลอดภัยและการตั้งโปรแกรม
อะแดปเตอร์มีรากฐานความน่าเชื่อถือด้วยฮาร์ดแวร์ การบูตที่ปลอดภัย และการอัปเดตเฟิร์มแวร์ที่เข้ารหัส เส้นทางข้อมูลที่ตั้งโปรแกรมได้รองรับการประมวลผลแบบ match-action ที่ยืดหยุ่น ทำให้สามารถยกเลิกการประมวลผลแบบกำหนดเองและรวบรวมข้อมูลเครือข่ายแบบ in-band (INT)

4. คำแนะนำในการติดตั้งและการปรับขนาด

โทโพโลยีการติดตั้งทั่วไป

การติดตั้งที่แนะนำเป็นไปตามโทโพโลยี "spine-leaf" ด้วยการกำหนดค่าดังต่อไปนี้:

• สวิตช์ Leaf: สวิตช์ ToR 25/50/100GbE พร้อมการรองรับ RoCEv2 กำหนดค่าด้วย PFC บนคิวลำดับความสำคัญเฉพาะและ ECN สำหรับการส่งสัญญาณความแออัด แนะนำให้ใช้เฟรม Jumbo (MTU 9000) เพื่อประสิทธิภาพ RoCE ที่ดีที่สุด
• โหนดเซิร์ฟเวอร์: โหนดแต่ละโหนดติดตั้ง MCX653105A-HDAT เชื่อมต่อผ่าน dual homing กับสวิตช์ leaf หลักและรองเพื่อความซ้ำซ้อน อินเทอร์เฟซ PCIe Gen 4.0 x16 ของอะแดปเตอร์ช่วยให้มั่นใจได้ว่าจะไม่มีคอขวดฝั่งโฮสต์
• ชั้น Spine: สวิตช์ spine 100/400GbE ให้การเชื่อมต่อระหว่างแร็คแบบไม่บล็อกพร้อมความจุบัฟเฟอร์เพียงพอเพื่อรองรับ micro-bursts
• การรวมระบบจัดเก็บข้อมูล/ประมวลผล: สำหรับการใช้งาน NVMe-oF โหนดเป้าหมายจะใช้อะแดปเตอร์ประเภทเดียวกันสำหรับความสามารถ RDMA ที่สอดคล้องกัน สำหรับคลัสเตอร์ AI จะใช้ประโยชน์จากการรองรับ GPUDirect ของอะแดปเตอร์สำหรับการซิงโครไนซ์ gradient

ข้อควรพิจารณาด้านการปรับขนาด

• โดเมนความแออัด: แบ่ง fabric ออกเป็นโซนการจัดการความแออัดหลายโซน (เช่น ต่อแร็คหรือต่อคลัสเตอร์) เพื่อจำกัดการแพร่กระจายของ PFC การจำกัดอัตราต่อพอร์ตของอะแดปเตอร์ช่วยแยกเพื่อนบ้านที่มีเสียงดัง
• การรวมระบบ Orchestration: อะแดปเตอร์ได้รับการสนับสนุนอย่างเต็มที่โดย Kubernetes (ผ่าน NVIDIA network operator) และ OpenStack ทำให้สามารถจัดเตรียมและจัดการวงจรชีวิตโดยอัตโนมัติในสภาพแวดล้อมระดับคลาวด์
• การเตรียมพร้อมสำหรับอนาคต: MCX653105A-HDAT รองรับความเร็ว 100GbE และสูงกว่า โดยมีพื้นที่เหลือสำหรับการอัปเกรดเครือข่ายในอนาคตโดยไม่ต้องเปลี่ยนอะแดปเตอร์

สำหรับองค์กรที่กำลังประเมิน MCX653105A-HDAT price ต้นทุนรวมในการเป็นเจ้าของควรคำนึงถึงการประหยัดจากการยกเลิกเครือข่ายจัดเก็บข้อมูลเฉพาะ การลดการจัดสรรคอร์ CPU (โดยทั่วไปจะกู้คืน 4-6 คอร์ต่อเซิร์ฟเวอร์) และประสิทธิภาพการดำเนินงานจากการจัดการ fabric แบบรวม

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการเพิ่มประสิทธิภาพ

กรอบการตรวจสอบ

โซลูชันนี้รวมแนวทางการสังเกตการณ์หลายระดับ:

• การวัดปริมาณข้อมูลระดับอะแดปเตอร์: MCX653105A-HDAT เปิดเผยเคาน์เตอร์ฮาร์ดแวร์หลายร้อยรายการผ่าน ethtool, sysfs และเครื่องมือการจัดการของ NVIDIA ตัวชี้วัดสำคัญ ได้แก่ ปริมาณงานต่อพอร์ต, เฟรม PFC pause, แพ็กเก็ตที่ทำเครื่องหมาย ECN, เหตุการณ์ความแออัด RoCEv2 และสถิติ RDMA completion queue
• การมองเห็นระดับ Fabric: การรวมเข้ากับแพลตฟอร์มการจัดการแบบรวมของ NVIDIA ให้การแสดงภาพโทโพโลยี การวิเคราะห์เส้นทางการไหล และการตรวจจับความผิดปกติ
• การเชื่อมโยงแอปพลิเคชัน: อะแดปเตอร์ให้ฮิสโตแกรมความหน่วงแฝงต่อโฟลว์และต่อคิว ทำให้สามารถเชื่อมโยงประสิทธิภาพเครือข่ายกับความหน่วงแฝงของธุรกรรมระดับแอปพลิเคชันได้อย่างแม่นยำ

สถานการณ์การแก้ไขปัญหาทั่วไป

จากประสบการณ์การดำเนินงานกับ NVIDIA Mellanox MCX653105A-HDAT รูปแบบการวินิจฉัยต่อไปนี้ถูกระบุ:

• การตรวจจับ PFC Storm: ตรวจสอบเคาน์เตอร์เฟรม PFC pause ต่อลำดับความสำคัญ — การหยุดชั่วคราวอย่างต่อเนื่อง >5% ของอัตราสายบ่งชี้ถึงความแออัดหรือการกำหนดค่าผิดพลาด ตรวจสอบแหล่งที่มาโดยใช้เคาน์เตอร์การใช้งานบัฟเฟอร์ต่อคิวของอะแดปเตอร์
• การสูญเสียแพ็กเก็ต RoCEv2: ตรวจสอบเคาน์เตอร์การสูญเสียของอะแดปเตอร์ (rx_discard, tx_discard) และเชื่อมโยงกับแพ็กเก็ตที่ทำเครื่องหมาย ECN เพื่อแยกความแตกต่างระหว่างการสูญเสียระดับอะแดปเตอร์และการจำกัดอัตราระดับ fabric
• การปรับแต่งประสิทธิภาพ: ปรับพารามิเตอร์การรวม interrupt เพื่อสร้างสมดุลระหว่างความหน่วงแฝงกับภาระงานของ CPU — โดยทั่วไปจะตั้งค่าการรวมปานกลางสำหรับปริมาณงานจัดเก็บข้อมูล และการรวมน้อยที่สุดสำหรับการซื้อขายแอปพลิเคชัน MCX653105A-HDAT datasheet ให้คำแนะนำโดยละเอียดเกี่ยวกับพารามิเตอร์ที่ปรับได้

แนวทางการเพิ่มประสิทธิภาพ

เพื่อให้ได้ปริมาณงานสูงสุดและความหน่วงแฝงต่ำสุดด้วย MCX653105A-HDAT Ethernet adapter card solution ขอแนะนำการเพิ่มประสิทธิภาพดังต่อไปนี้:

• เปิดใช้งาน CRC ด้วยฮาร์ดแวร์ การยกเลิกส่วนหัว/ข้อมูล และ receive-side scaling (RSS) เพื่อกระจายปริมาณข้อมูลไปยังคอร์ CPU หลายคอร์อย่างมีประสิทธิภาพ
• กำหนดค่าเกณฑ์ PFC ต่อลำดับความสำคัญแบบไดนามิกโดยใช้เครื่องมือการกำหนดค่าบัฟเฟอร์เฉพาะของผู้จำหน่ายอะแดปเตอร์ โดยอิงตามโปรไฟล์ปริมาณงานที่สังเกตได้
• เปิดใช้งานคุณสมบัติ QoS ขั้นสูงของอะแดปเตอร์ รวมถึงการจำกัดอัตราต่อคลาสการรับส่งข้อมูล และลำดับความสำคัญที่เข้มงวดหรือการจัดคิวแบบถ่วงน้ำหนักที่ยุติธรรม
• สำหรับการใช้งานขนาดใหญ่ ใช้ประโยชน์จากการรองรับอะแดปเตอร์สำหรับ 802.1Qaz DCBX เพื่อทำให้การเจรจา PFC และ ECN กับสวิตช์เป็นอัตโนมัติ
• ใช้ประโยชน์จากเส้นทางข้อมูลที่ตั้งโปรแกรมได้ของอะแดปเตอร์เพื่อใช้งานการรวบรวมข้อมูลที่กำหนดเองหรือการยกเลิกการประมวลผลแพ็กเก็ตพิเศษ

6. สรุปและการประเมินมูลค่า

โซลูชันทางเทคนิคที่เน้นที่ MCX653105A-HDAT จาก NVIDIA Mellanox นำเสนอเส้นทางที่ชัดเจนในการบรรลุความหน่วงแฝง RDMA น้อยกว่า 3 ไมโครวินาทีและปริมาณงานรวมเกิน 100 Gb/s ต่อเซิร์ฟเวอร์ MCX653105A-HDAT Ethernet adapter card ทำหน้าที่เป็นส่วนประกอบพื้นฐานสำหรับ fabric ศูนย์ข้อมูลสมัยใหม่แบบรวมที่รองรับปริมาณงาน AI training, HPC และ enterprise storage พร้อมกัน

ข้อเสนอคุณค่าหลัก ได้แก่:

• การรวมโครงสร้างพื้นฐาน: ขจัดความจำเป็นสำหรับเครือข่ายจัดเก็บข้อมูลและประมวลผลแยกต่างหาก โดยเปิดใช้งาน Ethernet แบบไม่สูญเสียข้อมูลสำหรับปริมาณการรับส่งข้อมูลทุกประเภท ลดค่าใช้จ่ายในการลงทุนและค่าใช้จ่ายในการดำเนินงาน
• ความเป็นผู้นำด้านประสิทธิภาพ: RoCEv2 ที่ยกเลิกการประมวลผลด้วยฮาร์ดแวร์พร้อม GPUDirect รับประกันความหน่วงแฝงที่แน่นอนน้อยกว่าไมโครวินาที แม้ภายใต้การใช้งานที่อัตราสาย 90%+ ซึ่งมีความสำคัญต่อการฝึกอบรม AI และการวิเคราะห์แบบเรียลไทม์
• ประสิทธิภาพการดำเนินงาน: การวัดปริมาณข้อมูลที่ครอบคลุม การจัดการความแออัดแบบซ่อมแซมตัวเอง และการรวมระบบ orchestration อัตโนมัติ ช่วยลดเวลาเฉลี่ยในการแก้ไขปัญหา (MTTR) และภาระงานในการดำเนินงาน
• การปกป้องการลงทุน: อินเทอร์เฟซ PCIe Gen 4.0 ของอะแดปเตอร์ ความสามารถในการตั้งโปรแกรม และการรองรับพอร์ตหลายความเร็ว ช่วยให้มั่นใจได้ถึงความเข้ากันได้กับ CPU รุ่นต่อไปและ fabric เครือข่ายความเร็วสูงขึ้น

สำหรับองค์กรที่กำลังประเมินตัวเลือก MCX653105A-HDAT for sale โซลูชันนี้มีสถาปัตยกรรมอ้างอิงที่ได้รับการพิสูจน์แล้ว ซึ่งได้รับการตรวจสอบในสภาพแวดล้อมการผลิตในภาคบริการทางการเงิน ผู้ให้บริการคลาวด์ การดูแลสุขภาพ และสถาบันวิจัย การผสมผสานระหว่างประสิทธิภาพ การปรับขนาด และความสมบูรณ์ของการดำเนินงาน ทำให้ NVIDIA Mellanox MCX653105A-HDAT เป็นการลงทุนเชิงกลยุทธ์สำหรับองค์กรใดๆ ที่มุ่งมั่นในการสร้างโครงสร้างพื้นฐานศูนย์ข้อมูลประสิทธิภาพสูงที่พร้อมสำหรับอนาคต