โซลูชันทางเทคนิคของอะแดปเตอร์เซิร์ฟเวอร์ NVIDIA Mellanox MCX4121A-ACAT

การแก้ไขทางเทคนิคนี้ถูกออกแบบให้กับสถาปนิกเครือข่าย วิศวกรก่อนการขาย และผู้จัดการปฏิบัติการโครงสร้างพื้นฐานเครือข่ายศูนย์ข้อมูลความจุสูง โดยใช้เทคโนโลยี RoCE (RDMA over Converged Ethernet)NVIDIA Mellanox MCX4121A-ACATเอกสารนี้ครอบคลุมการออกแบบสถาปัตยกรรม เทคโนโลยีหลัก กลยุทธ์การจัดจําหน่าย และปฏิบัติการที่ดีที่สุด

1. สถานการณ์โครงการและการวิเคราะห์ความต้องการ

ศูนย์ข้อมูลที่ทันสมัยเผชิญกับปัญหาพื้นฐานสามประการ คือ ค่าใช้จ่ายของ CPU ของ TCP/IP สเตคแบบดั้งเดิมและค่าใช้จ่ายที่เพิ่มขึ้นของความกว้างแบนด์วิทตะวันออก-ตะวันตกในขณะที่ภาระงานเปลี่ยนไปสู่การฝึกอบรม AI, ข้อมูลฐานที่กระจาย และผ้าที่เก็บของ NVMe-oF, ตัวปรับ 10GbE หรือ 25GbE ปกติโดยไม่มี RDMA offload กลายเป็นข้อขัดขวางที่สําคัญสิ่งแวดล้อมเป้าหมาย ธรรมดาของเมฆขนาดกลางและขนาดใหญ่หรือศูนย์ข้อมูลองค์กร ต้องการความช้าต่ํากว่า 3μs, การใช้ CPU ต่ํากว่า 10% สําหรับการประมวลผลเครือข่าย, และความเร็วสาย 50Gb / sการ์ด MCX4121A-ACAT Ethernetตอบโจทย์ความต้องการเหล่านี้โดยตรง

2. การออกแบบระบบระบบและเครือข่ายโดยรวม

สถาปัตยกรรมที่นําเสนอปฏิบัติตามทอปโลยีกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดาน

• ชั้นใบ:สวิตช ToR ที่มี DCB (Data Center Bridging) รองรับ PFC, ETS และ DCBX ได้เปิด
• ชั้นกระดูกสันหลังสวิทช์ที่ไม่ล็อค ให้ความเชื่อมต่อเต็มเมชระหว่างใบ
• ชั้นเซอร์เวอร์:ทุกหน่วยคอมพิวเตอร์ / การจองที่พร้อมกับMCX4121A-ACAT ConnectX-4 Lx ท่าสอง 25GbE SFP28แอดป์เตอร์
• ระเบียบการขนส่ง:RoCE v2 พร้อมการสนับสนุน IP routing ทําให้ RDMA ผ่านขอบเขตชั้น 3

อาร์คิทคชันจะขยายขนาดจาก 48 ถึงมากกว่า 1,000 node โดยยังคงมีความช้าต่ํากว่าไมโครเซกอนด์การปรับเปลี่ยนตัวแอดป์เตอร์แต่ละตัว สามารถปรับปรุงการเชื่อมโยงแบบ Active-Active สําหรับการรวมความกว้างของแบนด์วิธ หรือ Active-Passive เพื่อการมีให้บริการสูง.

3. บทบาทของ NVIDIA Mellanox MCX4121A-ACAT และลักษณะสําคัญ

ภายในคําตอบนี้NVIDIA Mellanox MCX4121A-ACATใช้เป็นเครื่องยนต์การลดภาระของฮาร์ดแวร์ที่สําคัญใบข้อมูล MCX4121A-ACAT, ลักษณะสําคัญที่ช่วยให้มี:

• การขนส่งที่ใช้ฮาร์ดแวร์:จบการประมวลผลโปรโตคอล RDMA/RoCE ในฮาร์ดแวร์ตัวปรับ โดยกําจัดการมีส่วนร่วมของ CPU ในการเคลื่อนไหวข้อมูล
• สายการ์ตูสองสาย 25GbE SFP28:การสนับสนุนสื่อที่ยืดหยุ่นสําหรับสาย SR, LR และ DAC; รองรับแบบย้อนหลังกับ 10GbE และ 1GbE
• PCIe 3.0 x8 โฮสต์ อินเตอร์เฟซ:ส่งถึง 64Gb / s ความกว้างแบนด์เวทสองทิศ ไม่ปิดความเร็วสาย
• การเร่ง NVMe-oF:การลดอัตราการบํารุงพื้นที่สําหรับ NVMe/TCP และ NVMe/RoCE การประมวลผลคําสั่ง
• Overlay Offload: การฝากการเร่งเครื่องมือสําหรับอุโมงค์ VXLAN, GENEVE และ NVGRE

รายการรายละเอียด MCX4121A-ACATยืนยันการสนับสนุนสูงสุด 1 ล้าน IOPS ต่อพอร์ตด้วยความช้าต่ํากว่า 0.8μs สําหรับการโอนที่จํากัดในความจํา ทําให้มันเหมาะสําหรับการค้าความถี่สูง, การวิเคราะห์ในเวลาจริง และการเก็บข้อมูลที่แยกแยก

4. แนะนําการจัดจําหน่ายและการปรับขนาด (พร้อมกับทอปโลจี)

การจัดจําหน่ายแบบปกติปฏิบัติตามการจัดจําหน่ายแบบเร่งเร่งระดับ rack ด้านล่างนี้คือทอปโลจีสอง rack ที่อ้างอิง:

สําหรับการปรับขนาดเกินสองราก สวิตช์กระดูกสันหลังเชื่อมต่อสวิตช์ใบทั้งหมดสอดคล้องกับ MCX4121A-ACATโมดูล SFP28 ที่ได้รับการทดสอบจากผู้จําหน่ายจากรายการความสอดคล้องของ NVIDIA เพื่อรับรองความมั่นคงของ PFC และการฝึกเชื่อมต่อMCX4121A-ACAT สําหรับขายผ่านผู้จําหน่ายที่ได้รับอนุญาตราคา MCX4121A-ACATโดยปกติจะเริ่มต้นจาก $400-$600 ต่อตัวปรับอัตราขึ้นอยู่กับปริมาณ

5. การติดตามการดําเนินงาน, การแก้ไขปัญหาและ Optimization

การนํา RoCE มาใช้อย่างมีประสิทธิภาพต้องมีการติดตามอย่างระวัง

• เทเลเมตร:ใช้ชุด Driver MLNX_OFED ของ NVIDIA พร้อมเครื่องนับ RoCE (port_xmit_wait, port_rcv_remote_physical_errors)
• การตรวจสอบความจุกจูง:ติดตามกรอบหยุด PFC; ค่าที่ไม่เท่ากับศูนย์อย่างต่อเนื่องแสดงความดันของพัฟเฟอร์
• การปรับปรับพัฟเฟอร์:ปรับปรุง BDP 2-3x (ผลิตภัณฑ์ความช้าของความกว้างแบนด์วิท) สําหรับปูลพัฟเฟอร์ที่ขาดทุน
• ขั้นต่ํา ECN/RED:กําหนดความน่าจะเป็นการระบุที่ความลึกคิว 1% เพื่อการหลีกเลี่ยงความจุกจุก

สถานการณ์การแก้ไขปัญหาทั่วไป: หาก RoCE การทํางานลดลง ตรวจสอบว่าการตั้งค่า DCB เป็นเหมือนกันในสวิตช์และฟอร์มแวร์อุปกรณ์ทั้งหมดMCX4121A-ACAT Ethernet adapter card solution การแก้ไขการ์ดรวมถึงเครื่องมือวินิจฉัย (ibdiagnet, mlxlink) เพื่อยืนยันความสมบูรณ์แบบของเคเบิลและสุขภาพของลิงค์การบูรณาการเมทริกส์เหล่านี้ใน Prometheus/Grafana dashboard ด้วยการเตือนสําหรับการหลุดกรอบหยุดหรือการถ่ายทอดย้อนเกิน.

6. สรุปและการประเมินค่า

รายการNVIDIA Mellanox MCX4121A-ACATส่งผลให้มีค่าที่สามารถวัดได้ในสามมิติ:ผลงาน(ความช้าต่ํากว่า 2μs, ความเร็ว 49Gb/s)ประสิทธิภาพ(การใช้งาน CPU ต่ํากว่า 5% สําหรับ I/O ของเครือข่าย) และTCOสําหรับองค์กรที่สร้างศูนย์ข้อมูลรุ่นใหม่ ตัวปรับตัวนี้จะให้บริการสามารถปรับขนาดได้สูงMCX4121A-ACAT Ethernet adapter card solution การแก้ไขการ์ดที่สะกดช่องว่างระหว่างเศรษฐกิจ Ethernet มาตรฐานและความต้องการคอมพิวเตอร์ความสามารถสูงใบข้อมูล MCX4121A-ACATสําหรับรายละเอียดในระดับทะเบียนและคู่มือการบูรณาการ