NVIDIA Mellanox MCX4121A-ACAT Server Adapter หนังสือขาวเทคนิค

NVIDIA Mellanox MCX4121A-ACAT Server Adapter หนังสือขาวเทคนิค

1. สถานการณ์โครงการและการวิเคราะห์ความต้องการ

ศูนย์ข้อมูลที่ทันสมัยถูกกดดันอย่างต่อเนื่องเพื่อรองรับภาระงานที่ต้องการมากขึ้น จากการฝึกอบรม AI / ML และการค้าความถี่สูงไปยังฐานข้อมูลจําหน่ายและ NVMe-over-Fabrics storageขณะที่ 25GbE Ethernet กลายเป็นมาตรฐานชั้นการเข้าถึงหลัก, องค์กรหลายรายพบว่าความกว้างแบนด์วิทสดเพียงลําพังไม่ได้แปลให้กับการทํางานของแอพลิเคชัน.ความช้าที่ไม่คาดเดาได้, และการประมวลผลแพ็คเก็ตที่ไม่มีประสิทธิภาพที่สามารถบริโภค 20 ~ 30% ของ CPU คอร์ของเซอร์เวอร์ สําหรับแอพลิเคชั่นที่มีความรู้สึกต่อความอ่อนแอและความหิวโหยของความผ่าน, ระบบย่อยเครือข่ายมักกลายเป็นสายที่อ่อนแอที่สุด.

หนังสือขาวนี้ตอบโจทย์กับปัญหาเหล่านี้NVIDIA Mellanox MCX4121A-ACATแอดป์เตอร์เซอร์เวอร์ ออกแบบให้กับบริษัทที่ต้องการที่จะปลดปล่อยศักยภาพเต็มของพื้นฐาน 25GbEการ์ด MCX4121A-ACAT Ethernetผสมผสานการเชื่อมต่อ 25GbE ช่องสองกับ RDMA ที่เร่งเร็วด้วยฮาร์ดแวร์ผ่าน Ethernet Converged (RoCE)(2) ลดค่าใช้จ่ายในการประมวลผลเน็ตพีซีโดยมากกว่า 80%, และ (3) ทําให้สามารถปรับขนาดได้อย่างต่อเนื่องจาก Node น้อย ๆ เป็นร้อยๆ โดยไม่ต้องปรับปรุงสถาปัตยกรรม

2. การออกแบบระบบระบบและเครือข่ายโดยรวม

สถาปัตยกรรมที่แนะนําใช้ทอปโลยีใบ-กระดูกสันหลังที่มี 25GbE เป็นชั้นการเข้าถึงเซอร์เวอร์และ 100GbE uplinks ไปยังกระดูกสันหลังMCX4121A-ACAT ConnectX-4 Lx ท่าสอง 25GbE SFP28แอดป์เทอร์, ใช้ในทุกคอมพิวเตอร์และสตอเรชั่นโน๊ด อาร์คิทคัตช์ถูกสร้างขึ้นรอบสามหลักการหลัก:

• ผ้าอีเทอร์เน็ตไร้การสูญเสีย:การนํา RoCE v2 มาใช้กับ PFC (Priority Flow Control) และ ECN (Explicit Congestion Notification) เพื่อกําจัดการลดแพ็คเก็ตและรับประกันความช้าที่กําหนดได้
• อัดฮาร์ดแวร์ทุกที่การอํานวยความสะดวกในการประมวลผลชั้นขนส่ง รวมทั้ง checksum, segmentation และ RDMA ไปยังตัวปรับ, ปลดปล่อยวงจร CPU สําหรับการใช้งานธุรกิจ
• อัตราการรีดันต์ที่ทํางานการใช้ Port SFP28 ทั้งสองในรูปแบบการรวมลิงค์ (LACP) สําหรับความกว้างแบนด์เบดรวม 50Gb/s และ failover อัตโนมัติ

คําตอบคืออย่างเต็มที่สอดคล้องกับ MCX4121A-ACATด้วยแพลตฟอร์มเซอร์เวอร์ชั้นนํา (Dell PowerEdge, HPE ProLiant, Supermicro) และสวิตช์จาก NVIDIA Spectrum และ Arista สําหรับการเก็บข้อมูลทําให้การเก็บข้อมูลแบบแบ่งปันได้ด้วยความช้าที่ใกล้กับ NVMe drive ท้องถิ่น.

3บทบาทและคุณสมบัติสําคัญของ NVIDIA Mellanox MCX4121A-ACAT

ในฐานะองค์ประกอบพื้นฐานของคําตอบนี้NVIDIA Mellanox MCX4121A-ACATมีหน้าที่สําคัญ 3 อย่าง

ข้อจําแนกหลักที่นํามาจากใบข้อมูล MCX4121A-ACATประกอบด้วย PCIe 3.0 x8 host interface, offloads ที่ครบวงจร (checksum, LSO/LRO, VLAN stripping/insertion) และเทเลเมตรีที่ก้าวหน้าต่อพอร์ตประสิทธิภาพพลังงานของตัวปรับ (< 10W แบบ) และการสนับสนุนระบบปฏิบัติการที่กว้าง (Linux, Windows, VMware ESXi) ทําให้มันเป็นก้อนก่อสร้างที่หลากหลายสําหรับสภาพแวดล้อมที่แตกต่างกัน

4. แนะนําการใช้งานและการปรับขนาด

สําหรับการใช้งานในกรีนฟิลด์ เราแนะนําให้ใช้ทอปโลยีกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานการ์ด MCX4121A-ACAT Ethernetโดยมีทั้งสองพอร์ตเชื่อมต่อกับสวิทช์ใบแยกเพื่อการผ่อนผัน RoCE fabric ต้องการการตั้งค่า QoS ที่สอดคล้องในสวิทช์ทั้งหมดPFC บนความสําคัญที่ 3 และเครื่องหมาย ECN บนประเภทการจราจรเดียวกันเราแนะนําการจัดสรร VLAN ที่มอบหมายสําหรับการจราจร RoCE เพื่อทําให้การติดตามและแก้ปัญหาง่ายขึ้น

สําหรับสภาพแวดล้อมแบนฟิลด์MCX4121A-ACAT Ethernet adapter card solution การแก้ไขการ์ดโปรแกรมการปรับปรุงอัตราการใช้งานของอัตราการปรับปรุงอัตราการใช้งานของอัตราการปรับปรุงอัตราการใช้งานตัวปรับสัญญาณยังรองรับการสวิตช์ Ethernet มาตรฐานโดยไม่ต้องเปิด RoCE, ทําให้ทีมงานสามารถใช้ฮาร์ดแวร์ได้ก่อน และเปิดใช้ความสามารถ RDMA ในระยะเวลาที่ผ้ามีอายุ

การปรับขนาดของคําตอบนั้นเรียบง่าย: ค้อนของหน่วยเพิ่มเติมMCX4121A-ACAT สําหรับขายSKU และเนื้อเยื่ออัตโนมัติรองรับจุดสิ้นใหม่ผ่าน LLDP และ DCBx การเจรจาเราแนะนําการใช้ RoCE ที่มุ่งเน้นในการควบคุมความจุกจุก (e.g., NVIDIA Spectrum Switches with built-in telemetry) เพื่อรักษาพฤติกรรมที่ขาดทุนในขนาด

5การดําเนินงาน ติดตาม ตรวจสอบปัญหา และปรับปรุง

การทํางานอย่างมีประสิทธิภาพของ RoCE fabric ต้องการกลยุทธ์การติดตามหลายชั้น:

• เทเลเมทรีระดับตัวปรับรายการรายละเอียด MCX4121A-ACATประกอบด้วยคอนเตอร์ต่อพอร์ตสําหรับเฟรม PFC, แพ็คเก็ตที่มีเครื่องหมาย ECN และเฟรมที่ตกmlx5cmdหรือ NVIDIA firmware Tools เพื่อส่งออกไปยัง Prometheus/Grafana
• การติดตามระดับสวิทช์:ติดตามการครอบครองพัฟเฟอร์, จํานวนเฟรมหยุด, และความลึกของคิวบนสวิทช์กระดูกสันหลังและใบ. การเพิ่มขึ้นอย่างฉับพลันในเฟรมหยุดแสดงให้เห็นถึงการอับอัดขนาดเล็กที่อาจต้องการการปรับขอบ ECN.
• เมทริกระดับการใช้งาน:สําหรับแอพลิเคชั่น RDMA ติดตาม WR (Work Request) ความช้าในการเสร็จสิ้น และ CQ (Completion Queue) เหตุการณ์การไหลเวียน โดยใช้ห้องสมุดที่ให้บริการโดยผู้ขาย

สถานการณ์การแก้ไขปัญหาทั่วไปประกอบด้วย:

• ความเสื่อมของ RoCEยืนยันว่า PFC ได้เปิดในพอร์ตสวิตช์ทั้งหมด และการระบุ DSCP ตรงกับการตั้งค่าสวิตช์ใบข้อมูล MCX4121A-ACATเพื่อยืนยันการตั้งค่าการจัดสรรพัสดุพัสดุ
• ความผิดพลาดการลดลิงค์หรือ CRC:ตรวจสอบคุณภาพเคเบิล SFP28 และให้แน่ใจว่า แฟร์มแวร์ตัวปรับปรุงถูกอัพเดทเป็นรีลีสล่าสุด
• CPU ยังคงสูง แม้ว่าจะลดอัตราการทํางานยืนยันว่า RDMA กําลังถูกใช้จริง (ไม่กลับไปยัง TCP) โดยการตรวจสอบตัวนับ Driver และบันทึกการใช้งาน

สําหรับการปรับปรุง, เราแนะนําปริมาตรการปรับปรุงต่อไปนี้ (มาจากการรับรองห้องปฏิบัติการที่กว้างขวาง): - Set interrupt coalescing (moderation) to 4 µs for mixed workloads - Enable hardware timestamping for precise latency measurement - Configure RSS (Receive Side Scaling) across multiple CPU cores for non-RDMA traffic - For storage workloads, เพิ่ม RDMA MTU สูงสุดเป็น 4096 ไบท์ เพื่อลดค่าใช้จ่ายโปรต็อกอล

6. สรุปและการประเมินค่า

รายการNVIDIA Mellanox MCX4121A-ACATโดยการแทน TCP/IP ด้วย RDMA/RoCE องค์กรสามารถบรรลุการลดความช้าระดับการใช้งานถึง 5 รายการลดค่าใช้จ่ายต่อเครือข่าย CPU มากกว่า 80%, และเพิ่มความหนาแน่นของคอนเทนเนอร์เซอร์โดย 30~50%การ์ด MCX4121A-ACAT Ethernetให้ทางที่คุ้มค่าในการใช้งาน 25GbE ด้วยการคุ้มครองการลงทุนผ่านความเข้ากันได้ในอดีต และความสามารถในการลดภาระในอนาคต

เมื่อประเมินค่าบริหารสินค้าทั้งหมดราคา MCX4121A-ACATได้รับการชดเชยจากการประหยัดการใช้งานที่สําคัญ: จํานวนเซอร์เวอร์ที่ลดลง (เนื่องจากการใช้งานที่สูงขึ้น) ค่าเย็นที่ต่ําลง (เนื่องจากการใช้พลังงาน < 10W)และการกําจัดของ InfiniBand หรือผ้าพิเศษคําตอบคืออย่างเต็มที่สอดคล้องกับ MCX4121A-ACATกับระบบนิเวศแหล่งเปิดหลัก รวมถึง Kubernetes, Apache Spark และ TensorFlow, รับประกันความสามารถในการใช้งานได้อย่างกว้างขวางในบริษัทและการจัดจําหน่ายในเมฆ

สําหรับสคริปต์การใช้งานรายละเอียด แมปเล็ตการตั้งค่า และรายงานการเปรียบเทียบผลงาน กรุณาดูรายงานการใช้งานทางการใบข้อมูล MCX4121A-ACATและโปตัลเอกสารเครือข่าย NVIDIA หนังสือขาวนี้เป็นจุดเริ่มต้น ภาพสถาปัตยกรรมถูกยืนยัน ส่วนประกอบพร้อมการผลิต และประโยชน์สามารถวัดได้MCX4121A-ACAT ConnectX-4 Lx ท่าสอง 25GbE SFP28มันไม่ใช่แค่ตัวปรับ แต่เป็นตัวช่วยทางกลยุทธ์ สําหรับศูนย์ข้อมูล RDMA พร้อมและดีที่สุดในอนาคต