NVIDIA Mellanox MCX623106AN-CDAT Server Adapter คําตอบทางเทคนิค

หนังสือขาวทางเทคนิคนี้ให้สถาปนิกเครือข่าย, วิศวกรก่อนการขายและทีมปฏิบัติการNVIDIA Mellanox MCX623106AN-CDATเราแก้ไขวิธีการที่จะบรรลุความช้าต่ําอย่างกําหนดและยกระดับความเร็วของเซอร์เวอร์สูงสุดโดยใช้ RDMA / RoCE ในสภาพแวดล้อมศูนย์ข้อมูลที่ทันสมัย

1. สถานการณ์โครงการและการวิเคราะห์ความต้องการ

สเตค TCP/IP แบบดั้งเดิมนํามาใช้ค่าใช้จ่ายที่สําคัญในการจัดการตัดต่อ, สําเนาความจํา, และการสลับเนื้อหาที่จํากัดการทํางานของแอปพลิเคชั่น, โดยเฉพาะสําหรับ NVMe-oF,และกลุ่มฝึกอบรม AIความต้องการหลักสําหรับโครงสร้างพื้นฐานรุ่นใหม่ ได้แก่

• อัตราความช้าที่ต่ํากว่า 10μs สําหรับการเก็บและการวิเคราะห์ในเวลาจริง
• การเลี่ยง CPU ไปยังคีย์ฟรีสําหรับโลจิกธุรกิจ (เป้าหมาย: <20% การใช้ CPU ที่เกี่ยวข้องกับเครือข่าย)
• เนื้อผ้า Ethernet ที่ขาดทุนสนับสนุน PFC และ ECN ผ่านโทปโลยีกระดานกระดานกระดานกระดานกระดาน 100GbE
• การเข้ารหัสในสายโดยไม่ทําให้การทํางานเสื่อม (IPsec/TLS)
• การบูรณาการอย่างต่อเนื่องกับระบบอัตโนมัติที่มีอยู่ (Ansible, Terraform)

2. รวมระบบเครือข่ายและระบบ

สถาปัตยกรรมอ้างอิงใช้ทอปโลยีกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานMCX623106AN-CDAT แอดป์เตอร์ ConnectX การ์ดเครือข่าย PCIeองค์ประกอบการออกแบบหลัก:

• สวิตช์ใบ: ปรับปรุงด้วยพัฟเฟอร์แบ่งปัน 4MB ความสําคัญของ PFC 3 (การเก็บข้อมูล) และ 4 (การจราจร AI) ขั้นต่ําการระบุ ECN ที่ความลึกของคิว 200KB
• สวิทช์กระดูกสันหลัง: เนื้อผ้าที่ไม่ปิด 12.8Tbps, อัตราการสมัครสมาชิกเกิน 3: 1 (ปรับปรุงให้กับรูปแบบตะวันออก-ตะวันตก)
• การตั้งค่าโฮสต์: PCIe 4.0 x16 (หรือ PCIe 5.0 เมื่อมี) ความจําฟอร์มแวร์ 256MB ต่อตัวปรับ
• การขนส่ง RDMA: RoCEv2 พร้อม DCQCN การควบคุมความหนาแน่น, 4K MTU, ข้อมูลในสายสูงสุด 256 ไบท์

รายการMCX623106AN-CDAT Ethernet การแก้ไขการ์ดปรับเปลี่ยนรองรับฟังก์ชันเสมือน 1,024 (VFs) และฟังก์ชันทางกายภาพ 256 (PFs) ทําให้มันเหมาะสมสําหรับ NFV และคอนเทนเนอร์ภาระงาน

3. บทบาทของ NVIDIA Mellanox MCX623106AN-CDAT และคุณสมบัติสําคัญ

รายการNVIDIA Mellanox MCX623106AN-CDATทําหน้าที่เป็นเครื่องยนต์ระดับข้อมูล, ถอนการประมวลผลเครือข่ายทั้งหมดจาก CPU ที่เป็นเจ้าภาพใบข้อมูล MCX623106AN-CDATและทางการรายละเอียด MCX623106AN-CDAT, ความสามารถสําคัญประกอบด้วย:

รายการการ์ด MCX623106AN-CDAT Ethernetรวมถึงการรหัสบูทและฟลัชที่ปลอดภัย ซึ่งตรงกับนโยบายความปลอดภัยที่เข้มงวดสําหรับภาคการเงินและรัฐบาล

4. แนะนําการใช้งานและการขยาย

สําหรับการใช้งานในสนามสีน้ําตาลสอดคล้องกับ MCX623106AN-CDATกับสวิตช์ 100GbE ที่มีอยู่ (broadcom, Mellanox, Cisco) หลังจากอัพเกรดฟอร์มแวร์

• ขั้นตอนที่ 1 (การรับรองห้องปฏิบัติการ)สองโน้ตเก็บข้อมูล + สองโน้ตคํานวณ, เอนกประสงค์ PFC และ ECN ต่อท่าทาง, ยืนยันด้วย ib_write_bw (เป้าหมาย 98Gb/s throughput ต่อท่าทาง)
• ระยะที่ 2 (แบบทดลอง):แร็คเต็มหนึ่ง (40 node) ใช้ DCQCN ด้วยขั้นต่ํา ECN: min=150KB, max=500KB
• ขั้นตอนที่ 3 (ขยายขนาด):Multi-rack with back layer, monitor global PFC pause frames (รักษา < 0.1% ของยอดจราจรทั้งหมด)

สําหรับการขยายตัว อัดแปลงรองรับการรวมลิงค์ (LAG) และการนําทางแบบปรับปรุง (AR) เมื่อใช้กับสวิตช์ NVIDIA Spectrumสภาพแวดล้อมความเร็วผสม (100GbE ถึง 25GbE) ต้องการการจองพัฟเฟอร์ในท่าทางออก.

5การดําเนินงาน ติดตามและแก้ปัญหา

NVIDIA DOCA Framework ให้บริการเทเลเมทรีที่ครบวงจร เมตรการติดตามที่จําเป็นประกอบด้วย:

• เครื่องนับต่อคิว:rdma_out_of_sequence, cnp_sent, cnp_received (via ethtool -S) การส่งและการรับ
• สุขภาพของ PCIe:ความผิดพลาดที่แก้ไขได้/ไม่แก้ไขได้ การเจรจาความเร็วของลิงค์ (mlxlink tool)
• การตรวจสอบความจุกจูง:ระยะเวลา PFC watchdog, อัตราส่วนของแพ็คเก็ตที่มีเครื่องหมาย ECN (เป้าหมาย <5%)

การแก้ไขปัญหาทั่วไป: หากผลงาน RoCE ลดต่ํากว่า 80Gb / s, ยืนยันการแยก PCIe (ต้องเป็น x16), ปิด TSO / GRO และยืนยันขั้นต่ํา ECN การสลับMCX623106AN-CDAT ราคา, การแก้ไขโดยทั่วไปจะบรรลุ ROI ภายใน 9 ∼ 12 เดือนโดยการปรับปรุงจํานวนเซอร์เวอร์

6. สรุปและการประเมินค่า

รายการNVIDIA Mellanox MCX623106AN-CDATส่งผลให้มีเนื้อหาที่กําหนดและความช้าต่ําในขณะที่ลดค่าใช้จ่าย CPU ไปถึง 75% เมื่อเทียบกับเครือข่ายที่ใช้ซอฟต์แวร์ขั้นตอนการใช้งานองค์กรที่ต้องการMCX623106AN-CDAT สําหรับขายสามารถติดต่อผู้จําหน่ายที่ได้รับอนุญาตสําหรับหน่วยการประเมินใบข้อมูล MCX623106AN-CDATและรายละเอียดรายละเอียด MCX623106AN-CDATสามารถใช้ได้ตามคําขอ