การทำงานของ NVIDIA Mellanox MCX631432AN-ADAB: RDMA/RoCE ความก้าวหน้าด้านการขนส่งและเซิร์ฟเวอร์ที่มีความหน่วงต่ำ

สถานการณ์และความท้าทาย: ผนังความสามารถในการปรับขนาดของ TCP / IP Stack แบบดั้งเดิม

ผู้ให้บริการเมฆขนาดกลางที่ใช้ระบบเก็บข้อมูลและการวิเคราะห์ในเวลาจริง ต้องเผชิญกับปัญหาเรื่องการปรับขนาดที่คุ้นเคยกําลังจมน้ําในค่าใช้จ่าย CPUแต่ละเซอร์เวอร์ที่มีความสามารถ 25GbE ใช้เวลากว่า 30% ของคอร์ของมัน เพียงแค่การจัดการ network interrupts และ data copiesโดยเฉพาะอย่างยิ่งในช่วงการแพร่กระจายของจราจรจากตะวันออกไปตะวันตก ระหว่างกลุ่ม Redis และ Cephทีมงานต้องการชั้นการเข้าถึงที่มีความอ่อนแอต่ํา และความสามารถในการทํางานสูง ที่สามารถอนุรักษ์ทรัพยากร CPU สําหรับโลจิกธุรกิจ โดยไม่ต้องปรับปรุงแบบฟอร์คลิฟท์เต็มของผนังการสลับทั้งหมดของพวกเขา

การแก้ไขและการจัดจําหน่าย: รวม RoCE กับ MCX631432AN-ADAB

ผู้ให้บริการเลือก迈络思 ((NVIDIA Mellanox) MCX631432AN-ADABการปรับปรุงเครือข่ายMCX631432AN-ADAB ConnectX-6 Lx ท่าสอง 25GbE SFP28การออกแบบทําให้การเชื่อมต่อตรง 25GbE จากแต่ละโน้ดคอมพิวเตอร์ไปยังสวิตช์ ToR ที่สามารถ RoCE ได้ตามด้วยคอมพิวเตอร์โน๊ดที่รองรับเครื่องจักรเสมือน KVM และ Spark analyticsที่สําคัญคือการ์ด MCX631432AN-ADAB Ethernetรองรับการควบคุมความหนาแน่น RoCE อัตโนมัติ (DCQCN) กําจัดความจําเป็นในการปรับ PFC ที่ซับซ้อนใบข้อมูล MCX631432AN-ADABเพื่อรับรองความสามารถของความกว้างแบนด์พีซีอี 4.0 x8 และความสามารถในการลดอัตราภาระของฮาร์ดแวร์ ก่อนที่จะทดลอง 50 หน่วยในการผลิต

การเพิ่มประสิทธิภาพ: RDMA การขนส่งและการเพิ่มอัตราผลิต

หลังจากเปลี่ยนไปใช้NVIDIA Mellanox MCX631432AN-ADABกับ RoCE v2 ผลลัพธ์ได้ทันที ความช้าในการเก็บข้อมูลสําหรับการเขียนสุ่ม 4K ลดลงจาก 1.2ms เป็น 280μs มากกว่าการลด 75% สําหรับคลาสเตอร์ Redis แชร์ด ความช้า P99 ลดลงต่ํากว่า 200μsการเปิดให้ใช้เครื่องยนต์แนะนําในเวลาจริง ที่ก่อนหน้านี้ต้องการระดับการแชช์ในด้านการผ่านMCX631432AN-ADABอัตราการต่อเนื่องของสาย 25GbE ต่อพอร์ต โดยใช้ CPU ต่ํากว่า 5% สําหรับการประมวลผลเครือข่าย ปลดปล่อย 25-30% ของความจุใจหลักกลับไปใช้กับแอปพลิเคชั่นตารางด้านล่างสรุปตัวเลขสําคัญก่อน/หลังจากการทดลองการผลิต:

นอกเหนือ จาก การ ทํางาน: ความ เหมาะสม, ค่าใช้จ่าย, และ ระบบนิเวศ

สําหรับผู้บริหาร IT การประเมินMCX631432AN-ADAB ราคาโดยการนําออฟติก 25GbE SFP28 ที่มีอยู่มาใช้ใหม่ และรักษาความเข้ากันได้แบบย้อนหลังกับพอร์ต 10GbE ระหว่างการเปลี่ยนผู้ให้บริการหลีกเลี่ยงค่าใช้จ่ายในการติดสายไฟฟ้าใหม่การสนับสนุนไดรเวอร์ที่กว้างขวางของการ์ดใน Ubuntu, Rocky Linux, และ VMware ESXi หมายถึงการปรับปรุงแอปพลิเคชั่นที่ไม่มีMCX631432AN-ADAB สําหรับขายผ่านผู้จําหน่ายที่ได้รับอนุญาต การตั้งราคาปริมาณยังลดต้นทุนต่อท่าเรือต่ํากว่าข้อเสนอ 25GbEMCX631432AN-ADAB รองรับระบบนิเวศรวมทุกแบรนด์เซอร์เวอร์หลัก ๆ (Dell, HPE, Lenovo, Supermicro) ทําให้การจัดซื้อจัดจ้างเรียบง่ายในศูนย์ข้อมูลที่แตกต่างกัน

จากการทดลองสู่การผลิต: การแก้ไขการ์ดแอดแทปเตอร์อีเทอร์เน็ตที่ครบถ้วน

หลังจากการผลิตสามเดือนที่ครอบคลุม 450 เซอร์เวอร์ ผู้ให้บริการเมฆได้มาตรฐานMCX631432AN-ADAB การแก้ไขการ์ดปรับเปลี่ยน Ethernetสําหรับหน่วยคอมพิวเตอร์และสตอเรชั่นใหม่ทั้งหมดและความหนาแน่นของ 25GbE ที่มีสองพอร์ตได้ปลดล็อคความสามารถในการทํางานใหม่สําหรับสถาปนิกที่อ้างอิงจากเอกสารทางการรายละเอียด MCX631432AN-ADABจะเปิดเผยถึงคุณสมบัติเพิ่มเติม เช่น Secure Boot, SPIFFY telemetry และ FlexFlow packet steering ซึ่งทั้งหมดจะทําให้การลงทุนในอนาคตสําหรับการสรุป AI และการผูกพัน microservices

สรุปและมุมมอง: ระบบฐานใหม่สําหรับการเข้าถึงเซอร์เวอร์

รายการNVIDIA Mellanox MCX631432AN-ADABได้พิสูจน์ว่า RoCE 25GbE fabric ที่ดําเนินการได้อย่างดี สามารถให้ความอ่อนเพลียต่ําและความเร็วสูงได้ทั้งคู่ โดยไม่เสียภาษี CPU สําหรับองค์กรที่ยังคงดิ้นรนกับข้อตกลง TCP/IP ในด้านการเก็บข้อมูลหรือกรอบการจัดการที่กระจายผู้นําผู้ออกแบบของผู้ให้บริการระบุว่า "เราไม่คิดอีกต่อไปแล้วเกี่ยวกับค่าบริการในเครือข่ายMCX631432AN-ADABใช้งานได้ดีๆ ทําให้เราได้รับคอร์กลับมา และลดความช้าของสายหางเป็นจํานวนมากMCX631432AN-ADAB ตั้งมาตรฐานการทํางานต่อวัตต์ใหม่สําหรับเครือข่ายเซอร์เวอร์ 25GbE.