Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter ในการทํางาน: RDMA/RoCE-Driven Low-Latency Transport และเซอร์เวอร์

ในสภาพแวดล้อมการผลิตจริงที่รองรับฐานข้อมูลแบบกระจาย คลัสเตอร์การอนุมาน AI และการจัดเก็บข้อมูลแบบไฮเปอร์คอนเวอร์จ์ ความล่าช้าของสัญญาณรบกวนและภาระงาน CPU ที่เกิดจากสแต็ก TCP/IP แบบดั้งเดิมได้กลายเป็นคอขวดที่ยากต่อการขยายขนาด ทีมโครงสร้างพื้นฐานอินเทอร์เน็ตขนาดใหญ่เพิ่งเสร็จสิ้นการอัปเกรดเครือข่ายที่ครอบคลุมโดยอิงตาม Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT อะแดปเตอร์เซิร์ฟเวอร์ โดยมุ่งเน้นไปที่การตรวจสอบประโยชน์ที่จับต้องได้ของเทคโนโลยี RDMA/RoCE สำหรับการขนส่งที่มีความหน่วงต่ำและการเพิ่มประสิทธิภาพการรับส่งข้อมูลของเซิร์ฟเวอร์ บทความนี้จะเจาะลึกรายละเอียดการติดตั้งและผลลัพธ์สำคัญจากกรณีการใช้งานจริงนี้

ทีมกำลังใช้งานคลัสเตอร์เซิร์ฟเวอร์หลายพันเครื่องที่รันการจัดเก็บข้อมูลแบบกระจาย (Ceph) และระบบแนะนำแบบเรียลไทม์ ในช่วงที่มีการรับส่งข้อมูลสูงสุด โหนดจัดเก็บข้อมูลแต่ละโหนดต้องจัดการการเชื่อมต่อ TCP พร้อมกันหลายพันรายการ โดยใช้ทรัพยากร CPU เกือบ 30% สำหรับการประมวลผลโปรโตคอลเครือข่าย โดยมีความหน่วงในการอ่าน/เขียนแบบ end-to-end มักเกิน 200 ไมโครวินาที นอกจากนี้ การทดลอง NVMe over Fabrics ข้ามแร็ค ซึ่งขาดความสามารถในการ offload ฮาร์ดแวร์ ไม่สามารถบรรลุประสิทธิภาพแฟลชในเครื่องที่คาดหวังได้อย่างสม่ำเสมอ ทีมต้องการโซลูชันอะแดปเตอร์เซิร์ฟเวอร์ที่สามารถรองรับ RoCEv2 ให้การ offload การขนส่งระดับฮาร์ดแวร์ และในขณะเดียวกันก็ให้ทั้งปริมาณงานสูงและความหน่วงต่ำอย่างเร่งด่วน

หลังจากการประเมิน ทีมได้เลือก MCX623106AN-CDAT เป็นแกนหลักของเครือข่าย อะแดปเตอร์นี้อยู่ในตระกูล ConnectX-6 Dx ด้วยการเปลี่ยนอะแดปเตอร์ 10GbE เดิมด้วย NVIDIA Mellanox MCX623106AN-CDAT บนแต่ละโหนด และการกำหนดค่าเครือข่าย RoCE ที่ไม่สูญเสีย (DCQCN และ PFC) ทีมได้วางรากฐาน เพื่อใช้ประโยชน์อย่างเต็มที่จาก การ์ดอะแดปเตอร์ Ethernet MCX623106AN-CDAT โหนดจัดเก็บข้อมูลได้เปิดใช้งานการ offload TCO ระดับฮาร์ดแวร์และการรวมลิงก์แบบไดนามิก ในระหว่างการติดตั้ง วิศวกรได้อ้างอิง เอกสารข้อมูล MCX623106AN-CDAT เพื่อเป็นแนวทางเกี่ยวกับความสามารถของ PCIe 4.0 x16 และ dual-port 100GbE เพื่อให้แน่ใจว่ามีงบประมาณลิงก์และความเข้ากันได้ของ backplane หลังจากการทดสอบ เซิร์ฟเวอร์ทั้งหมดได้รับการเชื่อมต่อที่ เข้ากันได้กับ MCX623106AN-CDAT กับสวิตช์ Leaf-Spine ที่มีอยู่ โดยไม่จำเป็นต้องเปลี่ยนอุปกรณ์เครือข่ายหลัก

การประเมินประสิทธิภาพหลังการอัปเกรดให้ผลลัพธ์ที่น่าทึ่ง เมื่อรันเวิร์กโหลดการจัดเก็บข้อมูลแบบกระจายเดียวกัน โหนดที่ติดตั้ง การ์ดเครือข่าย PCIe อะแดปเตอร์ ConnectX MCX623106AN-CDAT แสดงให้เห็น:

• ความหน่วงเฉลี่ยแบบ end-to-end ลดลงจาก 210 ไมโครวินาที เป็น 18 ไมโครวินาที (การดำเนินการอ่าน NVMe over Fabrics ผ่าน RoCEv2);
• ภาระงาน CPU เครือข่าย ลดลงจาก 28% เป็น 4% ทำให้มีรอบการประมวลผลสำหรับแอปพลิเคชันทางธุรกิจ
• ปริมาณงานที่มีประสิทธิภาพต่อโหนด สูงถึง 98.7 Gbps ใกล้เคียงกับการส่งต่อแบบ line-rate
• IOPS การเขียนแบบสุ่ม 4K โดยรวม ของคลัสเตอร์ Ceph หลายโหนดเพิ่มขึ้น 3.2 เท่า

หัวหน้าทีมกล่าวว่า: "โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX623106AN-CDAT นำความสามารถ RoCE แบบ line-rate ที่แท้จริงมาสู่สภาพแวดล้อมของเรา เวิร์กโหลดที่ไวต่อความหน่วงซึ่งเคยเป็นไปไม่ได้ ตอนนี้สามารถอยู่ร่วมกับงานเบื้องหลังบนระนาบเครือข่ายเดียวกันได้" นอกจากนี้ ตามบันทึกการจัดซื้อ ราคา MCX623106AN-CDAT ในกรณีนี้ลดต้นทุนรวมในการเป็นเจ้าของ (TCO) ลง 40% เมื่อเทียบกับอะแดปเตอร์ตัวเร่ง FPGA และ MCX623106AN-CDAT สำหรับขาย ผ่านช่องทางมาตรฐานช่วยลดระยะเวลาโครงการได้อย่างมาก ข้อมูลจำเพาะ MCX623106AN-CDAT ยืนยันว่าอะแดปเตอร์ให้ความหน่วงต่ำกว่า 600 ไมโครวินาที และประสิทธิภาพแบบ wire-rate ในทุกขนาดแพ็กเก็ต ซึ่งสอดคล้องกับความต้องการของทีมอย่างสมบูรณ์แบบ

กรณีการใช้งานนี้แสดงให้เห็นอย่างชัดเจนว่า MCX623106AN-CDAT ไม่ใช่แค่อะแดปเตอร์ Ethernet ประสิทธิภาพสูง แต่เป็นรากฐานสำหรับการสร้างเครือข่ายศูนย์ข้อมูลที่มีความหน่วงต่ำและปริมาณงานสูง สถาปัตยกรรม RoCE offload ที่สมบูรณ์และเอนจิ้นเร่งฮาร์ดแวร์สามารถแก้ไขปัญหาหลักของการประมวลผลเครือข่ายที่ผูกติดกับ CPU และความหน่วงของสแต็กโปรโตคอล สำหรับองค์กรใดๆ ที่ต้องการปลดล็อกปริมาณงานของเซิร์ฟเวอร์ ลดความหน่วงในการเข้าถึงที่จัดเก็บข้อมูล และเตรียมพร้อมสำหรับเวิร์กโหลด AI และ NVMe-oF Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT นำเสนอเส้นทางที่ได้รับการพิสูจน์แล้ว พร้อมสำหรับการผลิต