Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT NIC Server ในการทํางาน

ความท้าทาย: กำแพงเวลาแฝงของเครือข่ายในพื้นที่จัดเก็บข้อมูลแบบกระจายและคลัสเตอร์ HPC

ในสภาพแวดล้อมการจัดเก็บข้อมูลแบบกระจาย การประมวลผลประสิทธิภาพสูง (HPC) และการเร่งความเร็วฐานข้อมูล สแตก TCP/IP แบบดั้งเดิมได้กลายเป็นปัญหาคอขวดหลักสำหรับปริมาณงานของเซิร์ฟเวอร์ ทุกครั้งที่ข้อมูลเคลื่อนผ่านสแต็กเครือข่ายเคอร์เนล โอเวอร์เฮดการขัดจังหวะของ CPU และเวลาแฝงในการคัดลอกหน่วยความจำจะเพิ่มขึ้น ส่งผลให้ประสิทธิภาพของคลัสเตอร์โดยรวมลดลง ผู้ให้บริการระบบคลาวด์ขนาดกลางประสบปัญหา "ผนังเครือข่าย" แบบคลาสสิกเมื่อสร้างคลัสเตอร์พื้นที่จัดเก็บข้อมูล NVMe over Fabric (NVMe-oF) แบบแฟลชทั้งหมด แม้ว่าจะมีสวิตช์ 25GbE ก็ตาม แต่ทรูพุตการจัดเก็บข้อมูลแบบโหนดเดียวก็ยังพยายามดิ้นรนเกินกว่า 60% ของอัตราสาย ในขณะที่คอร์ CPU ถูกใช้โดยการขัดจังหวะของเครือข่ายมากกว่า 30% ของรอบ ความท้าทายนี้ผลักดันให้ทีมค้นหาเซิร์ฟเวอร์ NIC ที่รองรับ RDMA (Remote Direct Memory Access) และ RoCE (RDMA ผ่าน Converged Ethernet)

วิธีแก้ปัญหา: การปรับใช้ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

หลังจากประเมินอะแดปเตอร์ 25GbE หลายตัว ทีมงานได้เลือกเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MCX631102AN-ADATเซิร์ฟเวอร์ NIC อะแดปเตอร์ SFP28 พอร์ตคู่นี้สร้างขึ้นบน ConnectX-6 Lx ASIC ได้รับการออกแบบทางวิศวกรรมมาโดยเฉพาะสำหรับการเร่งความเร็ว RoCEv2 การปรับใช้ดังกล่าวแทนที่ 10GbE NIC ที่มีอยู่ทั่วทั้งโหนดการจัดเก็บข้อมูลสี่โหนดและโหนดประมวลผลแปดโหนด โดยแต่ละโหนดจะมีหนึ่งโหนดการ์ดอะแดปเตอร์อีเทอร์เน็ต MCX631102AN-ADAT. ทีมงานกำหนดค่าสวิตช์ด้วย ECN (การแจ้งเตือนความแออัดอย่างชัดเจน) และ PFC (การควบคุมลำดับความสำคัญการไหล) เพื่อเปิดใช้งานการขนส่ง RoCE แบบไม่สูญเสีย ในขณะที่ NIC เองก็จัดการการถ่ายข้อมูลเส้นทางข้อมูลทั้งหมด ตามที่เอกสารข้อมูลสินค้า MCX631102AN-ADATโดยการ์ดดังกล่าวรองรับ PCIe 4.0 x8 ทำให้มั่นใจได้ว่าแบนด์วิธโฮสต์จะเพียงพอสำหรับการทำงานอัตราเต็มบรรทัด 25GbE คู่

การพิจารณาที่สำคัญคือการรับรองว่ารองรับ MCX631102AN-ADATด้วยเลนส์และสายเคเบิลที่มีอยู่ ทีมงานปรับใช้การ์ดได้สำเร็จโดยใช้ตัวรับส่งสัญญาณ 25GbE SFP28 DAC มาตรฐานและตัวรับส่งสัญญาณ SFP+ 10GbE สำหรับสถานการณ์ทางเลือก นอกจากนี้MCX631102AN-ADAT ConnectX-6 Lx สองพอร์ต 25GbE SFP28การออกแบบอนุญาตให้มีการรวมลิงค์แบบแอคทีฟ-แอคทีฟ (LACP) ซึ่งช่วยขจัดความเสี่ยงจุดเดียวของความล้มเหลวที่ก่อนหน้านี้ต้องใช้สคริปต์การเชื่อมโยงที่ซับซ้อน

ผลลัพธ์และคุณประโยชน์: กำไรที่วัดได้ในด้านความหน่วงและปริมาณงาน

การทดสอบหลังการใช้งานเผยให้เห็นการปรับปรุงการเปลี่ยนแปลงสามประการ ประการแรก NVMe-oF ที่ใช้ RDMA ลดเวลาแฝง I/O เฉลี่ยจาก 210µs (บน TCP) เหลือเพียง 18µs — ลดลง 91.4% ประการที่สอง ปริมาณการประมวลผลของเซิร์ฟเวอร์สำหรับการอ่านแบบสุ่ม 4K เพิ่มขึ้นจาก 4.2 GB/s เป็น 9.8 GB/s ต่อโหนด ซึ่งทำให้พอร์ต 25GbE ทั้งสองพอร์ตพร้อมกันได้อย่างมีประสิทธิภาพ ประการที่สาม การใช้งาน CPU บนโหนดการจัดเก็บข้อมูลลดลง 52% ทำให้มีคอร์ว่างสำหรับการบีบอัด การขจัดข้อมูลซ้ำซ้อน และการดำเนินการสแนปช็อต ที่ข้อมูลจำเพาะ MCX631102AN-ADATอ้างอิงถึงออฟโหลดฮาร์ดแวร์ ซึ่งรวมถึงการเร่งความเร็วแบบอินไลน์ของ IPsec/TLS และ VirtIO ซึ่งทีมงานวางแผนที่จะใช้ประโยชน์จากการแยกการรักษาความปลอดภัยของผู้เช่าหลายรายในอนาคต

จากมุมมองด้านการปฏิบัติงาน ทีมงานชื่นชมการรองรับไดรเวอร์ที่สมบูรณ์ใน Ubuntu 22.04 และ VMware ESXi 8.0 ในฐานะที่เป็นMCX631102AN-ADAT โซลูชันการ์ดอะแดปเตอร์อีเทอร์เน็ตการ์ดที่ผสานรวมเข้ากับเฟรมเวิร์กการทำงานอัตโนมัติ Ansible ที่มีอยู่ได้อย่างราบรื่น ผู้แสวงหาขาย MCX631102AN-ADATควรทราบว่าความพร้อมใช้งานได้ขยายออกไปทั่วทั้งผู้จัดจำหน่ายรายใหญ่ โดยการกำหนดราคาตามปริมาณทำให้สามารถแข่งขันกับทางเลือกแบบสี่พอร์ต 10GbE รุ่นเก่าเมื่อวัดแบบต่อกิกะบิต

สรุปและแนวโน้ม: รากฐาน 25GbE RoCE สำหรับศูนย์ข้อมูลสมัยใหม่

ที่NVIDIA Mellanox MCX631102AN-ADATจัดการกับความท้าทายหลักของลูกค้าได้สำเร็จ: กำจัดเวลาแฝงที่เกิดจาก TCP, เพิ่มปริมาณการประมวลผลต่อโหนดที่มีประสิทธิภาพเป็นสองเท่า และลดโอเวอร์เฮดของ CPU ได้อย่างมาก สำหรับสถาปนิกเครือข่ายและผู้นำด้านไอทีที่วางแผนรีเฟรชคลัสเตอร์ครั้งต่อไป กรณีการใช้งานนี้แสดงให้เห็นว่าการเปลี่ยนไปใช้ RoCE แบบออฟโหลดฮาร์ดแวร์ไม่ใช่คุณสมบัติเฉพาะของ HPC อีกต่อไป แต่เป็นข้อกำหนดในทางปฏิบัติสำหรับการจัดเก็บข้อมูลและปรับขนาดการประมวลผลที่คุ้มต้นทุน ด้วยการออกแบบ 25GbE สองพอร์ต, ความพร้อมของ PCIe 4.0 และการตรวจสอบ NVMe-oF เต็มรูปแบบการ์ดอะแดปเตอร์อีเทอร์เน็ต MCX631102AN-ADATนำเสนอเส้นทางการโยกย้ายที่ชัดเจนจากโครงสร้างพื้นฐาน 10GbE เดิม ขณะนี้ทีมงานกำลังสำรวจความสามารถเพิ่มเติมที่บันทึกไว้ในเอกสารข้อมูลสินค้า MCX631102AN-ADATรวมถึงโฟลว์พวงมาลัยและการซิงโครไนซ์นาฬิกาฮาร์ดแวร์สำหรับปริมาณงานบริการทางการเงิน สำหรับองค์กรที่ประเมินการใช้งานที่คล้ายกัน ให้ติดต่อพันธมิตร NVIDIA Mellanox ที่ได้รับอนุญาตเพื่อตรวจสอบราคา MCX631102AN-ADATและเมทริกซ์ความเข้ากันได้เป็นขั้นตอนถัดไปที่แนะนำ

คำสำคัญ: MCX631102AN-ADAT, NVIDIA Mellanox MCX631102AN-ADAT, การ์ดอะแดปเตอร์อีเทอร์เน็ต MCX631102AN-ADAT, MCX631102AN-ADAT ConnectX-6 Lx dual-port 25GbE SFP28, เอกสารข้อมูล MCX631102AN-ADAT, ข้อมูลจำเพาะ MCX631102AN-ADAT, ราคา MCX631102AN-ADAT, ขาย MCX631102AN-ADAT, รองรับ MCX631102AN-ADAT, โซลูชันการ์ดอะแดปเตอร์อีเทอร์เน็ต MCX631102AN-ADAT