NVIDIA Mellanox MCX631432AN-ADAB Server Adapter ในการทำงาน | RDMA/RoCE การขนส่งที่มีความหน่วงต่ำ & การเพิ่มประสิทธิภาพเซิร์ฟเวอร์

NVIDIA Mellanox MCX631432AN-ADAB Server Adapter ในการทำงาน | RDMA/RoCE การขนส่งที่มีความหน่วงแฝงต่ำ & การเพิ่มปริมาณงานของเซิร์ฟเวอร์

เบื้องหลังและความท้าทาย: คอขวดความหน่วงแฝงในการจัดเก็บแบบกระจาย

ทีมโครงสร้างพื้นฐานของบริษัทอินเทอร์เน็ตขนาดใหญ่แห่งหนึ่งเพิ่งเผชิญกับความท้าทายที่คุ้นเคย: คลัสเตอร์จัดเก็บข้อมูลแบบกระจายของพวกเขา ซึ่งสร้างขึ้นบนแบ็กเอนด์ Ceph กำลังประสบปัญหาในการตามความต้องการของแอปพลิเคชันที่เพิ่มขึ้น แม้ว่าโหนดจัดเก็บข้อมูลจะมี CPU ที่ทรงพลังและไดรฟ์ NVMe ที่รวดเร็ว แต่ความหน่วงแฝงของเครือข่ายได้กลายเป็นคอขวดหลัก โดยเฉพาะอย่างยิ่งในช่วงการดำเนินการ I/O ที่สูงที่สุด อะแดปเตอร์ 10GbE ที่มีอยู่ขาดความสามารถในการ offload ฮาร์ดแวร์ ทำให้เกิดการแทรกแซง CPU มากเกินไปสำหรับทุกแพ็กเก็ตที่ประมวลผล

ค่าใช้จ่ายเพิ่มเติมนี้มีความชัดเจนที่สุดในปริมาณงานที่เน้นการเขียน ซึ่งการดำเนินการ I/O แต่ละครั้งต้องใช้การเดินทางไปกลับเครือข่ายหลายครั้ง ทีมต้องการโซลูชันที่สามารถลดความหน่วงแฝงส่วนท้ายได้อย่างมาก ในขณะที่เพิ่มปริมาณงานของเซิร์ฟเวอร์โดยรวม โดยไม่ต้องยกเครื่องโครงสร้างพื้นฐาน Ethernet ที่มีอยู่ทั้งหมด หลังจากประเมินตัวเลือกต่างๆ แล้ว พวกเขาหันไปหาNVIDIA Mellanox MCX631432AN-ADAB — อะแดปเตอร์ SFP28 แบบ dual-port 25GbE ที่สร้างขึ้นเพื่อการใช้งาน RDMA over Converged Ethernet (RoCE)

โซลูชันและการปรับใช้: การปรับใช้ RoCE ด้วย ConnectX-6 Lx

การปรับใช้มีเป้าหมายที่โหนดจัดเก็บข้อมูลสามโหนดที่ทำหน้าที่เป็นเซิร์ฟเวอร์เมตาดาต้าภายในคลัสเตอร์ Ceph ซึ่งความไวต่อความหน่วงแฝงมีความสำคัญสูงสุด โหนดแต่ละโหนดได้รับการติดตั้งMCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 อะแดปเตอร์ เชื่อมต่อกับสวิตช์ top-of-rack 25GbE ที่รองรับ RoCEv2 ทีมกำหนดค่าทั้งสองพอร์ตในโหมด active-active bonding รวมแบนด์วิดท์รวมสูงสุด 50Gb/s ในขณะที่ให้ความซ้ำซ้อนในการ failover

แง่มุมที่สำคัญของการใช้งานคือการเปิดใช้งาน RoCEv2 ด้วย Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN) เพื่อให้แน่ใจว่าเครือข่ายทำงานได้โดยไม่สูญเสียข้อมูลMCX631432AN-ADAB Ethernet adapter card รองรับกลไกการจัดการความแออัดขั้นสูงเหล่านี้โดยธรรมชาติ ทำให้ไม่จำเป็นต้องใช้สวิตช์ที่เป็นกรรมสิทธิ์หรือใบอนุญาตเพิ่มเติม ทีมยังใช้การประทับเวลาฮาร์ดแวร์ในตัวและตัวนับ telemetry ของอะแดปเตอร์เพื่อตรวจสอบสุขภาพของ fabric แบบเรียลไทม์ในช่วงเริ่มต้นการเผาไหม้

ตามMCX631432AN-ADAB datasheet อะแดปเตอร์รองรับ PCIe Gen 4.0 x8 ซึ่งมีความสำคัญอย่างยิ่งต่อการอิ่มตัวของพอร์ต 25GbE แบบ dual อย่างสมบูรณ์โดยไม่ทำให้บัสโฮสต์เกิดคอขวด เซิร์ฟเวอร์ที่มีอยู่รองรับ Gen 4.0 อยู่แล้ว ทำให้การอัปเกรดเป็นไปอย่างราบรื่น สำหรับสภาพแวดล้อมที่ยังคงใช้ PCIe Gen 3.0 อะแดปเตอร์ยังคงMCX631432AN-ADAB compatible กับความเข้ากันได้แบบย้อนหลัง — ความยืดหยุ่นที่ทำให้แผนการเปิดตัวแบบเป็นขั้นๆ ง่ายขึ้น

กระบวนการปรับใช้มีความคล่องตัวอย่างเห็นได้ชัด ด้วย NVIDIA networking driver stack อะแดปเตอร์ได้รับการจดจำทันทีในสภาพแวดล้อม CentOS 8 ทีมใช้MCX631432AN-ADAB specifications อย่างเป็นทางการ เพื่อปรับแต่งการจัดสรรบัฟเฟอร์และการตั้งค่าการรวม interrupt ให้เหมาะสม โดยปรับพฤติกรรมของอะแดปเตอร์ให้เข้ากับรูปแบบปริมาณงานเฉพาะของตน

ผลลัพธ์และประโยชน์ที่วัดได้

การเพิ่มประสิทธิภาพนั้นทันทีและสามารถวัดผลได้ ตารางด้านล่างเปรียบเทียบตัวชี้วัดสำคัญก่อนและหลังการปรับใช้NVIDIA Mellanox MCX631432AN-ADAB:

นอกเหนือจากตัวเลขแล้ว ทีมยังสังเกตเห็นความสม่ำเสมอที่เพิ่มขึ้นในเวลาตอบสนอง I/O ขจัดเอฟเฟกต์ "เพื่อนบ้านเสียงดัง" ที่เคยส่งผลกระทบต่อแอปพลิเคชันของผู้เช่าที่ใช้แบ็กเอนด์จัดเก็บข้อมูลร่วมกัน การ offload ฮาร์ดแวร์ที่จัดทำโดยMCX631432AN-ADAB Ethernet adapter card solution ลดภาระ CPU ลงอย่างมากจนโหนดสามารถจัดการ IOPS ได้มากขึ้นประมาณ 60% ก่อนที่จะถึงจุดอิ่มตัวของ CPU ซึ่งช่วยชะลอวงจรการปรับปรุงฮาร์ดแวร์ที่วางแผนไว้ได้อย่างมีประสิทธิภาพ

สำหรับทีมปฏิบัติการเครือข่าย telemetry ในตัวของอะแดปเตอร์และความสามารถในการเข้าถึงตัวนับประสิทธิภาพแบบเรียลไทม์ผ่านMCX631432AN-ADAB specifications ทำให้การแก้ไขปัญหาและการวางแผนความจุทำได้ง่ายขึ้นอย่างมาก ทีมสามารถระบุ micro-bursts และปัญหาความลึกของคิวได้ก่อนที่จะส่งผลกระทบต่อปริมาณงานการผลิต

สรุปและแนวโน้ม: รากฐานสำหรับการขยายขนาดในอนาคต

การปรับใช้นี้ยืนยันว่าNVIDIA Mellanox MCX631432AN-ADAB ไม่ใช่เพียงการอัปเกรดแบบเพิ่มขึ้น แต่เป็นส่วนประกอบที่เปลี่ยนแปลงสำหรับระบบกระจายที่ไวต่อความหน่วงแฝง ด้วยการปลดล็อกศักยภาพสูงสุดของ RoCE อะแดปเตอร์ได้มอบการลดลงอย่างมากทั้งในความหน่วงแฝงเฉลี่ยและส่วนท้าย ในขณะเดียวกันก็เพิ่มปริมาณงานของเซิร์ฟเวอร์รวมขึ้นเกือบ 6 เท่า รอบ CPU ที่ว่างอยู่ตอนนี้กำลังถูกจัดสรรใหม่เพื่อการประมวลผลระดับแอปพลิเคชัน ซึ่งช่วยเพิ่มประสิทธิภาพโดยรวมของคลัสเตอร์ให้ดียิ่งขึ้น

เมื่อมองไปข้างหน้า ทีมกำลังสำรวจกรณีการใช้งานเพิ่มเติมสำหรับอะแดปเตอร์ รวมถึง NVMe over Fabrics (NVMe-oF) สำหรับการจัดเก็บข้อมูลแบบบล็อกประสิทธิภาพสูง และอาจรวมถึง GPUDirect สำหรับปริมาณงานการฝึก AI ความยืดหยุ่นของสถาปัตยกรรม ConnectX-6 Lx ทำให้มั่นใจได้ว่าMCX631432AN-ADAB ฮาร์ดแวร์สามารถรองรับความต้องการที่เปลี่ยนแปลงไปเหล่านี้ได้โดยไม่ต้องเปลี่ยน สำหรับองค์กรที่กำลังประเมินเส้นทางการอัปเกรดที่คล้ายกันMCX631432AN-ADAB price เมื่อเทียบกับผลการประหยัดในการดำเนินงานและการเพิ่มประสิทธิภาพ ถือเป็นกรณีทางธุรกิจที่น่าสนใจ

ประสบการณ์ของทีมเน้นย้ำถึงแนวโน้มที่กว้างขึ้น: เนื่องจากศูนย์ข้อมูลมีการนำ 25GbE และเครือข่ายที่สูงขึ้นมาใช้มากขึ้นเรื่อยๆ การเลือกอะแดปเตอร์เซิร์ฟเวอร์จึงกลายเป็นข้อตัดสินใจทางสถาปัตยกรรมที่สำคัญMCX631432AN-ADAB Ethernet adapter card นำเสนอโซลูชันที่ได้รับการพิสูจน์แล้ว พร้อมใช้งานจริง สำหรับผู้ที่ต้องการเชื่อมช่องว่างระหว่างโครงสร้างพื้นฐานที่มีอยู่และความต้องการประสิทธิภาพยุคถัดไป