โซลูชันทางเทคนิค: การเพิ่มประสิทธิภาพความหน่วงต่ำและปริมาณงานของ RDMA/RoCE ด้วย Mellanox

ศูนย์ข้อมูลสมัยใหม่กำลังเผชิญกับแรงกดดันอย่างต่อเนื่องในการส่งมอบประสิทธิภาพที่สูงขึ้นสำหรับแอปพลิเคชันที่ไวต่อความหน่วง เช่น ฐานข้อมูลแบบกระจาย, การประมวลผลประสิทธิภาพสูง (HPC) และคลัสเตอร์การฝึก AI เครือข่าย TCP/IP แบบดั้งเดิมสร้างภาระ CPU ที่มากเกินไป ทำให้เกิดคอขวดที่จำกัดความสามารถในการปรับขนาดของแอปพลิเคชันและเพิ่มเวลาตอบสนอง สำหรับองค์กรที่ต้องการปรับปรุงโครงสร้างพื้นฐานให้ทันสมัย ข้อกำหนดหลักมีความชัดเจน: ลดความหน่วงและเพิ่มปริมาณงานของเซิร์ฟเวอร์โดยไม่ต้องปรับปรุงสถาปัตยกรรมใหม่ที่มีค่าใช้จ่ายสูง

โซลูชันอยู่ที่การนำ RDMA (Remote Direct Memory Access) over Converged Ethernet (RoCE) มาใช้ เทคโนโลยีนี้ช่วยให้สามารถถ่ายโอนข้อมูลจากหน่วยความจำไปยังหน่วยความจำได้โดยตรง โดยข้ามเคอร์เนลระบบปฏิบัติการเพื่อปลดปล่อยทรัพยากร CPU และลดความหน่วง หัวใจของการเปลี่ยนแปลงนี้คือการ์ดเครือข่าย (NIC) MCX631432AN-ADAB จาก Mellanox (NVIDIA) ได้รับการออกแบบมาโดยเฉพาะเพื่อตอบสนองความต้องการเหล่านี้ โดยเป็นรากฐานที่แข็งแกร่งสำหรับเครือข่ายที่เปิดใช้งาน RoCE

สถาปัตยกรรมที่นำเสนอคือเครือข่ายแบบ leaf-spine ที่ออกแบบมาสำหรับสภาพแวดล้อม Ethernet ที่ไม่สูญเสียข้อมูล ซึ่งเป็นข้อกำหนดเบื้องต้นสำหรับประสิทธิภาพ RoCEv2 ที่ดีที่สุด การออกแบบนี้รวมการรับส่งข้อมูลคอมพิวต์และสตอเรจเข้าด้วยกันบนเครือข่ายแบบรวมความเร็วสูงเพื่อลดความซับซ้อนและต้นทุน

• ชั้น Spine: สวิตช์ 100GbE ความจุสูงให้การเชื่อมต่อแบบไม่ปิดกั้นระหว่างสวิตช์ leaf ทั้งหมด เพื่อให้มั่นใจว่ามีเส้นทางความหน่วงต่ำแบบ any-to-any
• ชั้น Leaf: สวิตช์ Top-of-Rack (ToR) ที่มีลิงก์ดาวน์ลิงก์ 25GbE เชื่อมต่อกับเซิร์ฟเวอร์และโหนดสตอเรจ สวิตช์เหล่านี้ได้รับการกำหนดค่าด้วย Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN) เพื่อรักษาเครือข่ายที่ไม่สูญเสียข้อมูล
• ชั้นเซิร์ฟเวอร์: เซิร์ฟเวอร์แต่ละเครื่องติดตั้ง NVIDIA Mellanox MCX631432AN-ADAB, อะแดปเตอร์ SFP28 แบบ dual-port 25GbE สิ่งนี้ช่วยให้สามารถรวมเครือข่าย (network bonding) หรือแยกเส้นทางสำหรับการรับส่งข้อมูลสตอเรจและคอมพิวต์

การออกแบบนี้ช่วยให้มั่นใจได้ว่า การ์ดอะแดปเตอร์ Ethernet MCX631432AN-ADAB ทำงานในสภาพแวดล้อมที่การรับส่งข้อมูล RoCE สามารถไหลได้โดยไม่มีการสูญเสียแพ็กเก็ต ซึ่งมีความสำคัญอย่างยิ่งต่อการรักษาปริมาณงานที่สูงและความหน่วงที่ต่ำ

MCX631432AN-ADAB เป็นจุดปลายที่สำคัญที่เปิดใช้งานโซลูชันทั้งหมด ในฐานะสมาชิกของตระกูล ConnectX-6 Lx มันนำคุณสมบัติระดับองค์กรมาสู่ฟอร์มแฟกเตอร์ 25GbE บทบาทหลักคือการทำหน้าที่เป็น โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX631432AN-ADAB สำหรับทั้งการรับส่งข้อมูลคอมพิวต์และสตอเรจ โดยการยกเลิกภาระงานเครือข่ายจาก CPU ของเซิร์ฟเวอร์

การมีส่วนร่วมทางเทคนิคที่สำคัญของอะแดปเตอร์ ได้แก่:

• การยกเลิกภาระงานฮาร์ดแวร์ (Hardware Offloads): การ์ดจัดการทุกแง่มุมของโปรโตคอล RoCE ในฮาร์ดแวร์ รวมถึงการขนส่ง การห่อหุ้ม และการควบคุมความแออัด สิ่งนี้ทำให้มั่นใจได้ว่าการดำเนินการ RDMA ใช้รอบ CPU เกือบเป็นศูนย์
• ความยืดหยุ่นแบบ Dual-Port: พอร์ต 25GbE สองพอร์ตสามารถกำหนดค่าสำหรับการทำงานแบบ active/standby failover หรือใช้เพื่อแยกประเภทการรับส่งข้อมูล ตัวอย่างเช่น พอร์ตหนึ่งสามารถจัดการการรับส่งข้อมูล Ethernet ด้านหน้า (front-end) ในขณะที่อีกพอร์ตหนึ่งจะทุ่มเทให้กับการรับส่งข้อมูลสตอเรจด้านหลัง (back-end) โดยใช้ RoCE เพื่อเพิ่มปริมาณงานและความปลอดภัยสูงสุด
• อินเทอร์เฟซโฮสต์ PCIe 3.0 x16: ด้วยแบนด์วิดท์ที่เพียงพอสำหรับการขับเคลื่อนพอร์ต 25GbE ทั้งสองพร้อมกัน MCX631432AN-ADAB ConnectX-6 Lx dual-port 25GbE SFP28 ช่วยให้มั่นใจได้ว่าไม่มีคอขวดภายในที่จำกัดประสิทธิภาพของแอปพลิเคชัน

การปรับใช้ MCX631432AN-ADAB จำเป็นต้องมีการวางแผนเครือข่ายและกำหนดค่าเซิร์ฟเวอร์อย่างรอบคอบ ขั้นตอนต่อไปนี้สรุปการปรับใช้ทั่วไปสำหรับคลัสเตอร์ประสิทธิภาพสูง:

• การเตรียมเครือข่าย: ก่อนการปรับใช้ ให้กำหนดค่าสวิตช์เครือข่ายเพื่อรองรับ RoCE ซึ่งเกี่ยวข้องกับการเปิดใช้งาน PFC สำหรับคลาสการรับส่งข้อมูล RoCE และการใช้การจัดการความแออัดตาม ECN สิ่งนี้จะสร้างสภาพแวดล้อมที่ไม่สูญเสียข้อมูลที่จำเป็นสำหรับอะแดปเตอร์เพื่อให้ทำงานได้อย่างเหมาะสมที่สุด
• การติดตั้งไดรเวอร์และเฟิร์มแวร์: ติดตั้งไดรเวอร์ NVIDIA WinOF-2 ล่าสุด (สำหรับ Windows) หรือ MLNX_OFED (สำหรับ Linux) เพื่อให้แน่ใจว่าได้รับการสนับสนุนคุณสมบัติเต็มรูปแบบ เป็นสิ่งสำคัญอย่างยิ่งที่จะต้องตรวจสอบว่าเฟิร์มแวร์บน MCX631432AN-ADAB เป็นเวอร์ชันล่าสุดเพื่อประสิทธิภาพ RoCE และความเข้ากันได้ที่ดีที่สุด
• การปรับขนาดคลัสเตอร์: สถาปัตยกรรมนี้ปรับขนาดในแนวนอนโดยการเพิ่มโหนดเซิร์ฟเวอร์มากขึ้น โดยแต่ละโหนดมี MCX631432AN-ADAB ของตัวเอง เครือข่ายแบบ leaf-spine ที่ไม่ปิดกั้นช่วยให้มั่นใจได้ว่าโหนดที่เพิ่มเข้ามาจะไม่ทำให้ประสิทธิภาพของโหนดที่มีอยู่ลดลง สำหรับการปรับใช้ขนาดใหญ่ สามารถใช้กลุ่มรวมลิงก์ (LAGs) ระหว่างสวิตช์ leaf และ spine

โทโพโลยีทั่วไปสำหรับคลัสเตอร์ฐานข้อมูลเกี่ยวข้องกับการเชื่อมต่อเซิร์ฟเวอร์หลักและเซิร์ฟเวอร์สำเนาไปยังสวิตช์ leaf เดียวกันเพื่อลดความหน่วงระหว่างแร็ค เซิร์ฟเวอร์แต่ละเครื่องใช้อะแดปเตอร์ dual-port เพื่อเชื่อมต่อกับสวิตช์ leaf สองตัวที่แยกจากกันเพื่อความซ้ำซ้อน

เมื่อปรับใช้แล้ว การรักษาประสิทธิภาพต้องอาศัยการตรวจสอบและการปรับแต่งเชิงรุก MCX631432AN-ADAB ให้ข้อมูลทางไกลที่ครอบคลุมเพื่อวัตถุประสงค์นี้

• การตรวจสอบตัวชี้วัดหลัก: ใช้เครื่องมือเช่น `mlxstat` และ `ethtool` เพื่อตรวจสอบตัวนับพอร์ต ข้อผิดพลาดของลิงก์ และสถิติการรับส่งข้อมูล RDMA การติดตามเฟรม PFC pause เป็นสิ่งจำเป็น จำนวนที่สูงบ่งชี้ถึงเครือข่ายที่สูญเสียข้อมูลซึ่งจะทำให้ประสิทธิภาพ RoCE ลดลง
• การอัปเดตเฟิร์มแวร์และไดรเวอร์: ตรวจสอบการอัปเดตเป็นประจำ เฟิร์มแวร์ใหม่มักมีการปรับปรุงประสิทธิภาพและการแก้ไขข้อผิดพลาดที่สามารถลดความหน่วงและปรับปรุงความเข้ากันได้กับสวิตช์ต้นน้ำได้ดียิ่งขึ้น
• การปรับปรุงประสิทธิภาพ: สำหรับสภาพแวดล้อมที่มีข้อกำหนดความหน่วงที่เข้มงวดที่สุด การปรับแต่งการควบคุมอินเทอร์รัปต์และขนาดบัฟเฟอร์สามารถให้ผลลัพธ์ที่เพิ่มขึ้น ความยืดหยุ่นของอะแดปเตอร์ช่วยให้สถาปนิกสามารถปรับการตั้งค่าตามปริมาณงานเฉพาะของตนได้ (เช่น HPC เทียบกับการจำลองเสมือน)

สำหรับการแก้ไขปัญหาการเชื่อมต่อ ขั้นตอนแรกคือการตรวจสอบว่าโมดูล SFP28 เข้ากันได้กับ MCX631432AN-ADAB การใช้เลนส์ที่ได้รับการรับรองจาก NVIDIA ช่วยให้มั่นใจได้ถึงการเชื่อมต่อที่เชื่อถือได้และประสิทธิภาพ

MCX631432AN-ADAB จาก Mellanox (NVIDIA) นำเสนอเส้นทางที่ชัดเจนและมีประสิทธิภาพในการใช้งานเครือข่ายประสิทธิภาพสูง ความหน่วงต่ำ ด้วยการใช้ประโยชน์จากความสามารถในการยกเลิกภาระงาน RoCE ขั้นสูง องค์กรต่างๆ สามารถได้รับประโยชน์สองเท่าของภาระ CPU ที่ลดลงอย่างมากและปริมาณงานเซิร์ฟเวอร์ที่เพิ่มขึ้นอย่างมีนัยสำคัญ ข้อมูลจำเพาะ MCX631432AN-ADAB และ เอกสารข้อมูล MCX631432AN-ADAB ยืนยันความสามารถในการจัดการปริมาณงานที่ต้องการมากที่สุด

สำหรับผู้จัดการฝ่ายไอทีและสถาปนิกเครือข่ายที่กำลังประเมินการอัปเกรดฮาร์ดแวร์ ผลการดำเนินงานที่โซลูชันนี้มอบให้จะแปลงเป็นมูลค่าทางธุรกิจโดยตรง: การประมวลผลธุรกรรมที่เร็วขึ้น การเข้าถึงสตอเรจที่มีประสิทธิภาพมากขึ้น และต้นทุนรวมในการเป็นเจ้าของที่ลดลง เมื่อความต้องการข้อมูลยังคงเพิ่มสูงขึ้น การปรับใช้ MCX631432AN-ADAB จะช่วยให้มั่นใจได้ว่าโครงสร้างพื้นฐานเครือข่ายไม่ใช่คอขวด แต่เป็นตัวเร่ง สำหรับข้อมูลราคาโดยละเอียด หรือเพื่อตรวจสอบ ราคา MCX631432AN-ADAB และความพร้อมใช้งาน โปรดปรึกษาตัวแทน NVIDIA ของคุณ