โซลูชันทางเทคนิคสำหรับอะแดปเตอร์เครือข่ายเซิร์ฟเวอร์ Mellanox (NVIDIA) MCX556A-ECAT: การส่งข้อมูล RDMA/RoCE ที่มีความหน่วงต่ำ

ศูนย์ข้อมูลสมัยใหม่กำลังเผชิญกับแรงกดดันมหาศาลในการจัดการปริมาณข้อมูลที่เพิ่มขึ้นแบบทวีคูณ ในขณะเดียวกันก็ต้องรักษาเวลาตอบสนองที่ต่ำกว่ามิลลิวินาทีสำหรับแอปพลิเคชันที่สำคัญ สถาปัตยกรรมเครือข่ายแบบดั้งเดิมที่ใช้สแต็กโปรโตคอล TCP/IP กำลังประสบปัญหาในการก้าวตามให้ทัน เนื่องจากมีการใช้ทรัพยากร CPU สูงและทำให้เกิดความล่าช้าซึ่งส่งผลเสียต่อประสิทธิภาพของแอปพลิเคชัน สิ่งนี้เห็นได้ชัดเจนเป็นพิเศษในกรณีการใช้งาน เช่น การประมวลผลประสิทธิภาพสูง (HPC), คลัสเตอร์การฝึกอบรมปัญญาประดิษฐ์ (AI), ฐานข้อมูลแบบกระจาย และการวิเคราะห์ทางการเงินแบบเรียลไทม์

ข้อกำหนดหลักที่ระบุโดยสถาปนิกเครือข่ายและผู้นำฝ่ายปฏิบัติการคือความต้องการโครงสร้างพื้นฐานเครือข่ายที่สามารถให้ความสามารถ RDMA (Remote Direct Memory Access) ผ่านเครือข่าย Ethernet มาตรฐาน ซึ่งจะช่วยให้สามารถถ่ายโอนข้อมูลจากหน่วยความจำไปยังหน่วยความจำได้โดยตรง โดยไม่ต้องผ่านเคอร์เนลระบบปฏิบัติการ และลดทั้งความล่าช้าและการใช้งาน CPU ลงอย่างมาก โซลูชันนี้จะต้องสามารถปรับขนาดได้ คุ้มค่า และเข้ากันได้กับเครื่องมือการจัดการที่มีอยู่

โซลูชันทางเทคนิคที่นำเสนอใช้ประโยชน์จากเครือข่าย Ethernet แบบไม่สูญเสีย (lossless) ที่ออกแบบมาเพื่อรองรับทราฟฟิก RoCE (RDMA over Converged Ethernet) สถาปัตยกรรมนี้สร้างขึ้นบนโทโพโลยีแบบ spine-leaf ซึ่งให้การเชื่อมต่อแบบ non-blocking, any-to-any พร้อมความล่าช้าต่ำที่คาดการณ์ได้ หัวใจสำคัญของการออกแบบนี้คือโหนดเซิร์ฟเวอร์ประสิทธิภาพสูงที่ติดตั้งการ์ดเครือข่าย Mellanox (NVIDIA) MCX556A-ECAT

เครือข่ายถูกกำหนดค่าด้วยกลไก QoS ขั้นสูง รวมถึง Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN) เพื่อสร้างสภาพแวดล้อมแบบไม่สูญเสียซึ่งจำเป็นสำหรับทราฟฟิก RoCE v2 สิ่งนี้ทำให้มั่นใจได้ว่าทราฟฟิก RDMA จะไหลอย่างราบรื่นโดยไม่มีการสูญเสียแพ็กเก็ต ซึ่งอาจทำให้ประสิทธิภาพลดลงอย่างรุนแรง คลัสเตอร์จัดเก็บข้อมูลและประมวลผลจะเชื่อมต่อกันผ่านเครือข่ายแบบรวมนี้ ทำให้สามารถรวมเครือข่ายจัดเก็บข้อมูลและเครือข่ายข้อมูล (LAN และ SAN) ที่แยกจากกันไว้บนโครงสร้างพื้นฐานความเร็วสูงเพียงแห่งเดียว

NVIDIA Mellanox MCX556A-ECAT ทำหน้าที่เป็นจุดปลายที่สำคัญในสถาปัตยกรรมนี้ การ์ดอะแดปเตอร์ Ethernet MCX556A-ECAT นี้ ซึ่งใช้ ASIC ConnectX-5 ไม่ใช่เพียงอินเทอร์เฟซเครือข่าย แต่เป็นหน่วยประมวลผลข้อมูลที่ซับซ้อน บทบาทหลักคือการเปิดใช้งานและเร่งความเร็ว RDMA ผ่านเครือข่าย Ethernet แบบรวม โดยการยกเลิกภาระงานที่ซับซ้อนที่เกี่ยวข้องกับการขนส่ง RDMA ออกไป ทำให้แกน CPU ของเซิร์ฟเวอร์ว่างสำหรับประมวลผลแอปพลิเคชัน ซึ่งมีส่วนโดยตรงต่อเป้าหมายในการเพิ่มปริมาณงานของเซิร์ฟเวอร์

คุณสมบัติหลักที่ใช้ประโยชน์ในโซลูชันนี้ ได้แก่:

• การยกเลิกภาระงาน RoCE v2 ด้วยฮาร์ดแวร์: การ์ดเครือข่าย PCIe ของอะแดปเตอร์ MCX556A-ECAT ConnectX ใช้สแต็ก RoCE v2 ทั้งหมดในฮาร์ดแวร์ สิ่งนี้ทำให้มั่นใจได้ถึงความล่าช้าที่ต่ำมาก (ต่ำกว่าไมโครวินาที) และการประมวลผลทราฟฟิก RDMA ด้วยความเร็วสาย (wire-speed) ซึ่งจำเป็นสำหรับแอปพลิเคชันที่ไวต่อประสิทธิภาพ
• การเร่งความเร็ว PCIe อัจฉริยะ: ด้วยการรองรับ PCIe 3.0/4.0 การ์ดนี้จะเพิ่มปริมาณงานข้อมูลสูงสุดระหว่างเครือข่ายและหน่วยความจำโฮสต์ คุณสมบัติต่างๆ เช่น การยกเลิกภาระงานการประมวลผล PCIe TLP (Transaction Layer Packet) ช่วยลดความล่าช้าและปรับปรุงประสิทธิภาพโดยรวมของระบบ
• การรองรับเวอร์ชวลไลเซชันขั้นสูง: อะแดปเตอร์ให้ SR-IOV ซึ่งช่วยให้สามารถกำหนดฟังก์ชันเสมือนหลายรายการให้กับเครื่องเสมือนได้โดยตรง ให้ประสิทธิภาพใกล้เคียงกับเนทีฟสำหรับสภาพแวดล้อมเวอร์ชวลไลซ์
• การตรวจสอบประสิทธิภาพที่ครอบคลุม: ประกอบด้วยเคาน์เตอร์ฮาร์ดแวร์และการรองรับเครื่องมือตรวจสอบมาตรฐาน ช่วยให้ผู้ดูแลระบบสามารถติดตามตัวชี้วัดสำคัญ เช่น ทราฟฟิก RoCE เหตุการณ์ความแออัด และการสูญเสียแพ็กเก็ต

การติดตั้งโซลูชันนี้เกี่ยวข้องกับแนวทางแบบเป็นขั้นตอนเพื่อให้แน่ใจว่ามีการรบกวนน้อยที่สุด โทโพโลยีทั่วไปเกี่ยวข้องกับการเชื่อมต่อเซิร์ฟเวอร์ที่ติดตั้ง MCX556A-ECAT เข้ากับสวิตช์ top-of-rack (ToR) ที่รองรับ RoCE และ PFC จากนั้นสวิตช์ ToR เหล่านี้จะเชื่อมต่อกับเครือข่าย spine แบบ non-blocking

สำหรับศูนย์ข้อมูลที่มีอยู่ แนะนำให้ค่อยๆ ดำเนินการ โดยเริ่มจากคลัสเตอร์แอปพลิเคชันที่สำคัญต่อประสิทธิภาพมากที่สุด ความเข้ากันได้จะได้รับการรับประกัน เนื่องจาก MCX556A-ECAT เข้ากันได้กับระบบปฏิบัติการ (Linux, Windows) และ hypervisors ที่หลากหลาย เมื่อขยายคลัสเตอร์ การเพิ่มโหนดใหม่ที่มีอะแดปเตอร์เดียวกันจะช่วยให้มั่นใจได้ถึงประสิทธิภาพที่สม่ำเสมอ เมื่อความต้องการแบนด์วิธเพิ่มขึ้น สถาปัตยกรรมสามารถปรับขนาดได้โดยการเพิ่มสวิตช์ leaf และ spine มากขึ้น โดยพอร์ต 100GbE ของ MCX556A-ECAT จะให้พื้นที่เหลือเฟือ

ก่อนการติดตั้งเต็มรูปแบบ สถาปนิกควรตรวจสอบข้อมูลจำเพาะโดยละเอียดของ MCX556A-ECAT เพื่อยืนยันข้อกำหนดด้านพลังงานและการระบายความร้อน ขอแนะนำอย่างยิ่งให้มีการติดตั้งนำร่องด้วยปริมาณงานที่เป็นตัวแทนเพื่อตรวจสอบการเพิ่มประสิทธิภาพ สามารถขอข้อมูลเกี่ยวกับการขายและการจัดซื้อ MCX556A-ECAT ได้ผ่านตัวแทนจำหน่ายที่ได้รับอนุญาต

เมื่อติดตั้งแล้ว การรักษาประสิทธิภาพสูงสุดต้องอาศัยแนวทางการตรวจสอบและการจัดการที่แข็งแกร่ง โซลูชันนี้จะรวมเข้ากับเครื่องมือตรวจสอบเครือข่ายมาตรฐานผ่าน SNMP และรวมถึงแพลตฟอร์ม NVIDIA Unified Fabric Manager (UFM) สำหรับการวัดปริมาณขั้นสูง ตัวชี้วัดสำคัญที่ต้องตรวจสอบ ได้แก่:

• สถิติทราฟฟิก RoCE: ติดตามปริมาณทราฟฟิก RDMA เพื่อให้แน่ใจว่ามีการใช้งานอย่างมีประสิทธิภาพ
• เครื่องหมายความแออัด (ECN): ตรวจสอบแพ็กเก็ตที่ถูกทำเครื่องหมาย ECN เพื่อระบุจุดที่อาจเกิดความแออัดในเครือข่าย
• การตรวจจับ PFC Storm: เฝ้าระวังการหยุดพัก PFC ที่มากเกินไป ซึ่งอาจบ่งชี้ถึงการกำหนดค่าผิดพลาดหรืออุปกรณ์ที่ชำรุดในเครือข่ายแบบไม่สูญเสีย

การแก้ไขปัญหามักเกี่ยวข้องกับการตรวจสอบระดับเฟิร์มแวร์ของ NIC, การตรวจสอบการกำหนดค่า QoS ของสวิตช์ และการใช้เครื่องมือวินิจฉัย เช่น `mlxconfig` และ `mlxlink` สำหรับ MCX556A-ECAT การปรับปรุงประสิทธิภาพอาจเกี่ยวข้องกับการปรับขนาดบัฟเฟอร์ให้เหมาะสม การปรับเกณฑ์ ECN หรือการอัปเดตเป็นเวอร์ชันไดรเวอร์และเฟิร์มแวร์ล่าสุด เอกสารข้อมูล MCX556A-ECAT ให้คำแนะนำที่ครอบคลุมเกี่ยวกับการตั้งค่าเหล่านี้ สำหรับทีมที่พิจารณาโซลูชันการ์ดอะแดปเตอร์ Ethernet MCX556A-ECAT นี้ การทำความเข้าใจแง่มุมการดำเนินงานเหล่านี้เป็นกุญแจสู่ความสำเร็จในระยะยาว

โซลูชันทางเทคนิคที่เน้นที่ Mellanox (NVIDIA) MCX556A-ECAT ให้เส้นทางที่ชัดเจนและมีประสิทธิภาพในการบรรลุการส่งข้อมูล RDMA/RoCE ที่มีความหน่วงต่ำและการเพิ่มปริมาณงานของเซิร์ฟเวอร์อย่างมีนัยสำคัญ ด้วยการยกเลิกภาระงานเครือข่ายไปยังฮาร์ดแวร์อะแดปเตอร์ องค์กรต่างๆ สามารถเรียกคืนรอบ CPU ที่มีค่า ลดความล่าช้าของแอปพลิเคชันลงหลายเท่า และสร้างโครงสร้างพื้นฐานแบบรวมที่ปรับขนาดได้สำหรับปริมาณงานที่ต้องการมากที่สุด

การประเมินมูลค่ามีความชัดเจน: ลดต้นทุนรวมในการเป็นเจ้าของ (TCO) ผ่านประสิทธิภาพเซิร์ฟเวอร์ที่สูงขึ้น ปรับปรุงประสิทธิภาพแอปพลิเคชันนำไปสู่ข้อมูลเชิงลึกทางธุรกิจที่เร็วขึ้น และรากฐานเครือข่ายที่พร้อมสำหรับอนาคตซึ่งสามารถรองรับเทคโนโลยีที่เกิดขึ้นใหม่ เช่น AI และ NVMe-oF สำหรับสถาปนิกเครือข่ายและผู้จัดการฝ่ายปฏิบัติการ การนำโซลูชันนี้มาใช้ถือเป็นการลงทุนเชิงกลยุทธ์ในประสิทธิภาพและประสิทธิภาพของศูนย์ข้อมูล สำหรับราคาและความพร้อมใช้งานล่าสุดของ MCX556A-ECAT โปรดติดต่อตัวแทน NVIDIA ของคุณ