NVIDIA Mellanox MCX653105A-HDAT Server Adapter การแก้ไขทางเทคนิค

โซลูชันทางเทคนิคของอะแดปเตอร์เซิร์ฟเวอร์ NVIDIA Mellanox MCX653105A-HDAT: สถาปัตยกรรม RDMA/RoCE การขนส่งที่มีความหน่วงต่ำและการเพิ่มประสิทธิภาพการรับส่งข้อมูลของเซิร์ฟเวอร์

1. ภูมิหลังของโครงการและการวิเคราะห์ข้อกำหนด

เนื่องจากการฝึกอบรมแบบจำลองภาษาขนาดใหญ่ (LLM), การจำลองการประมวลผลประสิทธิภาพสูง (HPC) และปริมาณงานการวิเคราะห์ข้อมูลแบบเรียลไทม์ยังคงขยายตัวอย่างต่อเนื่อง เครือข่ายศูนย์ข้อมูลจึงเผชิญกับความต้องการที่หลอมรวมกันอย่างที่ไม่เคยมีมาก่อน คลัสเตอร์ที่เร่งด้วย GPU สมัยใหม่ไม่เพียงต้องการแบนด์วิดท์มหาศาลเท่านั้น แต่ยังต้องการความหน่วงระดับไมโครวินาที ประสิทธิภาพที่กำหนดได้ และการจัดการทราฟฟิกอัจฉริยะ สถาปัตยกรรมเครือข่ายแบบดั้งเดิมที่สร้างขึ้นบน TCP/IP และ Ethernet มาตรฐานไม่สามารถตอบสนองความต้องการเหล่านี้ได้อย่างสม่ำเสมอ — ทำให้เกิดความหน่วงที่คาดเดาไม่ได้ การใช้ทรัพยากร CPU มากเกินไปสำหรับการประมวลผลโปรโตคอล และขาดความสามารถในการตั้งโปรแกรมที่จำเป็นสำหรับการปรับให้เหมาะสมกับปริมาณงานเฉพาะ

ข้อกำหนดองค์กรหลักที่ขับเคลื่อนการนำอะแดปเตอร์เซิร์ฟเวอร์ขั้นสูงมาใช้ ได้แก่:

• ความหน่วงต่ำมากในระดับใหญ่: งานฝึกอบรมแบบกระจายต้องการความหน่วงในการสื่อสารร่วมกันต่ำกว่า 500 ไมโครวินาทีทั่วทั้งโหนดหลายร้อยโหนด เพื่อรักษาการใช้งาน GPU ให้สูงกว่า 90%
• การยกเลิกภาระ CPU นอกเหนือจากเครือข่ายพื้นฐาน: การประมวลผลเครือข่ายต้องใช้ทรัพยากร CPU น้อยกว่า 8% ต่อโหนด เพื่อสำรองความจุสำหรับการประมวลผลข้อมูลล่วงหน้าและการจัดเก็บจุดตรวจสอบโมเดล
• ความปลอดภัยระดับสาย: การเข้ารหัสข้อมูลระหว่างการส่ง (IPsec/MACsec) ต้องดำเนินการด้วยความเร็วสายโดยไม่กระทบต่อปริมาณงานหรือเพิ่มความหน่วงอย่างมีนัยสำคัญ
• เส้นทางข้อมูลที่ตั้งโปรแกรมได้: อะแดปเตอร์ต้องรองรับการกำหนดเส้นทางทราฟฟิกและการประมวลผลแพ็กเก็ตแบบกำหนดเอง เพื่อรองรับรูปแบบปริมาณงานที่เปลี่ยนแปลงไปและนวัตกรรมโปรโตคอล
• ความสามารถในการปรับขนาดที่ราบรื่น: โครงสร้างพื้นฐานต้องขยายขนาดจากหลักสิบเป็นหลักร้อยโหนดด้วยการเติบโตของประสิทธิภาพเชิงเส้นและไม่มีความซับซ้อนในการดำเนินงานที่เพิ่มขึ้นอย่างมาก

NVIDIA Mellanox MCX653105A-HDAT ได้รับการออกแบบมาเพื่อตอบสนองความต้องการเหล่านี้อย่างครอบคลุม โดยทำหน้าที่เป็นส่วนประกอบพื้นฐานสำหรับเครือข่ายศูนย์ข้อมูลยุคถัดไป

2. การออกแบบสถาปัตยกรรมเครือข่าย/ระบบโดยรวม

สถาปัตยกรรมที่นำเสนอใช้โทโพโลยีแบบ leaf-spine ประสิทธิภาพสูงที่ปรับให้เหมาะสมกับการขนส่ง RoCEv2 หัวใจของการออกแบบนี้คือ โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX653105A-HDAT, ซึ่งติดตั้งอยู่ในทุกโหนดเซิร์ฟเวอร์ เพื่อให้การเชื่อมต่อแบนด์วิดท์สูงพิเศษพร้อมความสามารถในการยกเลิกภาระขั้นสูง

ชั้นสถาปัตยกรรม:

• โหนดประมวลผล/จัดเก็บข้อมูล: เซิร์ฟเวอร์แต่ละเครื่องติดตั้ง การ์ดเครือข่าย PCIe อะแดปเตอร์ MCX653105A-HDAT, กำหนดค่าด้วยการเชื่อมต่อ 100GbE แบบสองพอร์ต ทั้งสองพอร์ตทำงานในโหมด active-active ให้ปริมาณงานรวม 200 Gb/s พร้อมการกระจายโหลดและการทำงานสำรองที่ใช้ฮาร์ดแวร์ อินเทอร์เฟซ PCIe 4.0 x16 ของอะแดปเตอร์ให้แบนด์วิดท์ 32 GT/s ซึ่งช่วยขจัดคอขวดฝั่งโฮสต์
• ชั้น Leaf: สวิตช์ NVIDIA Spectrum-4 ให้การส่งต่อ Ethernet ที่มีความหน่วงต่ำและไม่สูญเสียข้อมูล พร้อมการควบคุมความแออัดที่ตระหนักถึง RoCE ขั้นสูง (PFC, ECN และ DCQCN) สวิตช์เหล่านี้รองรับอัปลิงค์ 400GbE และให้การวัดปริมาณข้อมูลที่ครอบคลุมสำหรับการมองเห็นเครือข่าย
• ชั้น Spine: สวิตช์ความจุสูงเชื่อมต่อโหนด leaf ทั้งหมดผ่านอัปลิงค์ 400GbE เพื่อให้แน่ใจว่าการสื่อสารแบบไม่ปิดกั้น แบบใดก็ได้กับแบบใดก็ได้ทั่วทั้งเครือข่ายด้วยความหน่วงที่กำหนดได้
• การจัดการและการจัดเตรียม: NVIDIA DOCA และ MLNX-OS ให้การจัดการแบบรวม การรวบรวมข้อมูล การจัดเตรียมการกำหนดค่า และการจัดเตรียมแบบไม่ต้องตั้งค่า (zero-touch provisioning) ทั่วทั้งสแต็ก

สถาปัตยกรรมรวมถึงการจำลองเสมือนเครือข่ายที่ใช้ฮาร์ดแวร์ผ่าน SR-IOV และการยกเลิกภาระ eSwitch รองรับฟังก์ชันเสมือนสูงสุด 1,000 ฟังก์ชันต่ออะแดปเตอร์ เพื่อการแยกผู้เช่าหลายรายอย่างมีประสิทธิภาพโดยไม่กระทบต่อประสิทธิภาพ

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MCX653105A-HDAT ในโซลูชัน

NVIDIA Mellanox MCX653105A-HDAT ทำหน้าที่เป็นอินเทอร์เฟซที่สำคัญระหว่างทรัพยากรการประมวลผล/จัดเก็บข้อมูลและเครือข่าย คุณสมบัติขั้นสูงช่วยให้บรรลุวัตถุประสงค์ด้านประสิทธิภาพและประสิทธิภาพของสถาปัตยกรรมโดยรวม:

ตาม เอกสารข้อมูล MCX653105A-HDAT, อะแดปเตอร์ใช้พลังงานเพียง 25W ภายใต้ภาระงานเต็มที่ ให้ประสิทธิภาพต่อวัตต์ชั้นนำของอุตสาหกรรม ข้อมูลจำเพาะ MCX653105A-HDAT ที่ครอบคลุมให้รายละเอียดการสนับสนุนการวัดปริมาณข้อมูลขั้นสูง รวมถึงตัวนับประสิทธิภาพต่อโฟลว์, ฮิสโตแกรมความหน่วง และการตรวจจับความแออัดแบบเรียลไทม์ ซึ่งทั้งหมดนี้จำเป็นสำหรับการดำเนินงานเครือข่ายเชิงรุกและการวางแผนความจุ

4. คำแนะนำในการติดตั้งและปรับขนาด (พร้อมโทโพโลยีทั่วไป)

สำหรับองค์กรที่วางแผนการติดตั้ง NVIDIA Mellanox MCX653105A-HDAT ในการผลิต ขอแนะนำแนวทางแบบเป็นระยะดังนี้:

ระยะที่ 1 — การตรวจสอบนำร่อง (4–8 โหนด): เริ่มต้นด้วยคลัสเตอร์ขนาดเล็กเพื่อตรวจสอบการกำหนดค่า RoCE, ปรับพารามิเตอร์ DCB และวัดประสิทธิภาพแอปพลิเคชัน ใช้ การ์ดเครือข่าย PCIe อะแดปเตอร์ MCX653105A-HDAT พร้อมไดรเวอร์ NVIDIA OFED ล่าสุดและสแต็กซอฟต์แวร์ DOCA ทำการตรวจสอบอย่างละเอียดของการตั้งค่า PFC, ECN และ DCQCN โดยใช้ข้อมูลการวัดปริมาณข้อมูลที่เปิดเผยโดยอะแดปเตอร์

ระยะที่ 2 — การขยาย Pod (20–50 โหนด): ขยายไปยังการกำหนดค่าแบบเต็มแร็คหรือพ็อด ติดตั้งสวิตช์ leaf NVIDIA Spectrum-4 คู่หนึ่งพร้อมการกำหนดค่า Ethernet แบบไม่สูญเสียข้อมูล เปิดใช้งานการจัดการความแออัดที่ใช้ฮาร์ดแวร์ และกำหนดนโยบาย QoS เฉพาะสำหรับปริมาณงาน ความเข้ากันได้ของ MCX653105A-HDAT ของโซลูชันช่วยให้มั่นใจได้ถึงการรวมเข้ากับแพลตฟอร์มเซิร์ฟเวอร์และ Linux ดิสทริบิวชันที่มีอยู่ได้อย่างราบรื่น

ระยะที่ 3 — การเปิดตัวทั่วทั้งเครือข่าย (100+ โหนด): ติดตั้งข้ามแร็คหลายตัวโดยมีสวิตช์ spine เชื่อมต่อโหนด leaf ใช้การกำหนดเส้นทางแบบปรับได้และนโยบายการควบคุมความแออัด ใช้ NVIDIA Unified Fabric Manager สำหรับการจัดเตรียมอัตโนมัติ การจัดเตรียมแบบไม่ต้องตั้งค่า และการตรวจสอบทั่วทั้งเครือข่าย

คำอธิบายโทโพโลยีทั่วไป: การกำหนดค่าแร็คมาตรฐานประกอบด้วยเซิร์ฟเวอร์ประมวลผล/จัดเก็บข้อมูล 20 เครื่อง แต่ละเครื่องติดตั้ง MCX653105A-HDAT หนึ่งเครื่อง พอร์ต 1 เชื่อมต่อกับ Leaf Switch A, พอร์ต 2 เชื่อมต่อกับ Leaf Switch B ให้เส้นทาง active-active ที่ซ้ำซ้อนพร้อมการทำงานสำรองอัตโนมัติ สวิตช์ leaf อัปลิงค์ไปยังสวิตช์ spine ผ่าน 400GbE สร้างเครือข่าย CLOS ที่มีอัตราส่วนการโอเวอร์ซับสคริปชัน 1:1 การออกแบบนี้ช่วยให้มั่นใจได้ว่าลิงก์เดียวหรือความล้มเหลวของสวิตช์จะไม่ส่งผลกระทบต่อความพร้อมใช้งานของแอปพลิเคชัน โดยมีกลไกการกู้คืนที่น้อยกว่าหนึ่งวินาที

สำหรับองค์กรที่ประเมินต้นทุนรวมในการเป็นเจ้าของ ควรพิจารณา ราคา MCX653105A-HDAT ควบคู่ไปกับการประหยัด CPU (โดยทั่วไปจะเรียกคืน 4-6 คอร์ต่อเซิร์ฟเวอร์) การเพิ่มประสิทธิภาพแอปพลิเคชัน 3–5 เท่า และความสามารถในการรวมลิงก์ 25GbE หลายลิงก์ ส่วนลดปริมาณมักมีให้สำหรับ MCX653105A-HDAT สำหรับขาย ชุดพร้อมสวิตช์ NVIDIA Spectrum และการสมัครใช้งานซอฟต์แวร์ DOCA

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการปรับให้เหมาะสม

การดำเนินงานที่มีประสิทธิภาพของเครือข่าย RoCE ประสิทธิภาพสูงต้องการแนวทางการตรวจสอบและแก้ไขปัญหาเฉพาะทาง MCX653105A-HDAT ให้เครื่องมือที่ครอบคลุมเพื่อสนับสนุนกิจกรรมเหล่านี้:

• การรวบรวมและการแสดงภาพข้อมูลการวัดปริมาณ: ใช้ตัวนับฮาร์ดแวร์ของอะแดปเตอร์เพื่อตรวจสอบปริมาณงานต่อโฟลว์, ความลึกของคิว, การทิ้งแพ็กเก็ต และการกระจายความหน่วงที่ความละเอียดระดับน้อยกว่าหนึ่งวินาที ส่งออกเมตริกไปยังแพลตฟอร์มการตรวจสอบมาตรฐาน (Prometheus, Grafana, ELK stack) สำหรับแดชบอร์ดแบบเรียลไทม์และการแจ้งเตือน
• การตรวจจับและการจัดการความแออัด: ตรวจสอบเฟรม PFC pause, แพ็กเก็ตที่ถูกทำเครื่องหมาย ECN และการครอบครองบัฟเฟอร์เพื่อระบุและระบุตำแหน่งของ micro-bursts และจุดร้อนของทราฟฟิก เอกสารข้อมูล MCX653105A-HDAT ให้คำแนะนำโดยละเอียดเกี่ยวกับการตีความตัวนับเหล่านี้และการกำหนดเกณฑ์การแจ้งเตือนที่มีความหมาย
• การจัดการวงจรชีวิต: การอัปเดตสแต็กไดรเวอร์ NVIDIA OFED และเฟิร์มแวร์อะแดปเตอร์เป็นประจำมีความสำคัญต่อประสิทธิภาพ ความปลอดภัย และการปรับปรุงคุณสมบัติ ใช้ NVIDIA DOCA สำหรับการจัดการวงจรชีวิตแบบอัตโนมัติแบบไม่ต้องตั้งค่า (zero-touch) ในการติดตั้งขนาดใหญ่
• แนวทางการปรับแต่งประสิทธิภาพ: พารามิเตอร์การปรับแต่งที่สำคัญ ได้แก่ เกณฑ์บัฟเฟอร์ PFC (โดยทั่วไป 2-4 MB ต่อพอร์ต), ขีดจำกัดการทำเครื่องหมาย ECN (80-90% ของความลึกของคิว), การตั้งค่าการกลั่นกรองการขัดจังหวะของอะแดปเตอร์ (สมดุลความหน่วงเทียบกับปริมาณงาน) และการกำหนดค่าลิงก์ PCIe การตั้งค่าที่เหมาะสมขึ้นอยู่กับโปรไฟล์ปริมาณงานเฉพาะและขนาดคลัสเตอร์
• กรอบการแก้ไขปัญหาที่เป็นระบบ: ปัญหาด้านประสิทธิภาพส่วนใหญ่สามารถสืบย้อนไปถึงการกำหนดค่า DCB ที่ไม่ถูกต้อง, การไม่ตรงกันของ MTU, ความไม่เข้ากันของเวอร์ชันไดรเวอร์ หรือปัญหาการเดินสาย เครื่องมือวินิจฉัยของอะแดปเตอร์ (mstflint, ethtool, mlxconfig, mlxlink และ mlxband) ให้การมองเห็นที่ครอบคลุมเกี่ยวกับสถานะการทำงาน, สุขภาพของลิงก์, สถิติข้อผิดพลาด และการใช้งานแบนด์วิดท์

6. สรุปและการประเมินมูลค่า

NVIDIA Mellanox MCX653105A-HDAT แสดงถึงการลงทุนโครงสร้างพื้นฐานเชิงกลยุทธ์ที่ส่งมอบคุณค่าทางธุรกิจที่เปลี่ยนแปลงไปในหลายมิติ:

ในฐานะ โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX653105A-HDAT แบบครบวงจร ช่วยให้องค์กรสามารถสร้างเครือข่ายประสิทธิภาพสูงแบบไม่สูญเสียข้อมูลที่ใช้ศักยภาพของปริมาณงาน AI, HPC และคลาวด์เนทีฟสมัยใหม่ได้อย่างเต็มที่ ไม่ว่าจะติดตั้งในศูนย์ข้อมูลองค์กร, สภาพแวดล้อมของผู้ให้บริการคลาวด์ หรือศูนย์วิจัยเฉพาะทาง NVIDIA Mellanox MCX653105A-HDAT ส่งมอบประสิทธิภาพ ประสิทธิภาพ และความชาญฉลาดที่สถาปนิกเครือข่ายต้องการสำหรับโครงสร้างพื้นฐานยุคถัดไปอย่างสม่ำเสมอ