โซลูชันทางเทคนิคของอะแดปเตอร์เซิร์ฟเวอร์ NVIDIA Mellanox MCX631102AN-ADAT: การขนส่ง RDMA/RoCE ที่มีความหน่วงต่ำและเซิร์ฟเวอร์

โซลูชันทางเทคนิคของอะแดปเตอร์เซิร์ฟเวอร์ NVIDIA Mellanox MCX631102AN-ADAT: สถาปัตยกรรม RDMA/RoCE การขนส่งที่มีความหน่วงต่ำและการเพิ่มประสิทธิภาพการรับส่งข้อมูลของเซิร์ฟเวอร์

1. ภูมิหลังโครงการและการวิเคราะห์ความต้องการ

ศูนย์ข้อมูลสมัยใหม่กำลังเปลี่ยนผ่านสถาปัตยกรรมจากที่เน้นการประมวลผลเป็นหลักไปสู่สถาปัตยกรรมที่เน้นข้อมูลเป็นหลัก เนื่องจากอาร์เรย์จัดเก็บข้อมูล NVMe, คลัสเตอร์การฝึก AI/ML และฐานข้อมูลแบบกระจายกลายเป็นที่แพร่หลาย เครือข่ายจึงกลายเป็นคอขวดที่สำคัญซึ่งจำกัดประสิทธิภาพของระบบโดยรวม เครือข่ายแบบดั้งเดิมที่ใช้ TCP/IP ทำให้เกิดภาระ CPU สูงสำหรับการประมวลผลโปรโตคอล สร้างความผันผวนของความหน่วงที่ไม่สามารถคาดเดาได้ และไม่สามารถใช้ประโยชน์จากศักยภาพแบนด์วิดท์ของสื่อสมัยใหม่ได้อย่างเต็มที่

ข้อกำหนดหลักที่ระบุไว้ในสภาพแวดล้อมองค์กรและคลาวด์ ได้แก่:

• ความหน่วงต่ำกว่ามิลลิวินาที: แอปพลิเคชันที่สำคัญต่อภารกิจ เช่น แพลตฟอร์มการซื้อขายทางการเงินและการวิเคราะห์แบบเรียลไทม์ ต้องการการสื่อสารที่มีความหน่วงต่ำอย่างสม่ำเสมอ
• การยกภาระ CPU: การประมวลผลโปรโตคอลเครือข่ายควรใช้ทรัพยากร CPU น้อยกว่า 10% ต่อโหนด เพื่อสงวนความสามารถในการประมวลผลสำหรับปริมาณงานแอปพลิเคชัน
• การปรับขนาดแบนด์วิดท์: โครงสร้างพื้นฐานต้องรองรับ 25GbE ต่อพอร์ต พร้อมเส้นทางการอัปเกรดที่ชัดเจนสำหรับการใช้งาน 50/100GbE ในอนาคต
• การผสานรวมที่ราบรื่น: โซลูชันต้องเข้ากันได้กับแพลตฟอร์มเซิร์ฟเวอร์ ระบบปฏิบัติการ และเครื่องมือการจัดการที่มีอยู่

NVIDIA Mellanox MCX631102AN-ADAT ตอบสนองความต้องการเหล่านี้โดยตรงผ่านสถาปัตยกรรม ConnectX-6 Lx โดยนำเสนอ RDMA บน Ethernet แบบรวม (RoCE) ที่เร่งด้วยฮาร์ดแวร์ พร้อมการถ่ายโอนข้อมูลแบบ zero-copy และความสามารถในการข้ามเคอร์เนล

2. การออกแบบสถาปัตยกรรมเครือข่าย/ระบบโดยรวม

สถาปัตยกรรมที่นำเสนอใช้โทโพโลยีแบบ leaf-spine ที่ปรับให้เหมาะสมสำหรับการขนส่ง RoCE หัวใจหลักของการออกแบบนี้คือ โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX631102AN-ADAT ซึ่งติดตั้งในแต่ละโหนดเซิร์ฟเวอร์เพื่อเชื่อมต่อแบบ dual-port 25GbE

ชั้นสถาปัตยกรรม:

• โหนดประมวลผล/จัดเก็บข้อมูล: เซิร์ฟเวอร์แต่ละเครื่องติดตั้ง อะแดปเตอร์ MCX631102AN-ADAT ConnectX-6 Lx แบบ dual-port 25GbE SFP28 หนึ่งตัวหรือมากกว่า กำหนดค่าให้ทั้งสองพอร์ตทำงานเพื่อความพร้อมใช้งานสูงและการกระจายโหลด
• ชั้น Leaf: สวิตช์ NVIDIA Spectrum-3 ให้การส่งต่อ Ethernet ที่มีความหน่วงต่ำและไม่สูญเสียข้อมูล พร้อมการควบคุมความแออัดที่ตระหนักถึง RoCE (PFC/ECN)
• ชั้น Spine: สวิตช์ Spine ความจุสูงเชื่อมต่อโหนด Leaf ด้วยอัปลิงก์ 100GbE เพื่อให้มั่นใจถึงประสิทธิภาพที่ไม่ติดขัดทั่วทั้งเครือข่าย
• ระนาบการจัดการ: เครือข่ายการจัดการแบบ out-of-band สำหรับการรวบรวมข้อมูลทางไกล การจัดลำดับการกำหนดค่า และการตรวจสอบสุขภาพผ่าน NVIDIA DOCA และ MLNX-OS

การออกแบบรวมการแบ่งส่วนย่อยและการแยกทราฟฟิกโดยใช้การยกภาระ vSwitch ที่ใช้ฮาร์ดแวร์ เพื่อให้มั่นใจว่าทราฟฟิกของผู้เช่าจะถูกแยกออกจากกันโดยไม่กระทบต่อประสิทธิภาพ

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MCX631102AN-ADAT ในโซลูชัน

ในฐานะอินเทอร์เฟซเครือข่ายพื้นฐานสำหรับเซิร์ฟเวอร์แต่ละเครื่อง NVIDIA Mellanox MCX631102AN-ADAT มีบทบาทสำคัญในการบรรลุวัตถุประสงค์ด้านประสิทธิภาพและประสิทธิภาพของสถาปัตยกรรมโดยรวม คุณสมบัติทางเทคนิคหลักที่เปิดใช้งานความสามารถนี้ ได้แก่:

ตาม เอกสารข้อมูล MCX631102AN-ADAT อะแดปเตอร์ยังรองรับการเข้ารหัสแบบ in-line IPsec และ MACsec เพื่อความปลอดภัยของข้อมูลระหว่างการส่งโดยไม่ลดทอนปริมาณงาน ข้อมูลจำเพาะ MCX631102AN-ADAT ที่ครอบคลุมยืนยันการรองรับการรวบรวมข้อมูลขั้นสูง — รวมถึงตัวนับโฟลว์, ฮิสโตแกรมความหน่วง, และการตรวจจับความแออัด — ซึ่งมีความสำคัญอย่างยิ่งต่อการจัดการเครือข่ายเชิงรุก

4. คำแนะนำในการติดตั้งและปรับขนาด (พร้อมโทโพโลยีทั่วไป)

สำหรับองค์กรที่วางแผนการติดตั้ง NVIDIA Mellanox MCX631102AN-ADAT ในการผลิต ขอแนะนำแนวทางแบบเป็นระยะดังนี้:

ระยะที่ 1 — การติดตั้งนำร่อง (4–8 โหนด): เริ่มต้นด้วยคลัสเตอร์ขนาดเล็กเพื่อตรวจสอบการกำหนดค่า RoCE, ปรับพารามิเตอร์ PFC/ECN, และวัดประสิทธิภาพแอปพลิเคชัน การ์ดอะแดปเตอร์ Ethernet MCX631102AN-ADAT ควรติดตั้งด้วยไดรเวอร์และเฟิร์มแวร์ Mellanox OFED ล่าสุดเพื่อให้แน่ใจว่าเข้ากันได้ดีที่สุด

ระยะที่ 2 — การขยาย Pod (20–50 โหนด): ขยายไปยังแร็คหรือ Pod เต็มรูปแบบ โดยติดตั้งคู่ของสวิตช์ Leaf พร้อมการกำหนดค่า Ethernet แบบไม่สูญเสียข้อมูล เปิดใช้งานการจัดการความแออัดที่ใช้ฮาร์ดแวร์ และกำหนดค่าพารามิเตอร์ DCB (Data Center Bridging) ตามแนวทางปฏิบัติที่ดีที่สุดที่แนะนำ

ระยะที่ 3 — การใช้งานทั่วทั้งเครือข่าย (100+ โหนด): ติดตั้งในหลายแร็คโดยมีสวิตช์ Spine เชื่อมต่อโหนด Leaf ใช้การจัดการทราฟฟิกโดยใช้ความสามารถในการกำหนดเส้นทางฮาร์ดแวร์ของอะแดปเตอร์ และใช้ เข้ากันได้กับ MCX631102AN-ADAT NVIDIA Unified Fabric Manager สำหรับการจัดลำดับและการจัดเตรียมอัตโนมัติ

คำอธิบายโทโพโลยีทั่วไป: การกำหนดค่าแร็คมาตรฐานประกอบด้วยเซิร์ฟเวอร์ประมวลผล/จัดเก็บข้อมูล 20 เครื่อง แต่ละเครื่องติดตั้ง อะแดปเตอร์ MCX631102AN-ADAT ConnectX-6 Lx แบบ dual-port 25GbE SFP28 พอร์ต 1 เชื่อมต่อกับ Leaf Switch A, พอร์ต 2 เชื่อมต่อกับ Leaf Switch B เพื่อให้มีเส้นทางสำรอง สวิตช์ Leaf เชื่อมต่อกับสวิตช์ Spine ผ่าน 100GbE สร้างเครือข่ายแบบ CLOS โทโพโลยีนี้ทำให้มั่นใจได้ว่าการล้มเหลวของลิงก์หรือสวิตช์เดี่ยวจะไม่ส่งผลกระทบต่อความพร้อมใช้งานของแอปพลิเคชัน

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการปรับปรุงประสิทธิภาพ

การดำเนินงานเครือข่ายที่ใช้ RoCE อย่างมีประสิทธิภาพต้องใช้วิธีการตรวจสอบและแก้ไขปัญหาเฉพาะทาง MCX631102AN-ADAT มีเครื่องมือในตัวเพื่อสนับสนุนกิจกรรมเหล่านี้:

• การรวบรวมข้อมูลทางไกล: ใช้ตัวนับฮาร์ดแวร์ของอะแดปเตอร์เพื่อตรวจสอบปริมาณงานต่อโฟลว์, ความลึกของคิว, แพ็กเก็ตที่สูญหาย, และการกระจายความหน่วง ข้อมูลนี้จะป้อนเข้าแดชบอร์ดการตรวจสอบแบบรวมศูนย์เพื่อการมองเห็นแบบเรียลไทม์
• การตรวจจับความแออัด: ตรวจสอบเฟรม PFC pause และแพ็กเก็ตที่ทำเครื่องหมาย ECN เพื่อระบุ micro-bursts และจุดร้อนของทราฟฟิก เอกสารข้อมูล MCX631102AN-ADAT ให้คำแนะนำในการตีความตัวนับเหล่านี้
• การจัดการเฟิร์มแวร์และไดรเวอร์: การอัปเดตสแต็กไดรเวอร์ NVIDIA OFED และเฟิร์มแวร์อะแดปเตอร์เป็นประจำมีความสำคัญต่อประสิทธิภาพและความปลอดภัย ใช้เฟรมเวิร์ก NVIDIA DOCA สำหรับการจัดการวงจรชีวิตอัตโนมัติ
• การปรับแต่งประสิทธิภาพ: พารามิเตอร์การปรับแต่งที่สำคัญ ได้แก่ การปรับเกณฑ์บัฟเฟอร์ PFC, การตั้งค่าขีดจำกัดการทำเครื่องหมาย ECN ที่เหมาะสม, และการกำหนดค่าการตั้งค่าการปรับการขัดจังหวะของอะแดปเตอร์เพื่อสร้างสมดุลระหว่างความหน่วงและปริมาณงาน
• การแก้ไขปัญหาทั่วไป: ปัญหาประสิทธิภาพส่วนใหญ่สามารถสืบย้อนไปถึงการตั้งค่า DCB ที่กำหนดค่าผิด, ค่า MTU ที่ไม่ตรงกัน, หรือเวอร์ชันไดรเวอร์ที่ไม่เข้ากัน เครื่องมือวินิจฉัยของอะแดปเตอร์ (เช่น mstflint, ethtool, และ mlxconfig) ให้การมองเห็นสถานะการทำงานที่ครอบคลุม

สำหรับองค์กรที่ประเมินต้นทุนรวมในการเป็นเจ้าของ ราคา MCX631102AN-ADAT ควรพิจารณาร่วมกับการประหยัด CPU และการเพิ่มปริมาณงาน องค์กรจำนวนมากพบว่า MCX631102AN-ADAT สำหรับขาย ที่รวมกับสวิตช์ NVIDIA Spectrum ให้โซลูชันที่คุ้มค่าที่สุดสำหรับการติดตั้งใหม่

6. สรุปและการประเมินมูลค่า

NVIDIA Mellanox MCX631102AN-ADAT เป็นการลงทุนโครงสร้างพื้นฐานเชิงกลยุทธ์ที่มอบมูลค่าทางธุรกิจที่วัดผลได้ในสามมิติ:

ในฐานะ โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX631102AN-ADAT แบบครบวงจร ช่วยให้องค์กรสามารถสร้างเครือข่ายที่มีประสิทธิภาพสูงและไม่สูญเสียข้อมูล ซึ่งสามารถใช้ประโยชน์จากศักยภาพของแอปพลิเคชันสมัยใหม่ได้อย่างเต็มที่ ไม่ว่าจะติดตั้งในศูนย์ข้อมูลองค์กร, สภาพแวดล้อมของผู้ให้บริการคลาวด์, หรือคลัสเตอร์ HPC ด้านการวิจัย, MCX631102AN-ADAT มอบความหน่วงต่ำ, ปริมาณงานสูง, และความง่ายในการดำเนินงานที่สถาปนิกโครงสร้างพื้นฐานต้องการอย่างสม่ำเสมอ