โซลูชันทางเทคนิคสำหรับอะแดปเตอร์เซิร์ฟเวอร์ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter Technical Solution: RDMA/RoCE Low-Latency Transport and Server Throughput Enhancement – Design White Paper

1. ความเป็นมาของโครงการและการวิเคราะห์ความต้องการ

ศูนย์ข้อมูลสมัยใหม่กำลังเผชิญกับการเปลี่ยนแปลงพื้นฐานจากสถาปัตยกรรมที่เน้น "การประมวลผล" ไปสู่สถาปัตยกรรมที่เน้น "ข้อมูล" ซึ่งขับเคลื่อนโดยการเติบโตอย่างรวดเร็วของเวิร์กโหลด AI/ML ระบบจัดเก็บข้อมูลแบบกระจาย และแพลตฟอร์มการวิเคราะห์แบบเรียลไทม์ ในบริบทนี้ อะแดปเตอร์เครือข่ายไม่ใช่ส่วนประกอบการเชื่อมต่อแบบพาสซีฟอีกต่อไป แต่เป็นตัวกำหนดที่สำคัญของประสิทธิภาพแอปพลิเคชันโดยรวม เครือข่ายแบบดั้งเดิมที่ใช้ TCP/IP ซึ่งมีข้อจำกัดในการข้ามเคอร์เนลและค่าใช้จ่ายของโปรโตคอลสแต็ก ได้กลายเป็นคอขวดหลัก โดยใช้เวลา CPU สูงถึง 30% ในขณะที่ยังไม่สามารถส่งมอบความหน่วงระดับไมโครวินาทีและปริมาณงานระดับสายที่จำเป็นสำหรับเวิร์กโหลดรุ่นต่อไปได้

โดยเฉพาะอย่างยิ่ง ความท้าทายสามประการที่เชื่อมโยงกันต้องการการตอบสนองทางสถาปัตยกรรม ประการแรก ระบบจัดเก็บข้อมูลที่ใช้ NVMe over Fabrics (NVMe-oF) ต้องการความหน่วงในการเข้าถึงต่ำกว่า 100 ไมโครวินาที เพื่อใช้ประโยชน์จากแฟลชมีเดียสมัยใหม่ได้อย่างเต็มที่ ความหน่วงที่เกิดจากเครือข่ายจะบั่นทอนประสิทธิภาพการจัดเก็บข้อมูลโดยตรง ประการที่สอง เฟรมเวิร์กการฝึก AI แบบกระจาย เช่น PyTorch และ TensorFlow อาศัยการดำเนินการ all-reduce บ่อยครั้งระหว่างคลัสเตอร์ GPU ซึ่งปริมาณงานเครือข่ายและการสั่นสะเทือนเป็นตัวกำหนดเวลาการทำงานให้เสร็จสิ้นโดยตรง ประการที่สาม การจำลองเสมือนและการทำคอนเทนเนอร์จะเพิ่มค่าใช้จ่ายในการห่อหุ้มเพิ่มเติม ซึ่งต้องการการยกภาระฮาร์ดแวร์อัจฉริยะเพื่อรักษาประสิทธิภาพในระดับที่ขยายได้ Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT อะแดปเตอร์เซิร์ฟเวอร์ตอบสนองความต้องการเหล่านี้โดยตรง โดยเป็นรากฐานที่สร้างขึ้นเพื่อเครือข่ายศูนย์ข้อมูลประสิทธิภาพสูง ความหน่วงต่ำ

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

โซลูชันที่นำเสนอใช้สถาปัตยกรรมเครือข่ายแบบสองชั้น spine-leaf ที่ออกแบบมาเพื่อเพิ่มขีดความสามารถของ MCX631102AN-ADAT Ethernet adapter card ให้สูงสุด ที่ชั้น leaf สวิตช์ 25GbE SFP28 ให้การเชื่อมต่อ ToR (Top-of-Rack) โดยแต่ละ leaf switch รองรับสูงสุด 48 พอร์ต ชั้น spine ประกอบด้วยสวิตช์ 100GbE ความจุสูง ให้การเชื่อมต่อแบบ non-blocking any-to-any สถาปัตยกรรมนี้ได้รับการปรับให้เหมาะสมสำหรับการขนส่ง RoCE v2 (RDMA over Converged Ethernet version 2) โดยใช้กลไกการควบคุมความแออัดของอะแดปเตอร์และคุณสมบัติ PFC (Priority Flow Control) เพื่อรักษาสภาพเครือข่ายแบบ lossless

โหนดคอมพิวต์และจัดเก็บข้อมูลแต่ละโหนดติดตั้ง MCX631102AN-ADAT ConnectX-6 Lx dual-port 25GbE SFP28 อะแดปเตอร์ โดยกำหนดค่าพอร์ตในโหมด active-active เพื่อให้มีความพร้อมใช้งานสูงและแบนด์วิดท์รวม 50GbE เซิร์ฟเวอร์โฮสต์เชื่อมต่อกับอะแดปเตอร์ผ่าน PCIe 4.0 x8 เพื่อให้แน่ใจว่ามีแบนด์วิดท์บัสเพียงพอที่จะรองรับปริมาณงานระดับสายเต็มรูปแบบ จากมุมมองซอฟต์แวร์ สถาปัตยกรรมนี้รวม NVIDIA OFED (OpenFabrics Enterprise Distribution) driver stack ซึ่งให้การสนับสนุน RoCE ที่ปรับให้เหมาะสมบนระบบปฏิบัติการหลัก สำหรับโหนดจัดเก็บข้อมูล สถาปัตยกรรมนี้รวม NVMe-oF targets ที่สามารถเข้าถึงได้โดยตรงผ่าน RoCE โดยไม่ต้องใช้ TCP/IP layer จากเส้นทางข้อมูลโดยสิ้นเชิง

3. บทบาทและคุณสมบัติหลักของ MCX631102AN-ADAT ในโซลูชัน

NVIDIA Mellanox MCX631102AN-ADAT ทำหน้าที่เป็นอินเทอร์เฟซเครือข่ายพื้นฐานสำหรับทั้งโดเมนคอมพิวต์และจัดเก็บข้อมูล โดยมีบทบาทสำคัญสี่ประการในสถาปัตยกรรมโดยรวม ประการแรก ทำหน้าที่เป็นเอนจิ้นระนาบข้อมูลหลัก โดยใช้ประโยชน์จากเอนจิ้นการนำทางที่เร่งด้วยฮาร์ดแวร์เพื่อส่งมอบปริมาณงาน 25GbE ระดับสายต่อพอร์ตสำหรับทุกขนาดแพ็กเก็ต ซึ่งเป็นความสามารถที่ได้รับการตรวจสอบโดย MCX631102AN-ADAT specifications ซึ่งแสดงให้เห็นความหน่วงระดับแอปพลิเคชันต่อแอปพลิเคชันต่ำกว่า 1 ไมโครวินาที เมื่อจับคู่กับสวิตช์ที่เปิดใช้งาน RoCE

ประการที่สอง อะแดปเตอร์ทำหน้าที่เป็นจุดสิ้นสุดการขนส่ง RDMA โดยยกเลิก RDMA protocol stack ทั้งหมด ซึ่งรวมถึงการลงทะเบียนหน่วยความจำ การแปลที่อยู่ และการประมวลผลการเสร็จสิ้น ออกจาก CPU โฮสต์ การยกเลิกนี้มีผลกระทบอย่างมากต่อเวิร์กโหลดจัดเก็บข้อมูล โดยลดการใช้ CPU สำหรับ NVMe-oF initiators จากประมาณ 18% เหลือต่ำกว่า 3% เมื่อเทียบกับการใช้งานแบบซอฟต์แวร์เท่านั้น ประการที่สาม MCX631102AN-ADAT ให้การยกเลิกการซ้อนทับแบบฮาร์ดแวร์สำหรับ VXLAN และ NVGRE เพื่อให้แน่ใจว่าการห่อหุ้มเครือข่ายเสมือนจะไม่ลดทอนประสิทธิภาพ ซึ่งเป็นข้อได้เปรียบที่สำคัญสำหรับการใช้งานแบบ cloud-native ประการที่สี่ อะแดปเตอร์รองรับ SR-IOV (Single Root I/O Virtualization) ทำให้สามารถใช้งานฟังก์ชันเสมือนได้สูงสุด 256 ฟังก์ชันต่อพอร์ตสำหรับการแยกผู้เช่าหลายรายอย่างมีประสิทธิภาพโดยไม่กระทบต่อปริมาณงาน MCX631102AN-ADAT Ethernet adapter card solution ผสานรวมกับ NVIDIA GPUDirect Storage technology ได้อย่างราบรื่น ทำให้สามารถย้ายข้อมูลโดยตรงระหว่างหน่วยความจำ GPU และอุปกรณ์จัดเก็บข้อมูล NVMe ระยะไกลผ่านเครือข่ายได้

ตารางต่อไปนี้สรุปคุณสมบัติทางเทคนิคที่สำคัญที่เกี่ยวข้องกับสถาปัตยกรรมโซลูชัน:

4. คำแนะนำในการปรับใช้และการปรับขนาดด้วยโทโพโลยีทั่วไป

สำหรับการปรับใช้แบบ greenfield เราขอแนะนำแนวทางการปรับขนาดแบบสามชั้น ที่ชั้นฐาน (ขนาดเล็ก: 16–32 โหนด) คลัสเตอร์สวิตช์ leaf เดียวสามารถรองรับโหนดคอมพิวต์และจัดเก็บข้อมูลทั้งหมด โดยแต่ละโหนดติดตั้ง MCX631102AN-ADAT และพอร์ตทั้งสองเชื่อมต่อกับ leaf switch เดียวกันสำหรับการรวมลิงก์ ที่ชั้นกลาง (64–128 โหนด) สถาปัตยกรรมควรใช้การออกแบบ spine-leaf แบบสองชั้น โดยพอร์ตคู่ของแต่ละโหนดเชื่อมต่อกับ leaf switches ที่แตกต่างกันเพื่อให้ทั้งประสิทธิภาพและความทนทาน ที่ระดับองค์กร (256+ โหนด) โซลูชันแนะนำให้ปรับใช้สถาปัตยกรรมสามชั้นพร้อมการแบ่งส่วน RoCE fabric โดยเฉพาะ เพื่อแยกการรับส่งข้อมูลจัดเก็บข้อมูลจากการรับส่งข้อมูลคอมพิวต์ที่ชั้นเครือข่าย และใช้ประโยชน์จาก MCX631102AN-ADAT compatible กับทั้ง NVIDIA Spectrum และสวิตช์ 25GbE ของบุคคลที่สาม

สำหรับสภาพแวดล้อมแบบ brownfield อะแดปเตอร์ให้ความเข้ากันได้แบบย้อนหลังที่ราบรื่นกับออปติกและสายเคเบิล 10GbE SFP+ ทำให้องค์กรสามารถย้ายข้อมูลได้อย่างค่อยเป็นค่อยไป MCX631102AN-ADAT datasheet ให้เมทริกซ์ความเข้ากันได้โดยละเอียดสำหรับแพลตฟอร์มเซิร์ฟเวอร์หลัก รวมถึงตระกูล Dell PowerEdge, HPE ProLiant และ Supermicro SuperServer การปรับใช้shouldอะแดปเตอร์ควรประสานงานกับการอัปเดตเฟิร์มแวร์เพื่อให้แน่ใจว่าโหนดทั้งหมดใช้เวอร์ชันเฟิร์มแวร์ขั้นต่ำเดียวกันเพื่อพฤติกรรม RoCE ที่สอดคล้องกัน เรายังแนะนำให้ใช้การคงค่าการกำหนดค่าตาม EEPROM ของอะแดปเตอร์เพื่อรักษาการตั้งค่าตลอดการรีบูตระบบ ลดค่าใช้จ่ายในการดำเนินงานในช่วงหน้าต่างการบำรุงรักษา

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการปรับปรุงประสิทธิภาพ

MCX631102AN-ADAT ให้ความสามารถด้านเทเลเมทรีและการจัดการที่ครอบคลุมผ่านเครื่องมือ MLNX_OFED ของ NVIDIA สำหรับการตรวจสอบ เราขอแนะนำให้ใช้แนวทางการดำเนินงานดังต่อไปนี้ ประการแรก เปิดใช้งานตัวนับโฟลว์ที่ใช้ฮาร์ดแวร์เพื่อตรวจสอบการใช้งานต่อคิวและระบุจุดร้อน ตัวนับเหล่านี้สามารถเข้าถึงได้ผ่าน mlx5_core kernel module และสามารถรวมเข้ากับ Prometheus หรือโซลูชัน TSDB อื่นๆ ประการที่สอง ใช้การตรวจสอบ PFC (Priority Flow Control) ของอะแดปเตอร์เพื่อตรวจจับและแก้ไขเหตุการณ์ความแออัดของเครือข่ายก่อนที่จะส่งผลกระทบต่อประสิทธิภาพแอปพลิเคชัน ประการที่สาม ใช้การแจ้งเตือนตามเกณฑ์สำหรับอุณหภูมิอะแดปเตอร์และสถานะลิงก์ PCIe เพื่อระบุการเสื่อมสภาพของฮาร์ดแวร์ล่วงหน้า

สำหรับการแก้ไขปัญหา การวินิจฉัยขั้นสูงของอะแดปเตอร์ ซึ่งรวมถึงการทดสอบ loopback ต่อพอร์ต บันทึกการฝึกอบรมลิงก์ และสถิติการรวมการขัดจังหวะ ให้การมองเห็นโดยละเอียดเกี่ยวกับปัญหาด้านประสิทธิภาพ เราขอแนะนำให้สร้างพื้นฐานการทำงานปกติในช่วงการปรับใช้เริ่มต้น โดยบันทึกเมตริกหลัก เช่น ความหน่วงเฉลี่ย ปริมาณงาน และการใช้ CPU เพื่อใช้เป็นข้อมูลอ้างอิงสำหรับการเปรียบเทียบในอนาคต เมื่อประเมิน MCX631102AN-ADAT price ของความเป็นเจ้าของ องค์กรควรถือว่าการประหยัดจากการดำเนินงานที่ได้จากการลดการใช้ CPU และขั้นตอนการแก้ไขปัญหาที่ง่ายขึ้น

กลยุทธ์การปรับปรุงประสิทธิภาพสำหรับ MCX631102AN-ADAT Ethernet adapter card ควรเน้นที่สามด้าน ในการกำหนดค่าโฮสต์ ปรับ PCIe max-payload-size เป็น 512 ไบต์ และเปิดใช้งานการกลั่นกรองการขัดจังหวะเพื่อสร้างสมดุลระหว่างความหน่วงและประสิทธิภาพ CPU ในเครือข่าย กำหนดลำดับความสำคัญ PFC ให้สอดคล้องกันในทุกสวิตช์และอะแดปเตอร์ เราแนะนำให้จัดลำดับความสำคัญ 3 สำหรับการรับส่งข้อมูล RoCE และลำดับความสำคัญ 0 สำหรับการรับส่งข้อมูลการจัดการ ที่ชั้นแอปพลิเคชัน ปรับ RDMA queue depth ให้เข้ากับลักษณะเวิร์กโหลด: คิวที่ลึกขึ้นเป็นประโยชน์ต่อเวิร์กโหลดจัดเก็บข้อมูลที่เน้นปริมาณงาน ในขณะที่คิวที่ตื้นกว่าจะลดความหน่วงสำหรับการประมวลผลธุรกรรมที่ละเอียดอ่อน MCX631102AN-ADAT specifications ให้คำแนะนำเฉพาะสำหรับการปรับแต่งพารามิเตอร์เหล่านี้ในแพลตฟอร์ม OS ที่แตกต่างกัน

6. สรุปและการประเมินมูลค่า

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT นำเสนอโซลูชันสถาปัตยกรรมที่ตอบสนองความท้าทายพื้นฐานของเครือข่ายศูนย์ข้อมูลสมัยใหม่: การส่งมอบความหน่วงระดับไมโครวินาที การขนส่ง RDMA ที่เร่งด้วยฮาร์ดแวร์ และปริมาณงาน 25GbE ที่สม่ำเสมอ ทั้งหมดนี้ในขณะที่ลดภาระ CPU โฮสต์ โดยทำหน้าที่เป็นอินเทอร์เฟซเครือข่ายแบบรวมสำหรับเวิร์กโหลดคอมพิวต์ จัดเก็บข้อมูล และ AI อะแดปเตอร์ช่วยลดความซับซ้อนของโครงสร้างพื้นฐานในขณะที่เพิ่มประสิทธิภาพ MCX631102AN-ADAT Ethernet adapter card solution ลดการใช้ CPU ที่เกี่ยวข้องกับเครือข่ายลงประมาณ 80% ปรับปรุงความหน่วงในการเข้าถึงจัดเก็บข้อมูลมากกว่า 80% และให้ประสิทธิภาพที่คาดการณ์ได้ภายใต้สภาวะโหลดที่แตกต่างกันผ่านการจัดการความแออัดที่ใช้ฮาร์ดแวร์

จากมุมมองของมูลค่าทางธุรกิจ อะแดปเตอร์ช่วยให้องค์กรสามารถเพิ่มการลงทุนในสวิตช์ 25GbE ที่มีอยู่ให้สูงสุด ในขณะที่ส่งมอบประสิทธิภาพที่ก่อนหน้านี้ทำได้ด้วยโซลูชัน 40GbE หรือ 100GbE เท่านั้น MCX631102AN-ADAT for sale การประเมินแสดงให้เห็นผลตอบแทนจากการลงทุน (ROI) ที่เป็นบวกอย่างสม่ำเสมอภายใน 12–18 เดือน ซึ่งขับเคลื่อนโดยความต้องการจำนวนเซิร์ฟเวอร์ที่ลดลง (เนื่องจากประสิทธิภาพต่อโหนดที่สูงขึ้น) และค่าใช้จ่ายในการดำเนินงานที่ลดลง สำหรับองค์กรที่กำลังสร้างหรือปรับปรุงเครือข่ายศูนย์ข้อมูล MCX631102AN-ADAT ไม่ใช่เพียงการอัปเกรดแบบเพิ่มขึ้น แต่เป็นการปรับปรุงพื้นฐานในประสิทธิภาพของรากฐานเครือข่าย