M

Mellanox (NVIDIA Mellanox) MQM8790-HS2F สวิตช์ InfiniBand โซลูชันทางเทคนิค | การเพิ่มประสิทธิภาพการเชื่อมต่อความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

เมื่อการฝึกโมเดลขนาดใหญ่ของ AI และการคำนวณทางวิทยาศาสตร์ของ HPC ขยายขนาดใหญ่ขึ้น ความท้าทายหลักสำหรับคลัสเตอร์การประมวลผลได้เปลี่ยนจากการประมวลผลแบบโหนดเดียวไปสู่ประสิทธิภาพการสื่อสารระหว่างโหนด เครือข่าย RDMA ทำหน้าที่เป็นกระดูกสันหลังของการขนส่งสำหรับการดำเนินการร่วมกัน การเข้าถึงที่เก็บข้อมูล และการรับส่งข้อมูลจุดตรวจสอบ และพฤติกรรมของเครือข่ายเหล่านี้เป็นตัวกำหนดการใช้งานคลัสเตอร์โดยรวมโดยตรง

ข้อกำหนดทั่วไปในโครงการเหล่านี้ ได้แก่:

• แบนด์วิดท์สูงต่อโหนด: เซิร์ฟเวอร์ GPU ต้องการ 200Gb/s หรือสูงกว่ามากขึ้นเรื่อยๆ เพื่อให้ทันกับปริมาณงานการฝึกแบบ multi-GPU
• ความหน่วงต่ำที่คาดการณ์ได้: AllReduce และการซิงโครไนซ์พารามิเตอร์มีความไวต่อความหน่วงหาง ไม่ใช่แค่ความหน่วงเฉลี่ยเท่านั้น
• ความสามารถในการปรับขนาด: ผ้าจะต้องเติบโตจากโหลโหนดไปสู่หลายร้อยหรือหลายพันโหนดโดยไม่ต้องออกแบบโทโพโลยีใหม่
• การจัดการ: ทีมปฏิบัติการต้องการข้อมูลทางไกลและการมองเห็นความแออัดเพื่อแยกโหนดที่ช้าและลิงก์ที่กำหนดค่าผิดพลาด

MQM8790-HS2F ถูกวางตำแหน่งเพื่อตอบสนองความต้องการเหล่านี้ในฐานะแพลตฟอร์มสวิตช์ InfiniBand HDR 200Gb/s

การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมที่แนะนำคือ fat-tree แบบสองชั้นที่ไม่ปิดกั้น โดยมีชั้น spine สร้างจากสวิตช์ MQM8790-HS2F และชั้น leaf ที่เชื่อมต่อโหนดประมวลผลและที่เก็บข้อมูล การออกแบบนี้ให้แบนด์วิดท์แบบ east-west ที่สม่ำเสมอและความหลากหลายของเส้นทางที่คาดการณ์ได้ ซึ่งจำเป็นสำหรับรูปแบบการรับส่งข้อมูล RDMA

การตัดสินใจทางสถาปัตยกรรมที่สำคัญ ได้แก่:

• HDR แบบ End-to-End: โหนดประมวลผลที่ติดตั้งอะแดปเตอร์ ConnectX-6 หรือ ConnectX-7 เชื่อมต่อที่ 200Gb/s กับสวิตช์ leaf สร้างเส้นทางแบบ end-to-end ที่เข้ากันได้กับ MQM8790-HS2F
• ความจุ Spine: สวิตช์ MQM8790-HS2F 200Gb/s HDR 40 พอร์ต QSFP56 แต่ละตัวให้ 40 พอร์ตที่ 200Gb/s ทำให้สามารถจัดสรร uplink และ downlink ได้อย่างยืดหยุ่นตามเป้าหมายการโอเวอร์ซับสคริปชัน
• ผ้าเก็บข้อมูล: ที่เก็บข้อมูลแบบขนานและเป้าหมาย NVMe-over-Fabrics สามารถวางไว้ในกลุ่ม leaf เฉพาะเพื่อแยกการรับส่งข้อมูลที่เก็บข้อมูลจากการรับส่งข้อมูลการฝึก
• ระนาบการจัดการ: การจัดการแบบ out-of-band และการรวบรวมข้อมูลทางไกลจะถูกแยกออกจากระนาบข้อมูลเพื่อหลีกเลี่ยงการรบกวน

บทบาทของ Mellanox (NVIDIA Mellanox) MQM8790-HS2F และคุณสมบัติหลัก

ในโซลูชันนี้ Mellanox (NVIDIA Mellanox) MQM8790-HS2F ทำหน้าที่เป็นองค์ประกอบสวิตช์ spine รวบรวมการรับส่งข้อมูล leaf และเปิดใช้งานการประมวลผลในเครือข่าย บทบาทของมันไม่ได้จำกัดอยู่แค่การส่งต่อ: มันยังช่วยลดภาระการสื่อสารร่วมและปรับปรุงประสิทธิภาพของผ้า

ลักษณะทางเทคนิคหลัก ได้แก่:

• 40 × 200Gb/s HDR พอร์ต: ปริมาณงานรวมสูงสุด 16Tb/s ในฟอร์มแฟกเตอร์ 1U พร้อมการรองรับความเร็ว HDR, EDR และ FDR แบบปรับได้
• การประมวลผลในเครือข่าย SHARP: ปลดภาระ AllReduce และการดำเนินการร่วมที่เกี่ยวข้องไปยังสวิตช์ ลดการมีส่วนร่วมของ GPU และ CPU
• การกำหนดเส้นทางแบบปรับได้: บรรเทาจุดร้อนและปรับปรุงการกระจายโหลดข้ามหลายเส้นทาง
• การควบคุมความแออัด: รองรับ DCQCN และกลไกที่เกี่ยวข้องเพื่อรักษาความหน่วงให้คงที่ภายใต้ภาระ
• ระบบนิเวศซอฟต์แวร์: จัดการโดย MLNX-OS และตรวจสอบผ่าน UFM และ NetQ

สถาปนิกควรตรวจสอบเอกสารข้อมูล MQM8790-HS2F และข้อมูลจำเพาะ MQM8790-HS2F สำหรับรายละเอียดเกี่ยวกับพลังงาน การระบายความร้อน และการแยกพอร์ตก่อนที่จะสรุปรูปแบบชั้นวาง สำหรับการจัดทำงบประมาณ ควรตรวจสอบราคา MQM8790-HS2F และตัวเลือก MQM8790-HS2F สำหรับการขายกับช่องทางการจัดซื้อ เนื่องจากราคาจะแตกต่างกันไปตามขนาดและการกำหนดค่า

คำแนะนำในการติดตั้งและขยายระบบ

สำหรับการติดตั้งเริ่มต้น สวิตช์ InfiniBand MQM8790-HS2F เพียงตัวเดียวสามารถทำหน้าที่เป็นทั้ง spine และ core ในคลัสเตอร์ขนาดเล็ก เชื่อมต่อได้สูงสุด 40 โหนดที่ 200Gb/s เมื่อคลัสเตอร์เติบโต จะมีการเพิ่มสวิตช์ spine เพิ่มเติม และผ้าจะเปลี่ยนไปเป็นการออกแบบสองชั้นเต็มรูปแบบพร้อมการแยก leaf-spine

คำแนะนำในการขยาย:

• ระเบียบวินัยในการเดินสาย: สร้างมาตรฐานสำหรับออปติก QSFP56 และประเภท DAC/AOC เพื่อลดความซับซ้อนของอะไหล่และลดความเสี่ยงด้านความเข้ากันได้
• การแยกพอร์ต: ใช้การแยก 2 × 100Gb/s ในกรณีที่ไม่ต้องการ 200Gb/s ต่อโหนด เพื่อเพิ่มประสิทธิภาพของพอร์ต
• เป้าหมายการโอเวอร์ซับสคริปชัน: วางแผนอัตราส่วน spine ต่อ leaf ตามรูปแบบการรับส่งข้อมูลที่เพิ่มขึ้น แทนที่จะเป็นเพียงแบนด์วิดท์ทางทฤษฎีสูงสุด
• พลังงานและการระบายความร้อน: ตรวจสอบพลังงานสำรองต่อชั้นวางเทียบกับการใช้พลังงานที่ระบุของสวิตช์ก่อนที่จะขยายระบบ

การตรวจสอบการดำเนินงาน การแก้ไขปัญหา และการเพิ่มประสิทธิภาพ

การมองเห็นการดำเนินงานมีความสำคัญอย่างยิ่งต่อการรักษาความหน่วงต่ำในระดับที่ใหญ่ โซลูชันสวิตช์ InfiniBand MQM8790-HS2F ควรถูกรวมเข้ากับ UFM สำหรับการตรวจสอบทั่วทั้งผ้า และ NetQ สำหรับข้อมูลทางไกลและการตรวจสอบ

แนวทางปฏิบัติที่แนะนำ ได้แก่:

• ตรวจสอบตัวนับต่อพอร์ตสำหรับข้อผิดพลาด การทิ้ง และเหตุการณ์ความแออัด
• ติดตามผู้สมัครโหนดที่ช้าโดยใช้ข้อมูลทางไกล แทนที่จะพึ่งพาความล้มเหลวระดับงานเพียงอย่างเดียว
• ตรวจสอบความสอดคล้องของเฟิร์มแวร์ในสวิตช์และอะแดปเตอร์ทั้งหมดเพื่อหลีกเลี่ยงปัญหาความเข้ากันได้
• ตรวจสอบการกำหนดค่า SHARP เป็นระยะ เนื่องจากต้นไม้การรวบรวมที่กำหนดค่าผิดพลาดอาจลดประสิทธิภาพลงแทนที่จะปรับปรุง

สรุปและการประเมินมูลค่า

MQM8790-HS2F เป็นรากฐานที่ใช้งานได้จริงสำหรับคลัสเตอร์ RDMA, HPC และ AI ที่ต้องการความหน่วงต่ำที่คาดการณ์ได้และแบนด์วิดท์สูง ด้วยการรวมพอร์ต HDR 40 × 200Gb/s, การประมวลผลในเครือข่าย SHARP และระบบการจัดการที่สมบูรณ์ NVIDIA Mellanox MQM8790-HS2F ช่วยให้สถาปนิกออกแบบผ้าที่ปรับขนาดได้โดยไม่สูญเสียประสิทธิภาพ

จากมุมมองด้านมูลค่า การมีส่วนร่วมของสวิตช์ควรได้รับการประเมินเทียบกับการใช้งานคลัสเตอร์ เวลาในการทำงานให้เสร็จ และภาระการดำเนินงาน แทนที่จะเป็นเพียงจำนวนพอร์ต