โซลูชันทางเทคนิคสวิตช์ InfiniBand ของ NVIDIA Mellanox MQM8790-HS2F

โซลูชันทางเทคนิคของสวิตช์ NVIDIA Mellanox MQM8790-HS2F InfiniBand | การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

1. การวิเคราะห์ความเป็นมาและความต้องการของโครงการ

เนื่องจากคลัสเตอร์การฝึกอบรมปัญญาประดิษฐ์ (AI) ขยายขนาดเป็นหลายพัน GPU และระบบคอมพิวเตอร์ประสิทธิภาพสูง (HPC) ผลักดันไปสู่ประสิทธิภาพระดับ Exascale โครงสร้างเครือข่ายที่เชื่อมต่อกับโหนดคอมพิวเตอร์จึงกลายเป็นปัจจัยกำหนดประสิทธิภาพที่สำคัญ ในสภาพแวดล้อมเหล่านี้ เวลาแฝงไม่ได้เป็นเพียงตัวชี้วัดเท่านั้น แต่ยังส่งผลกระทบโดยตรงต่อประสิทธิภาพของแอปพลิเคชัน เวลาในการแก้ปัญหา และประสิทธิภาพของคลัสเตอร์โดยรวม สำหรับปริมาณงานที่อาศัยการดำเนินการโดยรวม MPI (Message Passing Interface) และรูปแบบการสื่อสารแบบ all-to-all อย่างมาก เช่น การฝึกโมเดลภาษาขนาดใหญ่ พลศาสตร์ของไหลเชิงคำนวณ และการจำลองเคมีควอนตัม แม้แต่เวลาแฝงที่เพิ่มขึ้นระดับไมโครวินาทีก็สามารถแปลเป็นชั่วโมงของรันไทม์เพิ่มเติมได้ เครือข่ายอีเทอร์เน็ตแบบเดิม แม้ว่าจะใช้ RDMA บน Converged Ethernet (RoCE) ก็มักจะประสบปัญหาในการส่งมอบเวลาแฝงที่ต่ำตามที่กำหนดและการดำเนินการที่ปราศจากความแออัดที่จำเป็นสำหรับแอปพลิเคชันที่มีความต้องการสูงเหล่านี้

ความท้าทายนี้ขยายออกไปด้วยแนวโน้มสามประการที่เกิดขึ้นพร้อมกัน ประการแรก ขนาดที่เพิ่มขึ้นของโมเดล AI (ปัจจุบันเกินพารามิเตอร์หลายล้านล้าน) ต้องการการทำงานแบบขนานขนาดใหญ่ใน GPU หลายพันตัว โดยต้องใช้แฟบริคที่สามารถรองรับปริมาณงานสูงโดยมีความแปรปรวนของเวลาแฝงน้อยที่สุด ประการที่สอง การบรรจบกันของปริมาณงาน HPC และ AI หมายความว่าแฟบริคเดี่ยวต้องรองรับทั้งรูปแบบการสื่อสารที่ใช้ MPI และการดำเนินการโดยรวมของ GPU ที่ใช้ NCCL อย่างมีประสิทธิภาพ ประการที่สาม ประสิทธิภาพในการดำเนินงานต้องการให้แฟบริคสามารถจัดการได้ในวงกว้าง โดยมีการตรวจสอบที่ครอบคลุมและความสามารถในการเพิ่มประสิทธิภาพอัตโนมัติ จำเป็นต้องมีโซลูชันทางเทคนิคที่มีโครงสร้าง — โซลูชันที่ใช้ประโยชน์จากสวิตช์ InfiniBand ประสิทธิภาพสูงพร้อมการส่งต่อที่มีเวลาแฝงต่ำ การจัดการความแออัดขั้นสูง และการเร่งความเร็วการประมวลผลในเครือข่าย เพื่อมอบประสิทธิภาพที่คาดการณ์ได้ในวงกว้าง

2. การออกแบบสถาปัตยกรรมเครือข่าย / ระบบโดยรวม

สถาปัตยกรรมที่นำเสนอใช้โทโพโลยีแบบกระดูกสันหลังโดยใช้NVIDIA Mellanox MQM8790-HS2Fสวิตช์เป็นระดับลีฟ ซึ่งเชื่อมต่อกับสวิตช์สไปน์ที่มีความหนาแน่นของพอร์ตสูงกว่า (เช่น ซีรีส์ QM9700 ที่มี 64 พอร์ตของ NDR 400Gb/s) สำหรับแฟบริคขนาดใหญ่ สถาปัตยกรรมได้รับการออกแบบมาเพื่อรองรับการสื่อสารแบบไม่ปิดกั้นด้วยแบนด์วิดท์แบบแบ่งครึ่ง ทำให้มั่นใจได้ว่าโหนดประมวลผลใดๆ สามารถสื่อสารกับโหนดอื่นๆ ด้วยความเร็วสายโดยไม่มีความขัดแย้ง

ในการปรับใช้ทั่วไปสำหรับคลัสเตอร์ 2,000 โหนด สถาปัตยกรรมประกอบด้วย:

• ชั้นใบไม้:20MQM8790-HS2F สวิตช์ InfiniBandแต่ละหน่วยมีพอร์ต QSFP56 จำนวน 40 พอร์ตที่ทำงานที่ 200Gb/s HDR สวิตช์ลีฟแต่ละตัวเชื่อมต่อกับโหนดประมวลผล 50 โหนด (โดยใช้การเชื่อมต่อโดยตรง 200Gb/s และการแยก HDR100 100Gb/s ผ่านสายเคเบิล QSFP56 ถึง 2×QSFP56)
• ชั้นกระดูกสันหลัง:สวิตช์ QM9700 4 ตัว (หรือสวิตช์ความหนาแน่นสูงเทียบเท่า) แต่ละตัวมีพอร์ต 64 พอร์ตที่มี NDR 400Gb/s ให้การเชื่อมต่อแบบ inter-leaf
• โหนดคอมพิวเตอร์:แต่ละโหนดมีอะแดปเตอร์ ConnectX-6 HDR หรือ ConnectX-7 NDR อย่างน้อยหนึ่งตัว ซึ่งเชื่อมต่อกับสวิตช์ลีฟผ่านสายทองแดงแบบพาสซีฟหรือสายออปติคอลแบบแอคทีฟ
• เครือข่ายการจัดการ:เครือข่ายอีเธอร์เน็ตนอกแบนด์แยกต่างหากสำหรับการจัดการสวิตช์ ผสานรวมกับแพลตฟอร์ม NVIDIA Unified Fabric Manager (UFM) สำหรับการตรวจสอบและเพิ่มประสิทธิภาพแฟบริคแบบรวมศูนย์

สถาปัตยกรรมใช้ประโยชน์จากMQM8790-HS2F 200Gb/s HDR 40 พอร์ต QSFP56การกำหนดค่าเพื่อมอบความสามารถในการสลับลีฟรวมที่ 8Tb/s ต่อสวิตช์ การใช้การแบ่ง HDR100 ช่วยให้มีตัวเลือกการเชื่อมต่อที่ยืดหยุ่น: พอร์ต 200Gb/s แต่ละพอร์ตสามารถรองรับอุปกรณ์ปลายทาง 200Gb/s เดียวหรืออุปกรณ์ปลายทาง 100Gb/s สองตัว รองรับโหนดประมวลผลที่ต่างกันด้วยความเร็วอินเทอร์เฟซที่แตกต่างกัน

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox MQM8790-HS2F ในโซลูชัน

ภายในสถาปัตยกรรมแห่งนี้MQM8790-HS2Fทำหน้าที่เป็นลีฟสวิตช์พื้นฐาน ซึ่งให้การเชื่อมต่อที่มีเวลาแฝงต่ำและมีแบนด์วิธสูงไปยังโหนดประมวลผล ในขณะเดียวกันก็รองรับคุณสมบัติขั้นสูงที่จำเป็นสำหรับปริมาณงาน HPC และ AI คุณสมบัติทางเทคนิคที่สำคัญมีความสำคัญต่อความสำเร็จของโซลูชันโดยรวม:

• เวลาแฝงระหว่างพอร์ตต่อพอร์ตต่ำกว่า 100 นาโนวินาที:มอบเวลาแฝงต่ำตามที่กำหนดซึ่งจำเป็นสำหรับกลุ่ม MPI ที่ไวต่อเวลาแฝงและการดำเนินการลดทั้งหมด
• 40 พอร์ต 200Gb/s HDR InfiniBand:ให้ความสามารถในการสลับรวม 8Tb/s ในรูปแบบฟอร์มแฟคเตอร์ 1U ขนาดกะทัดรัด เพิ่มความหนาแน่นของพอร์ตสูงสุดและลดการใช้พื้นที่แร็ค
• รองรับ SHARP (Scalable Hierarchical Aggregation and Reduction Protocol):เปิดใช้งานการเร่งความเร็วการประมวลผลในเครือข่ายสำหรับการดำเนินการโดยรวมของ MPI โดยลดภาระงานการสื่อสารจาก CPU/GPU ได้ถึง 20%
• การกำหนดเส้นทางแบบปรับได้:กระจายการรับส่งข้อมูลแบบไดนามิกผ่านเส้นทางแฟบริคที่มีอยู่ตามตัวชี้วัดความแออัดแบบเรียลไทม์ เพิ่มประสิทธิภาพปริมาณงานและลดความแปรปรวนของเวลาในการตอบสนองให้เหลือน้อยที่สุด
• การควบคุมความแออัด:ใช้กลไกการจัดการความแออัดขั้นสูง (รวมถึงการควบคุมโฟลว์ระดับแพ็กเก็ตและการแจ้งเตือนความแออัด) เพื่อป้องกันไม่ให้ฮอตสปอตเครือข่ายลดประสิทธิภาพลง
• รองรับการฝ่าวงล้อม HDR100:อนุญาตให้กำหนดค่าพอร์ต 200Gb/s แต่ละพอร์ตเป็นพอร์ต 100Gb/s สองพอร์ตแยกกัน ให้ความยืดหยุ่นในการปรับใช้สำหรับสภาพแวดล้อมที่มีความเร็วผสม
• อินเทอร์เฟซการจัดการที่ครอบคลุม:รองรับการจัดการเครือข่ายย่อยที่สอดคล้องกับ IBTA (SM), SNMP, CLI, Web UI และการบูรณาการกับ UFM สำหรับการจัดการแฟบริคแบบรวมศูนย์
• ประสิทธิภาพการใช้พลังงาน:การใช้พลังงานโดยทั่วไปต่ำกว่า 230W ส่งผลให้ความต้องการการระบายความร้อนลดลงและ PUE ที่ได้รับการปรับปรุง

คุณสมบัติเหล่านี้ได้รับการบันทึกไว้อย่างครอบคลุมในเอกสารข้อมูลสินค้า MQM8790-HS2Fซึ่งประกอบด้วยเส้นโค้งประสิทธิภาพโดยละเอียด ข้อมูลจำเพาะด้านความร้อน และแบบเขียนแบบกลไกสำหรับการผสานรวมเข้ากับเครื่องมือเค้าโครงชั้นวาง

4. คำแนะนำในการปรับใช้และการปรับขนาด (พร้อมคำอธิบายโทโพโลยีทั่วไป)

สำหรับการปรับใช้ครั้งแรก เราขอแนะนำกลยุทธ์การขยายแบบโมดูลาร์ตามสถาปัตยกรรมระดับพ็อด แต่ละพ็อดประกอบด้วยสวิตช์ลีฟ 4 อันและสวิตช์สไปน์ 2 อัน ซึ่งรองรับโหนดประมวลผลประมาณ 400 โหนดพร้อมแบนด์วิดท์แบบแบ่งครึ่งเต็ม ที่โซลูชันสวิตช์ InfiniBand MQM8790-HS2Fเปิดใช้งานการปรับขนาดเพิ่มเติมโดยการเพิ่มพ็อดเมื่อความสามารถในการคำนวณเพิ่มขึ้น โดยระดับกระดูกสันหลังให้การเชื่อมต่อระหว่างพ็อดสำหรับแฟบริคที่เป็นหนึ่งเดียว

โทโพโลยีทั่วไปสำหรับพ็อดเดียว (โหนดประมวลผล 400 โหนด):

• สวิตช์ใบไม้:4 × MQM8790-HS2F แต่ละพอร์ตมี 40 พอร์ตที่ความเร็ว 200Gb/s พอร์ต 36 พอร์ตต่อลีฟใช้สำหรับการเชื่อมต่อโหนดคอมพิวเตอร์ (รองรับสูงสุด 72 โหนดต่อลีฟโดยใช้การแบ่ง HDR100) ในขณะที่ 4 พอร์ตต่อลีฟใช้สำหรับอัปลิงก์สไปน์
• สวิตช์กระดูกสันหลัง:2 × QM9700 (หรือสวิตช์ NDR 64 พอร์ตที่เทียบเท่า) แต่ละตัวเชื่อมต่อกับสวิตช์ลีฟทั้ง 4 ตัวผ่านอัปลิงก์ 400Gb/s (โดยใช้สายเคเบิล QSFP56 4×200Gb/s ถึง QSFP-DD)
• โหนดคอมพิวเตอร์:400 โหนด แต่ละโหนดเชื่อมต่อกับลีฟสวิตช์ผ่านการเชื่อมต่อ 200Gb/s เดียวหรือการเชื่อมต่อ HDR100 100Gb/s คู่

ขยายขนาดเกินกว่าพ็อดเดียว:

• เพิ่มพ็อดเพิ่มเติม (แต่ละตัวมีสวิตช์ MQM8790-HS2F 4 บาน) ตามความสามารถในการประมวลผลที่ต้องการ
• เชื่อมต่อพ็อดผ่านเลเยอร์สไปน์ (ซูเปอร์สไพน์) ที่สูงกว่าโดยใช้สวิตช์ QM9700 หรือ NDR เพิ่มเติม
• รักษาความสม่ำเสมอของเนื้อผ้าโดยใช้MQM8790-HS2Fในทุกตำแหน่งลีฟ รับประกันเวลาแฝงที่สม่ำเสมอและการจัดการทั่วทั้งแฟบริค

เมื่อปรับใช้MQM8790-HS2Fในโหมดฝ่าวงล้อม HDR100 ให้ใช้แนวทางการเดินสายเคเบิลต่อไปนี้:

สำหรับแฟบริคขนาดใหญ่ที่มีโหนดมากกว่า 2,000 โหนด เราขอแนะนำให้ใช้ความสามารถในการจำลองแฟบริคของ UFM เพื่อตรวจสอบการออกแบบโทโพโลยีและพฤติกรรมความแออัดก่อนการใช้งาน

5. การดำเนินงานและการบำรุงรักษา: การตรวจสอบ การแก้ไขปัญหา และการเพิ่มประสิทธิภาพ

วงจรการใช้งาน InfiniBand ที่ใช้ MQM8790-HS2F ต้องใช้แนวทางที่เป็นระบบในการตรวจสอบ การแก้ไขปัญหา และการปรับให้เหมาะสม เราขอแนะนำให้ปรับใช้แพลตฟอร์ม NVIDIA UFM เป็นเครื่องมือการจัดการและการตรวจสอบจากส่วนกลาง โดยให้การมองเห็นแบบเรียลไทม์เกี่ยวกับประสิทธิภาพของแฟบริค ตัวชี้วัดเวลาแฝง และรูปแบบความแออัด

ตัวชี้วัดการตรวจสอบที่สำคัญในการติดตาม:

• เวลาแฝงระดับพอร์ต:เวลาแฝงตั้งแต่ต้นทางถึงปลายทางทั่วทั้งแฟบริค พร้อมการแจ้งเตือนสำหรับพอร์ตที่เกินขีดจำกัดเวลาแฝง
• ปริมาณงานและการใช้ประโยชน์:รวบรวมและปริมาณงานต่อพอร์ต ระบุลิงก์ที่ใช้งานน้อยเกินไปหรือใช้งานมากเกินไป
• ตัวชี้วัดความแออัด:แพ็กเก็ตลดลง เฟรมหยุดชั่วคราว และเหตุการณ์การแจ้งเตือนความแออัด
• สุขภาพผ้า:สถานะลิงก์ ตัวนับข้อผิดพลาด และการวัดและส่งข้อมูลทางไกลอุณหภูมิ/กำลัง

โปรโตคอลการแก้ไขปัญหาสำหรับปัญหาทั่วไป:

1. ความหน่วงแฝงลดลง:ใช้เครื่องมือวิเคราะห์เวลาแฝงของ UFM เพื่อระบุเส้นทางหรือพอร์ตเฉพาะที่ประสบกับเวลาแฝงที่เพิ่มขึ้น ตรวจสอบความแออัดหรือการกำหนดค่าเส้นทางที่ปรับเปลี่ยนไม่ถูกต้อง
2. ลิงค์ผิดพลาดหรือหลุด:ตรวจสอบการเชื่อมต่อทางกายภาพ (สายเคเบิล ออปติก) และตัวนับข้อผิดพลาดของพอร์ต ตรวจสอบให้แน่ใจว่ารองรับ MQM8790-HS2Fมีการใช้สายเคเบิลและเลนส์ตามข้อมูลจำเพาะ MQM8790-HS2F.
3. ปัญหาการจัดการซับเน็ต:ตรวจสอบว่า Subnet Manager (SM) กำลังทำงานอยู่ และโครงสร้างทอพอโลยีแฟบริคถูกค้นพบอย่างถูกต้อง ตรวจสอบเหตุการณ์การเฟลโอเวอร์ของ SM

คำแนะนำในการเพิ่มประสิทธิภาพ:

• การปรับเส้นทางแบบปรับได้:ปรับพารามิเตอร์อัลกอริธึมการกำหนดเส้นทางตามรูปแบบการรับส่งข้อมูลที่สังเกตได้ — ใช้ UFM เพื่อจำลองนโยบายการกำหนดเส้นทางที่แตกต่างกันก่อนที่จะนำไปใช้กับแฟบริคการผลิต
• การกำหนดค่าการควบคุมความแออัด:เปิดใช้งานและปรับแต่งกลไกการควบคุมความแออัด (เช่น การกำหนดความเร็วของแพ็กเก็ตและการควบคุมโฟลว์ลำดับความสำคัญ) ตามลักษณะปริมาณงาน — การฝึกอบรม AI ได้รับประโยชน์จากการควบคุมความแออัดเชิงรุกมากขึ้นเมื่อเปรียบเทียบกับปริมาณงาน HPC
• อัพเดตเฟิร์มแวร์และซอฟต์แวร์:อัปเดตเฟิร์มแวร์สวิตช์และซอฟต์แวร์ UFM เป็นประจำเพื่อเข้าถึงการปรับปรุงประสิทธิภาพและคุณสมบัติใหม่
• การตรวจสอบแฟบริคเป็นระยะ:ดำเนินการตรวจสอบสายเคเบิล พลังงาน และระบบทำความเย็นเป็นประจำ เพื่อให้มั่นใจถึงความน่าเชื่อถือในการปฏิบัติงานในวงกว้าง

6. สรุปและการประเมินมูลค่า

ที่NVIDIA Mellanox MQM8790-HS2Fโซลูชันทางเทคนิคแบบพื้นฐานมอบวิธีการที่ครอบคลุมและได้รับการตรวจสอบภาคสนามเพื่อเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันที่มีเวลาแฝงต่ำในคลัสเตอร์ RDMA/HPC/AI ด้วยการใช้ประโยชน์จากพอร์ต 40 พอร์ตของสวิตช์ที่มี HDR InfiniBand 200Gb/s, ความหน่วงต่ำกว่า 100 นาโนวินาที, การประมวลผลในเครือข่าย SHARP และความสามารถในการกำหนดเส้นทางแบบปรับเปลี่ยนได้ องค์กรต่างๆ จะสามารถสร้างแฟบริคที่ให้ประสิทธิภาพที่คาดการณ์ได้ในวงกว้าง ในขณะเดียวกันก็ทำให้การจัดการง่ายขึ้นและลดค่าใช้จ่ายในการดำเนินงาน

ตัวชี้วัดค่าหลักจากการปรับใช้ที่เปรียบเทียบได้ ได้แก่:

• การลดความหน่วง:เวลาแฝงระหว่างพอร์ตต่อพอร์ตที่ต่ำกว่า 100 นาโนวินาที ช่วยลดเวลาการทำงานเสร็จสิ้นโดยรวมของ MPI ได้ถึง 35% เมื่อเทียบกับแฟบริครุ่นก่อนหน้า
• การเร่งความเร็วแอปพลิเคชัน:ออฟโหลดการประมวลผลในเครือข่ายของ SHARP ช่วยลดค่าใช้จ่ายในการสื่อสารของ CPU/GPU ได้ถึง 20% และเร่งเวลายุคการฝึกอบรม AI ขึ้น 25–30%
• ประสิทธิภาพของผ้า:การกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัดจะรักษาประสิทธิภาพที่สม่ำเสมอภายใต้โหลดที่แตกต่างกัน ซึ่งช่วยลดความแปรปรวนของประสิทธิภาพได้มากถึง 60%
• ลดความซับซ้อนในการดำเนินงาน:การบูรณาการ UFM ให้การมองเห็นที่ครอบคลุมและระบบอัตโนมัติ โดยลด MTTR สำหรับเหตุการณ์ Fabric ได้ถึง 50%
• ประสิทธิภาพด้านต้นทุน:ที่ราคา MQM8790-HS2Fเมื่อรวมกับความหนาแน่นของพอร์ตที่สูง ทำให้ต้นทุนต่อพอร์ตลดลงเมื่อเปรียบเทียบกับโซลูชัน InfiniBand ทางเลือก ในขณะที่ลดพื้นที่ชั้นวางและความต้องการพลังงาน

สำหรับสถาปนิกเครือข่ายและผู้นำด้านวิศวกรรม MQM8790-HS2F นำเสนอรากฐานที่ปรับขนาดได้และประสิทธิภาพสูงสำหรับคลัสเตอร์ HPC และ AI รุ่นต่อไป โซลูชันนี้ได้รับการแนะนำเป็นพิเศษสำหรับองค์กรที่ใช้สภาพแวดล้อมที่เร่งด้วย GPU ขนาดใหญ่ รวมถึงศูนย์ HPC แบบดั้งเดิมที่อัปเกรดจากแฟบริค 100Gb/s เป็น 200Gb/s เนื่องจาก InfiniBand ยังคงพัฒนาไปสู่ ​​NDR (400Gb/s) และ XDR (800Gb/s) การรองรับของ MQM8790-HS2F สำหรับการแบ่ง HDR100 ช่วยให้มั่นใจได้ถึงความเข้ากันได้กับโครงสร้างพื้นฐานที่มีอยู่ ในขณะเดียวกันก็ให้เส้นทางการโยกย้ายที่ชัดเจนไปสู่ความเร็วในอนาคต

สำหรับเทมเพลตการออกแบบแฟบริคโดยละเอียด คู่มือการปรับแต่งประสิทธิภาพ และรายการตรวจสอบการใช้งาน โปรดดูที่เอกสารข้อมูลสินค้า MQM8790-HS2Fและเอกสารประกอบสถาปัตยกรรม NVIDIA Mellanox InfiniBand