Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch ทางเทคนิค

1. ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

คลัสเตอร์การฝึก AI สมัยใหม่และสภาพแวดล้อมการประมวลผลประสิทธิภาพสูง (HPC) เผชิญกับความท้าทายในการปรับขนาดที่พบบ่อย: เมื่อจำนวน GPU และความหนาแน่นของการประมวลผลเพิ่มขึ้น เครือข่าย Ethernet แบบดั้งเดิมจะกลายเป็นคอขวดหลักเนื่องจากโอเวอร์เฮด TCP/IP การสูญเสียแพ็กเก็ต และความหน่วงแฝงที่คาดเดาไม่ได้ สำหรับเวิร์กโหลดที่ต้องพึ่งพา RDMA (Remote Direct Memory Access) แม้แต่ความผันผวนระดับไมโครวินาทีก็สามารถลดประสิทธิภาพการใช้งาน GPU ลงได้ 30-40% สวิตช์ Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand แก้ปัญหาเหล่านี้โดยตรงด้วยการจัดหาเครือข่ายที่ไม่มีการสูญเสียและกำหนดได้ ซึ่งปรับให้เหมาะสมสำหรับการดำเนินการแบบรวม (collective operations) อัลกอริทึม all-reduce และการสื่อสาร MPI ความถี่สูง

ข้อกำหนดหลักสำหรับเครือข่าย AI/HPC รุ่นต่อไป ได้แก่: ความหน่วงแฝงในการสลับน้อยกว่าไมโครวินาที การรองรับความเร็ว 400Gb/s NDR การประมวลผลในเครือข่ายด้วยฮาร์ดแวร์ (SHARP v2) และความเข้ากันได้แบบย้อนหลังกับโครงสร้างพื้นฐาน HDR ที่มีอยู่ 920-9B210-00FN-0D0 ตรงตามเกณฑ์ทั้งหมดเหล่านี้ พร้อมทั้งนำเสนอการจัดการระดับองค์กรและเทเลเมทรี

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมที่แนะนำมีศูนย์กลางอยู่ที่โทโพโลยีแบบ fat-tree สองชั้น (spine-leaf) ซึ่งให้แบนด์วิดท์การแบ่งครึ่งเต็มรูปแบบและความหน่วงแฝงที่กำหนดได้สำหรับรูปแบบการสื่อสารแบบ all-to-all ที่พบได้ทั่วไปในการฝึกแบบกระจาย ชั้น spine ประกอบด้วยสวิตช์ NVIDIA Mellanox 920-9B210-00FN-0D0 โดยแต่ละสวิตช์ทำงานเป็น spine ของเครือข่าย NDR สวิตช์ leaf (เช่น ซีรีส์ QM9700) เชื่อมต่อกับโหนดประมวลผลผ่านอะแดปเตอร์ ConnectX-7 หรือ BlueField-3 ในขณะที่ uplink ไปยัง spine ทำงานด้วยความเร็ว 400Gb/s NDR

สำหรับการปรับใช้ขนาดใหญ่ที่เกิน 2,000 GPU สามารถใช้สถาปัตยกรรมสามชั้น (core-aggregation-access) โดยหน่วย 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR ทำหน้าที่เป็นทั้งสวิตช์ core และ aggregation การออกแบบนี้ช่วยให้มั่นใจได้ถึงการปรับขนาดประสิทธิภาพแบบเชิงเส้นและรองรับการขยายในอนาคตเป็น NDR200 (800Gb/s) โดยไม่ต้องอัปเกรดครั้งใหญ่ OPN ของสวิตช์ 920-9B210-00FN-0D0 InfiniBand switch OPN อย่างเป็นทางการ ช่วยให้การจัดซื้อหลายไซต์ง่ายขึ้นและรับประกันความสอดคล้องของเฟิร์มแวร์ทั่วทั้งเครือข่าย

3. บทบาทและคุณสมบัติหลักของ 920-9B210-00FN-0D0 ในโซลูชัน

920-9B210-00FN-0D0 ทำหน้าที่เป็นองค์ประกอบ spine/core ประสิทธิภาพสูงภายในเครือข่าย InfiniBand ความสามารถหลัก ได้แก่:

• ความหนาแน่นของพอร์ต 400Gb/s NDR: สวิตช์ 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR แต่ละตัวมีพอร์ต 400Gb/s สูงสุด 32 พอร์ต รองรับทั้งตัวรับส่งสัญญาณทองแดงและแสงสำหรับการเชื่อมต่อที่ยืดหยุ่นสูงสุด 500 เมตร (โหมดเดี่ยว)
• การประมวลผลในเครือข่าย (SHARP v2): การดำเนินการ all-reduce ที่เร่งด้วยฮาร์ดแวร์ช่วยลดเวลาการสื่อสารแบบรวมได้ถึง 8 เท่าสำหรับเวิร์กโหลดการฝึก AI ซึ่งช่วยเพิ่มประสิทธิภาพการใช้งาน GPU โดยตรง
• การกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัด: การเลือกเส้นทางแบบไดนามิกหลีกเลี่ยงการเกิดจุดร้อนและรับประกันความหน่วงแฝงที่กำหนดได้ภายใต้รูปแบบการรับส่งข้อมูลแบบ incast
• ทางเลือกแทน RDMA over Converged Ethernet (RoCE): แตกต่างจาก RoCE, InfiniBand แบบเนทีฟบน 920-9B210-00FN-0D0 ไม่ต้องการการกำหนดค่า PFC และให้ประสิทธิภาพที่สม่ำเสมอแม้ที่การใช้งานลิงก์ 95%

วิศวกรสามารถปรึกษา เอกสารข้อมูล 920-9B210-00FN-0D0 และ ข้อมูลจำเพาะ 920-9B210-00FN-0D0 สำหรับรายละเอียดเกี่ยวกับพลังงาน (ทั่วไป 350W) ความร้อน และตัวเลขความหน่วงแฝง (ความล่าช้าในการสลับน้อยกว่า 200ns) สวิตช์นี้ เข้ากันได้กับ 920-9B210-00FN-0D0 อย่างสมบูรณ์กับจุดปลาย InfiniBand ของ NVIDIA หลักทั้งหมดและออปติก NDR ของบุคคลที่สาม

4. คำแนะนำในการปรับใช้และการปรับขนาด (ตัวอย่างโทโพโลยี)

คลัสเตอร์ขนาดเล็ก (128-256 GPU): สไปน์เดียวของสวิตช์ 920-9B210-00FN-0D0 2 ตัว แต่ละตัวเชื่อมต่อกับสวิตช์ leaf 8-16 ตัว ให้แบนด์วิดท์การแบ่งครึ่งเต็มรูปแบบและความซ้ำซ้อน คลัสเตอร์ขนาดกลาง (512-1024 GPU): สวิตช์สไปน์สี่ตัวในการกำหนดค่าแบบไม่ปิดกั้น โดยแต่ละสวิตช์ leaf มี uplink 4 ตัว (2 ต่อสไปน์) โทโพโลยีนี้ช่วยให้มั่นใจได้ว่าไม่มีลิงก์เดียวเกิน 80% ของการใช้งานภายใต้การรับส่งข้อมูลสูงสุด คลัสเตอร์ขนาดใหญ่ (2048+ GPU): ชั้น core ประกอบด้วยสวิตช์ NVIDIA Mellanox 920-9B210-00FN-0D0 8 ตัว ชั้น aggregation ใช้โมเดลเดียวกัน และชั้น access ใช้ซีรีส์ QM9700 การเชื่อมต่อทั้งหมดที่ 400Gb/s NDR พร้อมความพร้อมสำหรับ NDR200 (เป็นทางเลือก)

สำหรับองค์กรที่ประเมินต้นทุน ราคา 920-9B210-00FN-0D0 อยู่ในตำแหน่งที่แข่งขันได้เมื่อเทียบกับสวิตช์ Ethernet ระดับไฮเอนด์ เมื่อพิจารณาต้นทุนรวมในการเป็นเจ้าของ (TCO) หน่วยมีจำหน่ายเป็น 920-9B210-00FN-0D0 สำหรับขาย ผ่านเครือข่ายการจัดจำหน่ายที่ได้รับอนุญาตของ NVIDIA โดยมีระยะเวลารอคอยทั่วไป 4-6 สัปดาห์

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการปรับปรุงประสิทธิภาพ

การจัดการจะรวมศูนย์ผ่าน NVIDIA Unified Fabric Manager (UFM) ซึ่งให้เทเลเมทรีแบบเรียลไทม์ การวิเคราะห์ความล้มเหลวเชิงคาดการณ์ และการแก้ไขอัตโนมัติ แนวทางปฏิบัติในการดำเนินงานที่สำคัญสำหรับโซลูชัน โซลูชัน 920-9B210-00FN-0D0 InfiniBand switch OPN ได้แก่:

• เกณฑ์มาตรฐานประสิทธิภาพ: ใช้แผนที่ความร้อนความหน่วงแฝงของ UFM เพื่อระบุ micro-bursts ข้อมูลจำเพาะ 920-9B210-00FN-0D0 ยืนยันตัวนับฮาร์ดแวร์สำหรับเครื่องหมาย ECN และการครอบครองบัฟเฟอร์
• การจัดการเฟิร์มแวร์: รักษาทุกหน่วยบนสาขาเฟิร์มแวร์ NDR เดียวกัน เอกสารข้อมูล 920-9B210-00FN-0D0 มีเมทริกซ์ความเข้ากันได้สำหรับ ConnectX-7 และ BlueField-3
• สถานการณ์ข้อผิดพลาด: แหล่งจ่ายไฟและโมดูลพัดลมสำรองช่วยให้มีความซ้ำซ้อนแบบ N+1 UFM สามารถกำหนดเส้นทางการรับส่งข้อมูลใหม่รอบลิงก์หรือสวิตช์ที่ล้มเหลวได้โดยอัตโนมัติ
• เคล็ดลับการปรับปรุงประสิทธิภาพ: เปิดใช้งานการกำหนดเส้นทางแบบปรับได้บนพอร์ต spine ทั้งหมด ปิดใช้งาน global pause frames กำหนดค่า SHARP สำหรับเวิร์กโหลดที่เน้น all-reduce ใช้ตัวระบุ 920-9B210-00FN-0D0 InfiniBand switch OPN เพื่อจับคู่พอร์ตทางกายภาพกับบทบาทเชิงตรรกะ

6. สรุปและการประเมินมูลค่า

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 เป็นส่วนประกอบพื้นฐานสำหรับเครือข่าย AI และ HPC ประสิทธิภาพสูง ด้วยการให้แบนด์วิดท์ 400Gb/s NDR ความหน่วงแฝงในการสลับน้อยกว่าไมโครวินาที และการประมวลผลในเครือข่าย SHARP v2 จึงช่วยขจัดคอขวดของเครือข่ายที่มักจำกัดการปรับขนาด GPU 920-9B210-00FN-0D0 ไม่ใช่แค่สวิตช์ แต่เป็น โซลูชัน 920-9B210-00FN-0D0 InfiniBand switch OPN ที่สมบูรณ์ ซึ่งรวมถึงความเข้ากันได้เต็มรูปแบบกับโครงสร้างพื้นฐาน HDR ที่มีอยู่ การจัดการระดับองค์กรผ่าน UFM และเส้นทางการย้ายที่ชัดเจนไปยังความเร็ว NDR200 ในอนาคต สำหรับสถาปนิกเครือข่ายและผู้จัดการฝ่ายไอทีที่ต้องการเพิ่มประสิทธิภาพการเชื่อมต่อคลัสเตอร์ RDMA/HPC/AI สวิตช์นี้ให้ผลตอบแทนจากการลงทุนที่วัดผลได้ผ่านการใช้งาน GPU ที่สูงขึ้น เวลาในการทำงานเสร็จสมบูรณ์ที่ลดลง และค่าใช้จ่ายในการดำเนินงานที่ลดลง

การอ้างอิงข้อมูลจำเพาะหลัก