NVIDIA Mellanox 920-9B210-00FN-0D0 เอกสารอ้างอิงทางเทคนิค: การปรับแต่งการเชื่อมต่อความหน่วงต่ำ 400Gb/s NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 เอกสารอ้างอิงทางเทคนิค: การปรับแต่งการเชื่อมต่อความหน่วงต่ำพิเศษ 400Gb/s NDR สำหรับคลัสเตอร์ RDMA/HPC/AI

1. ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

เมื่อคลัสเตอร์การฝึกอบรม AI ขยายขนาดจากหลายพันเป็นหลายหมื่น GPU และการจำลอง HPC เข้าใกล้ประสิทธิภาพระดับ Exascale การเชื่อมต่อเครือข่ายต้องเผชิญกับความต้องการแบนด์วิดท์ ความหน่วง และความแน่นอนที่ไม่เคยมีมาก่อน การเปลี่ยนจาก 200Gb/s HDR เป็น 400Gb/s NDR ไม่ใช่ทางเลือกอีกต่อไป แต่เป็นความจำเป็นเชิงกลยุทธ์สำหรับองค์กรที่ใช้งานโมเดลพารามิเตอร์หลายล้านล้านและคอมพิวเตอร์แบบขนานขนาดใหญ่พิเศษ ในสภาพแวดล้อมการใช้งานชั้นนำหลายแห่ง ข้อกำหนดหลักสามารถสรุปได้ดังนี้:

• ความหน่วงต่ำพิเศษที่แน่นอน: การสื่อสารแบบรวมกลุ่ม MPI และ all-to-all ต้องรักษาความหน่วงจากพอร์ตถึงพอร์ตต่ำกว่า 100ns เพื่อลดผลกระทบจากค่าใช้จ่ายในการสื่อสารต่อการบรรจบกันของการฝึกอบรม
• เครือข่ายที่ไม่มีการสูญเสียในขนาดใหญ่: การสูญเสียแพ็กเก็ตเป็นศูนย์ในจุดปลายหลายพันจุด เพื่อให้มั่นใจว่าประสิทธิภาพ RDMA จะไม่ลดลงภายใต้สภาวะการใช้งานที่หนาแน่น
• การประมวลผลแบบออฟโหลดในเครือข่าย: การออฟโหลดการดำเนินการแบบรวมกลุ่ม (all-reduce, all-to-all, broadcast) ไปยังเครือข่ายสวิตช์ เพื่อเพิ่มทรัพยากร CPU/GPU ของโฮสต์
• ความสามารถในการปรับขนาดแบบ High-radix: รองรับโทโพโลยีแบบ fat-tree และ dragonfly+ ด้วยแบนด์วิดท์การแบ่งส่วนเต็มรูปแบบที่ 8,000+ โหนด
• การปกป้องการลงทุน: ความเข้ากันได้ที่ราบรื่นกับสายเคเบิล, ออปติก และเครื่องมือจัดการ HDR ที่มีอยู่สำหรับการอัปเกรดแบบเป็นระยะ

เพื่อตอบสนองข้อกำหนดเหล่านี้ โซลูชันนี้จึงนำ NVIDIA Mellanox 920-9B210-00FN-0D0 มาใช้เป็นส่วนประกอบหลัก ซึ่งเป็นสวิตช์ InfiniBand 400Gb/s NDR ที่ออกแบบมาโดยเฉพาะสำหรับการใช้งานระดับ Exascale

2. การออกแบบสถาปัตยกรรมเครือข่ายโดยรวม

โซลูชันที่นำเสนอใช้โทโพโลยีแบบ leaf-spine สองระดับ ซึ่งให้เครือข่ายที่ปรับขนาดได้ ไม่มีการบล็อก ด้วยความหน่วงที่แน่นอนและการเดินสายที่ง่ายขึ้น ที่ระดับ leaf สวิตช์แต่ละแร็คจะติดตั้งหน่วย 920-9B210-00FN-0D0 InfiniBand switch OPN หนึ่งหรือสองหน่วย ให้การเชื่อมต่อ 400Gb/s NDR 64 พอร์ตไปยังเซิร์ฟเวอร์ GPU ผ่านสายเคเบิล OSFP direct-attach copper (DAC) หรือ active optical cables (AOC) ที่ระดับ spine สวิตช์ชั้นที่สองของ 920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDR เชื่อมต่อสวิตช์ leaf ทั้งหมด สร้างเครือข่าย fat-tree ที่มีแบนด์วิดท์การแบ่งส่วนเต็มรูปแบบ

สำหรับคลัสเตอร์ที่มีโหนดมากกว่า 5,000 โหนด สามารถใช้สถาปัตยกรรม folded-Clos สามระดับ โดย 920-9B210-00FN-0D0 ทำหน้าที่เป็นทั้ง leaf และ spine เพื่อรักษาประสิทธิภาพที่สม่ำเสมอในทุกระดับ สวิตช์รองรับสวิตช์สูงสุด 64 ตัวในเครือข่ายเดียวภายใต้ subnet manager เดียว ทำให้สามารถควบคุมโทโพโลยีขนาดใหญ่ได้อย่างเป็นเอกภาพ

ตารางต่อไปนี้สรุปพารามิเตอร์การปรับขนาดที่สำคัญสำหรับเครือข่าย NDR แบบ 2 ระดับที่สร้างขึ้นรอบๆ 920-9B210-00FN-0D0:

3. บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox 920-9B210-00FN-0D0

ภายในสถาปัตยกรรมนี้ NVIDIA Mellanox 920-9B210-00FN-0D0 ทำหน้าที่เป็นองค์ประกอบการสวิตช์พื้นฐาน โดยให้ความสามารถที่สำคัญหลายประการที่ตอบสนองข้อกำหนดที่ระบุไว้ในส่วนที่ 1 โดยตรง:

• 64 พอร์ต 400Gb/s NDR: พอร์ต OSFP แต่ละพอร์ตรองรับ 400Gb/s แบบสองทิศทางพร้อม forward error correction (FEC) สำหรับการเชื่อมต่อระยะไกลที่เชื่อถือได้ ความจุการสวิตช์รวม 51.2 Tb/s ให้พื้นที่เพียงพอสำหรับเวิร์กโหลดที่ต้องการการสื่อสารมากที่สุด
• ความหน่วงแบบ cut-through ต่ำพิเศษ: ความหน่วงจากพอร์ตถึงพอร์ตต่ำกว่า 100ns ตามที่ระบุไว้ใน เอกสารข้อมูล 920-9B210-00FN-0D0 ทำให้มั่นใจได้ว่ามีค่าใช้จ่ายน้อยที่สุดสำหรับการดำเนินการ MPI และ RDMA
• การประมวลผลแบบออฟโหลด SHARPv3 ในตัว: ออฟโหลดการดำเนินการแบบรวมกลุ่มจาก CPU โฮสต์ ลดความหน่วง all-reduce ลงสูงสุด 40% และ all-to-all ลงสูงสุด 35% ในงานขนาดใหญ่
• การกำหนดเส้นทางแบบปรับได้และการควบคุมความหนาแน่น: กำหนดเส้นทางการรับส่งข้อมูลใหม่แบบไดนามิกเพื่อหลีกเลี่ยงจุดที่หนาแน่น รักษาประสิทธิภาพที่คาดการณ์ได้ภายใต้รูปแบบการรับส่งข้อมูลที่ท้าทาย การวัดค่าขั้นสูงให้การมองเห็นแบบต่อโฟลว์และต่อพอร์ตสำหรับการจัดการเชิงรุก
• การจัดการที่ครอบคลุม: การรวมเข้ากับ NVIDIA Unified Fabric Manager (UFM) อย่างสมบูรณ์สำหรับการจัดเตรียมแบบ zero-touch, การตรวจสอบสุขภาพ และการทำงานสำรองอัตโนมัติ

ข้อมูลจำเพาะ 920-9B210-00FN-0D0 ยังเน้นย้ำถึงแหล่งจ่ายไฟแบบคู่สำรอง, โมดูลพัดลมที่สามารถเปลี่ยนได้ขณะทำงาน และการรองรับการกำหนดค่า subnet manager แบบสำรอง เพื่อให้มั่นใจถึงความพร้อมใช้งาน 99.999% สำหรับเวิร์กโหลดที่สำคัญต่อภารกิจ

4. คำแนะนำในการติดตั้งและปรับขนาด

สำหรับองค์กรที่วางแผนจะนำ โซลูชัน 920-9B210-00FN-0D0 InfiniBand switch OPN มาใช้ ขอแนะนำแนวทางการติดตั้งดังนี้:

• กลยุทธ์การเดินสาย: ใช้สายเคเบิล DAC แบบ OSFP-to-OSFP สำหรับการเชื่อมต่อภายในแร็ค (สูงสุด 3 เมตร) และ AOC หรือตัวรับส่งสัญญาณออปติคัลสำหรับการเชื่อมต่อระหว่างแร็คและ spine-leaf (สูงสุด 100 เมตร) ตรวจสอบว่าสายเคเบิลทั้งหมด เข้ากันได้กับ 920-9B210-00FN-0D0 ตามเมทริกซ์ความเข้ากันได้ของ NVIDIA เพื่อหลีกเลี่ยงปัญหาความสมบูรณ์ของสัญญาณ
• การทำงานสำรอง: ติดตั้งแหล่งจ่ายไฟคู่ที่เชื่อมต่อกับ PDU แยกกัน ใช้สวิตช์ spine อย่างน้อยสองตัวต่อ leaf เพื่อกำจัดจุดที่ล้มเหลวเพียงจุดเดียว สำหรับเวิร์กโหลดที่สำคัญต่อภารกิจ ให้พิจารณาการทำงานสำรองแบบ N+1 ที่ระดับ spine
• การจัดการเฟิร์มแวร์: ตรวจสอบให้แน่ใจว่าสวิตช์ทั้งหมดใช้เวอร์ชันเฟิร์มแวร์ NVIDIA ที่เหมือนกัน ใช้คุณสมบัติการอัปเกรดเฟิร์มแวร์อัตโนมัติของ UFM สำหรับการอัปเดตแบบ rolling โดยไม่ต้องหยุดทำงาน ตรวจสอบความเข้ากันได้ของเฟิร์มแวร์กับอะแดปเตอร์โฮสต์และสายเคเบิลก่อนการติดตั้ง
• เส้นทางการปรับขนาด: สำหรับคลัสเตอร์ที่มีโหนดมากกว่า 4,096 โหนด ให้เปลี่ยนไปใช้โทโพโลยี folded-Clos สามระดับ หรือใช้ dragonfly+ พร้อมการกำหนดเส้นทางแบบปรับได้ 920-9B210-00FN-0D0 รองรับสวิตช์สูงสุด 64 ตัวในเครือข่ายเดียว โดยมีเครือข่ายหลายเครือข่ายเชื่อมต่อกันผ่านเกตเวย์สำหรับการใช้งานที่ใหญ่ขึ้น
• การตรวจสอบประสิทธิภาพ: ก่อนการติดตั้งใช้งานจริง ให้ทำการทดสอบความเครียดอย่างครอบคลุมโดยใช้เกณฑ์มาตรฐานประสิทธิภาพ OpenFabrics Enterprise Distribution (OFED) เพื่อตรวจสอบประสิทธิภาพของเครือข่ายเทียบกับ เอกสารข้อมูล 920-9B210-00FN-0D0ของเอกสารข้อมูล

เมื่อคำนวณต้นทุนรวมในการเป็นเจ้าของ ให้พิจารณาจำนวนระดับสวิตช์ที่ลดลงและการเดินสายที่ง่ายขึ้นเมื่อเทียบกับทางเลือกที่มี radix ต่ำกว่า แม้ว่า ราคา 920-9B210-00FN-0D0 ต่อหน่วยจะสูงกว่าสวิตช์ HDR แต่ต้นทุนต่อพอร์ตและต้นทุนเครือข่ายต่อ GPU นั้นต่ำกว่าอย่างมากในการใช้งานขนาดใหญ่ ทำให้เป็นตัวเลือกที่คุ้มค่าสำหรับโครงการระดับ Exascale

5. การดำเนินงาน การตรวจสอบ และการแก้ไขปัญหา

การจัดการเครือข่าย NDR ที่มีประสิทธิภาพต้องใช้กรอบการทำงานการตรวจสอบและแก้ไขปัญหาที่ครอบคลุม UFM ของ NVIDIA ให้มุมมองเดียวสำหรับเครือข่ายทั้งหมดที่ใช้ NVIDIA Mellanox 920-9B210-00FN-0D0 โดยนำเสนอ:

• การแสดงภาพโทโพโลยี: การค้นพบอัตโนมัติและการแสดงผลแบบกราฟิกของสวิตช์ ลิงก์ และจุดปลายทั้งหมด พร้อมการอัปเดตสถานะแบบเรียลไทม์
• แดชบอร์ดประสิทธิภาพ: มุมมองแบบเรียลไทม์ของการใช้งานพอร์ต, อัตราข้อผิดพลาด, ตัวบ่งชี้ความหนาแน่น และการครอบครองบัฟเฟอร์ทั่วทั้งเครือข่าย
• การแจ้งเตือนเชิงรุก: การแจ้งเตือนตามเกณฑ์สำหรับความเสื่อมของลิงก์, ความผิดปกติของอุณหภูมิ, ความล้มเหลวของแหล่งจ่ายไฟ และการสึกหรอของสายเคเบิล
• การแยกข้อผิดพลาด: เวิร์กโฟลว์การแก้ไขปัญหาแบบแนะนำที่ระบุสายเคเบิล, ตัวรับส่งสัญญาณ หรือพอร์ตสวิตช์ที่ชำรุด ลดเวลาเฉลี่ยในการแก้ไข (MTTR)
• การวิเคราะห์ประวัติ: การวิเคราะห์แนวโน้มและการวางแผนความจุตามข้อมูลประสิทธิภาพในอดีต ทำให้สามารถตัดสินใจปรับขนาดเชิงรุก

สำหรับการแก้ไขปัญหาขั้นสูง ให้ใช้เครื่องมือวินิจฉัยในตัวของสวิตช์ รวมถึงการทดสอบ loopback, การวิเคราะห์ BER (bit error rate) และการตรวจสอบการวินิจฉัยโมดูลออปติคัล (DOM) ปัญหาทั่วไปที่พบในการใช้งาน NDR ระยะแรก ได้แก่ การกำหนดเส้นทางที่ไม่เหมาะสมซึ่งเกิดจากความเร็วลิงก์ที่ไม่เท่ากัน, ประเภทสายเคเบิลที่ไม่ตรงกัน หรือความไม่สอดคล้องกันของเฟิร์มแวร์ การเปิดใช้งานการกำหนดเส้นทางแบบปรับได้, การตรวจสอบว่าลิงก์ทั้งหมดทำงานที่ 400Gb/s พร้อมเปิดใช้งาน FEC และการตรวจสอบให้แน่ใจว่าเฟิร์มแวร์สอดคล้องกันในทุกสวิตช์ จะแก้ไขปัญหาความผิดปกติของประสิทธิภาพส่วนใหญ่ได้

วิศวกรเครือข่ายควรกำหนดค่าพื้นฐานของ ข้อมูลจำเพาะ 920-9B210-00FN-0D0 ในระหว่างขั้นตอนการตรวจสอบ ซึ่งรวมถึงความหน่วง, ทรูพุต และอัตราข้อผิดพลาดที่คาดหวัง การเบี่ยงเบนจากค่าพื้นฐานนี้สามารถใช้เป็นตัวบ่งชี้ปัญหาที่อาจเกิดขึ้นได้ตั้งแต่เนิ่นๆ 920-9B210-00FN-0D0 InfiniBand switch OPN ยังรองรับการบันทึกเหตุการณ์ที่ครอบคลุมผ่าน syslog และ SNMP ทำให้สามารถรวมเข้ากับสแต็กการตรวจสอบศูนย์ข้อมูลที่มีอยู่ได้

6. สรุปและการประเมินมูลค่า

920-9B210-00FN-0D0 นำเสนอคุณค่าที่น่าสนใจสำหรับองค์กรที่สร้างหรือขยายคลัสเตอร์ HPC และ AI ที่ใช้ NDR โดยให้ 64 พอร์ต 400Gb/s NDR ที่มีความหน่วงต่ำกว่า 100ns, การออฟโหลด SHARPv3, การจัดการระดับองค์กร และความเข้ากันได้เต็มรูปแบบกับระบบนิเวศ HDR ที่มีอยู่ ทั้งหมดนี้อยู่ในแพลตฟอร์ม 1U ขนาดกะทัดรัด จุดเด่นของมูลค่า ได้แก่:

• ประสิทธิภาพ: ลดความหน่วงการสื่อสาร all-to-all ลงสูงสุด 75% และลดความหน่วง all-reduce ลงสูงสุด 40% ผ่านการออฟโหลด SHARPv3 และแบนด์วิดท์ NDR
• ความคุ้มค่า: ต้นทุนเครือข่ายต่อ GPU ต่ำกว่าทางเลือก HDR ในการใช้งานขนาดใหญ่ ซึ่งขับเคลื่อนโดย radix ที่สูงขึ้นและจำนวนระดับสวิตช์ที่ลดลง
• ความเรียบง่ายในการดำเนินงาน: การรวมเข้ากับ UFM อย่างลึกซึ้งสำหรับการจัดการแบบรวมศูนย์, การจัดเตรียมอัตโนมัติ, การตรวจสอบเชิงรุก และการแก้ไขข้อผิดพลาดอย่างรวดเร็ว
• การปกป้องการลงทุน: ความเข้ากันได้เต็มรูปแบบกับสายเคเบิล, ออปติก และสแต็กซอฟต์แวร์ HDR ที่มีอยู่ ทำให้สามารถอัปเกรดแบบเป็นระยะโดยไม่กระทบต่อเวิร์กโหลดที่ใช้งานจริง
• ความสามารถในการปรับขนาดที่รองรับอนาคต: รองรับโทโพโลยี folded-Clos สามระดับ และ dragonfly+ เพื่อให้มั่นใจว่าเครือข่ายสามารถปรับขนาดได้ถึง 8,000+ โหนดตามความต้องการในการประมวลผลที่เพิ่มขึ้น

สำหรับองค์กรที่กำลังประเมิน 920-9B210-00FN-0D0 สำหรับการขาย ผ่านพันธมิตรช่องทางของ NVIDIA เราขอแนะนำให้ตรวจสอบ เอกสารข้อมูล 920-9B210-00FN-0D0 โดยละเอียด และปรึกษาผู้เชี่ยวชาญด้านโซลูชันที่ได้รับการรับรองเพื่อตรวจสอบการออกแบบสำหรับเวิร์กโหลดและข้อกำหนดขนาดเฉพาะของคุณ NVIDIA Mellanox 920-9B210-00FN-0D0 พร้อมใช้งานแล้วในวันนี้ โดยนำเสนอพื้นฐานการเชื่อมต่อประสิทธิภาพสูงที่ปรับขนาดได้สำหรับนวัตกรรม AI และ HPC รุ่นต่อไป