NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch หนังสือขาวทางเทคนิค

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch กระดาษขาวทางเทคนิค: การปรับปรุงการเชื่อมต่อระยะยาวต่ําสําหรับ RDMA / HPC / AI คลัสเตอร์

หนังสือขาวทางเทคนิคนี้มีเป้าหมายสําหรับสถาปนิกเครือข่าย วิศวกรก่อนการขาย และผู้จัดการปฏิบัติการNVIDIA Mellanox MQM8790-HS2Fเครื่องสวิทช์ HDR InfiniBand 200Gb/s ให้การออกแบบการแก้ไขครบวงจรสําหรับการปรับปรุงการเชื่อมต่อระยะยาวต่ําใน RDMA เร่งคอมพิวเตอร์ความแรงสูง (HPC)และคลาสเตอร์ปัญญาประดิษฐ์ (AI)เอกสารนี้ครอบคลุมการออกแบบสถาปัตยกรรม เทคโนโลยีหลัก การจัดจําหน่ายและกลยุทธ์การปรับขนาด การติดตามการดําเนินงานและการประเมินมูลค่า.

1การวิเคราะห์พื้นฐานและความต้องการของโครงการ

ในขณะที่ปารามิเตอร์ของรุ่น AI จะถึงขนาดพันล้าน และการจําลอง HPC จะต้องการความละเอียดที่ละเอียดมากขึ้นองค์ประกอบเครือข่ายพื้นฐานได้พัฒนาจากองค์ประกอบสนับสนุน เป็นตัวกําหนดผลงานหลักตัวอย่างเช่น งานฝึกอบรมแบบกระจายกระจาย สามารถใช้เวลาในการดําเนินงาน 40~60% ในการดําเนินงานการสื่อสารร่วมกัน หากการเชื่อมต่อขาดลักษณะความกว้างแบนด์และความช้าพอสําหรับทีม IT ของบริษัท, นี้แปลโดยตรงไปยังเวลาที่ขยายไปสู่ตลาดสําหรับนโยบาย AI และการลงทุน GPU ที่ไม่ถูกใช้งาน

ความต้องการหลักที่ระบุผ่านการประกอบงานกับลูกค้าอย่างกว้างขวาง ได้แก่

• ความช้าที่ต่ํามากและคาดเดาได้การสลับผ่าน Sub-200ns สําหรับ MPI และ RDMA การจราจร
• ความสามารถในการใช้งานที่ไม่ปิด:การทํางานที่ยั่งยืนของอัตราการต่อเนื่องในทุกท่าเรือพร้อมกัน โดยกําจัดการสร้างจุดร้อนและการลดความช้าของหาง
• การคํานวณในเครือข่าย:การเร่งฮาร์ดแวร์สําหรับการดําเนินงานรวม (ลดทั้งหมด, การออกอากาศ, ป้องกัน) เพื่อลดภาระของ CPU เจ้าภาพและลดการเคลื่อนไหวของข้อมูล
• การสนับสนุนทอปโลยีขนาดใหญ่:ความสามารถในการสร้าง fat-tree, torus, หรือ dragonfly+ topologies ที่ครอบคลุมหลายร้อยถึงหลายพัน node โดยไม่ต้องใช้ชั้นสวิตช์มากเกินไป
• การจัดการที่เรียบง่ายการติดตามผ้าแบบรวมกัน การค้นพบโทปโลยีแบบอัตโนมัติ และการตรวจหาความผิดพลาดแบบโปรแอคทีฟ เพื่อลดต้นทุนการดําเนินงาน

รายการMQM8790-HS2Fได้ถูกเลือกเป็นก้อนสร้างที่ดีที่สุดสําหรับสถาปัตยกรรมทางแก้ไขนี้ใบข้อมูล MQM8790-HS2Fยืนยันว่ามีพอร์ต 40 แห่งของ 200Gb/s HDR ความช้าในการตัดที่ต่ํากว่า 130ns และการสนับสนุนความสามารถในการคํานวณในเครือข่าย SHARP v3.0 ที่ผสมตรงกับความต้องการด้านบน

2. การออกแบบระบบอาร์คิเทคชันเครือข่าย / ระบบโดยรวม

สถาปัตยกรรมที่เสนอใช้ท็อปโลจีต้นไม้ไขมันกระดูกสันหลังใบสองชั้นสําหรับคลาสเตอร์สูงสุด 1,200 หน่วย, โดยมีตัวเลือกที่จะขยายไปถึงสามชั้นสําหรับการจัดจําหน่ายที่ใหญ่กว่าโทปโลยีนี้สมดุลการทํางาน, ค่าใช้จ่าย, และการจัดการ, ให้ความกว้างแบนด์เบด bisection เต็มและความช้าช้าที่กําหนดได้ทั่วผ้า.

สวิตช์ใบแต่ละใบเชื่อมต่อถึง 16 หน่วยคอมพิวเตอร์ผ่าน NVIDIA ConnectX-6 หรือ ConnectX-7 HDR โฮสต์แอดป์เตอร์ช่องสอดคล้องกับ MQM8790-HS2Fปรับปรุงระบบอินทรีย์MQM8790-HS2F 200Gb/s HDR 40 ท่า QSFP56การออกแบบให้ความหนาแน่นที่พอสําหรับการรวมระดับเรค ขณะที่รักษาปัจจัยรูปแบบ 1U สําหรับการใช้พื้นที่เรคอย่างมีประสิทธิภาพ

สําหรับคลาสเตอร์ที่เกิน 1,200 หน่วยสัญจร แนะนําให้ใช้โทโปลจี 3 ชั้น พร้อมชั้น super-spine เพิ่มเติมMQM8790-HS2F โซลูชั่นสวิตช์ InfiniBandปกครองบทบาทของมันในทุกระดับ, ยืดหยุ่นการจัดการการประกอบและการประกอบ

3. บทบาทและคุณสมบัติสําคัญของ NVIDIA Mellanox MQM8790-HS2F

รายการNVIDIA Mellanox MQM8790-HS2Fใช้เป็นองค์ประกอบการสลับพื้นฐานในโครงสร้างนี้ โดยให้ความสามารถที่แตกต่างต่อไปนี้ที่ขับเคลื่อนโดยตรงการปรับปรุงการเชื่อมต่อระหว่างระบบความช้าต่ํา:

• ความเร็วพอร์ต HDR 200Gb/s:คอยเพิ่มความกว้างแบนด์วิดของ EDR รุ่นก่อน (100Gb/s) โดยยังคงให้ความเหมาะสมกับ HDR100 (100Gb/s) สําหรับสภาพแวดล้อมความเร็วผสมผสาน เพื่อปกป้องการลงทุนก่อนหน้านี้
• การสลับแบบตัดผ่านด้วยความช้าต่ํากว่า 130 ns:ลดเวลาที่แพ็คเก็ตใช้ในสวิตช์ให้น้อยที่สุด ซึ่งเป็นสิ่งสําคัญสําหรับการปฏิบัติงาน RDMA ที่มีความรู้สึกต่อความช้า และรูปแบบการสื่อสารรวม
• SHARP v3.0 การคิดเลขในเครือข่าย:ช่วยลดการทํางานลดภาระจาก CPU ที่เป็นเจ้าภาพไปยัง switch fabric ลดการจราจรข้อมูลได้ถึง 30% และเร่งความสามารถในการลดการทํางานทั้งหมดสําหรับการฝึก AI ได้ถึง 2 เท่า
• การปรับเปลี่ยนเส้นทางและควบคุมความจุกจุก:แบ่งกระจายการจราจรได้อย่างไดนามิก ระหว่างหลายเส้นทางเพื่อหลีกเลี่ยงจุดร้อน โดยมีป้ายจราจรและการควบคุมกระแสที่ใช้เครดิต เพื่อรับประกันการดําเนินงานที่ไม่มีการสูญเสีย เป็นเงื่อนไขสําหรับผลงาน RDMA
• เทเลเมตรและวินิจฉัยบูรณาการให้ความเห็นอย่างละเอียดเกี่ยวกับการครอบคลุมพัฟเฟอร์ต่อท่าเรือ อัตราความผิดพลาดของลิงค์ และรูปแบบการจราจร ทําให้สามารถปรับปรุงให้ดีและแยกความผิดพลาดได้อย่างรวดเร็ว

ตามรายละเอียดรายละเอียด MQM8790-HS2F, เครื่องสวิทช์รองรับทั้งแบบการไหลอากาศไปข้างหน้าและด้านหลัง, สามารถรองรับการออกแบบการเย็นศูนย์ข้อมูลที่หลากหลายพลังงานไฟฟ้าที่เหลือสองแบบ และโมดูลพัดลมที่เปลี่ยนได้ร้อนเพิ่มความน่าเชื่อถือและความสามารถในการใช้งาน.

4. แนะนําการจัดจําหน่ายและการขยาย (มีทอปโลยีทั่วไป)

สําหรับการใช้งานครั้งแรกที่สมดุลและมีประสิทธิภาพต่อค่าใช้จ่าย แนะนําการปฏิบัติที่ดีต่อไปนี้:

• การเชื่อมต่อ Node-to-leaf:ใช้เคเบิล HDR 200Gb/s (DAC ทองแดง ≤3m, AOC ≤30m)สอดคล้องกับ MQM8790-HS2Fเครื่องเชื่อม QSFP56 ให้แน่ใจว่าตัวปรับช่องโฮสต์ถูกตั้งค่าให้กับความเร็วลิงค์และการตั้งค่า FEC เหมือนกับพอร์ตสวิตช์
• การเชื่อมต่อจากใบไปยังกระดูกสันหลังใช้ AOC 200Gb/s หรือเครื่องรับสัญญาณไฟเบอร์ออปติกหลายรูปแบบในระยะทางสูงถึง 100mMQM8790-HS2Fอัตโนมัติเจรจาปารามิเตอร์ลิงค์ ทําให้การใช้งานง่ายขึ้น
• การวางแผนการสมัครสมาชิกเกิน:สําหรับภาระงาน AI / HPC ที่มีวัตถุประสงค์ทั่วไป, อัตราส่วนการสมัครสมาชิกเกิน 2: 1 (สองโน้ตคํานวณต่อ 200Gb / s uplink) ให้จุดที่เหมาะสมกับการประกอบการในด้านราคา. สําหรับภาระงานที่ปรับปรุงความช้าหรือเก็บข้อมูลอย่างเข้มข้น,พิจารณา 1จํานวน 1 รายการ (เต็ม)
• เส้นทางการขยาย:เมื่อเพิ่ม racks ใหม่, เพียงแค่จัดจําหน่ายสวิทช์ใบเพิ่มเติมและเชื่อมต่อกับสวิทช์กระดูกสันหลังที่มีอยู่. สําหรับการเพิ่มกําลังที่สําคัญ (การคูณสองจํานวน node),ปรับปรุงชั้นกระดูกสันหลังให้สูงขึ้น หรือเพิ่มชั้นกระดูกสันหลังสูงกว่า.

ในการประเมินราคา MQM8790-HS2Fและค่าบริการรวมพิจารณาว่าสถาปัตยกรรมที่รวมกัน ใช้อัตราสวิทช์แบบเดียวกันในทุกระดับผ้า ลดความต้องการของคลังอะไหล่โดยประมาณ 70% เมื่อเทียบกับวิธีการหลาย SKUการลดความซับซ้อนนี้จะเร่งการตอบสนองเหตุการณ์และลดเวลาหยุดทํางานในระหว่างความล้มเหลวของฮาร์ดแวร์

5. การติดตามการดําเนินงาน การแก้ไขปัญหา และการปรับปรุง

การจัดการที่มีประสิทธิภาพMQM8790-HS2F สวิตช์ InfiniBandสภาพแวดล้อมที่ต้องการวิธีการอย่างเป็นระบบในการติดตาม การวินิจฉัย และการปรับปรุงผลงาน

การติดตามแนวปฏิบัติที่ดีที่สุด

• ใช้งาน Unified Fabric Manager (UFM) ของ NVIDIA เพื่อการมองเห็นเส้นใยแบบกลางรวมถึงแผนที่โทโปลจี แผนที่ความร้อนในการใช้งานต่อลิ้งค์ และไฮสตอแกรมความช้าในเวลาจริง
• ติดตามตัวนับความผิดพลาดต่อพอร์ต โดยเฉพาะความผิดพลาด CRC, ความผิดพลาดสัญลักษณ์ และเหตุการณ์การเชื่อมต่อลง เพื่อระบุออฟติกส์หรือสายไฟที่เสื่อมเสื่อมได้ในระยะแรกกําหนด SNMP Traps สําหรับขั้นต่ําที่กําหนดไว้ก่อน เพื่อให้การบํารุงรักษาแบบโปรแอคทีฟ.
• ติดตามประสิทธิภาพการดําเนินงานของ SHARP ผ่านตัวนับผลงานที่บูรณาการของสวิทช์ เพื่อระบุโอกาสในการปรับปรุงรูปแบบการสื่อสารร่วมกันในระดับการใช้งาน

การแก้ไขปัญหาทั่วไป:

• ความผิดพลาด CRC ที่เชื่อมต่อกับพอร์ตเฉพาะเจาะจง:ตรวจสอบที่นั่งเคเบิลและความสะอาดของสายประสานทางออนไลน์ หากความผิดพลาดยังคงเปลี่ยนเคเบิลหรือเครื่องรับสัญญาณใบข้อมูล MQM8790-HS2Fให้ขั้นต่ําการวินิจฉัยรายละเอียดต่อท่าเรือ
• ความดันที่ไม่คาดคิดตรวจสอบจุดร้อนของความจุกจุกโดยใช้การวิเคราะห์กระแสการจราจรของ UFM การตั้งทางที่ปรับตัวอาจต้องการการปรับปรุงใหม่สําหรับรูปแบบการจราจรบางอย่างไม่ขั้นต่ํา).
• ปัญหาการแยกผ้า:รับประกันการตั้งค่าคีย์พาร์ติชั่น (PKey) และผู้จัดการซับเน็ต IPoIB ที่ถูกต้องแต่การปรับมืออาจจําเป็นสําหรับสภาพแวดล้อมหลายผู้เช่า.

คําแนะนําในการปรับปรุงผลงาน:

• สําหรับภาระงานการฝึกอบรม AI ให้เปิด SHARP v3.0 และตั้งค่าห้องสมุดการสื่อสารรวม (NCCL, OpenMPI) เพื่อใช้ความสามารถในการลดภาระของสวิตช์นี้สามารถลด all-reduce latency ได้ถึง 2x สําหรับขนาดข้อความขนาดใหญ่.
• สําหรับแอพลิเคชั่น HPC ที่มีความรู้สึกต่อความช้าช้า ควรพิจารณาปิดการตั้งเส้นทางปรับปรุงเพื่อบังคับการเลือกเส้นทางที่กําหนดได้ โดยการแลกเปลี่ยนความหลากหลายเส้นทางเพื่อความช้าช้าที่สามารถคาดการณ์ได้
• ตรวจสอบและอัพเดทฟอร์มแวร์สวิตช์เป็นประจํา เนื่องจาก NVIDIA จะปล่อยการปรับปรุงการทํางานและการแก้ไขความปลอดภัยเป็นประจําใบข้อมูล MQM8790-HS2Fสําหรับเมทริกซ์ความสอดคล้องของรุ่น

6สรุปและการประเมินค่า

รายการNVIDIA Mellanox MQM8790-HS2Fให้ข้อเสนอคุณค่าที่น่าสนใจสําหรับองค์กรที่สร้างหรือปรับปรุงคลัสเตอร์ RDMA / HPC / AI โดยการจัดส่ง 200Gb / s ต่อบอร์ด ความช้าต่ํากว่า 130nsและเร่งคอมพิวเตอร์ในเครือข่ายภายใน 1Uหมุนสวิทช์ตอบโจทย์ความต้องการการเชื่อมต่อที่เข้มข้นที่สุดของภาระงานที่ใช้ข้อมูลมากในยุคใหม่

หลักการขับเคลื่อนคุณค่าประกอบด้วย

• ความสามารถในการปรับขนาดการทํางาน:สถาปัตยกรรมต้นไม้ไขมันที่ไม่ขัดขวางMQM8790-HS2F 200Gb/s HDR 40 ท่า QSFP56node ขนาดจาก 200 ถึง 10,000+ node โดยไม่มีการเปลี่ยนแปลง topology หลัก
• ประสิทธิภาพการดําเนินงานการใช้สวิตช์แบบเดียวในทุกชั้นผ้า ช่วยลดปริมาณอะไหล่ เรียบง่ายการฝึกอบรม และเร่งการแก้ไขปัญหา
• การคุ้มครองการลงทุนความเข้ากันได้แบบย้อนหลังกับ HDR100 และ EDR ทําให้มีการปรับปรุงระยะยาว ขณะที่ปัจจัยรูปแบบและความหนาแน่นของพอร์ตของสวิตช์สลับตรงกับแผนการเดินทาง 400G (NDR) ในอนาคต
• ระบบนิเวศที่พิสูจน์ได้การบูรณาการอย่างลึกซึ้งกับตัวปรับ ConnectX ของ NVIDIA, BlueField DPUs และแพลตฟอร์มการจัดการ UFM รับประกันความสามารถในการคาดการณ์ผลงานจากปลายไปปลาย

สําหรับองค์กรที่พร้อมที่จะใช้งานMQM8790-HS2F สําหรับขายผ่านเครือข่ายทั่วโลกของผู้จําหน่ายที่ได้รับอนุญาตของ NVIDIA รวมถึงตัวเลือกการสนับสนุนที่ครบถ้วน, รวมถึงอะไหล่ในสถานที่, การเปลี่ยนที่ก้าวหน้า, และการสมัครสมาชิกอัพเดทฟอร์มแวร์.รายละเอียด MQM8790-HS2Fและการออกแบบอ้างอิงมีให้บริการผ่านทางเว็บไซต์การเอกสารทางเทคนิคของ NVIDIA และให้คําปรึกษาเกี่ยวกับโทปโลยีที่กําหนดเองสําหรับการจัดจําหน่ายในพื้นที่สีน้ําตาลหรือพื้นที่สีเขียวขนาดใหญ่