Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 InfiniBand Switch ทางเทคนิค

Mellanox (NVIDIA Mellanox) 920-9B210-00FN-0D0 โซลูชันทางเทคนิคของสวิตช์ InfiniBand | การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

1. การวิเคราะห์ความเป็นมาและความต้องการของโครงการ

กรอบการฝึกอบรม AI สมัยใหม่และแอปพลิเคชัน HPC ถูกจำกัดมากขึ้นโดยประสิทธิภาพการเชื่อมต่อระหว่างเครือข่าย มากกว่าความหนาแน่นของการประมวลผลเพียงอย่างเดียว งานการฝึกอบรมแบบกระจาย โดยเฉพาะงานที่ใช้โมเดลภาษาขนาดใหญ่ จะสร้างรูปแบบการรับส่งข้อมูลแบบลดทั้งหมดและแบบรวมทั้งหมดจำนวนมากที่มีการซิงโครไนซ์ ซึ่งครอบงำแฟบริคอีเธอร์เน็ตแบบดั้งเดิม ข้อกำหนดหลักที่ระบุทั่วทั้งการใช้งานระดับองค์กร ได้แก่ เวลาแฝงของสวิตช์ต่ำกว่าไมโครวินาทีเพื่อลดค่าใช้จ่ายในการสื่อสาร ปริมาณงานที่ไม่ปิดกั้นในวงกว้างเพื่อกำจัดการสมัครใช้งานมากเกินไป การควบคุมความแออัดขั้นสูงเพื่อจัดการกับการระเบิดของ incast และการบูรณาการอย่างราบรื่นกับ RDMA ผ่าน Converged Ethernet (RoCE) หรือระบบนิเวศ InfiniBand ดั้งเดิม นอกจากนี้ ทีมงานปฏิบัติการยังต้องการการตรวจวัดระยะไกลในเชิงลึกเพื่อการตรวจจับข้อผิดพลาดเชิงรุก และทำให้การจัดการง่ายขึ้นในพอร์ตหลายร้อยพอร์ต

2. การออกแบบสถาปัตยกรรมเครือข่าย/ระบบโดยรวม

สถาปัตยกรรมที่นำเสนอมีศูนย์กลางอยู่ที่โทโพโลยี leaf-spine แบบสองชั้น ซึ่งสร้างขึ้นโดยเฉพาะสำหรับเวิร์กโหลดที่เน้น GPU เป็นหลัก ที่ชั้นใบไม้ แต่ละชั้นจะบรรจุเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) 920-9B210-00FN-0D0เป็นสวิตช์ ToR (Top-of-Rack) หลัก ซึ่งเชื่อมต่อโหนดประมวลผลได้สูงสุด 40 โหนดผ่านลิงก์ NDR 400Gb/s ชั้นกระดูกสันหลังประกอบด้วยชั้นที่สองของ920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRสวิตช์ที่ให้การเชื่อมต่อแบบ full-mesh พร้อมการสมัครสมาชิกเกินขนาด 4:1 หรือไม่มีการปิดกั้นอย่างสมบูรณ์เมื่อใช้งานโดยมีพอร์ตสไปน์ที่เพียงพอ การออกแบบนี้รองรับโหนด GPU ได้สูงสุด 512 โหนดในโดเมนแฟบริคเดียว พร้อมตัวเลือกในการปรับขนาดแนวนอนผ่านเครือข่ายย่อยหลายเครือข่ายที่เชื่อมต่อกันผ่าน UFM ของ NVIDIA (Unified Fabric Manager)

สถาปัตยกรรมใช้ประโยชน์จากกลไกการประมวลผลในเครือข่าย SHARPv3 (Scalable Hierarchical Aggregation and Reduction Protocol) ของ NVIDIA ช่วยลดภาระการดำเนินการโดยรวมลงบนสวิตช์ ASIC โดยตรง ซึ่งช่วยลดปริมาณข้อมูลที่ไหลผ่านบัสหน่วยความจำ CPU/GPU และลดเวลาแฝงในการดำเนินการโดยรวมได้สูงสุดถึง 40% เมื่อเทียบกับแนวทางที่ใช้ซอฟต์แวร์ ที่920-9B210-00FN-0D0 สวิตช์ InfiniBand OPNยังรองรับการกำหนดเส้นทางแบบปรับเปลี่ยนได้ ซึ่งจะเลือกเส้นทางที่มีความแออัดน้อยที่สุดสำหรับแต่ละแพ็กเก็ตแบบไดนามิก เพื่อให้มั่นใจว่าการใช้แบนด์วิดท์ที่เหมาะสมที่สุดแม้ภายใต้ปริมาณการรับส่งข้อมูลที่ไม่สมมาตร

3. บทบาทและคุณลักษณะสำคัญของ 920-9B210-00FN-0D0 ในโซลูชัน

ที่NVIDIA เมลลาน็อกซ์ 920-9B210-00FN-0D0ทำหน้าที่เป็นรากฐานสำหรับแฟบริคที่เชื่อมต่อถึงกันทั้งหมด บทบาทหลัก ได้แก่ :

• การรวมตัวที่มีความหนาแน่นสูง:ด้วยพอร์ต 400Gb/s แบบไม่บล็อกสูงสุด 64 พอร์ตในฟอร์มแฟคเตอร์ 2U สวิตช์จึงมีความสามารถในการสลับรวมที่ 25.6 Tb/s ความหนาแน่นนี้ช่วยลดจำนวนสวิตช์ที่จำเป็นต่อแร็ค ทำให้การเดินสายเคเบิลง่ายขึ้น และลดการใช้พลังงานต่อพอร์ต
• การสลับเวลาแฝงต่ำเป็นพิเศษ:สวิตช์จะรักษาเวลาแฝงที่ต่ำกว่า 600ns สำหรับแพ็คเก็ตขนาดใดก็ตาม ซึ่งสำคัญสำหรับแอปพลิเคชันที่ไวต่อเวลาแฝงส่วนท้าย เช่น การอนุมานออนไลน์และ HPC ทางการเงิน
• คอมพิวเตอร์ในเครือข่าย:การผสานรวม SHARPv3 ช่วยให้สามารถเร่งฮาร์ดแวร์ในการดำเนินงานโดยรวม ลดจำนวนการข้ามผ่านแฟบริค และปรับปรุงเวลาทำงานให้เสร็จสิ้นโดยรวมได้สูงสุดถึง 30%
• การวัดและส่งข้อมูลทางไกลขั้นสูงและการควบคุมความแออัด:สวิตช์ให้การมองเห็นต่อโฟลว์ ทำเครื่องหมายสตรีมที่แออัดสำหรับการปรับเปลี่ยนฝั่งโฮสต์ และเปิดใช้งานการเตือนล่วงหน้าเกี่ยวกับฮอตสปอตที่เริ่มต้น

ตามที่เอกสารข้อมูลสินค้า 920-9B210-00FN-0D0สวิตช์รองรับตัวรับส่งสัญญาณ QSFP-DD ทั้งแบบทองแดงและแบบออปติคอลเข้ากันได้ 920-9B210-00FN-0D0ด้วยโครงสร้างพื้นฐานสายเคเบิลที่มีอยู่ในศูนย์ข้อมูลส่วนใหญ่ การไหลเวียนของอากาศจากด้านหน้าไปด้านหลังและการจ่ายไฟสำรองช่วยให้มั่นใจได้ถึงความพร้อมใช้งานสูงในสภาพแวดล้อมขององค์กร

4. คำแนะนำในการปรับใช้และการปรับขนาด (โทโพโลยีทั่วไป)

สำหรับการปรับใช้โหนด GPU 128 ตัวในสนามใหม่ เราขอแนะนำสถาปัตยกรรมสองชั้นที่มีสวิตช์ลีฟ 4 ตัวและสวิตช์สไปน์ 2 อัน โดยแต่ละสไปน์จะเชื่อมต่อกับทุกลีฟผ่านอัปลิงก์ 4x400Gb/s ซึ่งส่งผลให้อัตราส่วนการสมัครใช้งานเกิน 2:1 ซึ่งเป็นที่ยอมรับสำหรับปริมาณงานการฝึกอบรมส่วนใหญ่ สำหรับแอปพลิเคชันที่มีความอ่อนไหวต่อเวลาแฝงหรือแบนด์วิธสูง การออกแบบที่ไม่ปิดกั้น 1:1 สามารถทำได้โดยการเพิ่มจำนวนสไปน์เป็น 4 ทำให้ได้ความจุอัปลิงก์รวมเท่ากับพอร์ตดาวน์ลิงก์

การขยายขนาดเกินกว่า 512 โหนดจำเป็นต้องแบ่งพาร์ติชันแฟบริคออกเป็นหลายซับเน็ต โดยแต่ละโหนดได้รับการจัดการโดย UFM ในฐานะแฟบริคไอส์แลนด์ที่แตกต่างกัน การสื่อสารระหว่างซับเน็ตสามารถกำหนดเส้นทางผ่านเกตเวย์ Quantum-2 ของ NVIDIA หรือผ่านการกำหนดเส้นทางตามโฮสต์ แม้ว่าแนวทางที่แนะนำสำหรับเวิร์กโหลดที่คำนึงถึงประสิทธิภาพคือการรักษาแฟบริคไว้ในซับเน็ตเดียวทุกครั้งที่เป็นไปได้ ที่ข้อมูลจำเพาะ 920-9B210-00FN-0D0รองรับโทโพโลยีขนาดใหญ่เหล่านี้ ด้วยการควบคุมการไหลในตัวและการควบคุมการไหลตามลำดับความสำคัญ (PFC) เพื่อป้องกันไม่ให้แพ็คเก็ตตกระหว่างเหตุการณ์การเปลี่ยนเส้นทางเส้นทาง

เมื่อวางแผนการเดินสายทางกายภาพ ให้พิจารณาใช้สายเคเบิลแยก MPO-to-QSFP-DD สำหรับการเชื่อมต่อแบบ Spin-leaf เพื่อลดความหนาแน่นของสายเคเบิล หรือใช้สายเคเบิลออปติกแบบแอคทีฟ (AOC) สำหรับระยะทางเกิน 3 เมตร ที่ขาย 920-9B210-00FN-0D0โดยทั่วไปจะมีชุดอุปกรณ์เสริมที่ครอบคลุม แต่เราแนะนำให้ตรวจสอบความเข้ากันได้ของตัวรับส่งสัญญาณของบริษัทอื่นผ่านเมทริกซ์ความสามารถในการทำงานร่วมกันของผู้จำหน่าย เพื่อหลีกเลี่ยงปัญหาการฝึกอบรมเกี่ยวกับลิงก์

5. การดำเนินงาน การตรวจสอบ และการวินิจฉัยข้อผิดพลาด

ความเป็นเลิศในการปฏิบัติงานถือเป็นรากฐานสำคัญของการโซลูชัน OPN สวิตช์ InfiniBand 920-9B210-00FN-0D0. สวิตช์นี้ทำงานร่วมกับแพลตฟอร์ม UFM ของ NVIDIA ได้อย่างราบรื่น ซึ่งมอบ:

• การตรวจสอบสุขภาพผ้าแบบเรียลไทม์:แดชบอร์ดสำหรับสถานะลิงก์ อุณหภูมิ การใช้พลังงาน และตัวนับข้อผิดพลาดต่อพอร์ต (CRC สัญลักษณ์ และข้อผิดพลาดในการจัดตำแหน่ง)
• การวิเคราะห์ความล้มเหลวเชิงคาดการณ์:โมเดลแมชชีนเลิร์นนิงบน UFM ระบุความล้มเหลวของออพติคหรือลิงก์ที่เสื่อมสภาพในเชิงรุกก่อนที่จะทำให้งานล้มเหลว
• การแก้ไขปัญหาอัตโนมัติ:ระบบจะแนะนำการดำเนินการแก้ไข เช่น การเปลี่ยนเส้นทางการรับส่งข้อมูลหรือการแยกลิงก์ที่ผิดพลาด ซึ่งจะช่วยลดเวลาเฉลี่ยในการแก้ไข (MTTR) ได้อย่างมาก

สำหรับการวินิจฉัยขั้นสูง สวิตช์รองรับ sFlow และการมิเรอร์พอร์ต ช่วยให้สามารถตรวจสอบแพ็คเก็ตเชิงลึกสำหรับการดีบักระดับโปรโตคอล ทีมงานยังสามารถเข้าถึงรายละเอียดได้ข้อมูลจำเพาะ 920-9B210-00FN-0D0สำหรับเกณฑ์บัฟเฟอร์และการตั้งค่าที่แนะนำ โดยเฉพาะอย่างยิ่งสำหรับการปรับแต่งการรับส่งข้อมูล RoCEv2 หากใช้ในสภาพแวดล้อม InfiniBand/Ethernet แบบผสม การปรับแต่งประสิทธิภาพควรมุ่งเน้นไปที่เกณฑ์การกำหนดเส้นทางที่ปรับเปลี่ยนได้และช่วงเวลาการรวม SHARPv3 ซึ่งสามารถปรับได้ตามระยะเวิร์กโหลด เช่น การฝึกอบรมและการอนุมาน เป็นต้น

การบำรุงรักษาตามปกติรวมถึงการอัพเดตเฟิร์มแวร์ ซึ่งดำเนินการโดยมีการหยุดชะงักน้อยที่สุดโดยใช้ความสามารถในการอัพเกรดแบบต่อเนื่องของ UFM และการทำความสะอาดตัวเชื่อมต่อแบบออปติคอลเป็นระยะเพื่อรักษาความสมบูรณ์ของสัญญาณ โมดูลพลังงานและพัดลมสำรองของสวิตช์ช่วยให้สามารถเปลี่ยนแบบ Hot-swap ระหว่างการทำงานได้

6. สรุปและการประเมินมูลค่า

ที่เมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) 920-9B210-00FN-0D0นำเสนอโซลูชันที่ครอบคลุมสำหรับองค์กรที่ต้องการปลดล็อกประสิทธิภาพเต็มรูปแบบของการลงทุนด้าน AI และ HPC ด้วยการรวมความเร็ว NDR 400Gb/s การประมวลผลในเครือข่าย และการจัดการความแออัดอัจฉริยะภายในแพลตฟอร์มเดียวที่ปรับขนาดได้ จะช่วยจัดการกับความท้าทายในการเชื่อมต่อที่เร่งด่วนที่สุดที่ศูนย์ข้อมูลในปัจจุบันต้องเผชิญ สถาปัตยกรรมที่อธิบายไว้นั้นให้เส้นทางที่ได้รับการพิสูจน์แล้วตั้งแต่คลัสเตอร์นำร่อง 128 โหนดไปจนถึงแฟบริคซูเปอร์คอมพิวเตอร์โหนดมากกว่า 2,000 โหนด พร้อมเครื่องมือในการปฏิบัติงานที่ทำให้การจัดการง่ายขึ้นและลดต้นทุนรวมในการเป็นเจ้าของ

เมื่อทำการประเมิน.ราคา 920-9B210-00FN-0D0ให้พิจารณามูลค่าระยะยาว: เวลาทำงานเสร็จที่ลดลง แปลโดยตรงเป็นค่าใช้จ่ายระบบคลาวด์ที่ลดลงหรือเวลาในการเข้าใจข้อมูลเชิงลึกที่เร็วขึ้นสำหรับปริมาณงานในองค์กร ที่โซลูชัน OPN สวิตช์ InfiniBand 920-9B210-00FN-0D0ได้รับการสนับสนุนจากเครือข่ายการสนับสนุนระดับโลกของ NVIDIA และระบบนิเวศของพันธมิตรที่กว้างขวาง ทำให้มั่นใจได้ว่าองค์กรต่างๆ สามารถปรับใช้ ปรับขนาด และเพิ่มประสิทธิภาพโครงสร้างพื้นฐานได้อย่างมั่นใจในปีต่อๆ ไป

หากต้องการรายละเอียดการวางแผนโปรดอ้างอิงกับเจ้าหน้าที่เอกสารข้อมูลสินค้า 920-9B210-00FN-0D0และข้อมูลจำเพาะ 920-9B210-00FN-0D0เอกสารซึ่งรวมถึงการเขียนแบบทางกล โปรไฟล์การระบายความร้อน และการวัดประสิทธิภาพ