NVIDIA Mellanox 920-9B210-00FN-0D0 เอกสารอ้างอิงทางเทคนิค: การปรับแต่งการเชื่อมต่อความหน่วงต่ำ 400Gb/s NDR

NVIDIA Mellanox 920-9B210-00FN-0D0 อ้างอิงทางเทคนิค: 400Gb / s NDR อัตราต่อเนื่องออนไลน์ความช้าต่ําสําหรับ RDMA / HPC / AI คลัสเตอร์

1. สถานการณ์โครงการและการวิเคราะห์ความต้องการ

ในขณะที่คลัสเตอร์การฝึกอบรม AI ขยายขนาดเกิน 4,000 GPU และการจําลอง HPC เข้าใกล้กับผลงาน exascale ผ้าเครือข่ายต้องเผชิญกับความต้องการที่ไม่เคยมีมาก่อนเกี่ยวกับความกว้างแบนด์วิด, ความช้า และการกําหนดการเปลี่ยนจาก 200Gb/s HDR ไปยัง 400Gb/s NDR ไม่เป็นทางเลือกสําหรับองค์กรที่เป้าหมายให้มีรูปแบบปารามิเตอร์พันล้านหรือการจําลองสภาพอากาศขนาดกิโลเมตรความต้องการหลักที่ระบุในงานวิจัยและการใช้งานในธุรกิจนํา ได้แก่

• อัตราการอ่อนช้าที่กําหนดได้ต่ําสุดความช้าของ Port-to-Port ต่ํากว่า 100 ns เพื่อลด MPI และค่าใช้จ่ายในการสื่อสาร
• เนื้อผ้าไร้การสูญเสียในขนาด:เปอร์พัคเก็ตลดลงภายใต้ความจุกจูง ผ่านจุดปลายหลายพัน จุด ทําให้การทํางานของ RDMA ยังคงคาดการณ์ได้
• อัตราการคิดเลขในเครือข่าย:การอํานวยความสะดวกในการดําเนินงานร่วมกัน (All-reduce, All-to-all, broadcast) ไปยังเครือข่ายเพื่อให้การใช้งาน GPU มากที่สุด
• ความสามารถในการปรับขนาดรากสูง:การสนับสนุนโปโลยี fat-tree และ dragonfly+ ในขนาดใหญ่ที่มีความกว้างแบนด์วิชั่นเต็มสูงสุด 8,000+ node
• การคุ้มครองการลงทุนความสอดคล้องได้อย่างต่อเนื่องกับเคเบิล HDR, ออตติกส์ และเครื่องมือการจัดการที่มีอยู่เพื่อให้มีการปรับปรุงระยะ

เพื่อตอบโจทย์ความต้องการเหล่านี้ ทางแก้ไขนี้ใช้NVIDIA Mellanox 920-9B210-00FN-0D0ในฐานะก้อนก่อสร้างหลักของสวิตช์ 400Gb/s NDR InfiniBand ที่ให้ความหนาแน่น, ผลงาน และความรู้ที่จําเป็นสําหรับการจัดจําหน่ายชั้น exascale

2การออกแบบโครงสร้างเครือข่ายโดยรวม

การแก้ไขที่เสนอใช้ท็อปโลจีกระดูกสันหลังใบสองชั้น ซึ่งให้ผ้าที่สามารถปรับขนาดได้, ที่ไม่กักขัดกับความช้าช้าที่กําหนดและสายไฟที่เรียบง่ายแต่ละเร็กคอมพิวเตอร์มีเครื่องคอมพิวเตอร์ 1 หรือ 2 เครื่อง920-9B210-00FN-0D0 InfiniBand สวิตช์ OPNหน่วยที่ให้บริการ 64 ท่าเรือของ 400Gb / s NDR การเชื่อมต่อกับเซอร์เวอร์ GPU ผ่าน OSFP-to-OSFP ทองแดงต่อตรง (DAC)920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRสวิตช์เชื่อมต่อสวิตช์ใบทั้งหมด สร้างผ้าไม้ไขมันขนาดสองแดนเต็ม

สําหรับคลาสเตอร์ที่เกิน 5,000 หน่วยงาน สามารถนําสถาปัตยกรรมปิดพับสามชั้นมาใช้ได้ด้วย 920-9B210-00FN-0D0 ทําหน้าที่เป็นทั้งใบและกระดูกสันหลัง เพื่อรักษาผลงานที่คงที่ในทุกระดับสวิตช์นี้รองรับสวิตช์สูงสุด 64 สวิตช์ในแผ่นเดียวภายใต้ผู้จัดการซับเน็ตเดียว ทําให้สามารถควบคุมแบบรวมของโทปโลยีขนาดใหญ่ได้

ตารางต่อไปนี้สรุปปริมาตรการปรับขนาดหลักสําหรับผ้า NDR 2 ชั้นที่สร้างขึ้นรอบ 920-9B210-00FN-0D0:

3. บทบาทและลักษณะสําคัญของ NVIDIA Mellanox 920-9B210-00FN-0D0

ภายในโครงสร้างนี้NVIDIA Mellanox 920-9B210-00FN-0D0ทําหน้าที่เป็นองค์ประกอบการเปลี่ยนพื้นฐาน โดยให้ความสามารถสําคัญหลายอย่างที่ตอบสนองตรงกับความต้องการที่ระบุในส่วนที่ 1:

• 64 ท่าทาง 400Gb/s NDR:ท่าทาง OSFP แต่ละท่าสนับสนุน 400Gb / s สองทิศกับการแก้ไขความผิดพลาดไปข้างหน้า (FEC) สําหรับการเชื่อมต่อระยะยาวที่น่าเชื่อถือ. ความสามารถในการสลับรวมของ 51.2 Tb / s ให้ช่องว่างที่กว้างขวางสําหรับการทํางานที่ใช้สื่อสารมากที่สุด.
• ความช้าในการตัดที่ต่ํามากอัตราความช้าจากท่าเรือไปท่าเรือต่ํากว่า 100 ns ตามที่บันทึกไว้ในใบข้อมูล 920-9B210-00FN-0D0, รับประกันค่าใช้จ่ายขั้นต่ําสําหรับการปฏิบัติการ MPI และ RDMA.
• การบูรณาการ SHARPv3 (โปรโตคอลการรวมและการลดระดับเรียงลําดับที่สามารถปรับขนาดได้)ปลดภาระการปฏิบัติงานรวมจาก CPU ที่เป็นเจ้าภาพ ลดความช้าลงทั้งหมดถึง 40% และลดความช้าลงทั้งหมดถึง 35% ในงานขนาดใหญ่
• การปรับเปลี่ยนเส้นทางและควบคุมความจุกจุก:เปลี่ยนเส้นทางการจราจรอย่างไดนามิค เพื่อหลีกเลี่ยงจุดร้อน, รับประกันผลงานที่คาดเดาได้ ภายใต้รูปแบบการจราจรที่ขัดแย้งเทเลเมตรีย์ที่ทันสมัยให้ความเห็นต่อการไหลและต่อท่าเรือสําหรับการจัดการแบบโปรแอคทีฟ.
• สามารถจัดการได้อย่างครบวงจรการบูรณาการอย่างเต็มที่กับ Unified Fabric Manager (UFM) ของ NVIDIA สําหรับการจัดสรรแบบไม่มีการสัมผัส, การติดตามสภาพ และการเปลี่ยนแบบอัตโนมัติ

รายการรายละเอียด 920-9B210-00FN-0D0นอกจากนี้ยังยกให้ความสําคัญกับปัจจุบันของปัจจุบันของระบบพลังงานแบบสองแบบที่เหลือใช้, โมดูลแฟนที่เปลี่ยนได้ร้อน, และการสนับสนุนสําหรับการตั้งค่าผู้จัดการซับเน็ตที่เหลือใช้, รับประกันความพร้อม 99.999% สําหรับภาระงานที่สําคัญต่อภาระกิจ

4. แนะนําการจัดจําหน่ายและการปรับขนาด

สําหรับองค์กรที่วางแผนที่จะนํา920-9B210-00FN-0D0 โซลูชั่น OPN สวิตช์ InfiniBandแนะนําแนวทางการใช้งานต่อไปนี้

• กลยุทธ์การเชื่อมสายไฟฟ้า:ใช้สาย OSFP-to-OSFP DAC สําหรับการเชื่อมต่อภายในราค (สูงสุด 3m) และ AOC หรือตัวรับออฟติกสําหรับการเชื่อมต่อระหว่างราคและกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดาน (สูงสุด 100m)920-9B210-00FN-0D0 รองรับตามเมทริกซ์ความสอดคล้องของ NVIDIA เพื่อหลีกเลี่ยงปัญหาความสมบูรณ์แบบของสัญญาณ
• การลาออก:ใช้เครื่องพลังงานคู่ที่เชื่อมต่อกับ PDU ต่างๆ ใช้สวิทช์กระดูกสันหลังอย่างน้อย 2 ตัวต่อใบ เพื่อกําจัดจุดผิดปกติพิจารณา N + 1 การขยายตัวที่ชั้นกระดูกสันหลัง.
• การจัดการฟอร์มแวร์:ให้แน่ใจว่าสวิตช์ทั้งหมดจะใช้ฟอร์มแวร์ NVIDIA แบบเดียวกัน ใช้คุณสมบัติการปรับปรุงฟอร์มแวร์อัตโนมัติของ UFM สําหรับการอัพเดทอย่างต่อเนื่องโดยไม่ต้องหยุดทํางานยืนยันความสอดคล้องของฟอร์มแวร์กับตัวปรับโฮสต์และสายไฟฟ้าก่อนการจัดจําหน่าย.
• เส้นทางการปรับขนาด:สําหรับคลาสเตอร์ที่เกิน 4,096 หน่วย, การสลับไปยังทอปโลยีปิดแบบพับสามชั้นหรือเลเวจ dragonfly + ด้วยการนําทางปรับปรุง 920-9B210-00FN-0D0 รองรับสวิทช์สูงสุด 64 หน่วยในผ้าเดียวมีผ้าหลายสายเชื่อมต่อกันผ่านเกตเกตสําหรับการใช้งานขนาดใหญ่.
• การรับรองผลประกอบการก่อนการนําไปใช้ในการผลิต ใช้การทดสอบความเครียดอย่างครบถ้วน โดยใช้เครื่องมือเช่น เปิดฟาเบรคส์ Enterprise Distribution (OFED)ใบข้อมูล 920-9B210-00FN-0D0รายละเอียด

เมื่อคํานวณค่าใช้จ่ายรวมของเจ้าของ, สังเกตจํานวนที่ลดลงของระดับสวิตช์และการปรับปรุงสายไฟที่เรียบง่ายเมื่อเทียบกับทางเลือกที่มีราดิกซ์ต่ํากว่า.920-9B210-00FN-0D0 ราคาราคาต่อหน่วยสูงกว่าสวิตช์ HDR ราคาต่อพอร์ตและราคาต่อเครือข่าย GPU ต่ํากว่ามากในการใช้งานขนาดใหญ่ ทําให้มันเป็นทางเลือกที่มีประหยัดสําหรับโครงการ exascale

5การดําเนินงาน ติดตามและแก้ปัญหา

การบริหารงานที่มีประสิทธิภาพของผ้า NDR ต้องการกรอบการติดตามและแก้ปัญหาที่ครบวงจร. UFM ของ NVIDIA ให้แผ่นแก้วเดียวสําหรับทั้งหมดNVIDIA Mellanox 920-9B210-00FN-0D0เนื้อเยื่อที่ใช้ในงาน:

• การแสดงภาพทอปโลยี:การค้นพบอัตโนมัติและการแสดงภาพของสวิทช์, ลิงค์ และจุดปลายทั้งหมด พร้อมกับการอัพเดทสถานะในเวลาจริง
• แดชบอร์ดการทํางาน:ภาพในเวลาจริงของการใช้งานท่าเรือ อัตราความผิดพลาด ตัวชี้วัดความจุกจุก และการครอบคลุมพัฟเฟอร์ทั่วกระดูกทั้งหมด
• การเตือนอย่างระวังระเบิดระดับขั้นต่ําสําหรับการทําลายสายเชื่อม ความผิดปกติของอุณหภูมิ ความล้มเหลวของไฟฟ้า และการสวมสายไฟ
• การแยกความผิดพลาด:กระบวนการแก้ไขปัญหาที่กํากับการระบุสายไฟฟ้าที่ผิดปกติ, เครื่องรับสัญญาณ, หรือสวิตช์พอร์ต, ลดเวลาเฉลี่ยในการแก้ไข (MTTR)
• วิเคราะห์ประวัติศาสตร์:การวิเคราะห์แนวโน้มและการวางแผนศูนย์ความสามารถ โดยใช้ข้อมูลผลประกอบการในประวัติศาสตร์ ทําให้สามารถตัดสินใจในการปรับขนาดได้อย่างระยะยาว

สําหรับการแก้ไขปัญหาที่ก้าวหน้า, ใช้เครื่องมือวินิจฉัยที่สร้างขึ้นในสวิตช์, รวมถึงการทดสอบลุปแบ็ค, BER (อัตราความผิดพลาดบิต) การวิเคราะห์, และการติดตามวินิจฉัยโมดูลออปติก (DOM).ประเด็นทั่วไปที่พบในการจัดจําหน่าย NDR ช่วงต้นรวมถึงการนําทางที่ไม่ดีที่สุดที่เกิดจากความเร็วลิงค์ที่ไม่เท่าเทียมกัน, ประเภทเคเบิลที่ไม่ตรงกัน หรือความไม่สอดคล้องของฟอร์มแวร์ การเปิดให้ใช้งานแบบปรับปรุงการเดินเส้น การตรวจสอบว่าทุกลิงค์ทํางานที่ 400Gb / s โดยเปิด FECและการให้ความมั่นคงกับฟอร์มแวร์ที่สอดคล้องกันในสวิตช์ทั้งหมด จะแก้ไขปัญหาความผิดปกติส่วนใหญ่ของผลงาน.

วิศวกรเครือข่ายควรกําหนดแนวพื้นฐานของรายละเอียด 920-9B210-00FN-0D0ในช่วงการรับรอง รวมถึงความช้าที่คาดหวัง, ผ่านการผลิต, และอัตราความผิดพลาด920-9B210-00FN-0D0 InfiniBand สวิตช์ OPNยังรองรับการบันทึกเหตุการณ์ครบวงจรผ่าน syslog และ SNMP ทําให้สามารถบูรณาการกับสเต็กการติดตามศูนย์ข้อมูลที่มีอยู่

6. สรุปและการประเมินค่า

รายการ920-9B210-00FN-0D0ส่งข้อเสนอคุณค่าที่น่าเชื่อถือสําหรับองค์กรที่สร้างหรือขยายคลาสเตอร์ HPC และ AI ที่ใช้ NDR. มันให้ 64 ท่าทางของ 400Gb / s NDR ด้วยความช้าต่ํากว่า 100 ns, SHARPv3 offload,การจัดการในระดับองค์กร, และความสอดคล้องอย่างเต็มที่กับระบบนิเวศ HDR ที่มีอยู่ทั้งหมดในแพลตฟอร์ม 1U ที่คอมแพคต

• ประสิทธิภาพ:ลดความช้าในการสื่อสารทั้งหมดถึง 75% และลดความช้าในการลดความช้าทั้งหมดถึง 40% ผ่านการลด SHARPv3 และความกว้างแบนด์ NDR
• ประสิทธิภาพการใช้จ่ายค่าเครือข่ายต่ําต่อ GPU เมื่อเทียบกับทางเลือก HDR ในการใช้งานขนาดใหญ่, นําโดยราดิกซ์ที่สูงขึ้นและจํานวนชั้นสวิตช์ที่ลดลง
• การทํางานง่าย:การบูรณาการอย่างลึกซึ้งกับ UFM สําหรับการจัดการแบบรวมกัน การจัดหาระบบอัตโนมัติ การติดตามอย่างระวัง และการแก้ไขความผิดพลาดอย่างรวดเร็ว
• การคุ้มครองการลงทุนความเข้ากันได้อย่างเต็มที่กับสายไฟฟ้า HDR, ออตติกส์ และซอฟต์แวร์สเต็กที่มีอยู่
• ความสามารถในการปรับขนาดในอนาคต:การสนับสนุนท็อปโลยี Folded-Clos และ Dragonfly+ สามชั้น เพื่อให้เนื้อเยื่อสามารถปรับขนาดได้ถึง 8,000+ node ตามที่ความต้องการในการคํานวณเพิ่มขึ้น

สําหรับองค์กรที่ประเมิน920-9B210-00FN-0D0 สําหรับขายผ่านพันธมิตรช่องทางของ NVIDIA เราแนะนําให้รีวิวรายละเอียดใบข้อมูล 920-9B210-00FN-0D0และร่วมมือกับสถาปนิกการแก้ไขที่ได้รับการรับรองเพื่อรับรองการออกแบบสําหรับภาระงานและความต้องการขนาดเฉพาะของคุณNVIDIA Mellanox 920-9B210-00FN-0D0พร้อมสําหรับการผลิตในปัจจุบัน ซึ่งเป็นพื้นฐานในการเชื่อมต่อที่สามารถปรับขนาดได้ และมีประสิทธิภาพสูง สําหรับการนวัตกรรม AI และ HPC รุ่นต่อไป