NVIDIA Mellanox MMA4Z00-NS ศูนย์ข้อมูลออปติกส์ทรานซิสเวอร์ในปฏิบัติการ

NVIDIA Mellanox MMA4Z00-NS ศูนย์ข้อมูลออปติกส์ทรานซิสเวอร์ในปฏิบัติงาน การสมดุลความกว้างแบนด์บิดและระยะทาง

สถานการณ์และความท้าทาย: ปัญหาระยะทางความกว้างแบนด์วิท 800G ในศูนย์ข้อมูลที่ขับเคลื่อนโดย AI

ในขณะที่คลัสเตอร์การฝึกอบรม AI มีขนาดจากร้อยๆ ถึงพันๆ GPU องค์ประกอบเครือข่ายที่อยู่เบื้องหลังต้องให้ความกว้างแบนด์วิทในขนาดเทราบิต โดยยังคงความห่างของลิงค์ที่ยอมรับได้ภายในห้องข้อมูลสําหรับ 800G Ethernet และ 400G InfiniBand, ความท้าทายของชั้นฟิสิกส์เป็นเรื่องที่รุนแรงมาก: เครื่องรับสัญญาณมัลติโมดแบบ 850nm VCSEL แบบดั้งเดิมนําเสนอประสิทธิภาพในเรื่องค่าใช้จ่ายที่ดีที่สุดสําหรับสายเชื่อมต่อระยะสั้น (ต่ํากว่า 30 เมตร)แต่ความกว้างของพวกมันมักจะลดลงถึง 50 ∼ 70 เมตร ในความเร็ว 800G PAM4 ∼ ระยะที่อาจไม่เพียงพอสําหรับการเชื่อมต่อข้ามทางหรือโทปโลยีระหว่างแถวในทางตรงกันข้าม การแก้ไขแบบแบบเดียว เช่น เครื่องรับสัญญาณ DR8 หรือ FR8 สามารถขยายความกว้างไปถึงหลายร้อยเมตร แต่มีค่าใช้จ่ายและการใช้พลังงานที่สูงขึ้นมากทําให้พวกเขาไม่เป็นไปได้ทางเศรษฐกิจสําหรับการจัดจําหน่าย access layer ความหนาแน่นสูง.

ความท้าทายนี้ถูกเผชิญหน้าเมื่อเร็วๆ นี้โดยผู้ให้บริการคลาวด์ขนาดใหญ่ที่นํากลุ่มฝึกอบรม AI 8,000 GPU ไปใช้ใน 12 ห้องกลางข้อมูลคลัสเตอร์ต้องการการเชื่อมต่อ 800G ระหว่างสวิตช์ใบและ GPU คอมพิวเตอร์ node ที่กระจายไปทั่วเรคที่อยู่ใกล้เคียงและที่ไม่อยู่ใกล้เคียง, ความห่างตั้งแต่ 5 เมตร (ในราค) ถึง 65 เมตร (ทางข้ามราค)ทีมวิศวกรต้องการ SKU เครื่องรับสัญญาณเดียว ที่สามารถครอบคลุมส่วนใหญ่ของสายพันธุ์เหล่านี้ โดยไม่เสียสละความสมบูรณ์แบบของสัญญาณ, ประสิทธิภาพการใช้พลังงาน, หรือความยืดหยุ่นของโปรโตคอลNVIDIA Mellanox MMA4Z00-NSปรากฏว่าเป็นผู้สมัครที่ดีที่สุด โดยนําเสนอผลงาน 800G OSFP SR8 ด้วยความสามารถในการแยก 2 × 400G ผ่านโปรโตคอลทั้งสองแบบ

การแก้ไขและการจัดจําหน่าย: กลยุทธ์ออปติกส์ 800G

เพื่อแก้ไขความสมดุลความกว้างแบนด์เวทและระยะทาง ผู้ให้บริการNVIDIA Mellanox MMA4Z00-NSในฐานะตัวรับสัญญาณทางออนไลน์ 800G สําหรับทุกเส้นเชื่อมไฟเบอร์มัลติโมดสูงถึง 60 เมตรเครื่องรับสัญญาณ MMA4Z00-NS 800G OSFP SR8ใช้งานผ่านไฟเบอร์ OM5 แบนด์กว้าง มัลติโมดการสนับสนุนความกว้าง 70 เมตรในระยะ 800 กิโลกรัม ✓ การให้ความสะดวกในการเชื่อมต่อข้ามทางโดยรักษาความสอดคล้องกับพื้นฐาน OM4 ที่มีอยู่สําหรับเส้นทางสั้นกว่าสําหรับเส้นเชื่อมที่เกิน 60 เมตร ทีมงานได้จัดเก็บรายการเล็ก ๆ ของเครื่องรับสัญญาณแบบเดียว (DR8 / FR8) เพื่อครอบคลุมการเชื่อมต่อระหว่างหอเล็ก ๆ น้อย ๆ

การจัดจําหน่ายถูกดําเนินการในสามโซนที่แตกต่างกัน, แต่ละโซนมีความต้องการด้านสายไฟและความเชื่อมต่อเฉพาะเจาะจง:

• ภายในเรค (2 ̊5 เมตร):สายพับ MPO-12 โดยตรงจากพอร์ตสวิทช์ OSFP ไปยังหน่วยคอมพิวเตอร์ GPU โดยใช้เครื่องรับสัญญาณ MMA4Z00-NS ในทั้งสองปลายรับประกันการทํางานอย่างแข็งแรง แม้กระทั่งกับการทําลายของเครื่องเชื่อมที่ปานกลาง.
• รางติดต่อกัน (820 เมตร):การเชื่อมต่อสายไฟฟ้าแบบโครงสร้าง OM5 ผ่านแผ่นไฟฟ้าที่มีแผ่นพลาชกลาง จํานวนตัวเชื่อมทั้งหมด: 2 คู่ที่จับคู่กันต่อต่อต่อภายในงบประมาณทางออนไลน์ของโมดูลใบข้อมูล MMA4Z00-NS.
• ช่องทางข้าม / ระหว่างแถว (2555 เมตร):ช่อง OM5 ที่ถูกตัดไว้ก่อนทีมงานดําเนินการทําความสะอาดด้านท้ายของเครื่องเชื่อมทั้งหมดก่อนการติดตั้งและตรวจสอบการสูญเสียการใส่ด้วยการใช้เครื่องวัดพลังงานทางออนไลน์ระหว่างการใช้งาน.

สําหรับส่วนของ InfiniBand ของผ้าที่เชื่อมต่อเซอร์เวอร์ GPU กับสวิทช์ควอนตัม-2MMA4Z00-NS 2x400G InfiniBand/Ethernetในระบบนี้, เครื่องรับสัญญาณ MMA4Z00-NS ตัวเดียวที่ด้านสวิตช์ให้อาหารสองจุดปลาย 400G ผ่านการแยก MPO-12 ไปยัง 2 × MPO-8 คาเบลความสามารถ Breakout ของพื้นเมืองนี้กําจัดความจําเป็นของโมดูล Fan-Out ภายนอก, ลดการใช้บริการพื้นที่ rack โดยประมาณ 20% เมื่อเทียบกับสถาปัตยกรรมที่พัฒนาขึ้นจาก 400G ก่อนหน้านี้NVIDIA Mellanox MMA4Z00-NSคือรองรับ MMA4Z00-NSด้วยโปรโตคอล Ethernet และ InfiniBand ทั้งคู่ ทีมงานได้รักษา SKU เครื่องรับสัญญาณเดียวในทั้งกระดูก โดยทําให้การจัดซื้อและการจัดการอะไหล่ง่ายขึ้น

ผล & ประโยชน์: การเพิ่มค่าใช้จ่าย, ความหนาแน่น, และการดําเนินงานง่าย

การวิเคราะห์หลังการใช้งานใน 2400 ลิงค์ออปติกส์พบข้อดีหลายอย่างที่สามารถคณิตประเมินได้MMA4Z00-NS 800G OSFP SR8 โซลูชั่นตัวรับ, องค์กรได้กําจัดความต้องการของ SKU ระยะสั้นและระยะกลางแยกกัน, ลดคลังสินค้าของเครื่องรับส่ง 60% และปรับปรุงกระบวนการสั่งซื้อ.ราคา MMA4Z00-NS, เมื่อประเมินกับโมดูลแบบเดียวที่มีความกว้างที่สามารถเปรียบเทียบได้, ส่งผลให้มีการประหยัดค่าใช้จ่าย 45% ต่อเชื่อมต่อสําหรับระยะทางต่ํากว่า 60 เมตร,เพราะไม่มีค่าธรรมเนียมที่จ่ายสําหรับความสามารถที่ไม่จําเป็น.

อันดับที่สอง อัตราความล้มเหลวในการใช้งานในช่วงหกเดือนแรกต่ํามาก: จําเป็นต้องเปลี่ยนเครื่องรับสัญญาณเพียงสองเครื่อง จาก 2,400 หน่วย08% ต่ํากว่าเฉลี่ยของอุตสาหกรรม 0.5 ٪ สําหรับเครื่องรับสัญญาณ 800G รุ่นแรก ความน่าเชื่อถือนี้เป็นเพราะการปรับปรุงการปรับปรุงทางออทติกัลที่ปรับปรุงในโรงงานและการควบคุมคุณภาพอย่างเข้มงวดของ MMA4Z00-NSและการปฏิบัติตามขั้นตอนการทําความสะอาดของทีมงานรายละเอียด MMA4Z00-NS.

อันดับที่สาม ประสิทธิภาพการใช้พลังงานNVIDIA Mellanox MMA4Z00-NS✓ การบริโภคที่ต่ํากว่า 10.5W ต่อโมดูลที่ 800G และประมาณ 8.2W ใน 2 × 400G รูปแบบ Breakout400 เครื่องรับและส่งที่ใช้ประมาณ 24รวม.6 kW ในโหมด 2 × 400G และ 25.2 kW ในโหมด 800G เมื่อเทียบกับประมาณ 35 kW หากโมดูลโหลดโหมดเดียวทางเลือกที่มีการใช้พลังงานสูงกว่า (โดยทั่วไป 12 14W) ได้ถูกเลือกการลดพลังงาน 28~30% นี้ได้ปรับปรุงเมตรประสิทธิภาพการใช้พลังงาน (PUE) ของอุปกรณ์โดยตรงโดยประมาณ 00.03 แต้ม

จากมุมมองทางวิศวกรรม อินเตอร์เฟซการติดตามการวินิจฉัยดิจิตอล (DDM) ของโมดูลพิสูจน์ว่ามีค่าไม่แพงในการแก้ปัญหาการลดลงอย่างช้า ๆ ของพลังงานทางออนไลน์ที่รับได้ถูกตรวจพบผ่านการติดตามอย่างระวัง, ทําให้ทีมปฏิบัติการสามารถกําหนดการทําความสะอาดเชื่อมต่อในช่วงหน้าต่างการบํารุงรักษา แทนที่จะปฏิกิริยาต่อการหลุดเชื่อมที่ไม่คาดหวังแนวทางป้องกันนี้ลดเวลาเฉลี่ยในการซ่อมแซม (MTTR) สําหรับอุบัติเหตุชั้นออปติกส์โดยประมาณ 55%เพราะทีมงานสามารถระบุจุดเชื่อมต่อที่เสียหาย ก่อนที่มันจะทําให้การบริการขาดทุน

สรุปและมุมมอง: แผนผังสําหรับสถาปัตยกรรมออปติก 800G ที่สามารถปรับขนาดได้

ประสบการณ์การใช้งานกับNVIDIA Mellanox MMA4Z00-NSผ่านโซนระยะห่างหลายแห่ง แสดงให้เห็นอย่างชัดเจนว่า well-chosen 800G OSFP SR8 transceiver can effectively address the bandwidth-distance trade-off in modern AI data centers — provided its specifications are carefully matched to the installed fiber plant and distance requirementsโดยใช้ความกว้าง 70 เมตรของเครื่องรับสัญญาณ MMA4Z00-NS 800G OSFP SR8ผ่านไฟเบอร์ OM5 สถาปนิกสามารถหลีกเลี่ยงค่าใช้จ่ายและความซับซ้อนของ SKU ออฟติกส์หลายอย่าง โดยยังคงรักษาความสมบูรณ์แบบของสัญญาณและความเรียบง่ายในการปฏิบัติงานและการเชื่อมโยงข้ามทางเดิน.

มองไปข้างหน้า, ในขณะที่ 800G Ethernet และ 400G InfiniBand ยังคงได้รับความนิยมในการฝึกอบรม AI, HPC และสภาพแวดล้อมการเก็บข้อมูลขององค์กร, ความต้องการของราคาประสิทธิภาพ 800G เครื่องรับสัญญาณทางออนไลน์จะเติบโตเท่านั้นMMA4Z00-NS ติดตั้งได้ดีสําหรับเส้นทางนี้เนื่องจากความสามารถของโปรโตคอลสองแบบและการสนับสนุน 2 × 400G ที่เป็นพื้นฐานจะทําให้ความเหมาะสมกับทั้งโครงสร้างพื้นฐาน 400G ปัจจุบันและจุดสิ้น 800G ที่เป็นพื้นฐานในอนาคตสําหรับองค์กรที่วางแผนการย้ายที่คล้ายกัน 800G แนวทางระดับที่รับรองในการจําหน่ายนี้เสนอแผนการทางปฏิบัติการ: มาตรฐานบน MMA4Z00-NS สําหรับทุกเส้นทางสูงสุด 60 เมตรเหนือ OM5,เครื่องรับสัญญาณแบบเดียวสํารองสําหรับการเชื่อมต่อระหว่างห้องนานกว่าและรักษาขอบเขตการติดตามที่รวมกันซึ่งใช้ข้อมูล DDM เพื่อจัดการสุขภาพทางออทติกอย่างเป็นตัวแทน ทั้งในผ้า Ethernet และ InfiniBand.

สําหรับรูปแบบงบประมาณลิงค์รายละเอียด, รายการตรวจสอบการติดตั้ง, และโปรโตคอลการทําความสะอาดใบข้อมูล MMA4Z00-NSและคําบันทึกการใช้งานออฟติกของ NVIDIA Mellanox