โซลูชันทางเทคนิคของตัวรับส่งสัญญาณแสงศูนย์ข้อมูล NVIDIA Mellanox MMA4Z00-NS

NVIDIA Mellanox MMA4Z00-NS โซลูชันทางเทคนิคสำหรับออปติคัลทรานซีฟเวอร์ในศูนย์ข้อมูล: การสร้างสมดุลระหว่างแบนด์วิดท์และระยะทางสำหรับลิงก์ภายในแร็คและระหว่างห้อง

1. ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

เมื่อคลัสเตอร์การฝึกอบรมปัญญาประดิษฐ์ขยายตัวจากหลักพันเป็นหลักหมื่น GPU เครือข่ายศูนย์ข้อมูลกำลังเผชิญกับความท้าทายที่ไม่เคยมีมาก่อนในด้านความหนาแน่นของแบนด์วิดท์และระยะทางทางกายภาพพร้อมกัน ตัวอย่างเช่น ศูนย์คอมพิวเตอร์อัจฉริยะ (AI) ทั่วไป โหนดคอมพิวเตอร์ GPU ของจะกระจายอยู่ทั่วหลายแร็คบนชั้นเดียวกัน รวมถึงห้องเครื่องหลักสองห้องบนชั้นที่อยู่ติดกัน ข้อกำหนดเครือข่ายมีความเข้มงวด: ส่งมอบแบนด์วิดท์เต็มอัตรา 800G ระหว่างโหนดคอมพิวเตอร์ทั้งหมด รองรับทั้ง InfiniBand (สำหรับการสื่อสารโดยตรงของ GPU) และ Ethernet (สำหรับเครือข่ายจัดเก็บข้อมูลและการจัดการ) และครอบคลุมระยะทางลิงก์ตั้งแต่ 5 เมตร (ภายในแร็ค) ถึง 80 เมตร (ระหว่างห้อง) โดยไม่ก่อให้เกิดคอขวดในการแปลโปรโตคอล

แนวทางการออกแบบแบบดั้งเดิมมักอาศัยการผสมผสานทรานซีฟเวอร์ประเภทต่างๆ: 800G SR8 สำหรับลิงก์ภายในแร็คระยะสั้น (สูงสุด 50 เมตรบน OM4) และโซลูชันโหมดเดี่ยว 800G DR8/FR8 สำหรับการเชื่อมต่อระหว่างห้องที่ไกลกว่า อย่างไรก็ตาม กลยุทธ์ SKU ที่หลากหลายนี้สร้างภาระการดำเนินงานที่สำคัญในการจัดการสินค้าคงคลัง การทดสอบคุณสมบัติ และการจัดหาอะไหล่ นอกจากนี้ ต้นทุนและอัตราการใช้พลังงานที่สูงขึ้นของออปติกส์โหมดเดี่ยวยังทำให้ไม่เหมาะสมสำหรับการใช้งานขนาดใหญ่ที่มีความหนาแน่นสูง NVIDIA Mellanox MMA4Z00-NS ถูกประเมินว่าเป็นโซลูชันแพลตฟอร์มเดียวที่มีศักยภาพในการรวมโดเมนระยะทางทั้งสองเข้าด้วยกัน ในขณะที่ยังคงความยืดหยุ่นของโปรโตคอลและประสิทธิภาพด้านต้นทุน

2. การออกแบบสถาปัตยกรรมเครือข่าย/ระบบโดยรวม

สถาปัตยกรรมที่นำเสนอใช้โทโพโลยีแบบ spine-leaf โดยมีโหนดคอมพิวเตอร์ GPU เชื่อมต่อกับสวิตช์ leaf ผ่านพอร์ต OSFP 800G และสวิตช์ leaf เชื่อมต่อกับสวิตช์ spine โดยใช้ทรานซีฟเวอร์ประเภทเดียวกันเพื่อรักษาความสอดคล้อง การตัดสินใจเชิงสถาปัตยกรรมที่สำคัญคือการกำหนดมาตรฐานทรานซีฟเวอร์ออปติคัลรุ่นเดียว—NVIDIA Mellanox MMA4Z00-NS—ตลอดทุกส่วนของลิงก์ ตั้งแต่ภายในแร็คไปจนถึงระหว่างห้อง โดยใช้ประโยชน์จาก DSP ที่ได้รับการปรับปรุงและงบประมาณกำลังแสงเพื่อขยายระยะการเข้าถึงที่มีประสิทธิภาพเกินกว่าข้อกำหนดมาตรฐาน 50 เมตร

เพื่อเพิ่มความสมบูรณ์ของสัญญาณในระยะทางที่ขยายออกไป สถาปัตยกรรมจึงรวมหลักการออกแบบหลายประการเข้าไว้ด้วย:

• การปรับปรุงระบบสายไฟเบอร์: ใช้สายไฟเบอร์มัลติโหมด OM4 คุณภาพสูง (แบนด์วิดท์โหมดประสิทธิผลขั้นต่ำ ≥ 4700 MHz·km) สำหรับลิงก์ทั้งหมด โดยใช้ขั้วต่อ MPO-12 APC เพื่อลดการสูญเสียการแทรกและการสะท้อนกลับ เส้นทางสายเคเบิลแบบมีโครงสร้างได้รับการออกแบบเพื่อหลีกเลี่ยงการโค้งงอที่แน่นและการเชื่อมต่อแผงแพทช์ที่มากเกินไป
• งบประมาณสำรองของลิงก์: งบประมาณการสูญเสียของสถาปัตยกรรมจะถูกรักษาไว้ต่ำกว่า 3.0 dB สำหรับลิงก์ทั้งหมด เพื่อให้แน่ใจว่ามีส่วนต่างเพียงพอสำหรับ MMA4Z00-NS ในการทำงานโดยปราศจากข้อผิดพลาด แม้ที่ระยะ 80 เมตร สิ่งนี้ทำได้โดยการจำกัดจำนวนคู่ขั้วต่อที่จับคู่ไม่เกินสี่คู่ต่อลิงก์
• การส่งต่อแบบไม่ขึ้นกับโปรโตคอล: สวิตช์ leaf (NVIDIA Spectrum-4 สำหรับ Ethernet และ Quantum-2 สำหรับ InfiniBand) ถูกกำหนดค่าให้รู้จักโหมดการทำงาน MMA4Z00-NS 2x400G InfiniBand/Ethernet ทำให้สามารถกำหนดโปรโตคอลแบบไดนามิกต่อพอร์ตได้โดยไม่ต้องเปลี่ยนแปลงฮาร์ดแวร์

สถาปัตยกรรมรองรับทั้งการใช้งานแบบแร็คเดียวและหลายแร็ค โดย MMA4Z00-NS ทำหน้าที่เป็นตัวเปิดใช้งานชั้นกายภาพสากลสำหรับทุกช่วงระยะทาง

3. บทบาทของ NVIDIA Mellanox MMA4Z00-NS และคุณสมบัติหลัก

หัวใจสำคัญของโซลูชันนี้ NVIDIA Mellanox MMA4Z00-NS ทำหน้าที่เป็นสะพานเชื่อมชั้นกายภาพแบบรวมศูนย์ ขจัดความจำเป็นในการใช้ทรานซีฟเวอร์หลายประเภท คุณสมบัติทางเทคนิคหลักที่เกี่ยวข้องกับสถาปัตยกรรมนี้ ได้แก่:

รายละเอียด เอกสารข้อมูล MMA4Z00-NS ให้ข้อมูลจำเพาะทางแสงและไฟฟ้าที่ครอบคลุม รวมถึงลักษณะของตัวส่งและตัวรับ ซึ่งถูกนำมาใช้ในการตรวจสอบการคำนวณงบประมาณลิงก์สำหรับทุกส่วนของการใช้งานนี้ ข้อมูลจำเพาะ MMA4Z00-NS ยืนยันกำลังส่งทั่วไปตั้งแต่ -2.5 dBm ถึง 4.0 dBm และความไวของตัวรับที่ -6.5 dBm (BER 5E-8) ซึ่งให้ส่วนต่างแสงที่จำเป็นสำหรับเป้าหมาย 80 เมตร

ในเชิงฟังก์ชัน ทรานซีฟเวอร์ MMA4Z00-NS 800G OSFP SR8 ทำงานโดยการรวมเลน 8 เลนของสัญญาณไฟฟ้า 100G PAM4 จาก ASIC ของสวิตช์ แปลงเป็นสัญญาณแสง และส่งผ่านสายไฟเบอร์มัลติโหมดแบบขนานผ่านอินเทอร์เฟซ MPO-12 ที่ด้านรับ DSP แบบรวมจะทำการกู้คืนสัญญาณนาฬิกาและข้อมูล การปรับสมดุล และการแยกส่วนกลับไปยังโดเมนไฟฟ้า ไปป์ไลน์การประมวลผลนี้มีความสำคัญอย่างยิ่งต่อการรักษาความสมบูรณ์ของสัญญาณในระยะทางที่ขยายออกไป ซึ่งการกระจายตัวของโหมดและการลดทอนอาจทำให้ประสิทธิภาพลดลง

4. คำแนะนำในการติดตั้งและปรับขนาด (พร้อมโทโพโลยีทั่วไป)

สำหรับการติดตั้ง NVIDIA Mellanox MMA4Z00-NS ที่เหมาะสม ขอแนะนำโทโพโลยีและแนวทางการเดินสายดังต่อไปนี้:

โทโพโลยีทั่วไป – การปรับขนาดสามระดับ:

• ระดับที่ 1 (ภายในแร็ค, ≤15 ม.): สายแพทช์ MPO-12 โดยตรงระหว่างโหนดคอมพิวเตอร์ GPU และสวิตช์ Top-of-Rack (TOR) ติดตั้ง MMA4Z00-NS ที่ปลายทั้งสองข้าง ไม่จำเป็นต้องมีการปรับสภาพเพิ่มเติม
• ระดับที่ 2 (ข้ามแร็ค, 15–45 ม.): สายเคเบิลหลัก MPO ที่ติดตั้งไว้ล่วงหน้า วิ่งผ่านถาดด้านบน เชื่อมต่อสวิตช์ TOR กับสวิตช์รวม leaf อนุญาตให้มีแผงแพทช์ได้สูงสุดสองแผง
• ระดับที่ 3 (ระหว่างห้อง, 45–80 ม.): สายเคเบิลแบบมีโครงสร้างพร้อมสายหลัก MPO เสริม ใช้ขั้วต่อแบบมุมและมีการเชื่อมต่อน้อยที่สุด แต่ละลิงก์จะได้รับการทดสอบการสูญเสียการแทรกและการสะท้อนกลับก่อนการใช้งาน

รายการตรวจสอบการติดตั้ง:

• ตรวจสอบลิงก์ไฟเบอร์ทั้งหมดโดยใช้เครื่องวัดการสะท้อนแสงแบบโดเมนเวลา (OTDR) และเครื่องวัดกำลัง เพื่อยืนยันการสูญเสียต่ำกว่า 3.0 dB
• กำหนดค่าพอร์ตสวิตช์เป็นโปรโตคอลที่ต้องการ (InfiniBand หรือ Ethernet) และตรวจสอบว่า MMA4Z00-NS เจรจาโหมดการทำงานที่ถูกต้องโดยอัตโนมัติตาม เอกสารข้อมูล MMA4Z00-NS.
• สำหรับสภาพแวดล้อมแบบผสม 400G/800G ให้เปิดใช้งานโหมดแยก 2×400G บนพอร์ตที่เลือก ทำให้ MMA4Z00-NS 2x400G InfiniBand/Ethernet สามารถรองรับการเชื่อมต่อ 400G สองรายการจากทรานซีฟเวอร์เดียว
• ติดตั้งเป็นระยะ: เริ่มต้นด้วยแร็คเดียว ตรวจสอบเมตริก BER และความหน่วง จากนั้นขยายไปยังลิงก์ข้ามแร็คและระหว่างห้อง

สำหรับการขยายขนาดใหญ่เกิน 80 เมตร สถาปัตยกรรมแนะนำให้วางสายเคเบิลออปติคัลแบบแอคทีฟ (AOC) หรือโซลูชันโหมดเดี่ยวสำหรับลิงก์แบ็คโบนที่ยาวที่สุดเท่านั้น ในขณะที่ยังคงใช้ โซลูชันทรานซีฟเวอร์ MMA4Z00-NS 800G OSFP SR8 สำหรับการเชื่อมต่อ leaf-to-spine และ compute-to-leaf ส่วนใหญ่

5. การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการปรับปรุงประสิทธิภาพ

MMA4Z00-NS ได้รับการออกแบบมาเพื่อความง่ายในการดำเนินงาน พร้อมการสนับสนุนการตรวจสอบการวินิจฉัยแบบดิจิทัล (DDM) ที่ครอบคลุมผ่านอินเทอร์เฟซ I²C แนวทางปฏิบัติในการดำเนินงานที่สำคัญ ได้แก่:

• การตรวจสอบแบบเรียลไทม์: ติดตามอุณหภูมิ แรงดันไฟฟ้าจ่าย กำลังแสงส่ง/รับ และกระแสไบอัสเลเซอร์ แพลตฟอร์มการจัดการเครือข่ายของ NVIDIA สามารถแจ้งเตือนเมื่อใกล้ถึงเกณฑ์ ทำให้สามารถบำรุงรักษาเชิงรุกได้
• การปรับขอบเขตลิงก์: ใช้ความสามารถในการปรับ DSP เพื่อทำการทดสอบการปรับขอบเขตลิงก์ระหว่างการติดตั้งและเป็นส่วนหนึ่งของการตรวจสอบสุขภาพรายไตรมาส MMA4Z00-NS รองรับการปรับสมดุลตามความต้องการผ่านเฟิร์มแวร์ ซึ่งสามารถชดเชยการเสื่อมสภาพของสายไฟเบอร์ที่ค่อยเป็นค่อยไปหรือการเสื่อมสภาพของขั้วต่อ
• การแยกข้อผิดพลาด: หากลิงก์ประสบปัญหา BER สูงหรือเหตุการณ์สัญญาณขาดหาย ควรเปรียบเทียบข้อมูล DDM จากปลายทั้งสองของลิงก์ โหมดความล้มเหลวทั่วไป ได้แก่ ขั้วต่อ MPO ที่สกปรก/ปนเปื้อน (ทำความสะอาดโดยใช้เครื่องทำความสะอาดแบบตลับ) การสูญเสียจากการโค้งงอมากเกินไป (ตรวจสอบเส้นทางการเดินสายทางกายภาพ) หรือการเสื่อมสภาพของตัวส่ง (ตรวจสอบแนวโน้มกระแสไบอัสและกำลังแสง)
• การอัปเดตเฟิร์มแวร์: NVIDIA ออกอัปเดตเฟิร์มแวร์เป็นระยะ ซึ่งสามารถปรับปรุงอัลกอริทึมการปรับสมดุลและเพิ่มความเข้ากันได้ ตรวจสอบให้แน่ใจว่ายูนิต MMA4Z00-NS ทั้งหมดใช้เฟิร์มแวร์เวอร์ชันล่าสุดตามคำแนะนำของผู้ผลิต

สำหรับการปรับปรุงประสิทธิภาพ สถาปัตยกรรมแนะนำให้ทำการสแกนพื้นฐานของลิงก์ทั้งหมดที่ 800G และในโหมด 2×400G โดยบันทึกกำลังแสงและสถิติ BER พื้นฐานนี้ใช้เป็นข้อมูลอ้างอิงสำหรับการแก้ไขปัญหาและการวางแผนความจุในอนาคต นอกจากนี้ MMA4Z00-NS สำหรับขาย ที่มีจำหน่ายผ่านช่องทางการจัดจำหน่ายทั่วโลกที่เป็นมาตรฐาน ช่วยให้มั่นใจได้ว่าสามารถจัดหายูนิตสำรองได้อย่างรวดเร็ว ลดเวลาหยุดทำงานในกรณีที่เกิดความล้มเหลว

6. สรุปและการประเมินมูลค่า

NVIDIA Mellanox MMA4Z00-NS นำเสนอโซลูชันออปติคัลแบบรวมศูนย์ที่น่าสนใจสำหรับศูนย์ข้อมูล AI สมัยใหม่ที่ต้องสร้างสมดุลระหว่างแบนด์วิดท์สูงกับระยะทางทางกายภาพที่แตกต่างกัน ด้วยการกำหนดมาตรฐานทรานซีฟเวอร์ประเภทเดียวสำหรับทั้งลิงก์ภายในแร็คและระหว่างห้อง สถาปัตยกรรมนี้ช่วยลดความซับซ้อนของสินค้าคงคลัง ปรับปรุงกระบวนการคุณสมบัติ และทำให้การบำรุงรักษาง่ายขึ้น ในขณะเดียวกันก็ใช้ประโยชน์จาก DSP ขั้นสูงและความสามารถทางแสงของโมดูลเพื่อขยายระยะการเข้าถึงเกินกว่าขีดจำกัด SR8 แบบดั้งเดิม

ผลลัพธ์มูลค่าหลัก:

• การลดความซับซ้อนของสินค้าคงคลัง: SKU เดียวแทนที่ทรานซีฟเวอร์หลายประเภท ลดต้นทุนการถือครองอะไหล่ลงประมาณ 60%
• ประสิทธิภาพด้านต้นทุน: โครงสร้างพื้นฐานสายไฟเบอร์มัลติโหมดมีราคาถูกกว่าโครงสร้างพื้นฐานแบบโหมดเดี่ยวอย่างมาก และ ราคา MMA4Z00-NS ต่อพอร์ตต่ำกว่าทางเลือก DR8/FR8 ที่เทียบเท่ากันอย่างมาก
• ความยืดหยุ่นพร้อมสำหรับอนาคต: โหมดแยก 2×400G เป็นทางเข้าสำหรับสภาพแวดล้อมที่ยังไม่พร้อมสำหรับ 800G เต็มรูปแบบ ในขณะที่โหมด 800G รองรับคลัสเตอร์ GPU รุ่นต่อไปในปัจจุบัน
• ความทนทานในการดำเนินงาน: DDM ที่แข็งแกร่ง การแจ้งเตือนเชิงรุก และพารามิเตอร์ DSP ที่ปรับได้ในสนาม ทำให้มั่นใจได้ว่าลิงก์จะยังคงอยู่ในข้อกำหนดตลอดอายุการใช้งาน

สำหรับสถาปนิกเครือข่าย วิศวกรโซลูชัน และทีมปฏิบัติการ MMA4Z00-NS เป็นรากฐานที่ใช้งานได้จริง ประสิทธิภาพสูง และคุ้มค่าสำหรับการสร้างเครือข่าย AI ที่ปรับขนาดได้ ซึ่งสามารถครอบคลุมแร็คและห้องต่างๆ ได้โดยไม่มีข้อจำกัด เอกสารข้อมูล MMA4Z00-NS ที่ครอบคลุมและเอกสารทางเทคนิคที่สนับสนุนมีให้เพื่ออำนวยความสะดวกในการวางแผนการรวมระบบและการตรวจสอบการติดตั้ง