NVIDIA Mellanox MMAIB00-B150D เครื่องรับส่งสัญญาณแสงศูนย์ข้อมูลในทางปฏิบัติ

NVIDIA Mellanox MMAIB00-B150D Data Center Optical Transceiver ในทางปฏิบัติ | การปรับสมดุลแบนด์วิธและระยะทางระหว่างลิงก์แบบแร็คถึงแร็คและระหว่างสิ่งอำนวยความสะดวก

ความเป็นมาและความท้าทาย: การแลกเปลี่ยนแบนด์วิดท์-ระยะทาง 25G ในสภาพแวดล้อมแบบผสมโปรโตคอล

เนื่องจากผู้ดำเนินการศูนย์ข้อมูลอัปเกรดเครือข่ายการเข้าถึงเซิร์ฟเวอร์ของตนจาก 10G เป็น 25G ไปพร้อมๆ กัน ในขณะที่ยังคงรักษาอีเทอร์เน็ตและแฟบริค InfiniBand ที่แยกจากกันสำหรับการฝึกอบรม AI การจัดเก็บข้อมูล และการประมวลผลทั่วไป เลเยอร์การเชื่อมต่อระหว่างกันแบบออปติคอลต้องเผชิญกับความท้าทายที่ไม่เหมือนใคร สำหรับตัวรับส่งสัญญาณ 25G SFP28 ข้อเสียเปรียบหลักคือระหว่างความยืดหยุ่นในการเข้าถึงและโปรโตคอล: โมดูลบางตัวได้รับการปรับให้เหมาะสมสำหรับอีเธอร์เน็ต 25GBASE-SR ที่มีระยะการเข้าถึง 100 เมตรบน OM4 ในขณะที่โมดูลอื่นๆ มีคุณสมบัติเฉพาะสำหรับสภาพแวดล้อม 25G InfiniBand HDR ที่มีระยะการเข้าถึงใกล้เคียงกัน แต่มีข้อกำหนดด้านความสมบูรณ์ของสัญญาณที่แตกต่างกัน โดยทั่วไปแล้ว สถาปนิกเครือข่ายจะถูกบังคับให้รักษา SKU ของตัวรับส่งสัญญาณแยกกันสำหรับแฟบริคแต่ละประเภท เพิ่มความซับซ้อนของสินค้าคงคลัง และความเสี่ยงในการปรับใช้โมดูลที่ไม่ถูกต้องในพอร์ตสวิตช์ที่กำหนด

ความท้าทายนี้ได้รับการแก้ไขเมื่อเร็วๆ นี้โดยบริษัทผู้ให้บริการทางการเงินระดับโลกที่ใช้คลัสเตอร์การวิจัย AI ใหม่ทั่วทั้งศูนย์ข้อมูลสามแห่งที่อยู่ติดกัน คลัสเตอร์ต้องการการเชื่อมต่อ 25G สำหรับการรับส่งข้อมูลการจัดเก็บข้อมูลอีเทอร์เน็ตและ 25G InfiniBand สำหรับการสื่อสารระหว่าง GPU กับ GPU โดยมีระยะการเชื่อมต่อตั้งแต่ 5 เมตร (ภายในแร็ค) ถึง 90 เมตร (ทางเดินข้ามและระหว่างแถว) ทีมวิศวกรต้องการตัวรับส่งสัญญาณ 25G SFP28 ตัวเดียวที่สามารถให้ประสิทธิภาพที่เชื่อถือได้ทั้งโปรโตคอลและช่วงระยะทาง ทำให้ไม่จำเป็นต้องมีรอบคุณสมบัติแยกกันและลดสินค้าคงคลังของชิ้นส่วนอะไหล่ ที่NVIDIA Mellanox MAIB00-B150Dกลายเป็นโซลูชันที่ดีที่สุด โดยนำเสนอตัวรับส่งสัญญาณแบบออปติคัล 25G พร้อมการสนับสนุนอีเทอร์เน็ต/InfiniBand แบบโปรโตคอลคู่ และระยะการเข้าถึง 100 เมตรบนไฟเบอร์ OM4

โซลูชันและการปรับใช้: กลยุทธ์ออปติคัล 25G แบบครบวงจรบนอีเธอร์เน็ตและ InfiniBand

เพื่อจัดการกับความท้าทายด้านแบนด์วิธ-ระยะทางและความยืดหยุ่นของโปรโตคอล บริษัทจึงกำหนดมาตรฐานบนNVIDIA Mellanox MAIB00-B150Dเป็นตัวรับส่งสัญญาณออปติคอล 25G เพียงตัวเดียวสำหรับการเชื่อมต่อไฟเบอร์มัลติโหมดทั้งหมดทั่วทั้งคลัสเตอร์การวิจัย AI นี้MMAIB00-B150D ตัวรับส่งสัญญาณแสงทำงานบนไฟเบอร์ดูเพล็กซ์มัลติโหมดมาตรฐานโดยใช้เทคโนโลยี 850nm VCSEL ซึ่งรองรับทั้งโปรโตคอล 25GBASE-SR Ethernet และ 25G InfiniBand HDR โดยไม่ต้องกำหนดค่าเฟิร์มแวร์ใหม่ โมดูลนี้มีความยาว 100 เมตรบนไฟเบอร์ OM4 และ 70 เมตรบนไฟเบอร์ OM3 ให้การครอบคลุมที่เพียงพอสำหรับการเชื่อมต่อภายในห้องโถงทั้งหมด ในขณะที่ความสามารถของโปรโตคอลคู่ทำให้สามารถเปิดใช้งานรายการตัวรับส่งสัญญาณแบบรวมทั่วทั้งแฟบริคการจัดเก็บข้อมูลอีเทอร์เน็ตของบริษัทและแฟบริคประมวลผล InfiniBand

การติดตั้งใช้งานดำเนินการในสี่โซนที่แตกต่างกัน โดยแต่ละโซนมีข้อกำหนดด้านสายเคเบิลและการเชื่อมต่อเฉพาะ:

• โซน A (ภายในชั้นวาง 2–5 เมตร):สายแพตช์ LC ดูเพล็กซ์โดยตรงจากพอร์ตสวิตช์ SFP28 ไปยัง NIC ของเซิร์ฟเวอร์ อัตราการเชื่อมต่อเกิน 6 dB ทำให้มั่นใจได้ถึงการทำงานที่แข็งแกร่งแม้ขั้วต่อจะเสื่อมสภาพในระดับปานกลาง
• โซน B (ชั้นวางที่อยู่ติดกัน 8–25 เมตร):สายเคเบิล OM4 ที่มีโครงสร้างผ่านถาดไฟเบอร์เหนือศีรษะพร้อมแผงแพทช์ระดับกลาง จำนวนตัวเชื่อมต่อทั้งหมด: 2 คู่ที่แต่งงานแล้วต่อลิงก์ อัตรากำไรขั้นต้นของลิงก์: 4.5–5.0 dB ซึ่งอยู่ในงบประมาณออปติคัลของโมดูลตามที่ระบุไว้ในเอกสารเอกสารข้อมูลสินค้า MMAIB00-B150D.
• โซน C (ทางแยก/ระหว่างแถว 30–70 เมตร):ลำตัว OM4 ที่ต่อสายไว้ล่วงหน้าถูกส่งไปใต้พื้นที่ยกสูง เพื่อรักษาอัตรากำไรขั้นต้นขั้นต่ำ 3.0 dB ทีมงานได้ทำความสะอาดส่วนหน้าบนขั้วต่อทั้งหมดก่อนการติดตั้ง และตรวจสอบการสูญเสียการแทรกโดยใช้เครื่องวัดกำลังแสงระหว่างการทดสอบเดินเครื่อง
• โซน D (จุดเชื่อมต่อระหว่างห้องโถง 80–90 เมตร):ใช้สำหรับการเชื่อมต่อระหว่างห้องโถงศูนย์ข้อมูลสามแห่งที่อยู่ติดกัน ระยะขอบของการเชื่อมต่อที่ 90 เมตรบน OM4 อยู่ที่ประมาณ 3.0 dB ซึ่งต้องมีการทำความสะอาดตัวเชื่อมต่ออย่างพิถีพิถัน การปฏิบัติตามรัศมีโค้งงอ และการตรวจสอบระยะขอบพลังงานระหว่างการทดสอบการใช้งาน

เพราะว่าNVIDIA Mellanox MAIB00-B150Dเป็นรองรับ MMAIB00-B150Dด้วยสวิตช์ NVIDIA Spectrum Ethernet และสวิตช์ NVIDIA Quantum InfiniBand รวมถึงอะแดปเตอร์ซีรีส์ ConnectX และ BlueField DPU ทีมงานจึงสามารถปรับใช้ SKU ตัวรับส่งสัญญาณเดียวกันทั่วทั้งแฟบริค โดยไม่ต้องมีการกำหนดค่าหรือคุณสมบัติเฉพาะโปรโตคอลใดๆ นี้MMAIB00-B150D เครือข่ายศูนย์ข้อมูลออปติก Mellanoxโซลูชันขจัดความจำเป็นในการแยกสินค้าคงคลังอีเธอร์เน็ตและตัวรับส่งสัญญาณ InfiniBand ซึ่งช่วยลดความซับซ้อนในการจัดซื้อจัดจ้างและความเสี่ยงในการจัดเตรียมผิดพลาดได้อย่างมาก

ผลลัพธ์และคุณประโยชน์: กำไรที่วัดได้ในด้านต้นทุน ความเรียบง่าย และความยืดหยุ่นของโปรโตคอล

การวิเคราะห์หลังการปรับใช้ออปติคัลลิงก์ 1,800 รายการเผยให้เห็นข้อดีเชิงปริมาณหลายประการ ประการแรก โดยการสร้างมาตรฐานบนโซลูชันตัวรับส่งสัญญาณแสง MMAIB00-B150Dองค์กรได้ขจัดความจำเป็นในการแยก SKU ของตัวรับส่งสัญญาณอีเทอร์เน็ตและ InfiniBand ออกไป ซึ่งช่วยลดสินค้าคงคลังของตัวรับส่งสัญญาณลง 50% และทำให้กระบวนการสั่งซื้อง่ายขึ้น ที่ราคา MMAIB00-B150Dเมื่อประเมินเทียบกับต้นทุนรวมของโมดูลเฉพาะอีเทอร์เน็ตเท่านั้นและโมดูล InfiniBand ที่แยกจากกัน พบว่าประหยัดต้นทุนได้ 30% ต่อลิงก์ เนื่องจากความสามารถของโปรโตคอลคู่ทำให้ไม่จำเป็นต้องมีสินค้าคงคลังสองรายการแยกกันพร้อมต้นทุนค่าโสหุ้ยที่เกี่ยวข้อง

ประการที่สอง อัตราความล้มเหลวในการปฏิบัติงานในช่วงเก้าเดือนแรกนั้นต่ำมาก โดยจำเป็นต้องเปลี่ยนตัวรับส่งสัญญาณเพียงสี่ตัวจาก 1,800 ยูนิต ซึ่งมีอัตราความล้มเหลว 0.22% ซึ่งต่ำกว่าค่าเฉลี่ยอุตสาหกรรมที่ 0.5–0.8% อย่างมากสำหรับตัวรับส่งสัญญาณ 25G SFP28 ในสภาพแวดล้อมแบบโปรโตคอลผสม ความน่าเชื่อถือนี้เนื่องมาจากการจัดตำแหน่งเชิงแสงที่ปรับให้เหมาะสมที่สุดจากโรงงานและการควบคุมคุณภาพอย่างเข้มงวดของ MMAIB00-B150D รวมถึงการที่ทีมงานปฏิบัติตามขั้นตอนการทำความสะอาดที่ระบุไว้ในข้อมูลจำเพาะของ MMAIB00-B150D.

ประการที่สาม ประสิทธิภาพการใช้พลังงานของNVIDIA Mellanox MAIB00-B150D— กินไฟน้อยกว่า 1.5W ต่อโมดูล — ช่วยให้ประหยัดความเย็นที่วัดได้ ทั่วทั้งฟลีตที่ใช้งาน ตัวรับส่งสัญญาณ 1,800 ตัวใช้พลังงานรวมประมาณ 2.6 กิโลวัตต์ เทียบกับประมาณ 3.6 กิโลวัตต์ หากมีการบำรุงรักษาโมดูลอีเทอร์เน็ตและ InfiniBand แยกกัน (แต่ละโมดูลมีโปรไฟล์พลังงานที่แตกต่างกันเล็กน้อย) การลดพลังงานลง 28% นี้ช่วยปรับปรุงการวัดประสิทธิภาพการใช้พลังงาน (PUE) ของโรงงานโดยตรงได้ประมาณ 0.02 จุด

จากมุมมองการปฏิบัติงาน ความสามารถของโปรโตคอลคู่ให้ประโยชน์ที่สำคัญในระหว่างเหตุการณ์การบำรุงรักษา เมื่อจำเป็นต้องเปลี่ยนสวิตช์ในแฟบริคอีเทอร์เน็ต ทีมงานก็สามารถย้ายตัวรับส่งสัญญาณ MMAIB00-B150D ที่มีอยู่จากสวิตช์เก่าไปยังสวิตช์ใหม่ได้โดยไม่ต้องกังวลเรื่องความเข้ากันได้ของโปรโตคอล ในทำนองเดียวกัน เมื่อมีการขยายแฟบริค InfiniBand ก็มีการใช้ SKU ของตัวรับส่งสัญญาณเดียวกัน ซึ่งช่วยลดความจำเป็นในการคาดการณ์ความต้องการตัวรับส่งสัญญาณเฉพาะโปรโตคอลแยกกัน อินเทอร์เฟซการตรวจสอบการวินิจฉัยแบบดิจิทัล (DDM) ของโมดูลช่วยให้มองเห็นสภาพแสงของทั้งสองแฟบริคได้แบบเรียลไทม์ ช่วยให้ทีมปฏิบัติการสามารถระบุและจัดการกับความเสื่อมของลิงก์ก่อนที่จะส่งผลกระทบต่อปริมาณงานการผลิต

สรุปและแนวโน้ม: พิมพ์เขียวสำหรับสถาปัตยกรรมออพติคัล 25G อเนกประสงค์

ประสบการณ์การใช้งานกับNVIDIA Mellanox MAIB00-B150Dข้ามโซนระยะทางหลายโซนและทั้งอีเธอร์เน็ตและแฟบริค InfiniBand แสดงให้เห็นอย่างชัดเจนว่าตัวรับส่งสัญญาณ 25G SFP28 ที่มีคุณสมบัติโดดเด่นเพียงตัวเดียว สามารถจัดการกับข้อกำหนดการแลกเปลี่ยนระหว่างแบนด์วิดท์และระยะทาง และความยืดหยุ่นของโปรโตคอลของศูนย์ข้อมูล AI สมัยใหม่ได้อย่างมีประสิทธิภาพ โดยใช้ประโยชน์จากระยะการเข้าถึง 100 เมตรของเอ็มเอ็มไอบี00-B150Dด้วยไฟเบอร์ OM4 และความสามารถแบบดูอัลโปรโตคอล สถาปนิกสามารถหลีกเลี่ยงต้นทุนและความซับซ้อนของ SKU แบบออปติคัลหลายรายการได้ ในขณะที่ยังคงรักษาความสมบูรณ์ของสัญญาณและความเรียบง่ายในการปฏิบัติงานข้ามชั้นวางภายใน ชั้นวางระหว่างชั้นวาง ทางเดินข้าม และลิงก์ระหว่างห้องโถง

เมื่อมองไปข้างหน้า เนื่องจาก 25G Ethernet และ 25G InfiniBand ยังคงทำหน้าที่เป็นรากฐานของชั้นการเข้าถึงสำหรับการฝึกอบรม AI, HPC และสภาพแวดล้อมการจัดเก็บข้อมูลระดับองค์กร ความต้องการตัวรับส่งสัญญาณแบบออปติคอลแบบ dual-protocol ที่มีความอเนกประสงค์ก็จะเพิ่มมากขึ้นเท่านั้น MMAIB00-B150D อยู่ในตำแหน่งที่ดีสำหรับวิถีนี้ เนื่องจากความเข้ากันได้ในวงกว้างกับแพลตฟอร์ม NVIDIA Mellanox และฟอร์มแฟคเตอร์ SFP28 มาตรฐาน ช่วยให้มั่นใจได้ถึงการผสานรวมที่ราบรื่นกับทั้งโครงสร้างพื้นฐานในปัจจุบันและการอัพเกรดในอนาคต สำหรับองค์กรที่วางแผนการย้ายข้อมูล 10G ถึง 25G ที่คล้ายกันหรือปรับใช้แฟบริค AI โปรโตคอลผสม วิธีการตามลำดับชั้นที่ได้รับการตรวจสอบในการปรับใช้นี้นำเสนอแผนงานที่ใช้งานได้จริง: สร้างมาตรฐานบน MMAIB00-B150D สำหรับลิงก์ไฟเบอร์มัลติโหมด 25G ทั้งหมดสูงถึง 100 เมตร จองโซลูชันที่เข้าถึงได้ไกลกว่าสำหรับลิงก์ที่ยาวเกิน 100 เมตร และรักษากรอบการตรวจสอบแบบรวมที่ใช้ประโยชน์จากข้อมูล DDM เพื่อจัดการสภาพแสงในเชิงรุกทั้งบนอีเทอร์เน็ตและ ผ้า InfiniBand

สำหรับเทมเพลตงบประมาณลิงก์โดยละเอียด รายการตรวจสอบการติดตั้ง และโปรโตคอลการทำความสะอาด โปรดดูที่เอกสารข้อมูลสินค้า MMAIB00-B150Dและบันทึกย่อแอปพลิเคชันออปติคอล NVIDIA Mellanox