Mellanox (NVIDIA Mellanox) MFS1S00-H020V AOC สายไฟฟ้าออนไลน์ที่ใช้จริง

ความเป็นมาและความท้าทาย: คอขวดระยะสั้น

เมื่อสถาบันวิจัยหลักเริ่มปรับใช้คลัสเตอร์ HPC ระดับ exascale ใหม่เพื่อรองรับการสร้างแบบจำลองสภาพภูมิอากาศและการวิจัยจีโนม ทีมโครงสร้างพื้นฐานคาดการณ์ถึงความท้าทายตามปกติ: ความหนาแน่นของการประมวลผลจำนวนมาก ข้อกำหนดเวลาแฝงต่ำเป็นพิเศษ และปริมาณการประมวลผลข้อมูลระดับเพตะไบต์ สิ่งที่พวกเขาไม่ได้คาดหวังก็คือชั้นสายเคเบิลทางกายภาพ โดยเฉพาะการเชื่อมต่อระหว่างชั้นวางถึงชั้นวาง จะกลายเป็นอุปสรรคที่สำคัญที่สุดประการเดียวในการติดตั้งใช้งานอย่างทันท่วงที

เค้าโครงศูนย์ข้อมูลของสถาบันวางชั้นวางคอมพิวเตอร์หลายแถว โดยมีพื้นที่จัดเก็บข้อมูลและอุปกรณ์เครือข่ายอยู่ในแถวที่อยู่ติดกัน โดยคั่นด้วยระยะห่างตั้งแต่ 12 ถึง 28 เมตร อย่างไรก็ตาม ระยะทางสั้นๆ เหล่านี้พิสูจน์แล้วว่าเป็นปัญหาสำหรับสายทองแดง Direct Attach (DAC) แบบดั้งเดิม ซึ่งประสบปัญหาความเสื่อมของสัญญาณที่ 200Gb/s เกิน 5 เมตร อีกทางเลือกหนึ่งคือตัวรับส่งสัญญาณออปติคัลแบบแยกที่มีจัมเปอร์ไฟเบอร์แยกกัน ทำให้เกิดความซับซ้อนและต้นทุนอย่างมาก ทีมวิศวกรเผชิญกับทางเลือกที่น่ากังวล: ปรับใช้การเชื่อมต่อทองแดงที่ไม่น่าเชื่อถือซึ่งต้องมีการตรวจสอบอย่างต่อเนื่อง หรือลงทุนในโครงสร้างพื้นฐานด้านออปติกที่ซับซ้อนซึ่งจะทำให้โครงการล่าช้าไปหลายสัปดาห์

ความท้าทายขยายไปไกลกว่าประสิทธิภาพดิบ ถาดจัดการสายเคเบิลมีความหนาแน่นอยู่แล้ว และการเพิ่มมัดทองแดงหนาจะขัดขวางการไหลเวียนของอากาศและทำให้การบำรุงรักษาในอนาคตยุ่งยากขึ้น สถาบันต้องการโซลูชันที่สามารถส่งมอบประสิทธิภาพ 200Gb/s ในระยะ 12 ถึง 28 เมตร ขณะเดียวกันก็ทำให้โครงสร้างพื้นฐานทางกายภาพง่ายขึ้น ไม่ซับซ้อน

โซลูชันและการปรับใช้: TheMFS1S00-H020Vข้อได้เปรียบ

คำตอบมาในรูปแบบ.เมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MFS1S00-H020Vสายออปติคอลที่ใช้งานอยู่ AOC ที่สร้างขึ้นตามวัตถุประสงค์นี้ได้รับการออกแบบอย่างแม่นยำสำหรับสถานการณ์เช่นนี้ โดยที่ทองแดงถึงขีดจำกัดและออปติกแบบแยกใช้งานมากเกินไป ที่MFS1S00-H020V สายเคเบิล AOC 200G QSFP56ผสมผสานความเรียบง่ายแบบพลักแอนด์เพลย์ของ DAC เข้ากับความสมบูรณ์ของสัญญาณและระยะการเข้าถึงของไฟเบอร์ออปติก ทำให้เป็นตัวเลือกที่เหมาะสมที่สุดสำหรับช่วงแร็คถึงแร็ค 12 ถึง 28 เมตรของสถาบัน

การปรับใช้ตรงไปตรงมาอย่างน่าทึ่ง ทีมงานวิศวกรได้สั่งผลิตจำนวนหนึ่งMFS1S00-H020V สายเคเบิลออปติคอลที่ใช้งาน InfiniBand HDR 200Gb/sในความยาว 15, 20 และ 25 เมตร ขึ้นอยู่กับเอกสารข้อมูลสินค้า MFS1S00-H020Vข้อกำหนด เมื่อมาถึง สายเคเบิลจะถูกเสียบเข้ากับพอร์ต QSFP56 บนสวิตช์ NVIDIA Mellanox Quantum ในแต่ละแร็ค ไม่มีการฝึกอบรมพิเศษ ไม่มีชุดทำความสะอาดเลนส์ ไม่มีการตรวจสอบขั้ว เพียงกระบวนการคลิกและเชื่อมต่อง่ายๆ ที่ใช้เวลาน้อยกว่าสามนาทีต่อลิงก์

ตามที่สเปค MFS1S00-H020Vสายเคเบิลนี้รองรับอัตราข้อมูล InfiniBand HDR เต็มรูปแบบโดยมีอัตราข้อผิดพลาดบิต (BER) น้อยกว่า 1E-15 ช่วยให้มั่นใจได้ว่าแม้แต่ปริมาณงาน HPC ที่ไวต่อความหน่วงมากที่สุดก็จะไม่พบความล่าช้าในการส่งข้อมูลซ้ำ การตรวจสอบการวินิจฉัยทางดิจิทัล (DDM) แบบบูรณาการช่วยให้มองเห็นสถานะการเชื่อมต่อได้ทันที ช่วยให้ทีมปฏิบัติการเครือข่ายสามารถตรวจสอบกำลังรับแสงและอุณหภูมิที่ปลายทั้งสองข้างโดยไม่ต้องใช้อุปกรณ์ทดสอบเพิ่มเติม

การปรับใช้ครอบคลุมลิงก์แบบแร็คถึงแร็ค 64 ลิงก์ที่เชื่อมต่อโหนดคอมพิวเตอร์เข้ากับอุปกรณ์จัดเก็บข้อมูลและสวิตช์สไปน์ การติดตั้งทางกายภาพทั้งหมด รวมถึงการกำหนดเส้นทางสายเคเบิลและการจัดการ เสร็จสิ้นภายในแปดชั่วโมง ซึ่งเป็นงานที่ทีมงานคาดการณ์ว่าจะใช้เวลาห้าวันในการใช้ตัวรับส่งสัญญาณและไฟเบอร์แบบแยก

ผลลัพธ์และคุณประโยชน์: การปรับปรุงการปฏิบัติงานที่วัดผลได้

ผลกระทบของการย้ายถิ่นฐานสู่MFS1S00-H020Vเกิดขึ้นทันทีและสามารถวัดปริมาณได้ในหลายมิติ:

ความหนาแน่นของสายเคเบิล:สายเคเบิลออปติคัลที่บางและยืดหยุ่นได้ลดปริมาณมัดรวมได้มากกว่า 65% เมื่อเทียบกับ DAC ทองแดงที่เทียบเท่ากัน ถาดจัดการสายเคเบิลซึ่งก่อนหน้านี้อัดแน่นจนแทบจะจุได้ แต่ปัจจุบันมีพื้นที่เพียงพอสำหรับการขยายในอนาคต การไหลเวียนของอากาศดีขึ้นอย่างวัดได้ โดยอุณหภูมิขาเข้าของชั้นวางลดลงโดยเฉลี่ย 2.3°C

ความเร็วในการปรับใช้:เวลาการติดตั้งต่อลิงก์ลดลงจากประมาณ 12 นาที (พร้อมตัวรับส่งสัญญาณและไฟเบอร์) เหลือน้อยกว่า 3 นาที การใช้งาน 64-link ทั้งหมดเสร็จสิ้นในเวลาเพียงเจ็ดชั่วโมง ซึ่งเร็วกว่ากำหนดการของโครงการ และช่วยให้คลัสเตอร์ HPC ใช้งานได้เร็วกว่าที่วางแผนไว้สี่สัปดาห์

ความน่าเชื่อถือ:ในช่วงระยะเวลาสังเกตการณ์ห้าเดือนต่อมาMFS1S00-H020Vลิงก์บันทึกข้อผิดพลาดเป็นศูนย์หรือส่วนลิงก์ขาด การตรวจสอบการวินิจฉัยแบบดิจิทัล (DDM) แสดงกำลังรับแสงและการอ่านอุณหภูมิได้ดีอย่างสม่ำเสมอภายในช่วงการทำงานปกติ ซึ่งเป็นการตรวจสอบสเปค MFS1S00-H020V. ในทางตรงกันข้าม โครงสร้างพื้นฐานที่ใช้ทองแดงก่อนหน้านี้ของสถาบันมีความล้มเหลวโดยเฉลี่ย 0.9 ต่อแร็คต่อเดือน

ประสิทธิภาพต้นทุน:ในขณะที่ราคา MFS1S00-H020Vต่อสายเคเบิลสูงกว่า DAC ทองแดงที่มีความยาวเท่ากัน การวิเคราะห์ต้นทุนรวมในการเป็นเจ้าของ (TCO) ชอบโซลูชัน AOC การกำจัดการจัดหาตัวรับส่งสัญญาณ ลดต้นทุนแรงงาน และค่าใช้จ่ายในการทำความเย็นที่ลดลงรวมกันเพื่อให้ระยะเวลาคืนทุนต่ำกว่าหกเดือน ทางสถาบันตั้งข้อสังเกตว่าขาย MFS1S00-H020Vความพร้อมใช้งานผ่านหลายช่องทางทำให้มั่นใจได้ถึงราคาที่แข่งขันได้และการเติมเต็มอย่างรวดเร็ว

การดำเนินงานที่ง่ายขึ้น:ที่รองรับการใช้งาน MFS1S00-H020Vลักษณะของสายเคเบิลที่มีพอร์ต QSFP56 InfiniBand ทั้งหมด ทำให้ไม่จำเป็นต้องอัพเกรดเฟิร์มแวร์สวิตช์หรือแก้ไขฮาร์ดแวร์ ทีมปฏิบัติการชื่นชมที่ข้อมูล DDM ของสายเคเบิลผสานรวมเข้ากับเครื่องมือตรวจสอบเครือข่ายที่มีอยู่ได้อย่างราบรื่น ให้การมองเห็นเชิงรุกโดยไม่มีค่าใช้จ่ายในการจัดการเพิ่มเติม

สรุปและแนวโน้ม: มาตรฐานใหม่สำหรับการเชื่อมต่อระหว่างกันในระยะสั้น

การปรับใช้ที่ประสบความสำเร็จของเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MFS1S00-H020Vในสภาพแวดล้อมการใช้งานจริงนี้จะตรวจสอบสิ่งที่สถาปนิกเครือข่ายหลายคนสงสัยมานานแล้ว: สายเคเบิลออปติกแบบแอคทีฟไม่ได้มีไว้สำหรับการเชื่อมต่อระยะไกลอีกต่อไป สำหรับระยะระหว่างชั้นวางถึงชั้นวางตั้งแต่ 12 ถึง 28 เมตรMFS1S00-H020Vนำเสนอสมดุลที่เหมาะสมที่สุดของประสิทธิภาพ ความหนาแน่น และความเรียบง่ายในการปฏิบัติงาน ซึ่ง DAC ที่เป็นทองแดงไม่สามารถเทียบเคียงได้ และโซลูชันออปติคัลแบบแยกต้องดิ้นรนเพื่อให้ได้มาซึ่งความคุ้มค่า

ขณะนี้ทางสถาบันได้กำหนดมาตรฐานเรื่องMFS1S00-H020V 200G QSFP56 โซลูชันสายเคเบิล AOCสำหรับการปรับใช้แร็คใหม่ทั้งหมด และกำลังประเมินตัวแปรที่ยาวขึ้นสำหรับการเชื่อมต่อแบบข้ามแถว ด้วยความน่าเชื่อถือที่ได้รับการพิสูจน์แล้ว การใช้งานที่ง่ายดาย และการวินิจฉัยทางดิจิทัลที่ครอบคลุม สายเคเบิลออปติกแบบแอคทีฟนี้จึงพร้อมที่จะกลายเป็นตัวเลือกที่แท้จริงสำหรับศูนย์ข้อมูลที่ต้องการปรับปรุงโครงสร้างความเร็วสูงของตนในขณะเดียวกันก็เตรียมพร้อมสำหรับการอัพเกรด 400G ในอนาคต

สำหรับผู้จัดการฝ่ายไอทีและวิศวกรเครือข่ายที่กำลังประเมินตัวเลือกการเชื่อมต่อระหว่างกันในระยะสั้นเมลลาน็อกซ์ (NVIDIA เมลลาน็อกซ์) MFS1S00-H020Vแสดงถึงคำตอบที่น่าสนใจและผ่านการตรวจสอบภาคสนามแล้วสำหรับความซับซ้อนของสายเคเบิลที่รบกวนสภาพแวดล้อมการประมวลผลที่มีความหนาแน่นมายาวนาน การผสมผสานระหว่างความเป็นเลิศด้านเทคนิคและความง่ายในการปฏิบัติงานทำให้ไม่ได้เป็นเพียงผลิตภัณฑ์เท่านั้น แต่ยังเป็นตัวขับเคลื่อนเชิงกลยุทธ์สำหรับสถาปัตยกรรมศูนย์ข้อมูลรุ่นต่อไป