สถาปัตยกรรมอ้างอิงทางเทคนิค NVIDIA Mellanox 980-9I45D-00H005

สถาปัตยกรรมอ้างอิงทางเทคนิค NVIDIA Mellanox 980-9I45D-00H005 | มอบการเชื่อมต่อที่มีความน่าเชื่อถือสูงและความเป็นเลิศในการดำเนินงานสำหรับศูนย์ข้อมูลและเครือข่ายองค์กร

1. ความเป็นมาของโครงการและการวิเคราะห์ข้อกำหนด

ศูนย์ข้อมูลสมัยใหม่มีการพัฒนาอย่างรวดเร็วจากสถาปัตยกรรมสามชั้นแบบดั้งเดิมไปสู่โทโพโลยีแบบแบนซึ่งครอบงำโดยรูปแบบการรับส่งข้อมูลตะวันออก-ตะวันตก ในเวลาเดียวกัน คลัสเตอร์การฝึกอบรม AI ระบบจัดเก็บข้อมูลแบบกระจาย และแพลตฟอร์มการวิเคราะห์แบบเรียลไทม์กำหนดความต้องการที่เกือบจะเข้มงวดบนเครือข่ายพื้นฐาน: เวลาแฝงจากต้นทางถึงปลายทางจะต้องคงที่ในช่วงไมโครวินาที การใช้งานลิงก์จะต้องเกิน 70% โดยไม่ทำให้เกิดการล่มสลายของความแออัด และเวลาการกู้คืนความล้มเหลวจะต้องวัดในช่วงเวลาย่อยวินาที อย่างไรก็ตาม อุปกรณ์เครือข่ายในปัจจุบันจำนวนมากขาดการผสานรวมการวัดและส่งข้อมูลทางไกลเชิงลึก การรองรับ RoCE ดั้งเดิม และอินเทอร์เฟซอัตโนมัติที่ตั้งโปรแกรมได้ ส่งผลให้ทีมปฏิบัติการอยู่ในสถานะการดับเพลิงแบบตอบโต้ตลอดเวลา

เพื่อจัดการกับความท้าทายเหล่านี้ เราขอเสนอสถาปัตยกรรมเครือข่ายศูนย์ข้อมูลยุคถัดไปที่สร้างขึ้นรอบ ๆNVIDIA เมลลาน็อกซ์ 980-9I45D-00H005. โซลูชันนี้ได้รับการออกแบบเพื่อให้บรรลุวัตถุประสงค์หลักสามประการไปพร้อมๆ กัน: 1) ส่งมอบระนาบการส่งต่อทางกายภาพที่ไม่สูญเสียและกระวนกระวายใจต่ำ; 2) สร้างกรอบงานการสังเกตสามมิติที่ครอบคลุมตัวชี้วัดระดับอุปกรณ์ ระดับลิงก์ และระดับการไหล และ 3 ผสานรวมอย่างลงตัวกับแพลตฟอร์มระบบอัตโนมัติกระแสหลักผ่าน API ที่ได้มาตรฐาน เปลี่ยนการดำเนินงานเครือข่ายจากงานที่ขับเคลื่อนด้วย CLI แบบแมนนวลไปเป็นแบบจำลองที่ขับเคลื่อนด้วยนโยบายตามความตั้งใจ

2. การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมที่นำเสนอใช้โทโพโลยีทางกายภาพ Spine-Leaf ที่เป็นผู้ใหญ่ เสริมด้วย EVPN-VXLAN เป็นระนาบควบคุมการซ้อนทับพื้นฐาน ชั้นกระดูกสันหลังประกอบด้วยหลายชั้น980-9I45D-00H005ยูนิตที่สร้างเป็นผ้าตาข่ายทั้งหมด โดยสไปน์แต่ละตัวเชื่อมต่อกับสวิตช์ Leaf ทั้งหมดผ่านพอร์ต 400G ทำให้เกิดโครงสร้าง Clos fat-tree ที่ไม่ปิดกั้น เลเยอร์ Leaf นำเสนอการกำหนดค่าพอร์ตที่ยืดหยุ่นซึ่งรองรับความเร็ว 100G, 25G หรือ 10G รองรับทั้งชั้นวางเซิร์ฟเวอร์ x86 แบบดั้งเดิมและคลัสเตอร์การประมวลผลที่เร่งด้วย GPU

บนระนาบควบคุม อุปกรณ์ Spine และ Leaf ทั้งหมดรัน BGP-EVPN เป็นโปรโตคอลการกำหนดเส้นทางแบบรวม ซึ่งช่วยให้สามารถสร้าง VXLAN tunnel อัตโนมัติและค้นพบ VTEP ได้ สำหรับการประมวลผลประสิทธิภาพสูงและปริมาณงาน AI ระนาบการส่งต่อได้รับการจัดเตรียมด้วยความสามารถของเครือข่าย RoCEv2 lossless โดยใช้ PFC (Priority Flow Control) และ ECN (การแจ้งเตือนความแออัดอย่างชัดเจน) โดย DCBx จะจัดการการเจรจาลำดับความสำคัญแบบอัตโนมัติ การออกแบบนี้ทำให้มั่นใจได้ว่าเครือข่ายความเร็วสูงของศูนย์ข้อมูล 980-9I45D-00H005Foundation มอบทั้งประสิทธิภาพที่กำหนดและการแยกผู้เช่าหลายราย

3. บทบาทและลักษณะสำคัญของ NVIDIA Mellanox 980-9I45D-00H005

ภายในสถาปัตยกรรมแห่งนี้NVIDIA เมลลาน็อกซ์ 980-9I45D-00H005ทำหน้าที่เป็นองค์ประกอบการสลับกระดูกสันหลังส่วนกลางและเป็นตัวเปิดใช้งานหลักของการเชื่อมต่อที่มีความน่าเชื่อถือสูง ความสามารถในการสลับ 12.8 Tbps, เวลาแฝงที่ตัดผ่านต่ำกว่า 300ns และกลไกการส่งข้อมูลทางไกลที่เร่งด้วยฮาร์ดแวร์ ทำให้เหมาะอย่างยิ่งสำหรับสภาพแวดล้อมที่ทั้งประสิทธิภาพและความสามารถในการคาดการณ์ไม่สามารถต่อรองได้ ที่ข้อมูลจำเพาะ 980-9I45D-00H005ยืนยันการสนับสนุนอย่างเต็มที่สำหรับพอร์ตหลายอัตรา 400G/200G/100G ช่วยให้สามารถใช้งานร่วมกับออปติกและสายเคเบิลที่มีอยู่ได้อย่างราบรื่น ในขณะเดียวกันก็ให้เส้นทางการอัพเกรดที่ชัดเจนสำหรับโครงสร้างพื้นฐานที่พร้อมใช้งาน 800G ในอนาคต

ตัวสร้างความแตกต่างที่สำคัญ ได้แก่ :

• การจัดการความแออัดขั้นสูง:การควบคุมโฟลว์โดยใช้ฮาร์ดแวร์ในตัวและอัลกอริธึมการปรับสมดุลโหลดแบบไดนามิกช่วยให้มั่นใจได้ว่าแม้แต่เวิร์กโหลดที่มี incast หนัก (เช่น การสื่อสาร MPI แบบ all-to-all) จะประสบกับความกระวนกระวายใจน้อยที่สุดและแพ็กเก็ตลดลงเกือบเป็นศูนย์
• สตรีมมิ่ง Telemetry ตามขนาด:อุปกรณ์ส่งออกกลุ่มตัวนับหลายร้อยกลุ่มผ่าน gRPC และ sFlow ครอบคลุมทุกอย่างตั้งแต่การเข้าใช้ต่อคิวไปจนถึงฮิสโตแกรมเวลาแฝงต่อโฟลว์ ช่วยให้ทีมปฏิบัติการตรวจจับความผิดปกติก่อนที่จะกลายเป็นเหตุการณ์ได้
• มูลนิธิความปลอดภัย Zero-Trust:รากฐานของความน่าเชื่อถือของฮาร์ดแวร์ การบูตที่ปลอดภัย และการเข้ารหัส MACsec อัตราบรรทัดให้การแยกการเข้ารหัสโดยไม่กระทบต่อปริมาณงาน เป็นไปตามข้อกำหนดการปฏิบัติตามข้อกำหนดที่เข้มงวดที่สุดสำหรับภาคการเงินและการดูแลสุขภาพ

สำหรับทีมที่ประเมินการเข้าซื้อกิจการราคา 980-9I45D-00H005อยู่ในตำแหน่งที่สามารถแข่งขันได้ภายในกลุ่มที่มีประสิทธิภาพสูง ในขณะที่ขาย 980-9I45D-00H005ความพร้อมใช้งานผ่านพันธมิตรที่ผ่านการรับรองนั้นรวมถึงการอนุญาตที่ยืดหยุ่นสำหรับชุดคุณสมบัติขั้นสูง เช่น EVPN/VXLAN และการวัดและส่งข้อมูลทางไกลเครือข่ายในแบนด์ (INT) ที่เอกสารข้อมูลสินค้า 980-9I45D-00H005และโซลูชันผลิตภัณฑ์เครือข่าย 980-9I45D-00H005เอกสารประกอบให้คำแนะนำที่ครอบคลุมเกี่ยวกับการเลือก SKU และการวางแผนกำลังการผลิต

4. คำแนะนำในการปรับใช้และปรับขนาด

สำหรับการปรับใช้ Greenfield เราขอแนะนำให้เริ่มต้นด้วยสวิตช์ Spine อย่างน้อยสี่ตัว (เพื่อให้แน่ใจว่ามีการสำรองข้อมูล N+1) และสวิตช์ Leaf แปดตัว โดยแต่ละ Spine เชื่อมต่อกับ Leaf ทุกตัวโดยใช้ออปติก 400G-DR4 หรือ 400G-FR4 จำนวนสวิตช์ Leaf สามารถปรับขนาดเชิงเส้นตรงตามความหนาแน่นของชั้นวาง ที่980-9I45D-00H005รองรับพอร์ต 400G เต็มรูปแบบสูงสุด 128 พอร์ตต่อแชสซี เมื่อใช้สายเคเบิลแยก ทำให้มีพื้นที่เพียงพอสำหรับการขยาย

สำหรับสถานการณ์บราวน์ฟิลด์เข้ากันได้ 980-9I45D-00H005ระบบนิเวศทำให้มั่นใจในความสามารถในการทำงานร่วมกันกับออปติก 100G และ 40G ที่มีอยู่ผ่านอะแดปเตอร์ QSFP28/QSFP+ ช่วยให้สามารถโยกย้ายเป็นช่วง ๆ โดยไม่หยุดชะงักของบริการ เวิร์กโฟลว์การปรับใช้ที่แนะนำมีดังนี้:

• ระยะที่ 1:เปลี่ยนสวิตช์ Spine ด้วยยูนิต 980-9I45D-00H005 โดยคงสวิตช์ Leaf ดั้งเดิมไว้สำหรับการเชื่อมต่อ
• ระยะที่ 2:เปิดใช้งานความสามารถ RoCEv2 บนพอร์ต Leaf ที่เลือกสำหรับการรับส่งข้อมูล GPU/ที่เก็บข้อมูล โดยใช้ DCBx เพื่อแยกโฟลว์ที่ไม่มีการสูญเสีย
• ระยะที่ 3:ปรับใช้ตัวรวบรวมการวัดและส่งข้อมูลทางไกลและผสานรวมกับแพลตฟอร์ม SIEM/NMS ที่มีอยู่สำหรับการตรวจสอบแบบรวมศูนย์
• ระยะที่ 4:ปรับขนาดความจุของ Leaf เมื่อปริมาณงานเพิ่มขึ้น โดยใช้ประโยชน์จากสถาปัตยกรรมที่ไม่ปิดกั้นของ Spine เพื่อรักษาประสิทธิภาพที่สม่ำเสมอ

ตัวอย่างโทโพโลยี: การออกแบบ 4 กระดูกสันหลัง × 8 ลีฟพร้อมการเชื่อมต่อระหว่างกัน 400G ให้แบนด์วิดท์แบบสองส่วนสูงสุด 6.4 Tbps ซึ่งเพียงพอสำหรับคลัสเตอร์การฝึกฝน AI ขนาดกลางที่มีโหนด GPU สูงสุด 512 โหนด ในขณะที่การซ้อนทับ EVPN ช่วยให้การเคลื่อนย้ายหลายผู้เช่าและความคล่องตัวของเวิร์กโหลดข้ามชั้นวางหรือแม้แต่โซนศูนย์ข้อมูลเป็นไปอย่างราบรื่น

5. การดำเนินงาน การตรวจสอบ และการเพิ่มประสิทธิภาพ

ที่ผลิตภัณฑ์เครือข่าย 980-9I45D-00H005ผสานรวมกับเครื่องมือ NMS แบบโอเพ่นซอร์สและเชิงพาณิชย์ผ่าน RESTCONF, NETCONF และ gNMI เราขอแนะนำให้ปรับใช้ไปป์ไลน์การวัดและส่งข้อมูลทางไกลแบบรวมศูนย์ที่ใช้ข้อมูลจากแหล่งที่มาที่แตกต่างกันสามแหล่ง:

• สุขภาพของอุปกรณ์:อุณหภูมิ ความเร็วพัดลม การใช้พลังงาน และการใช้งาน ASIC สำหรับการบำรุงรักษาฮาร์ดแวร์เชิงรุก
• คุณภาพของลิงค์:การนับข้อผิดพลาด FEC (Forward Error Correction) การวินิจฉัยตัวรับส่งสัญญาณแสง (DDM) และอัตราข้อผิดพลาด CRC เพื่อระบุสายเคเบิลหรือออปติกที่เสื่อมสภาพ
• ประสิทธิภาพการไหล:อัตราการเข้าพักต่อคิว อัตราส่วนการทำเครื่องหมาย ECN และสถิติการส่งข้อมูล RoCEv2 ใหม่ เพื่อปรับแต่งขีดจำกัดความแออัดและการจัดสรรบัฟเฟอร์

สำหรับการแก้ไขปัญหา อุปกรณ์ดังกล่าวนำเสนอการเล่นซ้ำแบบไมโครเบิร์สต์ในอดีตและการสร้างโพรบสังเคราะห์ ช่วยให้วิศวกรสามารถตรวจสอบการเปลี่ยนแปลงในสภาพแวดล้อมการแสดงละครก่อนที่จะปรับใช้กับการใช้งานจริง เวิร์กโฟลว์การแก้ไขอัตโนมัติ เช่น การปรับเกณฑ์ PFC แบบไดนามิกหรือการกำหนดเส้นทางการรับส่งข้อมูลใหม่ผ่านการปรับน้ำหนักของ ECMP สามารถเขียนสคริปต์ได้โดยใช้ Ansible หรือ Python ซึ่งจะช่วยลดเวลาการวิเคราะห์สาเหตุที่แท้จริงโดยเฉลี่ยจาก 40 นาทีเหลือน้อยกว่า 8 นาทีโดยอิงตามการวัดประสิทธิภาพภายใน

เคล็ดลับการเพิ่มประสิทธิภาพ: สำหรับปริมาณงานการฝึกอบรม AI เราขอแนะนำให้ปรับเกณฑ์ ECN เป็น 80% ของการใช้บัฟเฟอร์ และเปิดใช้งาน Dynamic Load Balancing (DLB) เพื่อกระจายโฟลว์ผ่านเส้นทาง Spine หลายเส้นทาง สำหรับการรับส่งข้อมูลที่มุ่งเน้นพื้นที่จัดเก็บข้อมูล (NVMe-oF) ให้จัดลำดับความสำคัญในการเปิดใช้งาน DCBx ลำดับความสำคัญ 3 สำหรับการรับส่งข้อมูล RoCE และกำหนดการกำหนดเวลาลำดับความสำคัญที่เข้มงวดเพื่อให้แน่ใจว่ามีเวลาแฝงที่สม่ำเสมอ ที่ข้อมูลจำเพาะ 980-9I45D-00H005จัดเตรียมพารามิเตอร์การปรับแต่งระดับรีจิสเตอร์โดยละเอียดสำหรับผู้ใช้ขั้นสูง

6. สรุปและการประเมินมูลค่า

ที่NVIDIA เมลลาน็อกซ์ 980-9I45D-00H005แสดงให้เห็นถึงการเปลี่ยนแปลงกระบวนทัศน์ในการที่เครือข่ายศูนย์ข้อมูลสามารถบรรลุทั้งความน่าเชื่อถือสูงและความเรียบง่ายในการปฏิบัติงาน ด้วยการรวมสวิตชิ่งแฟบริคขนาดใหญ่ที่ไม่มีการบล็อกเข้ากับการวัดและส่งข้อมูลทางไกลเชิงลึกที่ไม่เคยมีมาก่อนและเฟรมเวิร์กความปลอดภัยที่ครอบคลุม จะช่วยจัดการกับข้อกังวลที่เร่งด่วนที่สุดของสภาพแวดล้อมไอทีสมัยใหม่ ได้แก่ ประสิทธิภาพที่คาดเดาไม่ได้ การแยกข้อผิดพลาดที่ช้า และกระบวนการปรับขนาดที่ยุ่งยาก องค์กรที่รับเอาสิ่งนี้โซลูชันผลิตภัณฑ์เครือข่าย 980-9I45D-00H005สามารถคาดหวังการปรับปรุงที่วัดผลได้ใน 3 มิติหลัก:

• ความน่าเชื่อถือ:การเฟลโอเวอร์ที่ต่ำกว่า 50 มิลลิวินาทีและการสูญเสียแพ็คเก็ตที่เกือบเป็นศูนย์ แปลเป็น SLA ของแอปพลิเคชันที่สูงขึ้น และเหตุการณ์ที่ส่งผลกระทบต่อธุรกิจน้อยลง
• ความคล่องตัว:การจัดเตรียมอัตโนมัติและการแบ่งส่วนตามนโยบายช่วยลดเวลาในการปรับใช้จากสัปดาห์เหลือเพียงวัน ซึ่งช่วยเร่งเวลาออกสู่ตลาดสำหรับบริการใหม่ๆ
• ประสิทธิภาพต้นทุน:การผสมผสานของการแข่งขันราคา 980-9I45D-00H005วงจรชีวิตที่ยาวนาน และค่าใช้จ่ายในการดำเนินงานที่ลดลง ทำให้ต้นทุนรวมในการเป็นเจ้าของลดลงในช่วงระยะเวลา 5 ปี เมื่อเทียบกับโซลูชันที่เทียบเท่าจากผู้ขายรายอื่น

สำหรับสถาปนิกเครือข่ายและผู้นำการปฏิบัติงาน ทางเลือกที่ชัดเจนคือ:เครือข่ายความเร็วสูงของศูนย์ข้อมูล 980-9I45D-00H005แพลตฟอร์มไม่ได้เป็นเพียงการอัปเกรดส่วนเพิ่มเท่านั้น แต่ยังเป็นการลงทุนเชิงกลยุทธ์ในโครงสร้างพื้นฐานที่รองรับอนาคตซึ่งปรับขนาดตามธุรกิจของคุณได้