การนำ NVIDIA Switch Solutions ไปใช้งาน: การแบ่งส่วนและการใช้งานสูงตั้งแต่ Access ถึง Core

การใช้โซลูชันสวิตช์ของ NVIDIA ในศูนย์ข้อมูล AI สมัยใหม่จำเป็นต้องมีการวางแผนสถาปัตยกรรมอย่างรอบคอบในทุกส่วนเครือข่าย ตั้งแต่การเชื่อมต่อเลเยอร์การเข้าถึงไปจนถึงการกระจายหลัก แต่ละเซ็กเมนต์นำเสนอความท้าทายที่ไม่ซ้ำกันในการรักษาความพร้อมใช้งานสูงและประสิทธิภาพที่เหมาะสมที่สุดในเวิร์กโหลด AI ที่มีความต้องการสูง

เลเยอร์การเข้าถึงทำหน้าที่เป็นจุดเริ่มต้นที่สำคัญสำหรับเซิร์ฟเวอร์และระบบจัดเก็บข้อมูลในโครงสร้างศูนย์ข้อมูล AI สวิตช์ Spectrum Ethernet ของ NVIDIA มอบรากฐานสำหรับการเชื่อมต่อเซิร์ฟเวอร์ โดยมอบคุณสมบัติความหน่วงต่ำที่จำเป็นตามที่คลัสเตอร์ AI ต้องการ

ข้อควรพิจารณาในชั้นการเข้าถึงที่สำคัญ ได้แก่:

• ข้อกำหนดความหนาแน่นของพอร์ตสำหรับชั้นวางเซิร์ฟเวอร์ GPU
• อัตราส่วนการสมัครสมาชิกเกินความเหมาะสมสำหรับรูปแบบการรับส่งข้อมูล AI
• โมเดลการใช้งานระดับแร็คสำหรับการเติบโตแบบโมดูลาร์
• การจัดเตรียมอัตโนมัติเพื่อความสามารถในการขยายขนาดที่รวดเร็ว

การออกแบบเลเยอร์การเข้าถึงที่เหมาะสมช่วยให้แน่ใจว่าการเชื่อมต่อเซิร์ฟเวอร์แต่ละรายการจะไม่กลายเป็นปัญหาคอขวดในการดำเนินการฝึกอบรมแบบกระจาย โดยรักษาเครือข่ายประสิทธิภาพสูงที่สม่ำเสมอทั่วทั้งคลัสเตอร์ AI ทั้งหมด

เมื่อการรับส่งข้อมูลย้ายจากชั้นการเข้าถึงไปยังแกนกลาง สวิตช์การรวมกลุ่มจะต้องจัดการกับรูปแบบการรับส่งข้อมูลขนาดใหญ่ตะวันออก-ตะวันตกซึ่งเป็นลักษณะของปริมาณงาน AI สวิตช์ Radix สูงของ NVIDIA โดดเด่นในบทบาทนี้ โดยลดจำนวนการกระโดดและรักษาเวลาแฝงที่ต่ำทั่วทั้งแฟบริค

กลยุทธ์การแบ่งส่วนสำหรับศูนย์ข้อมูล AI แตกต่างอย่างมากจากเครือข่ายองค์กรแบบเดิม แทนที่จะแบ่งกลุ่มตามแผนกหรือแอปพลิเคชัน คลัสเตอร์ AI มักจะแบ่งกลุ่มตาม:

• โดเมนงานฝึกอบรม
• การแยกผู้เช่าในสภาพแวดล้อมที่มีผู้เช่าหลายราย
• สภาพแวดล้อมการพัฒนาและการใช้งานจริง
• การจำแนกประเภทความอ่อนไหวของข้อมูล

ความพร้อมใช้งานสูงในสภาพแวดล้อมการสลับของ NVIDIA ครอบคลุมมากกว่าความซ้ำซ้อนของฮาร์ดแวร์ทั่วไป สถาปัตยกรรมรวมความทนทานต่อข้อผิดพลาดหลายชั้นเพื่อให้แน่ใจว่างานการฝึกอบรม AI ที่สำคัญสามารถทำงานได้อย่างต่อเนื่องเป็นเวลาหลายวันหรือหลายสัปดาห์

คุณสมบัติความพร้อมใช้งานสูงที่สำคัญ ได้แก่:

• กลุ่มการรวมลิงค์หลายแชสซี (MLAG) สำหรับอัปลิงค์ที่ใช้งานอยู่
• การเฟลโอเวอร์ที่ไม่เกิดผลระหว่างการอัพเกรดระบบ
• การจัดการความล้มเหลวของส่วนประกอบอย่างสง่างามโดยไม่กระทบต่อกระแสการรับส่งข้อมูล
• การแก้ไขสถานการณ์ความล้มเหลวทั่วไปโดยอัตโนมัติ

สิ่งอำนวยความสะดวกการฝึกอบรม AI ขนาดใหญ่ได้แสดงให้เห็นถึงประสิทธิผลของแนวทางแบบแบ่งกลุ่มของ NVIDIA การใช้งานหนึ่งครั้งที่เชื่อมต่อ GPU มากกว่า 10,000 ตัว ได้รับการใช้ประโยชน์ 95% ทั่วทั้งคลัสเตอร์ผ่านการแบ่งส่วนอย่างระมัดระวังและการออกแบบที่มีความพร้อมใช้งานสูง

การปรับใช้ใช้สวิตช์ NVIDIA Spectrum-3 ที่ชั้นการเข้าถึงด้วยระบบ Spectrum-4 ที่สร้างการรวมกลุ่มและเลเยอร์หลัก การออกแบบแบบลำดับชั้นนี้ให้ขนาดที่จำเป็นในขณะที่ยังคงรักษาการสื่อสารที่มีความหน่วงต่ำซึ่งจำเป็นต่อประสิทธิภาพการฝึกอบรมแบบกระจาย

ศูนย์ข้อมูล AI ขององค์กรอีกแห่งหนึ่งใช้โมเดลการแบ่งส่วนหลายชั้นที่แยกสภาพแวดล้อมการวิจัย การพัฒนา และการผลิตออก ในขณะที่ยังคงรักษาการเข้าถึงพื้นที่จัดเก็บข้อมูลและทรัพยากรข้อมูลร่วมกัน แนวทางนี้ทำให้ข้อกำหนดด้านความปลอดภัยสมดุลกับประสิทธิภาพในการปฏิบัติงาน

การจัดการสภาพแวดล้อมสวิตช์ NVIDIA แบบแบ่งกลุ่มอย่างมีประสิทธิภาพจำเป็นต้องมีการมองเห็นที่ครอบคลุมในทุกระดับเครือข่าย โซลูชัน NetQ และ Cumulus Linux ของ NVIDIA มอบเครื่องมือการดำเนินงานที่จำเป็นในการรักษาสถาปัตยกรรมการแบ่งส่วนที่ซับซ้อน

ข้อควรพิจารณาในการดำเนินงานที่สำคัญ ได้แก่ :

• การจัดการแบบรวมกลุ่มในทุกส่วนการเปลี่ยน
• การบังคับใช้นโยบายที่สม่ำเสมอทั่วทั้งโครงสร้าง
• การตรวจสอบการกำหนดค่าอัตโนมัติ
• การติดตามและแจ้งเตือนที่ครอบคลุม

การใช้งานโซลูชันสวิตช์ของ NVIDIA ที่ประสบความสำเร็จจากการเข้าถึงคอร์จำเป็นต้องรักษาสมดุลระหว่างข้อกำหนดด้านประสิทธิภาพกับการปฏิบัติงานจริง แนวทางแบบแบ่งกลุ่มเมื่อรวมกับคุณสมบัติความพร้อมใช้งานสูงที่แข็งแกร่ง จะสร้างรากฐานที่รองรับทั้งปริมาณงาน AI ในปัจจุบันและความต้องการด้านความสามารถในการปรับขนาดในอนาคต