โซลูชันทางเทคนิคสวิตช์ InfiniBand NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F InfiniBand Switch Technical Solution สําหรับการปรับปรุงการเชื่อมต่อระหว่างระบบความช้าต่ําสําหรับ RDMA, HPC และ AI Clusters

การวิเคราะห์พื้นฐานและความต้องการของโครงการ

ศูนย์ข้อมูลที่ทันสมัยที่สนับสนุนการฝึกแบบตัวอย่างใหญ่ของ AI, การจําลอง HPC และการเก็บข้อมูลกระจายกําลังย้ายจาก 200Gb/s HDR ไปยัง 400Gb/s NDR อย่างรวดเร็วความตึงเครียดหลักสําหรับสถาปนิกเครือข่ายคือความหนาแน่นของ GPU node ยังคงเพิ่มขึ้น, ขณะที่ความช้าในการสื่อสารระหว่างโน้ดและ jitter กลายเป็นปัจจัยจํากัดสําหรับประสิทธิภาพคลาสเตอร์การกระโดดที่หนาแน่นเพียงครั้งเดียวหรือชั้นผ้าที่แต่งผิด สามารถลดการใช้งาน GPU ที่มีประสิทธิภาพได้ในหลายร้อยโน้ด.

ความต้องการทั่วไปสําหรับโครงการดังกล่าวประกอบด้วย ความช้าต่ําที่กําหนดสําหรับการดําเนินงานรวม การขนส่งที่ขาดทุนสําหรับ RDMA และ NVMe ผ่าน Fabricsและเส้นทางการปรับปรุงที่ชัดเจน เพื่อปกป้องการลงทุนที่มีอยู่. NVIDIA Mellanox MQM9790-NS2F มีตําแหน่งตอบสนองความต้องการเหล่านี้เป็นสวิตช์ 400Gb / s NDR InfiniBand ภายในครอบครัว Quantum-2.

การออกแบบโครงสร้างระบบและเครือข่ายโดยรวม

สถาปัตยกรรมที่แนะนําคือ InfiniBand แผ่นสองชั้นที่สร้างขึ้นโดยสิ้นเชิงบน NDR ลิงค์. สวิตช์ใบเชื่อมต่อเซอร์เวอร์ GPU, เป้าหมายในการเก็บข้อมูลและหน่วยบริหาร,ขณะที่สวิทช์กระดูกสันหลังให้ความเชื่อมต่อระหว่างใบไม้และความหลากหลายทางการออกแบบนี้ทําให้จํานวนกระโดดต่ํา และรับประกันความกว้างแบนด์วิดที่ไม่บล็อคสําหรับการจราจรตะวันออก-ตะวันตก ซึ่งเป็นหลักในการทํางาน AI และ HPC

ในชั้นจุดปลาย, เครื่องปรับช่องโฮสต์ทํางานในโหมด RDMA, ยอมให้การโอนความจําไปยังความจําโดยไม่ต้องมีการแทรกแซง CPU. ผ้าเองจัดการควบคุมความจุกจุก, การนําทางปรับปรุง,และการเร่งรวมการบริหารและการวัดระยะทางแบ่งปันพื้นฐานทางกายภาพเดียวกัน แต่ถูกแยกออกจากกันผ่านนโยบาย QoS ดังนั้นการติดตามจะไม่ขัดขวางภาระงานการผลิต

หลักการการออกแบบหลัก ๆ ได้แก่

• โทโปโลยีแบบเรียบ เพื่อลดความช้าลงอย่างน้อยและทําให้การแก้ปัญหาง่ายขึ้น
• การเชื่อมโยงระหว่างระดับที่ไม่กั้นหรือมีอัตราการสมัครสมาชิกเกินขั้นต่ํา
• NDR ที่สม่ําเสมอจากปลายไปปลาย เพื่อหลีกเลี่ยงปัญหาการผลิตแบบผสมผสาน
• เส้นทางที่ไม่จําเป็นสําหรับการมีให้บริการสูงและการสมดุลภาระ
• การจัดการ InfiniBand มาตรฐานเพื่อความสม่ําเสมอในการปฏิบัติงาน

บทบาทและลักษณะสําคัญของ NVIDIA Mellanox MQM9790-NS2F

NVIDIA Mellanox MQM9790-NS2F ใช้เป็นก้อนก้อนของผ้านี้ เป็นสวิตช์ NDR OSFP 64 ท่าทาง MQM9790-NS2F 400Gb/sทําให้สถาปนิกสามารถออกแบบเครือข่ายที่เรียบกว่า ด้วยระดับน้อยกว่า. ท่าทาง OSFP แต่ละท่าทางสามารถทํางานในความเร็ว NDR และการตั้งค่า 64-ท่าทางรองรับบทบาทใบและกระดูกสันหลังที่มีรากสูง

สําหรับทีมงานที่ตรวจสอบมาตรฐาน MQM9790-NS2F แพลตฟอร์มรองรับ NVIDIA SHARPv3 สําหรับการเร่งรวม การควบคุมความจุกจิกที่ก้าวหน้า และการนําทางแบบปรับปรุงคุณสมบัติเหล่านี้ตรงกับปัญหาความช้าของหางและปัญหา incast ที่มักพบในการฝึกอบรม AI และภาระงาน MPIสวิตช์ MQM9790-NS2F InfiniBand ยังสามารถบูรณาการกับเครื่องมือการจัดการ InfiniBand มาตรฐาน ซึ่งลดเส้นโค้งการเรียนรู้ในการปฏิบัติงาน

เมื่อวางแผนการแก้ไขสวิทช์ InfiniBand MQM9790-NS2F ผู้ออกแบบควรยืนยันองค์ประกอบที่เข้ากันได้กับ MQM9790-NS2F รวมถึงสาย OSFP, เครื่องปรับช่องโฮสต์ และเวอร์ชั่นฟอร์มแวร์การทบทวนใบข้อมูล MQM9790-NS2F ในช่วงแรกของช่วงการออกแบบ ช่วยในการตรวจสอบพลังงานความต้องการพื้นที่เย็นและ rack ก่อนการจัดซื้อ

แนะนําการใช้งานและการปรับขนาด

การจัดจําหน่ายแบบปกติเริ่มต้นด้วยโพดทดลองของ 32 ถึง 64 หน่วย GPU เชื่อมต่อกับคู่สวิตช์ใบ MQM9790-NS2F. การเชื่อมต่อกระดูกสันหลังเพิ่มขึ้นเมื่อคลาสเตอร์เติบโตการใช้หน่วย MQM9790-NS2F เพิ่มเติมเพื่อรักษาความกว้างแบนด์ที่ไม่ปิดแนวทางเพิ่มเติมนี้ทําให้การยืนยันความช้าและการผ่านก่อนการนําเสนอขนาดเต็ม

สําหรับการปรับขนาด, การปฏิบัติที่แนะนําคือการรักษาผ้าให้สมอง: เพิ่มความจุของใบและกระดูกสันหลังในขั้นตอนที่ตรงกันเพื่อให้อัตราการลงทุนเกินระดับยังคงคาดการณ์ได้การบริหารสายเคเบิลและการติดป้ายท่าเรือควรถูกมาตรฐานตั้งแต่เริ่มต้น, เพราะการจัดจําหน่าย OSFP ความหนาแน่นสูงอาจยากที่จะบํารุงรักษาถ้าการวางแผนทางกายภาพไม่ตรงกัน

ตารางด้านล่างสรุปการพิจารณาการออกแบบแบบตัวแทนสองชั้น:

การดําเนินงาน ติดตาม แก้ไขปัญหา และปรับปรุง

ความสําเร็จในการดําเนินงานขึ้นอยู่กับการมองเห็น. เนื้อผ้า InfiniBand ให้เครื่องนับสําหรับความผิดพลาดการเชื่อมโยง, เหตุการณ์ความหนาแน่น, และการใช้งานพัฟเฟอร์ข้อมูลเหล่านี้ควรรวบรวมอย่างต่อเนื่อง และเชื่อมโยงกับข้อมูลของนักกําหนดการงาน, เพื่อให้การลดลงของผลงานสามารถถูกตามรอยไปยังชิ้นส่วนผ้าเฉพาะเจาะจง แทนที่จะเดา

สถานการณ์การแก้ไขปัญหาทั่วไปประกอบด้วย การปิดเครดิต, QoS ที่ตั้งค่าผิด, และความไม่ตรงกันของฟอร์มแวร์ระหว่างสวิตช์และแอพเดทเตอร์ยืนยันนโยบายการเดินทาง, ตรวจสอบเทเลเมตรีความจุกจุกสามารถลดเวลาเฉลี่ยในการแก้ไข ความพยายามในการปรับปรุงควรมุ่งเน้นต่อความช้าของหางแทนการผ่านเฉลี่ยเนื่องจากภาระงาน AI และ HPC มีความรู้สึกต่อพฤติกรรมที่เลวร้ายที่สุด.

สําหรับการจัดซื้อและการวางแผนวงจรชีวิต ทีมงานมักจะเปรียบเทียบราคา MQM9790-NS2F และ MQM9790-NS2F สําหรับตัวเลือกการขายข้ามช่องทางที่ได้รับอนุญาตและภูมิภาค, ดังนั้นการประสานงานในระยะแรกกับผู้จําหน่ายและตัวแทนองค์กรของ NVIDIA จึงแนะนํา

NVIDIA Mellanox MQM9790-NS2F ให้พื้นฐาน NDR ความเร็วสูง 400Gb / s สําหรับ RDMA, HPC และ AI คลัสเตอร์เชื่อมต่อกัน โดยการลดระดับผ้า, การสนับสนุนการเร่งรวมและทําให้การขนส่งที่มีความช้าต่ําสําหรับสถาปนิกเครือข่ายและวิศวกรก่อนการขายมันเป็นก้อนก่อสร้างที่เชิงปฏิบัติและสามารถปรับขนาดได้ สําหรับผ้า InfiniBand รุ่นต่อไป.