สวิตช์ InfiniBand Mellanox 920-9B210-00FN-0D0 | การเพิ่มประสิทธิภาพการเชื่อมต่อความหน่วงต่ำสำหรับ RDMA, HPC และ AI Cluster

เนื่องจากโมเดลปัญญาประดิษฐ์เติบโตขึ้นในความซับซ้อน คลัสเตอร์ GPU และสภาพแวดล้อมการประมวลผลประสิทธิภาพสูง (HPC) จึงขึ้นอยู่กับการสื่อสารที่มีประสิทธิภาพระหว่างโหนดการประมวลผลมากขึ้น แบนด์วิดธ์เครือข่าย เวลาแฝง และความแออัดของการจัดการกลายเป็นปัจจัยสำคัญที่ส่งผลต่อประสิทธิภาพเวิร์กโหลดแบบกระจาย ที่NVIDIA เมลลาน็อกซ์ 920-9B210-00FN-0D0สวิตช์ InfiniBand มอบรากฐานเครือข่ายที่มีความหนาแน่นสูงสำหรับการใช้งานที่มีความต้องการสูงเหล่านี้

ขับเคลื่อนโดยเทคโนโลยี NVIDIA Quantum-2 ทำให้ QM9790 มีพอร์ต NDR 64 พอร์ต ทำงานที่ความเร็วสูงสุด 400Gb/s พร้อมความสามารถในการสลับสองทิศทางรวมสูงสุด 51.2Tb/s บทความนี้จะตรวจสอบสถานการณ์การปรับใช้ AI และ HPC แบบหลายแร็คที่เป็นตัวแทน โดยเน้นวิธีการ920-9B210-00FN-0D0สามารถช่วยองค์กรเพิ่มประสิทธิภาพการสื่อสาร RDMA ปรับปรุงความสามารถในการปรับขนาดแฟบริค และลดข้อจำกัดด้านประสิทธิภาพที่เกี่ยวข้องกับเครือข่าย

01. ความเป็นมาและความท้าทาย: ปัญหาคอขวดของเครือข่ายในคลัสเตอร์ AI และ HPC

พิจารณาศูนย์ข้อมูลที่ใช้งานเซิร์ฟเวอร์ GPU หลายแร็คสำหรับการฝึกอบรมโมเดลภาษาขนาดใหญ่ การจำลองทางวิทยาศาสตร์ และการประมวลผลข้อมูลแบบกระจาย เมื่อมีการปรับใช้โหนดการประมวลผลเพิ่มเติม ปริมาณการรับส่งข้อมูลที่สร้างโดยการสื่อสารแบบรวม การซิงโครไนซ์พารามิเตอร์ และการเข้าถึงข้อมูลระยะไกลจะเพิ่มขึ้นอย่างมาก

แม้ว่า GPU สมัยใหม่จะมีความสามารถในการประมวลผลสูง แต่ประสิทธิภาพการเชื่อมต่อที่ไม่เพียงพอสามารถป้องกันไม่ให้แอปพลิเคชันใช้ทรัพยากรที่มีอยู่ได้อย่างเต็มที่ ในสภาพแวดล้อมนี้ สถาปนิกเครือข่ายมักเผชิญกับความท้าทายที่สำคัญหลายประการ:

• ข้อจำกัดแบนด์วิธ:ปริมาณงาน GPU ขนาดใหญ่จำเป็นต้องมีการแลกเปลี่ยนข้อมูลอย่างต่อเนื่อง ซึ่งอาจล้นหลามในการเชื่อมต่อระหว่างกันที่มีความเร็วต่ำกว่า
• เวลาแฝงในการสื่อสาร:การดำเนินการซิงโครไนซ์บ่อยครั้งสามารถเพิ่มเวลารอข้ามโหนดการประมวลผลแบบกระจายได้
• ความแออัดของเครือข่าย:การสื่อสารพร้อมกันระหว่างเซิร์ฟเวอร์หลายเครื่องอาจสร้างฮอตสปอตและประสิทธิภาพของแอปพลิเคชันที่ไม่สอดคล้องกัน
• ความท้าทายด้านความสามารถในการขยายขนาด:การขยายขนาดคลัสเตอร์จำเป็นต้องมีการวางแผนอย่างรอบคอบเกี่ยวกับความจุของสวิตช์ โทโพโลยีเครือข่าย และโครงสร้างพื้นฐานของสายเคเบิล
• ความซับซ้อนในการดำเนินงาน:การรักษาการจัดการแฟบริคที่เชื่อถือได้ การมองเห็นข้อบกพร่อง และความสม่ำเสมอของการกำหนดค่ามีความสำคัญมากขึ้น

ความท้าทายเหล่านี้แสดงให้เห็นว่าเหตุใดเครือข่าย InfiniBand ความเร็วสูงจึงยังคงมีความสำคัญสำหรับเวิร์กโหลดการประมวลผลที่เชื่อมโยงกันอย่างแน่นหนา ที่920-9B210-00FN-0D0 สวิตช์ InfiniBand OPNมอบความสามารถด้านฮาร์ดแวร์ที่จำเป็นในการสร้างสถาปัตยกรรมการเชื่อมต่อระหว่างกันที่มีแบนด์วิธสูงและมีความหน่วงต่ำ

02. สถาปัตยกรรมโซลูชัน: การปรับใช้สวิตช์ NVIDIA Quantum-2 NDR InfiniBand

ที่920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRสวิตช์ได้รับการออกแบบมาสำหรับแฟบริคการประมวลผลประสิทธิภาพสูงที่ต้องการแบนด์วิธจำนวนมากและการสื่อสารที่มีประสิทธิภาพ มีตัวเชื่อมต่อ OSFP กายภาพ 32 ตัวที่มีพอร์ต NDR 64 พอร์ต ระบบ 1U รองรับการเชื่อมต่อที่หนาแน่นระหว่างเซิร์ฟเวอร์ GPU สวิตช์เครือข่าย และอุปกรณ์ InfiniBand อื่นๆ

ในการใช้งานแบบหลายแร็คที่เป็นตัวแทน สวิตช์ QM9790 สามารถวางตำแหน่งภายในโทโพโลยี InfiniBand แบบ leaf-spine เซิร์ฟเวอร์ GPU ที่มาพร้อมกับอะแดปเตอร์ NVIDIA ConnectX ที่เข้ากันได้จะเชื่อมต่อกับสวิตช์ลีฟ ในขณะที่สวิตช์สไปน์ให้การเชื่อมต่อข้ามแร็ค จำนวนสวิตช์ อัปลิงก์ และระดับเครือข่ายขึ้นอยู่กับขนาดคลัสเตอร์ ข้อกำหนดแบนด์วิดท์ และอัตราส่วนการสมัครใช้งานเกินที่เลือก

RDMA และการสื่อสารข้อมูลที่มีความหน่วงต่ำ

Remote Direct Memory Access (RDMA) ช่วยให้ระบบคอมพิวเตอร์ที่เข้ากันได้สามารถถ่ายโอนข้อมูลโดยตรงระหว่างขอบเขตหน่วยความจำที่ลงทะเบียนโดยลดการมีส่วนร่วมของ CPU ในสภาพแวดล้อม GPU แบบกระจาย สิ่งนี้สามารถช่วยลดค่าใช้จ่ายในการสื่อสารและปรับปรุงประสิทธิภาพการเคลื่อนย้ายข้อมูลเมื่อเปรียบเทียบกับเส้นทางเครือข่ายที่เน้นซอฟต์แวร์ทั่วไป

Quantum-2 InfiniBand Fabric รองรับการสื่อสารที่ใช้ RDMA และความสามารถด้านเครือข่ายขั้นสูง รวมถึงการกำหนดเส้นทางแบบปรับได้ การควบคุมความแออัด และการประมวลผลในเครือข่าย NVIDIA SHARP เมื่อกำหนดค่าและสนับสนุนอย่างเหมาะสมโดยสแต็กแอปพลิเคชัน เทคโนโลยีเหล่านี้สามารถช่วยเพิ่มประสิทธิภาพการดำเนินงานโดยรวม ลดความล่าช้าที่เกี่ยวข้องกับความแออัด และปรับปรุงการใช้ทรัพยากรเครือข่าย

การจัดการแฟบริคและการวางแผนความเข้ากันได้

QM9790 เป็นสวิตช์ InfiniBand ที่ได้รับการจัดการภายนอก ซึ่งแตกต่างจาก QM9700 ที่ได้รับการจัดการภายใน การปรับใช้จึงต้องมีการจัดการเครือข่ายย่อยภายนอกที่เหมาะสมและการตรวจสอบการปฏิบัติงาน สามารถรวม NVIDIA Unified Fabric Manager (UFM) ไว้ในบริเวณที่รองรับเพื่อให้การมองเห็นแฟบริคแบบรวมศูนย์และฟังก์ชันการจัดการ

วิศวกรกำลังประเมินเข้ากันได้ 920-9B210-00FN-0D0อะแดปเตอร์และส่วนประกอบการเชื่อมต่อระหว่างกันควรยืนยันความสามารถของอะแดปเตอร์โฮสต์ การทำงานร่วมกันของเฟิร์มแวร์ สายเคเบิลที่ได้รับอนุมัติ และการกำหนดค่าตัวเชื่อมต่อ รุ่น 920-9B210-00FN-0D0 สอดคล้องกับการกำหนดค่าการไหลเวียนของอากาศไปข้างหน้า (P2C) ซึ่งจะต้องตรงกับการออกแบบการระบายความร้อนของศูนย์ข้อมูลด้วย

03. ผลลัพธ์ที่คาดหวังและประโยชน์การดำเนินงาน

หลังจากใช้งานเครือข่าย NDR InfiniBand ที่ออกแบบอย่างเหมาะสม องค์กรต่างๆ จะสามารถกำหนดเป้าหมายการปรับปรุงประสิทธิภาพการสื่อสาร การใช้ทรัพยากร และความสามารถในการปรับขนาดแฟบริคได้ ประสิทธิภาพที่เพิ่มขึ้นจริงขึ้นอยู่กับลักษณะของเวิร์กโหลด ฮาร์ดแวร์เซิร์ฟเวอร์ โทโพโลยีเครือข่าย การกำหนดค่าซอฟต์แวร์ และคอขวดของเครือข่ายเดิม

สำหรับการประเมินประสิทธิภาพตามวัตถุประสงค์ วิศวกรเครือข่ายควรสร้างพื้นฐานก่อนการโยกย้าย และดำเนินการทดสอบที่มีการควบคุมหลังจากการปรับใช้ เครื่องมือตรวจสอบที่เป็นประโยชน์ ได้แก่ ยูทิลิตี้ประสิทธิภาพ InfiniBand, การทดสอบ NCCL และการวัดประสิทธิภาพแอปพลิเคชันที่ใช้ MPI

การวัดที่แนะนำ ได้แก่ ปริมาณงานที่มีประสิทธิภาพ เวลาแฝงแบบจุดต่อจุด ประสิทธิภาพการสื่อสารโดยรวม ตัวนับข้อผิดพลาดของลิงก์ ตัวบ่งชี้ความแออัด และเวลาเสร็จสิ้นเวิร์กโหลดตั้งแต่ต้นทางถึงปลายทาง การเปรียบเทียบเวลาแฝง P50, P95 และ P99 ภายใต้เงื่อนไขการโหลดที่เป็นตัวแทน ยังสามารถช่วยระบุปัญหาความสอดคล้องของประสิทธิภาพที่ค่าเฉลี่ยอาจปกปิดได้

แทนที่จะสมมติว่ามีการปรับปรุงเป็นเปอร์เซ็นต์คงที่ เป้าหมายคือเพื่อพิจารณาว่าเครือข่ายที่อัปเกรดจะช่วยลดปัญหาคอขวดในการสื่อสารที่วัดผลได้หรือไม่ และช่วยให้ทรัพยากรการประมวลผลทำงานได้อย่างมีประสิทธิภาพมากขึ้นภายใต้ปริมาณงานการผลิตจริงหรือไม่

04. ข้อมูลจำเพาะทางเทคนิคและการเลือกใช้ผลิตภัณฑ์

ที่NVIDIA เมลลาน็อกซ์ 920-9B210-00FN-0D0เป็นของตระกูล NVIDIA Quantum-2 QM9790 ข้อมูลจำเพาะต่อไปนี้เป็นข้อมูลอ้างอิงสำหรับการออกแบบโครงสร้างพื้นฐานและการจัดซื้อผลิตภัณฑ์

เมื่อทบทวน.เอกสารข้อมูลสินค้า 920-9B210-00FN-0D0หรือเปรียบเทียบตัวเลือกการใช้งาน ทีมไอทีควรประเมินโซลูชันที่สมบูรณ์ แทนที่จะเปลี่ยนความจุเพียงอย่างเดียว การออกแบบสายเคเบิล ความเข้ากันได้ของอะแดปเตอร์ การจัดการซับเน็ตภายนอก การไหลเวียนของอากาศในชั้นวาง และการขยายคลัสเตอร์ในอนาคตต้องได้รับการพิจารณาร่วมกัน

05. บทสรุปและแนวโน้มในอนาคต

ที่920-9B210-00FN-0D0 MQM9790-NS2F 400Gb/s NDRswitch มอบรากฐานที่แข็งแกร่งสำหรับองค์กรที่ต้องการปรับปรุงโครงสร้างพื้นฐานเครือข่าย AI และ HPC ให้ทันสมัย ด้วยการรวมการเชื่อมต่อ InfiniBand ความเร็วสูงเข้ากับความสามารถด้านเครือข่าย Quantum-2 ขั้นสูง จึงรองรับการสื่อสาร RDMA ที่มีประสิทธิภาพและสถาปัตยกรรมการประมวลผลแบบกระจายที่ปรับขนาดได้

เมื่อโมเดล AI มีขนาดใหญ่ขึ้น และคลัสเตอร์ GPU ขยายไปยังโหนดการประมวลผลมากขึ้น การเพิ่มประสิทธิภาพการทำงานร่วมกันของฮาร์ดแวร์เครือข่าย การจัดการแฟบริค และการสื่อสารซอฟต์แวร์จะยังคงมีความสำคัญ ที่โซลูชัน OPN สวิตช์ InfiniBand 920-9B210-00FN-0D0นำเสนอโครงสร้างที่ใช้งานได้จริงสำหรับการออกแบบการเชื่อมต่อระหว่างกันที่มีประสิทธิภาพสูงและมีความหน่วงต่ำ ซึ่งสามารถพัฒนาไปพร้อมกับความต้องการปริมาณงานที่เปลี่ยนแปลงไป