NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch ในการปฏิบัติ

NVIDIA Mellanox MQM8790-HS2F InfiniBand Switch ในทางปฏิบัติ | การเพิ่มประสิทธิภาพการเชื่อมต่อระหว่างกันที่มีความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

ความเป็นมาและความท้าทาย: ปัญหาคอขวดของความล่าช้าในคลัสเตอร์ AI และ HPC ขนาดใหญ่

ในขณะที่คลัสเตอร์การฝึกฝน AI ปรับขนาดเป็น GPU นับพันและระบบ HPC มุ่งสู่ประสิทธิภาพระดับ Exascale โครงสร้างเครือข่ายที่เชื่อมต่อโหนดคอมพิวเตอร์จึงกลายเป็นปัจจัยกำหนดประสิทธิภาพที่สำคัญ ในสภาพแวดล้อมเหล่านี้ เวลาแฝงไม่ได้เป็นเพียงตัวชี้วัดเท่านั้น แต่ยังส่งผลกระทบโดยตรงต่อประสิทธิภาพของแอปพลิเคชัน เวลาในการแก้ปัญหา และประสิทธิภาพของคลัสเตอร์โดยรวม สำหรับปริมาณงานที่อาศัยการดำเนินการโดยรวมของ MPI (Message Passing Interface) และรูปแบบการสื่อสารแบบ all-to-all เช่น การฝึกโมเดลภาษาขนาดใหญ่และไดนามิกของไหลในการคำนวณ แม้แต่เวลาแฝงที่เพิ่มขึ้นในระดับไมโครวินาทีก็สามารถแปลเป็นชั่วโมงของรันไทม์เพิ่มเติมได้ เครือข่ายอีเทอร์เน็ตแบบเดิม แม้ว่าจะใช้ RDMA บน Converged Ethernet (RoCE) ก็มักจะประสบปัญหาในการส่งมอบเวลาแฝงต่ำตามที่กำหนดซึ่งจำเป็นสำหรับแอปพลิเคชันที่มีความต้องการสูงเหล่านี้

ความท้าทายนี้เพิ่งเผชิญโดยห้องปฏิบัติการวิจัยระดับชาติที่ใช้คลัสเตอร์ HPC 2,000 โหนดสำหรับการสร้างแบบจำลองสภาพภูมิอากาศและการวิจัย AI คลัสเตอร์ต้องการการเชื่อมต่อ 200Gb/s โดยมีเวลาแฝงต่ำกว่า 100 นาโนวินาที เพื่อรองรับทั้งปริมาณงาน HPC ที่ใช้ MPI และการฝึกอบรม AI แบบกระจาย ทีมวิศวกรต้องการสวิตช์ที่สามารถมอบประสิทธิภาพที่สม่ำเสมอและมีความหน่วงต่ำในวงกว้าง ขณะเดียวกันก็รองรับคุณสมบัติขั้นสูง เช่น การกำหนดเส้นทางแบบปรับได้และการควบคุมความแออัด เพื่อรักษาประสิทธิภาพของแฟบริคภายใต้สภาวะโหลดที่แตกต่างกัน ที่NVIDIA Mellanox MQM8790-HS2Fกลายเป็นโซลูชันในอุดมคติ โดยนำเสนอพอร์ต 40 พอร์ตที่มีความเร็ว 200Gb/s HDR InfiniBand พร้อมความหน่วงต่ำกว่า 100 นาโนวินาที และความสามารถในการประมวลผลในเครือข่ายขั้นสูง

โซลูชันและการปรับใช้: การสร้าง InfiniBand Fabric ที่มีความหน่วงต่ำ

เพื่อจัดการกับความท้าทายด้านความหน่วงและความสามารถในการขยายขนาด ห้องปฏิบัติการจึงได้ปรับใช้NVIDIA Mellanox MQM8790-HS2Fเป็นสวิตช์หลักในสถาปัตยกรรมโครงสร้างแบบกระดูกสันหลัง นี้MQM8790-HS2F สวิตช์ InfiniBandมีพอร์ต QSFP56 จำนวน 40 พอร์ต แต่ละพอร์ตทำงานที่ 200Gb/s HDR โดยให้ความสามารถในการสลับรวมที่ 8Tb/s โดยมีเวลาแฝงระหว่างพอร์ตต่อพอร์ตต่ำกว่า 100 นาโนวินาที Fabric ได้รับการออกแบบให้มีโทโพโลยี 16 แฉกแบบ 4 กระดูกสันหลัง เชื่อมต่อโหนดประมวลผล 2,000 โหนด โดยแต่ละโหนดมีอะแดปเตอร์ ConnectX-6 HDR ที่MQM8790-HS2F 200Gb/s HDR 40 พอร์ต QSFP56การกำหนดค่าทำให้ทีมงานสามารถสร้างแฟบริคที่ไม่มีการปิดกั้นซึ่งมีแบนด์วิธแบบแบ่งครึ่งเต็ม เพื่อให้มั่นใจว่าทุกโหนดสามารถสื่อสารกับโหนดอื่นๆ ทุกโหนดด้วยความเร็วสาย

การปรับใช้ดำเนินการในสามขั้นตอนสำคัญ:

• การออกแบบผ้า:การใช้โซลูชันสวิตช์ InfiniBand MQM8790-HS2Fทีมงานได้ออกแบบโทโพโลยีสไปน์ลีฟ โดยสวิตช์ลีฟ 16 ตัวแต่ละตัวเชื่อมต่อกับโหนดประมวลผล 50 โหนด (โดยใช้การเชื่อมต่อโดยตรง 200Gb/s และการเชื่อมต่อแยก HDR100 100Gb/s) ในขณะที่สวิตช์สไปน์ 4 ตัวให้การเชื่อมต่อระหว่างลีฟ ที่MQM8790-HS2Fสวิตช์ได้รับการกำหนดค่าด้วยการเปิดใช้งานการกำหนดเส้นทางแบบปรับได้ ทำให้แฟบริคสามารถกระจายการรับส่งข้อมูลแบบไดนามิกผ่านเส้นทางที่มีอยู่ และหลีกเลี่ยงจุดแออัด
• การกำหนดค่าคุณสมบัติขั้นสูง:ทีมงานได้เปิดใช้งาน SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) บนสวิตช์ MQM8790-HS2F เพื่อออฟโหลดการดำเนินการรวม MPI จากโหนดประมวลผล ความสามารถในการประมวลผลในเครือข่ายนี้ทำให้สวิตช์สามารถดำเนินการลดและออกอากาศทั้งหมดได้โดยตรง ลดจำนวนการข้ามเครือข่าย และลดเวลาแฝงโดยรวมสำหรับการสื่อสารโดยรวม
• การปรับแต่งประสิทธิภาพ:การจัดการซับเน็ตได้รับการกำหนดค่าโดยใช้แพลตฟอร์ม NVIDIA Unified Fabric Manager (UFM) ซึ่งให้การมองเห็นแบบเรียลไทม์เกี่ยวกับสภาพของแฟบริค ตัวชี้วัดเวลาแฝง และรูปแบบความแออัด ทีมงานได้ปรับแต่งพารามิเตอร์ควบคุมความแออัดเพื่อเพิ่มประสิทธิภาพการทำงานสำหรับโปรไฟล์ปริมาณงาน HPC และ AI แบบผสม

เพราะว่าNVIDIA Mellanox MQM8790-HS2Fเป็นรองรับ MQM8790-HS2Fด้วยระบบนิเวศ NVIDIA InfiniBand ที่กว้างขึ้น รวมถึงอะแดปเตอร์ ConnectX‑6 และ BlueField‑2 การใช้งานจึงราบรื่น โดยไม่ต้องใช้ไดรเวอร์หรือแพตช์เฟิร์มแวร์ที่กำหนดเอง การบูรณาการสวิตช์กับแพลตฟอร์ม UFM ช่วยให้ทีมสามารถตรวจสอบประสิทธิภาพของแฟบริคในวงกว้าง ระบุและแก้ไขปัญหาคอขวดที่อาจเกิดขึ้นก่อนที่จะส่งผลกระทบต่อรันไทม์ของแอปพลิเคชัน

ผลลัพธ์และคุณประโยชน์: การปรับปรุงที่วัดได้ในด้านความหน่วงและประสิทธิภาพของแอปพลิเคชัน

การวัดประสิทธิภาพหลังการปรับใช้งานทั่วทั้งคลัสเตอร์ 2,000 โหนดเผยให้เห็นการปรับปรุงประสิทธิภาพที่สำคัญ ประการแรก เวลาแฝงของพอร์ตต่อพอร์ตโดยเฉลี่ยทั่วทั้งแฟบริคถูกวัดที่ 85 นาโนวินาที ซึ่งสอดคล้องกับข้อกำหนดย่อย 100 นาโนวินาทีที่บันทึกไว้ในเอกสารข้อมูลสินค้า MQM8790-HS2F. เวลาแฝงที่ต่ำนี้แปลโดยตรงเป็นการเพิ่มประสิทธิภาพแอปพลิเคชัน: MPI ลดการดำเนินการทั้งหมดให้เสร็จเร็วขึ้นสูงสุด 35% เมื่อเทียบกับแฟบริค InfiniBand 100Gb/s รุ่นก่อนหน้าของห้องปฏิบัติการ ในขณะที่งานการฝึกอบรม AI แบบกระจาย (โดยใช้การสื่อสารบน NCCL) พบว่าเวลาของยุคต้นทางถึงปลายทางลดลงประมาณ 28%

ประการที่สอง ความสามารถในการคำนวณในเครือข่ายของ SHARP มอบคุณประโยชน์ด้านประสิทธิภาพอย่างมาก ด้วยการถ่ายการทำงานโดยรวมไปยังสวิตช์ MQM8790-HS2F คลัสเตอร์จึงลดการใช้งาน CPU และ GPU สำหรับงานสื่อสารลงได้สูงสุดถึง 20% ทำให้มีทรัพยากรในการประมวลผลว่างสำหรับการคำนวณจริง สิ่งนี้เป็นประโยชน์อย่างยิ่งสำหรับการฝึกอบรม AI ขนาดใหญ่ ซึ่งการสื่อสารโดยรวมสามารถคิดเป็น 30-40% ของรันไทม์ทั้งหมด

ประการที่สาม คุณลักษณะการกำหนดเส้นทางแบบปรับได้ได้รับการพิสูจน์แล้วว่ามีความสำคัญอย่างยิ่งในการรักษาประสิทธิภาพที่สม่ำเสมอภายใต้สภาวะโหลดที่แตกต่างกัน ในช่วงระยะเวลาการใช้งานสูงสุด เมื่อแฟบริคจัดการการรับส่งข้อมูล MPI และ AI ร่วมกัน การกำหนดเส้นทางแบบปรับได้จะกระจายการรับส่งข้อมูลแบบไดนามิกข้ามเส้นทางที่มีอยู่ รักษาเวลาแฝงเฉลี่ยให้อยู่ภายใน 10% ของค่าพื้นฐาน และป้องกันการเสื่อมประสิทธิภาพที่เกิดจากความแออัด ทีมตรวจสอบสภาพแฟบริคโดยใช้แพลตฟอร์ม UFM ซึ่งมีแดชบอร์ดแบบเรียลไทม์ติดตามเวลาแฝง ปริมาณการประมวลผล และการใช้งานลิงก์ในสวิตช์ทั้ง 20 ตัว

ประการที่สี่ ความหนาแน่นของMQM8790-HS2F 200Gb/s HDR 40 พอร์ต QSFP56สวิตช์ทำให้มีรอยเท้าผ้าขนาดกะทัดรัด ห้องปฏิบัติการลดจำนวนสวิตช์ที่ต้องการลง 50% เมื่อเทียบกับโครงสร้างพื้นฐาน InfiniBand 100Gb/s รุ่นก่อนหน้า ซึ่งช่วยลดการใช้พื้นที่ชั้นวางและความต้องการพลังงาน MQM8790-HS2F แต่ละตัวใช้พลังงานน้อยกว่า 230W โดยทั่วไป ซึ่งช่วยลดต้นทุนการทำความเย็นสำหรับโครงสร้างพื้นฐานเครือข่ายลง 20%

จากมุมมองของการปฏิบัติงาน ความสามารถในการจัดการของสวิตช์ทำให้การบำรุงรักษาอย่างต่อเนื่องทำได้ง่ายขึ้น ทีมเครือข่ายของห้องปฏิบัติการใช้อินเทอร์เฟซ CLI และ Web UI เพื่ออัปเกรดเฟิร์มแวร์และเปลี่ยนแปลงการกำหนดค่าโดยไม่กระทบต่อการทำงานของแฟบริค โดยใช้ประโยชน์จากการรองรับของสวิตช์สำหรับการอัพเกรดที่ไม่เกิดความเสียหาย ที่ข้อมูลจำเพาะ MQM8790-HS2Fรวมคุณสมบัติการจัดการที่ครอบคลุม รวมถึงการตรวจสอบ SNMP และการรวมระบบ syslog ช่วยให้ทีมสามารถรวมแฟบริคเข้ากับเฟรมเวิร์กการตรวจสอบศูนย์ปฏิบัติการเครือข่าย (NOC) ที่มีอยู่

สรุปและแนวโน้ม: พิมพ์เขียวสำหรับ InfiniBand Fabrics ที่มีความหน่วงต่ำ

ประสบการณ์การใช้งานกับNVIDIA Mellanox MQM8790-HS2Fในคลัสเตอร์ HPC และ AI ที่มี 2,000 โหนดแสดงให้เห็นอย่างชัดเจนว่าสวิตช์ HDR InfiniBand ขนาด 200 Gb/s ขนาด 40 พอร์ต สามารถส่งมอบเวลาแฝงที่ต่ำ ความสามารถในการปรับขนาด และคุณสมบัติขั้นสูงที่จำเป็นสำหรับการวิจัยที่มีความต้องการและปริมาณงานขององค์กร ด้วยการใช้ประโยชน์จากเวลาแฝงที่ต่ำกว่า 100 นาโนวินาทีของสวิตช์ การกำหนดเส้นทางแบบปรับได้ และความสามารถในการคำนวณในเครือข่าย SHARP องค์กรต่างๆ จะสามารถสร้างแฟบริคที่เร่งการสื่อสาร MPI และ AI ลดเวลาในการแก้ไขปัญหา และปรับปรุงประสิทธิภาพของคลัสเตอร์โดยรวม

เมื่อมองไปข้างหน้า เนื่องจากคลัสเตอร์การฝึกอบรม AI ยังคงเติบโตจนมี GPU กว่า 10,000+ ตัว และระบบ HPC ปรับขนาดเป็น exascale ความต้องการสวิตช์ InfiniBand ความหนาแน่นสูงและมีความหน่วงต่ำก็จะเพิ่มขึ้นเท่านั้น MQM8790-HS2F อยู่ในตำแหน่งที่ดีสำหรับวิถีนี้ เนื่องจากมีความหนาแน่นของพอร์ต 40 พอร์ต ความสามารถในการสลับ 8Tb/s และการรองรับความเร็ว HDR200 และ HDR100 ช่วยให้มั่นใจได้ถึงความเข้ากันได้กับโหนดประมวลผลทั้งในปัจจุบันและรุ่นถัดไป สำหรับองค์กรที่วางแผนการปรับใช้คลัสเตอร์ HPC หรือ AI ที่คล้ายกัน วิธีการแบบสไปน์ลีฟแบบแบ่งระดับที่ได้รับการตรวจสอบในการปรับใช้นี้ นำเสนอแผนงานที่เป็นประโยชน์: ใช้สวิตช์ลีฟ MQM8790-HS2F สำหรับการเชื่อมต่อการเข้าถึง ใช้สวิตช์สไปน์ที่มีความหนาแน่นของพอร์ตสูงกว่า (เช่น ซีรีส์ QM9700 แบบ 64 พอร์ต) สำหรับแฟบริคขนาดใหญ่ และรักษาเฟรมเวิร์กการจัดการแบบรวมที่ใช้ประโยชน์จาก UFM สำหรับการเพิ่มประสิทธิภาพแฟบริคเชิงรุก

สำหรับเทมเพลตการออกแบบแฟบริคโดยละเอียด คู่มือการปรับแต่งประสิทธิภาพ และรายการตรวจสอบการใช้งาน โปรดดูที่เอกสารข้อมูลสินค้า MQM8790-HS2Fและเอกสารประกอบสถาปัตยกรรม NVIDIA Mellanox InfiniBand