Mellanox (NVIDIA Mellanox) MQM8790-HS2F InfiniBand Switch ในการปฏิบัติ

Mellanox (NVIDIA Mellanox) MQM8790-HS2F สวิตช์ InfiniBand ในทางปฏิบัติ | การปรับแต่งการเชื่อมต่อความหน่วงต่ำสำหรับคลัสเตอร์ RDMA/HPC/AI

ภูมิหลังและความท้าทาย: เมื่อคลัสเตอร์ RDMA ชนกับคอขวดของเครือข่าย

ในสภาพแวดล้อมการทำงานแบบผสมผสานระหว่าง HPC และ AI ทั่วไป คลัสเตอร์การประมวลผลมักจะรันการจำลอง CFD, การจำลองโมเลกุล และการฝึกโมเดลขนาดใหญ่แบบกระจายไปพร้อมๆ กัน เวิร์กโหลดเหล่านี้ต้องพึ่งพา RDMA อย่างมากสำหรับการสื่อสารระหว่างโหนด และมีความไวอย่างยิ่งต่อแบนด์วิดท์, ความหน่วง และการสูญเสียแพ็กเก็ต เมื่อคลัสเตอร์เติบโตจากหลายสิบโหนดเป็นหลายร้อยโหนด การเชื่อมต่อเดิมอาจกลายเป็นปัจจัยจำกัดได้อย่างรวดเร็ว

อาการทั่วไป ได้แก่ ความหน่วงหางยาวระหว่าง AllReduce, การใช้งานลิงก์ที่ไม่สม่ำเสมอทั่วทั้งแฟบริก และเวลาในการทำงานเสร็จสิ้นของงานที่ลดลงทันทีที่มีผู้เช่าหลายรายใช้เครือข่ายร่วมกัน สำหรับวิศวกรและสถาปนิกเครือข่าย ความท้าทายไม่ใช่แค่การเพิ่มแบนด์วิดท์ แต่คือการสร้างแฟบริกที่รักษาความหน่วงให้คาดการณ์ได้ภายใต้การใช้งานที่หนาแน่น

โซลูชันและการติดตั้ง: การสร้างแฟบริกโดยรอบ MQM8790-HS2F

เพื่อแก้ไขปัญหาเหล่านี้ แฟบริกของคลัสเตอร์ได้รับการออกแบบใหม่โดยรอบ Mellanox (NVIDIA Mellanox) MQM8790-HS2F ซึ่งเป็นสวิตช์ InfiniBand ความเร็ว 200Gb/s HDR ที่ออกแบบมาสำหรับสภาพแวดล้อมที่มีความหนาแน่นสูงและมีความหน่วงต่ำ รูปแบบ 40 พอร์ต QSFP56 ของ MQM8790-HS2F ความเร็ว 200Gb/s HDR ช่วยให้มี 40 พอร์ตใน 1U ซึ่งเข้ากันได้ดีกับโทโพโลยี fat-tree แบบสองชั้น

การติดตั้งเป็นไปตามแนวทางแบบชั้น:

• ชั้น Spine: สวิตช์ NVIDIA Mellanox MQM8790-HS2F ถูกติดตั้งเป็นอุปกรณ์ spine ซึ่งให้การเชื่อมต่อขาขึ้น 200Gb/s และการรับส่งข้อมูลแบบ east-west ที่ไม่ถูกบล็อกระหว่างกลุ่ม leaf
• ชั้น Leaf: สวิตช์ Leaf เชื่อมต่อโหนดประมวลผลที่ติดตั้งอะแดปเตอร์ ConnectX-6 หรือ ConnectX-7 สร้างเส้นทาง HDR แบบ end-to-end ที่เข้ากันได้กับ MQM8790-HS2F
• การประมวลผลในเครือข่าย: เทคโนโลยี SHARP บน MQM8790-HS2F จะยกเลิกการดำเนินการรวม เช่น AllReduce ไปยังสวิตช์ ลดภาระงานของ GPU และ CPU
• การจัดการและเทเลเมทรี: MLNX-OS, UFM และ NetQ ถูกใช้สำหรับการจัดเตรียม, การตรวจสอบ และการมองเห็นการใช้งานที่หนาแน่นของแฟบริก

ระหว่างการวางแผน ทีมได้ตรวจสอบเอกสารข้อมูล MQM8790-HS2F และข้อมูลจำเพาะของ MQM8790-HS2F เพื่อตรวจสอบงบประมาณพลังงาน, ความต้องการในการระบายความร้อน และตัวเลือกการแยกพอร์ต เช่น การแยก 2×100Gb/s การเดินสายและออปติกถูกทำให้เป็นมาตรฐานเป็น QSFP56 เพื่อลดความซับซ้อนในการสำรองและขยายในอนาคต

ผลลัพธ์และประโยชน์: สิ่งที่เปลี่ยนแปลงหลังการติดตั้ง

หลังจากย้ายไปยังโซลูชันสวิตช์ InfiniBand MQM8790-HS2F คลัสเตอร์แสดงให้เห็นถึงการปรับปรุงที่วัดผลได้ในประสิทธิภาพการสื่อสารและความเสถียรของงาน ผลกำไรที่โดดเด่นที่สุดคือ:

ในเชิงปฏิบัติ ทีมได้รับความสามารถในการควบคุมพฤติกรรมของแฟบริกได้ดีขึ้น การกำหนดเส้นทางแบบปรับได้และ SHARP ช่วยลดผลกระทบของจุดร้อน ในขณะที่เทเลเมทรีทำให้ง่ายต่อการระบุโหนดที่ช้าและลิงก์ที่กำหนดค่าผิดพลาด สำหรับสถาปนิกที่ประเมินราคา MQM8790-HS2F หรือตัวเลือก MQM8790-HS2F สำหรับการขาย ประเด็นสำคัญคือสวิตช์นี้ให้ผลตอบแทนผ่านการใช้งานคลัสเตอร์ที่สูงขึ้น แทนที่จะนับจำนวนพอร์ตเพียงอย่างเดียว

บทสรุปและแนวโน้ม

MQM8790-HS2F แสดงให้เห็นว่าสวิตช์ InfiniBand ที่สร้างขึ้นเพื่อวัตถุประสงค์เฉพาะสามารถขจัดคอขวดของการเชื่อมต่อในคลัสเตอร์ RDMA, HPC และ AI ได้อย่างไร ด้วยการรวมพอร์ต 200Gb/s HDR, การประมวลผลในเครือข่าย SHARP และสแต็กการจัดการที่สมบูรณ์ NVIDIA Mellanox MQM8790-HS2F จึงมอบความหน่วงต่ำที่คาดการณ์ได้ในระดับสเกล เมื่อคลัสเตอร์ยังคงเติบโตและเวิร์กโหลด AI มีความต้องการการสื่อสารมากขึ้น แฟบริกที่สร้างขึ้นบนสวิตช์ InfiniBand MQM8790-HS2F จึงอยู่ในตำแหน่งที่ดีที่จะรองรับการขยายตัวในระลอกต่อไป