N

NVIDIA Mellanox 920-9B110-00FH-0D0 InfiniBand Switch Technical Solution｜การเพิ่มประสิทธิภาพการเชื่อมต่อความหน่วงต่ำสำหรับคลัสเตอร์ RDMA, HPC และ AI

ความเป็นมาของโครงการและการวิเคราะห์ความต้องการ

ศูนย์ข้อมูลสมัยใหม่ที่รองรับการฝึก AI, การจำลอง HPC และการจัดเก็บแบบกระจายต้องเผชิญกับแรงกดดันสองเท่าทั้งแบนด์วิดท์และความหน่วงที่ชั้นเครือข่าย ความหนาแน่นของโหนด GPU ยังคงเพิ่มขึ้น ในขณะที่ความหน่วงหางของการสื่อสารระหว่างโหนดและการกระตุกกลายเป็นปัจจัยจำกัดประสิทธิภาพโดยรวมของคลัสเตอร์ สำหรับหลายองค์กร คำถามที่ปฏิบัติได้จริงไม่ใช่ว่าจะใช้ 400Gb/s NDR หรือไม่ แต่จะสร้างเครือข่าย HDR ที่พิสูจน์แล้วและคุ้มค่าได้อย่างไร ซึ่งยังคงให้ประสิทธิภาพที่กำหนดได้

ข้อกำหนดทั่วไปสำหรับโครงการดังกล่าว ได้แก่ การขนส่ง RDMA ความหน่วงต่ำ พฤติกรรมเครือข่ายแบบไม่สูญเสีย การเข้ากันได้แบบย้อนหลังกับโครงสร้างพื้นฐาน EDR และ FDR ที่มีอยู่ และเส้นทางการปรับขนาดที่ชัดเจน NVIDIA Mellanox 920-9B110-00FH-0D0 ถูกวางตำแหน่งให้ตอบสนองความต้องการเหล่านี้ในฐานะสวิตช์ InfiniBand 200Gb/s HDR ภายในตระกูล NVIDIA Quantum

การออกแบบสถาปัตยกรรมเครือข่ายและระบบโดยรวม

สถาปัตยกรรมที่แนะนำคือเครือข่าย InfiniBand แบบ spine-leaf สองชั้นที่สร้างขึ้นบนลิงก์ 200Gb/s HDR สวิตช์ Leaf เชื่อมต่อโหนดคอมพิวเตอร์ เป้าหมายการจัดเก็บ และเซิร์ฟเวอร์การจัดการ ในขณะที่สวิตช์ Spine ให้การเชื่อมต่อระหว่าง Leaf และความหลากหลายของเส้นทาง การออกแบบนี้ช่วยลดจำนวน hop และรับประกันแบนด์วิดท์แบบไม่ปิดกั้นสำหรับการรับส่งข้อมูลแบบ east-west ซึ่งเป็นปริมาณงานหลักของ HPC และ AI

ที่ชั้นปลายทาง อะแดปเตอร์ช่องสัญญาณโฮสต์จะทำงานในโหมด RDMA ทำให้สามารถถ่ายโอนหน่วยความจำไปยังหน่วยความจำได้โดยไม่ต้องมีการแทรกแซงของ CPU เครือข่ายจัดการการควบคุมความแออัด การกำหนดเส้นทางแบบปรับได้ และการเร่งความเร็วแบบรวม การรับส่งข้อมูลการจัดการและเทเลเมทรีใช้โครงสร้างพื้นฐานทางกายภาพเดียวกัน แต่ถูกแยกออกผ่านนโยบาย QoS เพื่อให้การตรวจสอบไม่รบกวนปริมาณงานการผลิต

หลักการออกแบบที่สำคัญ ได้แก่:

• โทโพโลยีแบบแบนเพื่อลดความหน่วงและทำให้การแก้ไขปัญหาง่ายขึ้น
• ลิงก์แบบไม่ปิดกั้นหรือมีการโอเวอร์ซับสคริปชันต่ำระหว่างชั้น
• HDR ที่สอดคล้องกันตั้งแต่ต้นจนจบ พร้อมความเข้ากันได้แบบย้อนหลังกับ EDR/FDR ตามที่จำเป็น
• เส้นทางสำรองเพื่อความพร้อมใช้งานสูงและการกระจายโหลด
• การจัดการ InfiniBand มาตรฐานเพื่อความสอดคล้องในการดำเนินงาน

บทบาทและคุณสมบัติหลักของ NVIDIA Mellanox 920-9B110-00FH-0D0

NVIDIA Mellanox 920-9B110-00FH-0D0 ทำหน้าที่เป็นส่วนประกอบหลักของเครือข่ายนี้ ในฐานะแพลตฟอร์ม 920-9B110-00FH-0D0 MQM8790-HS2F 200Gb/s HDR มันมีพอร์ต QSFP56 40 พอร์ต และความสามารถในการสลับแบบไม่ปิดกั้น 16Tb/s ในฟอร์มแฟกเตอร์ 1U ความหนาแน่นนี้รองรับบทบาท Leaf ที่มีอัตราส่วนสูงและทำให้การเดินสายในแร็คหนาแน่นง่ายขึ้น

สำหรับทีมที่ตรวจสอบข้อมูลจำเพาะ 920-9B110-00FH-0D0 สวิตช์รองรับ RDMA, MPI และ NVIDIA SHARP สำหรับการยกเลิกการทำงานแบบรวม การควบคุมความแออัดขั้นสูงและการกำหนดเส้นทางแบบปรับได้ มุ่งเป้าไปที่ปัญหาความหน่วงหางและปัญหา incast ที่พบบ่อยในการฝึก AI และปริมาณงาน MPI OPN ของสวิตช์ InfiniBand 920-9B110-00FH-0D0 ยังรวมเข้ากับเครื่องมือการจัดการ InfiniBand มาตรฐาน ลดช่วงการเรียนรู้ในการดำเนินงาน

เมื่อวางแผนโซลูชัน OPN ของสวิตช์ InfiniBand 920-9B110-00FH-0D0 สถาปนิกควรยืนยันส่วนประกอบที่เข้ากันได้กับ 920-9B110-00FH-0D0 รวมถึงสายเคเบิล QSFP56 อะแดปเตอร์ช่องสัญญาณโฮสต์ และเวอร์ชันเฟิร์มแวร์ การตรวจสอบเอกสารข้อมูล 920-9B110-00FH-0D0 ในช่วงต้นของขั้นตอนการออกแบบช่วยตรวจสอบข้อกำหนดด้านพลังงาน การระบายความร้อน และพื้นที่แร็คก่อนการจัดซื้อ

คำแนะนำในการติดตั้งและปรับขนาด

การติดตั้งทั่วไปจะเริ่มต้นด้วยพ็อดนำร่องที่มีโหนดคอมพิวเตอร์ 32 ถึง 64 โหนดที่เชื่อมต่อกับสวิตช์ Leaf 920-9B110-00FH-0D0 คู่หนึ่ง การเชื่อมต่อ Spine จะถูกเพิ่มเมื่อคลัสเตอร์เติบโตขึ้น โดยรักษาแบนด์วิดท์แบบไม่ปิดกั้นระหว่าง Leaf วิธีการเพิ่มทีละน้อยนี้ช่วยให้สามารถตรวจสอบความหน่วงและปริมาณงานก่อนการเปิดตัวเต็มรูปแบบ

สำหรับการปรับขนาด ให้รักษาเครือข่ายให้สมมาตร: เพิ่มความจุ Leaf และ Spine ในส่วนที่เพิ่มขึ้นที่จับคู่กัน เพื่อให้สัดส่วนการโอเวอร์ซับสคริปชันยังคงคาดการณ์ได้ การจัดการสายเคเบิลและการติดป้ายพอร์ตควรเป็นมาตรฐานตั้งแต่เริ่มต้น เนื่องจากการติดตั้ง QSFP56 ความหนาแน่นสูงจะดูแลรักษาได้ยากหากโครงสร้างทางกายภาพไม่สอดคล้องกัน

ตารางด้านล่างสรุปการพิจารณาการออกแบบสองชั้นที่เป็นตัวแทน:

การดำเนินงาน การตรวจสอบ การแก้ไขปัญหา และการเพิ่มประสิทธิภาพ

ความสำเร็จในการดำเนินงานขึ้นอยู่กับการมองเห็น เครือข่าย InfiniBand ให้ตัวนับสำหรับข้อผิดพลาดของลิงก์ เหตุการณ์ความแออัด และการใช้บัฟเฟอร์ สิ่งเหล่านี้ควรรวบรวมอย่างต่อเนื่องและเชื่อมโยงกับข้อมูลตัวจัดตารางงาน เพื่อให้สามารถติดตามการถดถอยของประสิทธิภาพไปยังส่วนเครือข่ายที่เฉพาะเจาะจง แทนที่จะคาดเดา

สถานการณ์การแก้ไขปัญหาส่วนใหญ่ ได้แก่ การหยุดชะงักของเครดิต การกำหนดค่า QoS ที่ผิดพลาด และความไม่ตรงกันของเฟิร์มแวร์ระหว่างสวิตช์และอะแดปเตอร์ รายการตรวจสอบที่มีโครงสร้าง—ตรวจสอบความเร็วลิงก์ ตรวจสอบตัวนับข้อผิดพลาด ยืนยันนโยบายการกำหนดเส้นทาง ตรวจสอบเทเลเมทรีความแออัด—สามารถลดเวลาเฉลี่ยในการแก้ไขปัญหา ความพยายามในการเพิ่มประสิทธิภาพควรมุ่งเน้นไปที่ความหน่วงหาง แทนที่จะเป็นปริมาณงานเฉลี่ย เนื่องจากปริมาณงาน HPC และ AI มีความอ่อนไหวต่อพฤติกรรมที่เลวร้ายที่สุด

สำหรับการวางแผนการจัดซื้อและการจัดการวงจรชีวิต ทีมมักจะเปรียบเทียบราคา 920-9B110-00FH-0D0 และตัวเลือก 920-9B110-00FH-0D0 สำหรับการขายผ่านช่องทางที่ได้รับอนุญาต ราคาขึ้นอยู่กับการกำหนดค่า ระดับการสนับสนุน และภูมิภาค ดังนั้นจึงแนะนำให้ติดต่อกับผู้จัดจำหน่ายและตัวแทนองค์กรของ NVIDIA ตั้งแต่เนิ่นๆ

สรุปและการประเมินมูลค่า

NVIDIA Mellanox 920-9B110-00FH-0D0 ให้รากฐาน HDR 200Gb/s ที่พิสูจน์แล้วสำหรับการเชื่อมต่อคลัสเตอร์ RDMA, HPC และ AI ด้วยการลดชั้นเครือข่าย การรองรับการเร่งความเร็วแบบรวม และการเปิดใช้งานการขนส่งความหน่วงต่ำแบบไม่สูญเสีย จึงสามารถแก้ไขคอขวดที่จำกัดประสิทธิภาพของคลัสเตอร์ในโลกแห่งความเป็นจริง สำหรับสถาปนิกเครือข่ายและวิศวกรฝ่ายขายล่วงหน้า ถือเป็นส่วนประกอบที่ใช้งานได้จริงและปรับขนาดได้สำหรับเครือข่าย HDR InfiniBand ที่มีเส้นทางที่ชัดเจนไปข้างหน้า