การเปรียบเทียบเครือข่าย HPC: InfiniBand vs. Ethernet

วันที่:12 พฤศจิกายน 2023

การแสวงหาอย่างไม่หยุดยั้งเกี่ยวกับการคํานวณขนาดเอ็กซาสเกล และภาระงาน AI ที่ซับซ้อนได้ผลักดันพื้นฐานการคํานวณที่มีประสิทธิภาพสูง (HPC) ไปสู่ขีดจํากัดของมันที่หัวใจของวิวัฒนาการนี้คือการตัดสินใจด้านสถาปัตยกรรมที่สําคัญ: การเลือกผ้าเชื่อมต่อInfiniBand vs Ethernetเป็นหลักในการออกแบบเครือข่าย HPCสถานที่ใช้งานและการใช้งานเมลลาน็อกซ์ผู้นําในการเชื่อมต่อความสามารถสูง การแข่งขันนี้ได้เพิ่มขึ้น กระตุ้นการนวัตกรรมและการเปรียบเทียบที่ขับเคลื่อนข้อมูลที่น่าเชื่อถือสําหรับลูกค้าธุรกิจและวิจัย

ผลงานที่แพร่คือความแตกต่างหลัก InfiniBand ที่ถูกออกแบบโดยเฉพาะเจาะจงสําหรับสภาพแวดล้อมศูนย์ข้อมูลที่มีความช้าต่ําและความเร็วสูง มีข้อดีที่สําคัญ

• ความช้า:InfiniBand ส่งความช้าที่ไม่เกิน 600 นาโนวินาที ซึ่งเป็นสิ่งสําคัญสําหรับการสื่อสาร MPI (Message Passing Interface) ในการจําลองที่เชื่อมโยงกันอย่างแน่นแม้แต่ RoCE (RDMA over Converged Ethernet), ปกติจะทํางานในช่วงไมโครวินาที (> 1.2 μs) นํามาปรับสัดส่วนในภาระการทํางานคู่เคียง
• การออกกําลัง:ขณะที่เทคโนโลยีทั้งสองอย่างนําเสนอการแก้ไข 200G และ 400G การควบคุมความจืดของ InfiniBand และการตั้งทางปรับปรุงเพิ่มประสิทธิภาพการใช้งานสูงสุด.

สําหรับแอพลิเคชั่นที่ใช้เวลาในการแก้ไขเป็นสิ่งสําคัญ เช่น การจําลองสภาพภูมิอากาศ หรือการเรียงลําดับพันธุกรรม ช่องว่างการทํางานนี้จะแปลโดยตรงไปสู่การเร่งวิจัย

นอกเหนือจากเมทริกพื้นฐาน อาร์คิทคัตช์ของ InfiniBand นําเสนอลักษณะการเปลี่ยนแปลงรูปแบบที่ Ethernet พยายามที่จะตรงกัน

• SHARP (โปรต็อกอลการรวมและการลดระดับระดับระดับที่สามารถปรับขนาดได้)ลักษณะที่สําคัญของเมลลาน็อกซ์สวิตช์ InfiniBand ทําการประมวลผลการคํานวณ (เช่นการลด MPI) ภายในเนื้อเยื่อเครือข่าย, ปลดภาระนี้ออกจาก CPU.คุณลักษณะที่ไม่มีใน Ethernet มาตรฐาน.
• การควบคุมความจุกจุกพื้นบ้านInfiniBand's รูติ้งแบบปรับปรุงที่สร้างขึ้นใน ดินามิคจัดการการจราจรเพื่อหลีกเลี่ยงจุดร้อน. Ethernet มั่นใจในโปรโตคอลเพิ่มเติม (ตัวอย่างเช่น DCQCN) สําหรับการจัดการความจุกจุกซึ่งอาจมีประสิทธิภาพต่ํากว่า และต้องการการปรับแต่งที่ซับซ้อน.

การมีอํานาจของเอเธิร์เน็ตในศูนย์ข้อมูลทั่วไป เป็นหลักฐานที่น่าเชื่อถือ

• การใช้งานทั่วไปและความสามารถ:เอเธอร์เน็ตเป็นที่เข้าใจทั่วไป และชุดใหญ่ของวิศวกรเครือข่ายคุ้นเคยกับการจัดการและการแก้ไขปัญหาของมัน
• การรวมตัวกันแผ่น Ethernet เดี่ยวสามารถขนจอดข้อมูล และการบริหารการจราจรได้ โดยทําให้ระบบเครือข่ายง่ายขึ้นการรวมตัวกันนี้มักต้องมีนโยบาย QoS ที่ซับซ้อน เพื่อปกป้องความรู้สึกต่อการทํางานเครือข่าย HPCการจราจร
• ค่า:ในทางประวัติศาสตร์ ส่วนประกอบ Ethernet มีราคาต่ํากว่า the gap has narrowed significantly with the introduction of high-speed Ethernet and the total cost of ownership (TCO) considering performance-per-watt and performance-per-dollar often favors InfiniBand for dedicated HPC clusters.

การเลือกระหว่าง InfiniBand และ Ethernet ไม่ได้เป็นเรื่องของสิ่งที่เป็นสากลที่ดีกว่า แต่ที่เป็นที่ดีที่สุดสําหรับภาระงานเฉพาะเครือข่าย HPCสิ่งแวดล้อมที่ทําให้การแก้ไขเร็วที่สุดสําหรับการคํานวณที่ซับซ้อนเป็นเป้าหมายหลักเมลลาน็อกซ์เทคโนโลยี, ยังคงเป็นผู้นําการทํางานที่ไม่มีข้อโต้แย้ง. ความสามารถในการคํานวณในเครือข่ายที่ก้าวหน้าและประสิทธิภาพสูงสุดของมันให้ ROI ที่สัมผัสได้สําหรับการวิจัยและบริษัทที่ขับเคลื่อน AI.,สําหรับสภาพแวดล้อมที่มีภาระงานผสมผสานหรือคลาสเตอร์ที่ผลงานสุดขั้นต่ําไม่สําคัญเท่าไหร่ เอเธอร์เน็ตความเร็วสูงเป็นทางเลือกที่คุ้นเคยและสามารถ