การเปรียบเทียบเครือข่ายซูเปอร์คอมพิวเตอร์: InfiniBand vs Ethernet
September 20, 2025
สรุป:เนื่องจากภาระงานของคอมพิวเตอร์ความสามารถสูง (HPC) กลายเป็นที่ซับซ้อนและใช้ข้อมูลมากยิ่งขึ้น การเลือกเทคโนโลยีเชื่อมต่อกันมีความสําคัญเครือข่าย HPCInfiniBand และ Ethernet แบบดั้งเดิมของเมลาน็อกซ์ การประเมินคุณสมบัติทางสถาปัตยกรรมของพวกเขาสําหรับรุ่นใหม่ของซูเปอร์คอมพิวเตอร์และ AI คลัสเตอร์วิจัย
สิ่งแวดล้อมคอมพิวเตอร์ที่มีประสิทธิภาพสูงในปัจจุบันกว้างไปกว่าการจําลองทางวิทยาศาสตร์แบบดั้งเดิม เพื่อครอบคลุมการฝึกอบรมด้านปัญญาประดิษฐ์ วิเคราะห์ข้อมูลขนาดใหญ่ และการประมวลผลในเวลาจริงภาระงานเหล่านี้ต้องการ สายผูกที่เชื่อมต่อกัน ที่ไม่เพียงแค่การจัดส่งความกว้างแบนด์วิธ, แต่ยังมีความช้าต่ําสุด, ความรุนแรงอย่างน้อย, และ CPU ที่มีประสิทธิภาพลด. เครือข่ายได้เปลี่ยนจากท่อข้อมูลที่ไม่ทํางาน เป็นส่วนประกอบที่ทํางานและฉลาดของสถาปัตยกรรมคอมพิวเตอร์การเลือกระหว่างInfiniBand vs Ethernetการตัดสินใจด้านสถาปัตยกรรมพื้นฐาน ที่กําหนดผลประกอบการและประสิทธิภาพของคลัสเตอร์โดยรวม
ความแตกต่างหลักระหว่าง InfiniBand และ Ethernet อยู่ที่ปรัชญาการออกแบบของพวกเขาเครือข่าย HPC, ในขณะที่ Ethernet ได้พัฒนาขึ้นจากมาตรฐานเครือข่ายมวลชน
นําโดยเมลลาน็อกซ์(ปัจจุบันเป็นส่วนหนึ่งของ NVIDIA) InfiniBand นําเสนอผ้าไร้การสูญเสียที่มีลักษณะที่ล้ําหน้า:
- RDMA ท้องถิ่น:ให้การโอนความทรงจําตรงไปสู่ความทรงจําระหว่างเซอร์เวอร์ โดยเลี่ยงระบบปฏิบัติการและ CPU ซึ่งลดความช้าลงต่ํากว่า 600 นาโนวินาที
- การคิดเลขในเครือข่าย:เทคโนโลยี SHARP ของ Mellanox ทําให้การประกอบการรวม (เช่น all-reduce) สามารถดําเนินการภายในผนังสลับ, ลดปริมาณข้อมูลอย่างมากและเร่งการประกอบการรวม.
- ความกว้างแบนด์วิธสูง:ใช้ NDR InfiniBand ขนาด 400Gb/s เพื่อให้มีความสม่ําเสมอ และไม่มีความจุกจุก
Ethernet ที่มีความสามารถสูงในยุคใหม่ (มี RoCE - RDMA ผ่าน Ethernet Converged) ได้สร้างความก้าวหน้าอย่างสําคัญ:
- ความคุ้นเคยและค่าใช้จ่ายสร้างผลประโยชน์จากความรู้ด้านไอทีที่มีอยู่ และสามารถได้ประโยชน์จากการประหยัดขนาด
- RoCEv2:ช่วยให้สามารถ RDMA ผ่านเครือข่าย Ethernet แม้ว่ามันต้องการผ้าที่ไม่มีการสูญเสีย (DCB) เพื่อให้ทํางานได้ดีที่สุด
- ความเร็ว:ให้อัตราความกว้างแบนด์วิธที่เปรียบเทียบได้ โดยมี Ethernet 400Gb/s สามารถใช้ได้ง่าย
ข้อดีทางทฤษฎีของ InfiniBand มีผลเป็นผลดีขึ้นในด้านการทํางานในแวดล้อม HPC และ AI ของโลกจริง ตารางต่อไปนี้อธิบายตัวประกอบการประกอบการสําคัญ:
| เมทริก | InfiniBand (HDR/NDR) | อีเทอร์เน็ตประสิทธิภาพสูง (400G) | สถานการณ์ |
|---|---|---|---|
| ความช้า | < 0.6 μs | > 1.2 μs | สําคัญสําหรับการใช้งาน MPI ที่เชื่อมโยงกันอย่างแน่น |
| การใช้ CPU | ~ 1% | ~3-5% | ด้วยการเปิด RDMA; ต่ํากว่าดีกว่า |
| All-Reduce Time (เวลาลดทั้งหมด 256 หน่วย) | ~ 220 μs | ~450 μs | แสดงผลประโยชน์ในการคิดเลขในเครือข่าย |
| ความคงที่ของผ้า | ไม่ เสีย เสีย โดย การ ออกแบบ | ต้องการการตั้งค่า (DCB/PFC) | การคาดเดาได้ภายใต้ภาระหนัก |
รายการInfiniBand vs EthernetInfiniBand ที่ใช้พลังงานจากเมลลาน็อกซ์เทคโนโลยีที่ให้ผลงานที่ดีและสามารถคาดการณ์ได้อย่างต่อเนื่อง สําหรับการจําลองที่เชื่อมโยงกันอย่างแน่นและการฝึก AI ในขนาดใหญ่ส่งผลให้การแก้ไขเร็วขึ้น และการใช้ทรัพยากรสูงขึ้น. Ethernet ให้ข้อดีที่น่าเชื่อถือในสภาพแวดล้อมที่แตกต่างกันและภาระงานที่ผสมผสานผลงานของมันมักขึ้นอยู่กับการตั้งค่าอย่างละเอียด เพื่อเข้าใกล้กับผ้า InfiniBand ที่สร้างมาเพื่อการใช้งาน.
ไม่มีคําตอบแบบเดียวในเครือข่าย HPCสําหรับการจัดจําหน่ายที่มีความสําคัญในภารกิจ ที่มีความสามารถในการใช้งานสูงสุด ความยืดหยุ่นต่ําที่สุดและประสิทธิภาพสูงสุด ไม่สามารถแลกเปลี่ยนได้ เช่นในศูนย์คอมพิวเตอร์ระดับสูงสุดInfiniBand ยังคงเป็นผู้นําที่ไม่มีข้อขัดแย้งสําหรับคลาสเตอร์ที่ทํางานภาระงานที่หลากหลายหรือที่ความคุ้นเคยในการปฏิบัติงานเป็นสิ่งสําคัญที่สุด การแก้ไข Ethernet ที่ทันสมัยเป็นทางเลือกที่เหมาะสมคีย์คือการสอดคล้องสถาปัตยกรรมเครือข่ายกับความต้องการคอมพิวเตอร์และเศรษฐกิจเฉพาะของภาระงาน.
เพื่อกําหนดกลยุทธ์การเชื่อมต่อที่ดีที่สุดสําหรับความต้องการคอมพิวเตอร์ของคุณ, ติดต่อกับพันธมิตรผู้เชี่ยวชาญสําหรับการวิเคราะห์ภาระงานรายละเอียดและการทดสอบการพิสูจน์แนวคิด.การประเมินรูปแบบการสื่อสารของแอปพลิเคชั่นของคุณเป็นขั้นตอนแรกในการสร้างเครือข่าย HPCโครงสร้างพื้นฐาน