NVIDIA Mellanox MCX4121A-ACAT Server Adapter การแก้ไขทางเทคนิค: การสร้าง RDMA / RoCE ความช้าต่ํา

NVIDIA Mellanox MCX4121A-ACAT Server Adapter การแก้ไขทางเทคนิค: การสร้าง RDMA / RoCE ความช้าต่ํา, ระดับการเข้าถึงศูนย์ข้อมูลสูง

หัวข้อของคําตอบ:MCX4121A-ACATแบรนด์: NVIDIA Mellanox เน้นเทคโนโลยี: RDMA / RoCE การขนส่งความช้าต่ํา และการปรับปรุงการทํางานของเซอร์เวอร์

1. สถานการณ์โครงการและการวิเคราะห์ความต้องการ

ในขณะที่ศูนย์ข้อมูลขององค์กรยังคงพัฒนาไปสู่สถาปัตยกรรมเมฆไฮบริด การฝึกแบบ AI ในขนาดใหญ่ และระบบเก็บข้อมูลกระจายระดับการเข้าถึงเซอร์เวอร์ได้กลายเป็นอุปสรรคที่สําคัญ ที่ส่งผลกระทบต่อการทํางานของแอปพลิเคชั่นโดยรวม. แอดป์เตอร์ 10GbE แบบดั้งเดิมและ TCP/IP พรอตโคโลล สเตค พยายามที่จะให้ความยืดหยุ่นต่ําที่กําหนดและความเร็วสูงที่ต้องการโดยภาระงานที่ทันสมัยมีจุดเจ็บปวดหลัก 3 จุด: ค่าใช้จ่ายส่วนเกินของ CPU จากการประมวลผลโปรโตคอลเครือข่าย, ความช้าของหางที่ไม่สามารถคาดเดาได้ในการเข้าถึงที่เก็บของกระจาย และความจํากัดในการปรับขนาดสําหรับสภาพแวดล้อมการเสมือนและคอนเทนเนอร์

รายการNVIDIA Mellanox MCX4121A-ACATได้ถูกออกแบบมาเพื่อตอบโจทย์ปัญหาเหล่านี้โดยการให้บริการ 25GbE การเข้าถึงที่มีความ成熟และมีประสิทธิภาพสูงความช้า RDMA ต่ํากว่า 5μs สําหรับการเก็บข้อมูลและภาระงาน AI, การลดภาระฮาร์ดแวร์ของโปรโตคอล TCP/RDMA เพื่อลดการใช้งาน CPU ถึง 40% ความสอดคล้องได้อย่างต่อเนื่องกับพื้นฐานการสลับ 10GbE/25GbE ที่มีอยู่และการสนับสนุนเทคโนโลยีเวอร์ชูเอลชั่นที่ทันสมัย รวมถึง SR-IOV และ VirtIO.

2. การออกแบบระบบระบบและเครือข่ายโดยรวม

สถาปัตยกรรมที่เสนอใช้ท็อปโลจีกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกับการ์ด MCX4121A-ACAT Ethernetทําหน้าที่เป็นก้อนก่อสร้างพื้นฐาน สําหรับทุกหน่วยคอมพิวเตอร์และหน่วยเก็บข้อมูล

สถาปัตยกรรมประกอบด้วยองค์ประกอบหลักดังต่อไปนี้

• ชั้นการเข้าถึงเซอร์เวอร์:แต่ละเซอร์เวอร์คอมพิวเตอร์และการเก็บของพร้อมกับเครื่องปรับ MCX4121A-ACAT หนึ่งหรือสองตัว ให้ความเชื่อมต่อ 25GbE ที่มีสองท่าทางกับสวิตช์ใบการรวมลิงค์ (LACP) และการเปลี่ยนการทํางาน / เตรียมพร้อม.
• เนื้อผงกระดูกสันหลังใบ:ชุดสวิตช์ที่สามารถใช้ RoCEv2 (เช่น NVIDIA Spectrum) สร้างกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูกกระดูก
• ผ้าเก็บของ:เป้าหมาย NVMe-oF ได้ถูกจัดจําหน่ายบนเซอร์เวอร์การเก็บข้อมูลที่มอบหมาย โดยใช้ RDMA สําหรับการเข้าถึงความจําโดยตรง และเลี่ยงค่าใช้จ่าย TCP/IP ของเนอร์เนล
• การจัดการและการจัดเพลง:การบริหารจัดการแบบรวมกันผ่าน NVIDIA NetQ หรือเครื่องมือเทเลเมตรีของผู้บริการบริษัทที่สาม ให้ความเห็นในเวลาจริงเกี่ยวกับสุขภาพของผ้าและผลงาน RDMA

รายการMCX4121A-ACAT ConnectX-4 Lx ท่าสอง 25GbE SFP28การออกแบบให้แน่ใจว่าเซอร์เวอร์สามารถใช้งานได้สองแบบต่อกับสวิตช์ใบอิสระสองตัว โดยกําจัดจุดการล้มเหลวเดียวในขณะที่ให้ความสมดุลภาระทั้ง RDMA และการจราจร Ethernet แบบปกติ

3. บทบาทและคุณสมบัติสําคัญของ NVIDIA Mellanox MCX4121A-ACAT

รายการNVIDIA Mellanox MCX4121A-ACATเป็นหินมุมของคําตอบนี้ โดยให้ความสามารถ RDMA ที่เร่งเร็วด้วยฮาร์ดแวร์และความสามารถในการลดอัตราการบรรจุอากาศที่ก้าวหน้าใบข้อมูล MCX4121A-ACATและรายละเอียด MCX4121A-ACAT, เครื่องปรับเปลี่ยนรวมเทคโนโลยีหลักต่อไปนี้:

รายการสอดคล้องกับ MCX4121A-ACATระบบนิเวศครอบคลุมแพลตฟอร์มเซอร์เวอร์หลักๆ (Dell, HPE, Lenovo, Supermicro ฯลฯ) ระบบปฏิบัติการ (Linux, Windows, VMware ESXi) และผู้ขายสวิตช์.ความเข้ากันได้อย่างกว้างขวางนี้ทําให้MCX4121A-ACAT Ethernet adapter card solution การแก้ไขการ์ดจะถูกนํามาใช้ในบริษัทต่างๆ

4. แนะนําการจัดจําหน่ายและการปรับขนาด (รวมถึงทอปโลยีทั่วไป)

สําหรับองค์กรที่ประเมินMCX4121A-ACAT สําหรับขายทางเลือกและการวางแผนการใช้งานของพวกเขา เราแนะนําวิธีการระยะสั้นที่ตรงกับการเติบโตของภาระงาน:

• ขั้นตอนที่ 1 (แบบทดลอง) กลุ่มการสรุป AIใช้ตัวปรับ MCX4121A-ACAT สองตัวต่อเซอร์เวอร์การสรุป AI (มีบ้านคู่กับสวิทช์ใบที่แตกต่างกัน)ปรับปรุง RoCEv2 ด้วย PFC/ECN และรับรองผลงานโดยใช้ MLNX_OFED ของ NVIDIA หรือ in-box driver stack.
• ขั้นตอนที่ 2 (การขยายโพ๊ด)ขยายการจัดจําหน่ายไปถึง 48-96 คอมพิวเตอร์โน๊ดและ 8-16 เซอร์เวอร์การเก็บข้อมูล. ทําให้ NVMe-oF เป้าหมาย / เริ่มต้นการอํานวยการบนโน๊ดการเก็บข้อมูลที่กําหนดไว้. ใช้การรวมลิงค์ (การผูกพัน) สําหรับการปรับขนาดความกว้างแดน.
• ขั้นตอนที่ 3 (มัลติเรค / มัลติเซ็นเตอร์ข้อมูล)ขยายความเชื่อมต่อ RDMA ระหว่างเรคโดยใช้ RoCEv2 fabric เดียวกัน สําหรับระหว่างเว็บไซต์ พิจารณาการเชื่อมต่อ DCI ที่ถูกเข้ารหัสด้วย MACsec โดยรักษาการขนส่ง RDMA

โทโปโลยีทั่วไปสําหรับ AI / HPC pod ขนาดกลางจะประกอบด้วย: 16 เซอร์เวอร์คํานวณ (แต่ละตัวมีตัวปรับ MCX4121A-ACAT สองตัวสําหรับความกว้างแบนด์รวม 2 × 25GbE = 50GbE ที่มีประสิทธิภาพ)4 เซอร์เวอร์เก็บข้อมูล (เป้าหมาย NVMe-oF), และสวิทช์ใบ 2-4 (สามารถ RoCEv2) ชั้นกระดูกสันหลังประกอบด้วยสวิทช์ความจุสูง 2-4ตัวปรับเปลี่ยนถูกตั้งค่าด้วย SR-IOV เพื่อจัดสรรฟังก์ชันเสมือนจริงที่มอบหมายให้กับภาระงาน AI ที่อยู่ในคอนเทนเนอร์, รับประกันผลงานและการแยกที่คาดเดาได้

5. การติดตามการดําเนินงาน, การแก้ไขปัญหาและ Optimization

รายการNVIDIA Mellanox MCX4121A-ACATรวมถึงเครื่องมือการดําเนินงานที่ครบถ้วนเพื่อปรับปรุงการจัดการประจําวัน

• เทเลเมทรีในเวลาจริงใช้ NVIDIA NetQ, PerfSONAR, หรือ gNMI-based streaming telemetry เพื่อติดตามการใช้งานพอร์ต, ความผิดพลาด CRC, การหยุด PFC, และเหตุการณ์การระบุ ECNเมตริกส์เหล่านี้มีความสําคัญในการระบุจุดร้อนของความจุกจุกที่ส่งผลกระทบต่อผลงาน RDMA.
• การจัดการ Driver และ Firmware:อัพเดทไดรเวอร์ (MLNX_OFED หรือไดรเวอร์ในกล่องของ Linux) และแอดป์เตอร์ฟอร์มแวร์เป็นเวอร์ชั่นที่มั่นคงล่าสุดเป็นประจําใบข้อมูล MCX4121A-ACATสําหรับเวอร์ชั่นฟอร์มแวร์ที่แนะนํา และแก้ไขปัญหาที่ทราบกัน
• การปรับประสิทธิภาพปรับขั้นต่ํา PFC และระดับการระบุ ECN ขึ้นอยู่กับโปรไฟล์ภาระการทํางาน สําหรับภาระการทํางานในการเก็บข้อมูล ให้ความสําคัญกับการจราจร RDMA ที่มีประเภทความสําคัญสูงกว่า (เช่น CoS 3) สําหรับภาระการทํางานที่ใช้คอมพิวเตอร์มากtune interrupt coalescing and buffer sizes เพื่อปรับปรุงการผ่าน.
• การแยกความผิดพลาด:ใช้การวินิจฉัยที่สร้างขึ้นในตัวปรับ (เช่น ethtool, mlxlink) เพื่อระบุปัญหาชั้นลิงค์ตรวจสอบกรอบหยุด PFC และเครื่องนับ ECN เพื่อระบุแหล่งแหล่งหน่วง.

แนะนําให้กําหนดระยะเวลาขั้นต่ํา RDMA และความเร็วในการทํางานด้วยการใช้เครื่องมือเช่น perftest (ib_write_bw, ib_read_bw) หลังจากการใช้งานครั้งแรกลําดับพื้นฐานนี้เป็นจุดเทียบสําหรับการเปรียบเทียบผลงานในอนาคตและการวางแผนความสามารถ.

6. สรุปและการประเมินค่า

รายการNVIDIA Mellanox MCX4121A-ACATให้บริการแบบครบวงจรและมีค่าใช้จ่ายที่ประหยัด สําหรับการสร้างเครือข่ายการเข้าถึงศูนย์ข้อมูลที่มีความอ่อนแอต่ําและความเร็วสูงราคา MCX4121A-ACATเมื่อเทียบกับต้นทุนการครอบครองทั้งหมด ผลประโยชน์ก็ชัดเจน: การใช้งาน CPU ลดลง (ปลดปล่อยทรัพยากรสําหรับภาระงานแอพลิเคชั่น)การผลิตแอปพลิเคชั่นที่ดีขึ้น (ถึง 2x throughput สําหรับการเก็บข้อมูลและภาระงาน AI), และค่าใช้จ่ายในการดําเนินงานที่ต่ํากว่า (การติดตามที่เรียบง่ายและการตรวจสอบความผิดพลาดอย่างโปรแอคทีฟ)

ประเด็นสําคัญจากคําตอบทางเทคนิคนี้ ได้แก่

• รายการMCX4121A-ACAT ConnectX-4 Lx ท่าสอง 25GbE SFP28จําหน่ายเส้นทางการเข้าถึง 25GbE ที่มีความมั่นคงในอนาคต พร้อมความสอดคล้องลงแบบเต็มที่กับ 10GbE/1GbE
• RDMA/RoCEv2 offload รวมกับเครือข่าย PFC/ECN ทําให้มีความช้าต่ํากว่า 5μs และการเข้าร่วม CPU ใกล้ศูนย์สําหรับการเก็บข้อมูลและการจราจร AI
• ขนาดกว้างสอดคล้องกับ MCX4121A-ACATระบบนิเวศให้ความมั่นคงต่อการบูรณาการที่เรียบร้อย ระหว่างเซอร์เวอร์, สถานที่เก็บข้อมูล และสวิตช์แวดล้อมที่ไม่เหมือนกัน
• โครงการนี้สามารถปรับขนาดจากคลาสเตอร์ทดลองขนาดเล็ก เป็นการจัดจําหน่ายหลายเรคขนาดใหญ่ ทําให้เหมาะสมกับทั้งศูนย์ข้อมูลขององค์กรและผู้ให้บริการบริการคลาว

สําหรับองค์กรที่พร้อมที่จะปรับปรุงพื้นฐานการเข้าถึงเซอร์เวอร์ของพวกเขาNVIDIA Mellanox MCX4121A-ACATเป็นการลงทุนทางกลยุทธ์ในการทํางาน, ประสิทธิภาพ, และการดําเนินงานที่เรียบง่ายใบข้อมูล MCX4121A-ACAT, ครบวงจรรายละเอียด MCX4121A-ACATและMCX4121A-ACAT สําหรับขายการจัดสรรข้อมูลผ่านช่องทางที่ได้รับอนุญาตMCX4121A-ACAT Ethernet adapter card solution การแก้ไขการ์ดเป็นแบบแผนที่ผ่านการพิสูจน์ เพื่อปลดปล่อยศักยภาพเต็มของเครือข่ายศูนย์ข้อมูลที่ทันสมัย