NVIDIA Mellanox MCX653106A-HDAT Server Adapter การแก้ไขทางเทคนิค

NVIDIA Mellanox MCX653106A-HDAT Server Adapter การแก้ไขทางเทคนิค: RDMA / RoCE การขนส่งความช้าต่ําและสถาปัตยกรรมการเพิ่มความเร็วของเซอร์เวอร์

1การวิเคราะห์พื้นฐานและความต้องการของโครงการ

ศูนย์ข้อมูลที่ทันสมัยที่รองรับความฉลาดประดิษฐ์ คอมพิวเตอร์ที่มีประสิทธิภาพสูง และการวิเคราะห์ในเวลาจริง ต้องเผชิญกับความต้องการที่คึกคักผลการดําเนินงานที่กําหนด, และการประมวลผลเส้นทางข้อมูลที่ฉลาด สถาปัตยกรรมเครือข่ายแบบดั้งเดิมที่สร้างขึ้นบน TCP / IP และ Ethernet มาตรฐานไม่สามารถตอบสนองความต้องการเหล่านี้อย่างต่อเนื่องใช้ทรัพยากร CPU มากเกินไปในการประมวลผลโปรโตคอล, และขาดความสามารถในการเขียนโปรแกรมที่จําเป็นสําหรับการปรับปรุงภาระงานเฉพาะ.ส่งผลให้การทํางานเสื่อมลงอย่างรุนแรง และการใช้ทรัพยากรที่ไม่มีประสิทธิภาพ.

ความต้องการหลักขององค์กรที่ขับเคลื่อนการนําตัวปรับเซอร์เวอร์ที่ก้าวหน้ารวมถึง:

• อัตราการอ่อนเวลาที่ต่ํามากงานฝึกหัดกระจายต้องการความช้าในการสื่อสารรวมต่ํากว่า 500 ไมโครวินาที ผ่านหลายร้อยโน้ด เพื่อรักษาการใช้งาน GPU มากกว่า 90%
• การลดความหน่วงของ CPU นอกเหนือจากเครือข่ายพื้นฐาน:การประมวลผลเครือข่ายต้องใช้ทรัพยากร CPU ต่ํากว่า 8% ต่อหน่วย เพื่ออนุรักษ์ความจุในการทํางานของแอพลิเคชั่น
• ความมั่นคงของอัตราการต่อเนื่อง:การเข้ารหัสข้อมูลในระหว่างการขนส่งต้องทําด้วยความเร็วของสาย โดยไม่เสียผลต่อความเร็วหรือเพิ่มความช้าที่สําคัญ
• เส้นทางข้อมูลที่สามารถเขียนโปรแกรมได้ตัวปรับต้องรองรับการควบคุมการจราจรและการประมวลผลแพ็คเก็ตเพื่อรองรับรูปแบบการทํางานที่พัฒนาและนวัตกรรมโปรโตคอล
• การปรับขนาดได้อย่างต่อเนื่อง:โครงสร้างพื้นฐานต้องปรับขนาดจากหลายสิบเป็นร้อยหน่วย ด้วยการเติบโตผลงานแบบเส้นตรง และโดยไม่ต้องเกิดการระเบิดความซับซ้อนในการปฏิบัติงาน

รายการNVIDIA Mellanox MCX653106A-HDATได้ถูกออกแบบมาเพื่อตอบโจทย์ความต้องการเหล่านี้ โดยใช้เป็นก้อนก่อสร้างพื้นฐานสําหรับเครือข่ายศูนย์ข้อมูลรุ่นต่อไป

2. การออกแบบระบบระบบ/เครือข่ายทั่วไป

สถาปัตยกรรมที่เสนอใช้ topology กระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานกระดานMCX653106A-HDAT Ethernet adapter การ์ดแก้ไข, ใช้ในทุกหน่วยเซอร์เวอร์เพื่อให้ความเชื่อมต่อความกว้างแบนด์วิทสูงสุด

ชั้นสถาปัตยกรรม:

• คอมพิวเตอร์/สตอเรจโน้ด:แต่ละเซอร์เวอร์มีMCX653106A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIe, ปรับปรุงด้วยการเชื่อมต่อ 100GbE สองท่าทาง. ท่าทางทั้งสองท่าทางทํางานในโหมดการทํางานที่ทํางาน, ให้ความเร็วรวม 200 Gb / s ด้วยการสมดุลภาระและความล้มเหลวที่ใช้ด้วยฮาร์ดแวร์.แอดป์เตอร์เป็น PCIe 4.0 x16 อินเตอร์เฟซให้ความกว้างแบนด์วิท 32 GT / s, การกําจัด host-side bottlenecks.
• ชั้นใบ:สวิตช์ NVIDIA Spectrum-4 ให้การส่งอีเทอร์เน็ตความช้าต่ําและไม่มีการสูญเสียด้วยการควบคุมความจุกจุก RoCE ที่มีความทันสมัย (PFC, ECN และ DCQCN)สวิตช์เหล่านี้รองรับ 400GbE uplinks และให้บริการ telemetry ครบวงจรสําหรับการมองเห็นผ้า.
• ชั้นกระดูกสันหลังสวิทช์กระดูกสันหลังความจุสูงเชื่อมต่อทุกหน่วยใบผ่าน 400GbE uplink, รับประกันการสื่อสารที่ไม่กักขัด, ทุกที่-ทุกที่ ทั่วเนื้อเยื่อทั้งหมดด้วยความช้าช้าที่กําหนด
• การบริหารและการจัดเพลง:NVIDIA DOCA และ MLNX-OS ให้บริการการจัดการที่รวมกัน, การรวบรวมเทเลเมตร, การประกอบการประกอบการ, และการจัดสรรที่ไม่มีการสัมผัสทั่วทั้งสเตค

สถาปัตยกรรมนี้รวมการเสมือนเครือข่ายที่ใช้ฮาร์ดแวร์ผ่าน SR-IOV และ eSwitch offload รองรับสูงสุด 1,000 ฟังก์ชันเสมือนต่อตัวปรับ เพื่อการแยกหลายผู้เช่าได้อย่างมีประสิทธิภาพ โดยไม่เสี่ยงการทํางาน.

3. บทบาทและคุณสมบัติสําคัญของ NVIDIA Mellanox MCX653106A-HDAT ในคําตอบ

รายการNVIDIA Mellanox MCX653106A-HDATใช้เป็นอินเตอร์เฟซที่สําคัญระหว่างทรัพยากรคอมพิวเตอร์ / เก็บข้อมูลและเนื้อเยื่อเครือข่าย ชุดคุณสมบัติที่ก้าวหน้าของมันทําให้เป้าหมายการทํางานและประสิทธิภาพของสถาปัตยกรรมทั่วไป:

ตามใบข้อมูล MCX653106A-HDAT, ตัวปรับใช้ใช้เพียง 25W ภายใต้ภาระเต็ม, ส่งผลงานชั้นนําในอุตสาหกรรมต่อวัตต์.รายละเอียด MCX653106A-HDATการสนับสนุนเทเลเมตรีที่ระดับสูงอย่างละเอียด รวมถึงเครื่องนับผลงานต่อกระแส, ไฮสตอแกรมความช้า และการตรวจจับความจุกจุกในเวลาจริงทั้งหมดที่จําเป็นสําหรับการดําเนินงานเครือข่ายและการวางแผนความจุ.

4. แนะนําการจัดจําหน่ายและการปรับขนาด (มีทอปโลยีทั่วไป)

สําหรับองค์กรที่วางแผนการผลิตNVIDIA Mellanox MCX653106A-HDATแนะนําให้ใช้แนวทางในระยะต่อไปนี้

ขั้นตอนที่ 1 การรับรองแบบทดลอง (48 หน่วยงาน)เริ่มต้นด้วยคลาสเตอร์เล็ก ๆ เพื่อรับรองการตั้งค่า RoCE, ปรับปรุงปริมาตร DCB และการพิสูจน์ผลการทํางานของแอปพลิเคชั่นMCX653106A-HDAT ConnectX แอดป์เตอร์ บัตรเครือข่าย PCIeด้วย Driver NVIDIA OFED ล่าสุด และซอฟต์แวร์ DOCA ทําการตรวจสอบการตั้งค่า PFC, ECN และ DCQCN อย่างครบถ้วน โดยใช้ข้อมูลเทเลเมตรที่เปิดเผยโดยตัวปรับ

ขั้นตอนที่ 2 การขยายโพด (20-50 หน่วย):ขยายขนาดเป็นการตั้งค่า rack หรือ pod ครบครัน ใช้สวิทช์ใบ NVIDIA Spectrum-4 ด้วยการตั้งค่า Ethernet ที่ขาดทุนทําให้การจัดการความหนาแน่นที่ใช้ฮาร์ดแวร์ และตั้งค่านโยบาย QoS ที่เฉพาะภาระงาน.รองรับ MCX653106A-HDATลักษณะของทางแก้ไขให้ความมั่นคงกับการบูรณาการที่เรียบร้อยกับแพลตฟอร์มเซอร์เวอร์และการจําหน่าย Linux ที่มีอยู่

ขั้นตอนที่ 3 ✅ การเปิดตัวทั่วเนื้อผ้า (100+ node)ใช้ Racks หลายตัวด้วยสวิตช์กระดูกสันหลังเชื่อมต่อ Node ใบ ลงนโยบายการจัดเส้นทางและการควบคุมความจุกจุกการจัดสรรอัตโนมัติ, และการติดตามทั่วเนื้อผ้า

คําอธิบายทอปโลจีทั่วไป:การตั้งค่า rack แบบมาตรฐานประกอบด้วย 20 เซอร์เวอร์คอมพิวเตอร์ / เซอร์เวอร์ที่เก็บของMCX653106A-HDAT. ท่าเรือ 1 เชื่อมต่อกับ Leaf Switch A, ท่าเรือ 2 เชื่อมต่อกับ Leaf Switch B, ให้เส้นทางทํางาน-ทํางานที่เหลือใช้กับ failover อัตโนมัติสร้างผ้า CLOS ด้วย 11:1 ออฟเวอร์สับสคริปชั่นเรชั่น การออกแบบนี้ทําให้แน่ใจว่าความล้มเหลวของลิงค์หรือสวิตช์เดียวจะไม่ส่งผลต่อการมีอยู่ของแอปพลิเคชั่น โดยมีกลไกการฟื้นฟูในช่วงเล็กน้อยกว่าวินาที

สําหรับองค์กรที่ประเมินค่าบริการรวมMCX653106A-HDAT ราคาควรพิจารณาพร้อมกับการประหยัด CPU (โดยทั่วไป 4-6 คอร์รีคลีนต่อเซอร์เวอร์), การเพิ่มความเร็วในการใช้งาน 3 หนะ 5 ครั้ง, และความสามารถในการปรับปรุง multiple 25GbE links.ส่วนลดปริมาณมักมีให้สําหรับMCX653106A-HDAT สําหรับขายแบนด์ที่มีสวิตช NVIDIA Spectrum และการสมัครสมาชิกโปรแกรม DOCA

5การดําเนินงาน ติดตาม ตรวจสอบปัญหา และปรับปรุง

การทํางานที่มีประสิทธิภาพของผ้า RoCE ที่มีประสิทธิภาพสูง ต้องการวิธีการติดตามและแก้ปัญหาที่เชี่ยวชาญMCX653106A-HDATให้อุปกรณ์ครบวงจรเพื่อสนับสนุนกิจกรรมเหล่านี้

• การรวบรวมและจดภาพเทเลเมตร:ใช้เครื่องนับฮาร์ดแวร์ของแอพเดทเมอร์เพื่อเฝ้าระวังความละเอียดของรายไหล, ความลึกของคิว, การตกของแพ็คเก็ต, และการกระจายความอ่อนเพลียในความละเอียดต่ํากว่าวินาทีการนํามาตรฐานการส่งออกสู่แพลตฟอร์มการติดตามมาตรฐาน (Prometheus), Grafana, ELK stack) สําหรับดัชบอร์ดในเวลาจริงและเตือน
• การตรวจสอบและจัดการความจุกจุกติดตามกรอบหยุด PFC, แพ็คเก็ตที่มีเครื่องหมาย ECN และการใช้งานพัฟเฟอร์เพื่อระบุและตั้งตําแหน่งการกระจายข้อมูลและจุดร้อนของจราจรใบข้อมูล MCX653106A-HDATให้คําแนะนํารายละเอียดเกี่ยวกับการตีความตัวนับเหล่านี้ และการกําหนดขั้นต่ําการเตือนที่มีความหมาย
• การจัดการวงจรชีวิต:การอัพเดทแบบปกติของ NVIDIA OFED ไดรเวอร์และฟอร์มแวร์ตัวปรับมีความจําเป็นสําหรับการปรับปรุงผลงาน ความปลอดภัย และคุณสมบัติการจัดการรอบชีวิตแบบไม่มีการสัมผัส (zero-touch lifecycle management) ผ่านการจัดจําหน่ายขนาดใหญ่.
• แนวทางการปรับประสิทธิภาพ:ปริมาตรการปรับที่สําคัญประกอบด้วยขั้นต่ํา PFC buffer (โดยทั่วไป 2-4 MB ต่อ Port) ขั้นต่ําการระบุ ECN (80-90% ของความลึกของคิว) การตั้งค่าการปรับปรุงการหยุด (ความช้าของสมดุลกับการผ่าน)และการตั้งค่าเชื่อมต่อ PCIeการตั้งค่าที่เหมาะสมขึ้นอยู่กับโปรไฟล์ภาระงานเฉพาะเจาะจงและขนาดคลาสเตอร์
• กลยุทธ์การแก้ไขปัญหาแบบระบบ:ปัญหาการทํางานส่วนใหญ่สามารถติดตามการตั้งค่าผิดของ DCB, ความไม่ตรงกันของ MTU, ความไม่สอดคล้องของเวอร์ชั่นของไดรเวอร์, หรือปัญหาการเชื่อมต่อสายไฟ. ชุดเครื่องมือวินิจฉัยของตัวปรับ (mstflint, ethtool, mlxconfig,mlxlink, และ mlxband) ให้ความเห็นที่ครบถ้วนในสถานะการดําเนินงาน สุขภาพของลิงค์ สถิติความผิดพลาด และการใช้ความกว้างแบนด์วิด

6สรุปและการประเมินค่า

รายการNVIDIA Mellanox MCX653106A-HDATเป็นการลงทุนในพื้นฐานทางกลยุทธ์ที่นําเสนอคุณค่าธุรกิจที่เปลี่ยนไปในหลายมิติ:

ในฐานะที่ปลายไปปลายMCX653106A-HDAT Ethernet adapter การ์ดแก้ไข, มันทําให้องค์กรสามารถสร้างเครือข่ายที่ไม่มีการสูญเสียและมีประสิทธิภาพสูง ที่ทําความสําเร็จอย่างเต็มที่กับศักยภาพของ AI, HPC และภาระงานพื้นเมืองในเมฆที่ทันสมัย ไม่ว่าจะเป็นการจัดจําหน่ายในศูนย์ข้อมูลขององค์กรสิ่งแวดล้อมของผู้ให้บริการบริการเมฆหรือสถานศึกษาวิจัยพิเศษNVIDIA Mellanox MCX653106A-HDATส่งผลงาน, ประสิทธิภาพ และความฉลาดที่สถาปนิกเครือข่ายต้องการให้กับพื้นฐานรุ่นต่อไป