โซลูชันทางเทคนิคของ NVIDIA Mellanox MCX631432AN-ADAB: RDMA/RoCE การส่งข้อมูลความหน่วงต่ำและการยกระดับปริมาณงานเซิร์ฟเวอร์

เอกสารไวท์เปเปอร์ทางเทคนิคนี้มีไว้สำหรับสถาปนิกเครือข่าย วิศวกรก่อนการขาย และหัวหน้าฝ่ายปฏิบัติการ โดยมีรายละเอียดวิธีการNVIDIA Mellanox MCX631432AN-ADABอะแดปเตอร์เซิร์ฟเวอร์ช่วยให้สามารถส่งข้อมูลเวลาแฝงต่ำตาม RDMA/RoCE และปรับปรุงปริมาณงานของเซิร์ฟเวอร์ได้อย่างมากในสภาพแวดล้อมศูนย์ข้อมูลสมัยใหม่

เครือข่าย TCP/IP แบบทั่วไปกำหนดโอเวอร์เฮดของ CPU ที่สำคัญเนื่องจากการประมวลผลโปรโตคอล การคัดลอกข้อมูล และการจัดการที่ขัดจังหวะ เมื่อความหนาแน่นของเซิร์ฟเวอร์เพิ่มขึ้นและแอปพลิเคชันต่างๆ เช่น พื้นที่จัดเก็บข้อมูลแบบกระจาย (Ceph, vSAN) ฐานข้อมูลในหน่วยความจำ (Redis, Aerospike) และเฟรมเวิร์กการฝึกอบรม AI ต้องการเวลาแฝงในระดับไมโครวินาทีเพียงหลักเดียว สแต็กเครือข่ายแบบเดิมจึงกลายเป็นปัญหาคอขวดที่ผ่านไม่ได้ ข้อกำหนดหลัก ได้แก่: เวลาแฝงในการเข้าถึงพื้นที่เก็บข้อมูลต่ำกว่า 300µs การใช้งาน CPU ต่ำกว่า 10% สำหรับการประมวลผลเครือข่าย อัตราความเร็ว 25GbE ต่อพอร์ต และการบูรณาการอย่างราบรื่นกับโครงสร้างพื้นฐานการสลับที่รองรับ RoCE ที่มีอยู่

สถาปัตยกรรมที่นำเสนอใช้โทโพโลยีแบบกระดูกสันหลังที่ไม่ปิดกั้นพร้อมการรองรับ RoCE v2 โหนดประมวลผลหรือหน่วยเก็บข้อมูลแต่ละโหนดมีการติดตั้งการ์ดจอ(NVIDIA Mellanox) MCX631432AN-ADABอะแดปเตอร์เชื่อมต่อกับสวิตช์ลีฟผ่านออปติก 25GbE SFP28 สวิตช์ Leaf เรียกใช้ DCQCN (การแจ้งเตือนความแออัดเชิงปริมาณของศูนย์ข้อมูล) เพื่อการควบคุมความแออัดตั้งแต่ต้นทางถึงปลายทาง ส่วนควบคุมใช้ประโยชน์จาก PFC (Priority Flow Control) บนคิวที่มีลำดับความสำคัญแบบสูญเสียเท่านั้น ในขณะที่ส่วนข้อมูล RDMA ใช้ RoCE v2 พร้อมการกำหนดเส้นทาง IP เพื่อสำรวจขอบเขตเลเยอร์ 3 การออกแบบนี้ช่วยลดการบล็อกส่วนหัวและรับประกันเวลาแฝงที่กำหนดในโหนดสูงสุด 2,000 โหนด

ที่การ์ดอะแดปเตอร์อีเธอร์เน็ต MCX631432AN-ADABทำหน้าที่เป็นจุดสิ้นสุดที่สำคัญสำหรับการออฟโหลด RDMA ของมันMCX631432AN-ADAB ConnectX-6 Lx สองพอร์ต 25GbE SFP28ซิลิคอนผสานรวม RoCE ที่ใช้ฮาร์ดแวร์ การจับคู่แท็ก และแอสเซมบลีแพ็กเก็ตที่ไม่อยู่ในลำดับ เมื่อเปรียบเทียบกับซอฟต์แวร์ iWARP หรือเคอร์เนล TCP อแด็ปเตอร์จะลดเวลาแฝงลงได้มากกว่า 70% สำหรับสถาปนิกที่อ้างอิงถึงเอกสารข้อมูลสินค้า MCX631432AN-ADABออฟโหลดที่สำคัญได้แก่:

• ออฟโหลดฮาร์ดแวร์ RoCE v2:การเคลื่อนที่ของข้อมูลเป็นศูนย์, เวลาแฝงระหว่างพอร์ตต่อพอร์ตย่อย 600ns
• ระบบบังคับเลี้ยวแบบเฟล็กซ์โฟลว์:โปรแกรมแยกวิเคราะห์แพ็คเก็ตที่ตั้งโปรแกรมได้สำหรับการกระจายการไหลแบบละเอียด
• เครื่องมือเข้ารหัสลับแบบอินไลน์:IPsec/TLS ที่อัตราบรรทัดโดยไม่เกี่ยวข้องกับ CPU
• การวัดและส่งข้อมูลทางไกลและการทำเครื่องหมาย ECN:การมองเห็นความแออัดแบบเรียลไทม์ผ่านเคาน์เตอร์ SPIFFY

เมื่อทำการประเมินข้อมูลจำเพาะ MCX631432AN-ADABโปรดทราบว่าการ์ดรองรับทั้งความเร็ว 25GbE และ 10GbE ซึ่งช่วยให้สามารถย้ายข้อมูลแบบเป็นขั้นตอนได้ นอกจากนี้รองรับ MCX631432AN-ADABระบบนิเวศรวมถึงผู้จำหน่ายเซิร์ฟเวอร์รายใหญ่ทั้งหมด ซึ่งทำให้คุณสมบัติง่ายขึ้น

โทโพโลยีสองชั้นทั่วไปสำหรับคลัสเตอร์ 500 โหนด: แต่ละแร็คประกอบด้วยเซิร์ฟเวอร์ 20 เครื่อง โดยแต่ละแร็คมีหนึ่งเซิร์ฟเวอร์NVIDIA Mellanox MCX631432AN-ADAB(ทั้งสองพอร์ตใช้งานสำหรับความซ้ำซ้อนหรือการรวมแบนด์วิธ) สวิตช์ Leaf เชื่อมต่อกับเซิร์ฟเวอร์ผ่านสายเคเบิล 25GbE SFP28 DAC (สูงสุด 5 ม.) หรือออปติก AOC สำหรับระยะทางที่ไกลกว่า Spine-layer ใช้อัปลิงก์ 100GbE เพื่อรักษาการสมัครสมาชิกเกินขนาด 4:1 สำหรับการรับส่งข้อมูลพื้นที่จัดเก็บข้อมูล ให้จัดสรรหนึ่งพอร์ตต่ออะแดปเตอร์ให้กับการรับส่งข้อมูลแบ็กเอนด์ Ceph ด้วย RoCE โดยสงวนพอร์ตที่สองสำหรับปริมาณงานที่ต้องเผชิญการประมวลผล การขยายขนาดเกินกว่า 2,000 โหนดต้องใช้การออกแบบ super-spine สามระดับ พร้อมด้วย BGP-EVPN สำหรับการเผยแพร่เส้นทาง RoCE สถาปนิกควรปรึกษาเรื่องโซลูชันการ์ดอะแดปเตอร์อีเทอร์เน็ต MCX631432AN-ADABคำแนะนำสำหรับเมทริกซ์การเดินสายโดยละเอียดและการจัดสรรพลังงาน

หลังการใช้งาน ทีมปฏิบัติการควรเปิดใช้งาน NVIDIAมล.x5ctlและเอธทูลสำหรับสถิติพอร์ตแบบเรียลไทม์ ตัวชี้วัดหลักในการตรวจสอบ: การหยุดการส่ง RoCEv2 (บ่งชี้ถึงพายุ PFC), อัตราส่วนแพ็กเก็ตที่ทำเครื่องหมาย ECN และการอ่านค่าความร้อนของอะแดปเตอร์ สำหรับการแก้ไขปัญหาความล่าช้าหางสูง ให้ตรวจสอบสิ่งนั้นพารามิเตอร์ DCQCN(ปัจจัยการลดอัลฟ่า เบต้า และอัตรา) สอดคล้องกับโปรไฟล์บัฟเฟอร์สวิตช์ ใช้เอกสารข้อมูลสินค้า MCX631432AN-ADABเพื่อตีความตัวนับขั้นสูงเช่น "out_of_seq" และ "retransmissions" จัดเตรียมสคริปต์อัตโนมัติเพื่อดัมพ์เป็นระยะ/sys/class/infiniband/mlx5_*/ports/*/counters/. สำหรับการวางแผนต้นทุนทีมงานจัดซื้อสามารถรับได้ราคา MCX631432AN-ADABประมาณการและตรวจสอบขาย MCX631432AN-ADABการลงประกาศผ่านผู้จัดจำหน่ายที่ได้รับอนุญาต การกำหนดราคาตามปริมาณสามารถใช้ได้สำหรับคำสั่งซื้อมากกว่า 100 หน่วย

ที่MCX631432AN-ADABนำเสนอคุณค่าที่น่าสนใจ: เวลาแฝงในการจัดเก็บข้อมูลต่ำกว่า 300µs, โอเวอร์เฮดของ CPU น้อยกว่า 5% สำหรับการรับส่งข้อมูลอัตราบรรทัด 25GbE และออฟโหลด RoCE v2 เต็มรูปแบบโดยไม่มีการเปลี่ยนแปลงแอปพลิเคชัน ด้วยการแทนที่สแต็ก TCP เดิมด้วยการขนส่ง RDMA องค์กรต่างๆ จึงสามารถเรียกคืนความจุหลักได้สูงสุดถึง 30% สำหรับปริมาณงานที่สำคัญต่อธุรกิจ เมื่อเปรียบเทียบกับอะแดปเตอร์ 25GbE ของคู่แข่ง สถาปัตยกรรม ConnectX-6 Lx นำเสนอไปป์ไลน์ที่ตั้งโปรแกรมได้ที่เหนือกว่าและความลึกของการวัดและส่งข้อมูลทางไกล โซลูชันทางเทคนิคนี้ได้รับการตรวจสอบในสภาพแวดล้อมการผลิตซึ่งครอบคลุมพื้นที่จัดเก็บข้อมูลบนคลาวด์ การจำลอง HPC และการวิเคราะห์แบบเรียลไทม์ สำหรับทีมที่พร้อมนำแฟบริค 25GbE RoCE มาใช้NVIDIA Mellanox MCX631432AN-ADABแสดงถึงรากฐานที่คุ้มค่าสำหรับอนาคตสำหรับเครือข่ายเซิร์ฟเวอร์ที่มีเวลาแฝงต่ำและมีปริมาณงานสูง