Mellanox (NVIDIA Mellanox) MCX556A-ECAT Server NIC ในกิจกรรม

ศูนย์ข้อมูลขนาดใหญ่และสภาพแวดล้อมเมฆธุรกิจเผชิญกับโจทย์ร่วมกัน: เมื่อจํานวน CPU core เพิ่มขึ้น เครือข่าย TCP/IP แบบดั้งเดิมและสวิทช์คอนเทคสต์ใช้ทรัพยากร CPU ที่สําคัญการศึกษากรณีนี้วิเคราะห์วิธีที่ทีมงานพื้นฐานบริการการเงินแก้ปัญหาจุดเจ็บปวดเหล่านี้ โดยการใช้Mellanox (NVIDIA Mellanox) MCX556A-ECATNIC ของเซอร์เวอร์ ทําให้การลดความช้าและการปรับปรุงในการทํางานของเซอร์เวอร์ได้อย่างน่าวัด

เบื้องหลัง และ ความ ท้าทาย: เมื่อ ทุก มิคริโครเซกอนด์ มี ความ สําคัญ

ทีมงานพื้นฐานบริหารคลัสเตอร์ฐานข้อมูลกระจายที่รองรับการวิเคราะห์ความเสี่ยงในเวลาจริง ด้วยเซอร์เวอร์สินค้าหลายร้อยที่เชื่อมต่อผ่าน 25GbE การสื่อสารระหว่างโน้ดพึ่งพา TCPเมื่อปริมาณการค้าเพิ่มขึ้น, มีปัญหาสําคัญสามประเด็นปรากฏขึ้น: การใช้งาน CPU บน Node ของฐานข้อมูลเกิน 75% เนื่องจากการประมวลผลสตัคของเครือข่ายความช้าของหางสําหรับการดําเนินงานความจําข้ามโน้ดเพิ่มขึ้นถึง 200 ไมโครวินาทีในช่วงเวลาสูงสุด; และบริษัทต้องเผชิญกับการจัดหาที่แพงเกินไป เพิ่มเซอร์เวอร์ เพียงเพื่อจัดการกับค่าใช้จ่ายทั่วไปของเครือข่าย, ไม่ใช่ความต้องการคอมพิวเตอร์.MCX556A-ECAT การแก้ไขบัตรแอดป์เตอร์อีเทอร์เน็ตซึ่งสามารถลดภาระเครือข่ายได้ โดยเปิดให้การเข้าถึงความจําทางไกลโดยตรง (RDMA)

การแก้ไขและการจัดจําหน่าย: การนํา RoCE มาใช้กับ ConnectX Adapters

หลังจากการประเมินตัวเลือก ทีมได้เลือกNVIDIA Mellanox MCX556A-ECATพื้นฐานจากความจุของ 100GbE ที่มีสองท่าทาง และการสนับสนุน RoCE (RDMA over Converged Ethernet)การ์ดเครือข่าย PCIe MCX556A-ECAT ConnectX, แต่ละโฮสต์ได้รับตัวปรับตัวเดียวที่เชื่อมต่อกับสวิตช์บนเรคที่มีความสามารถ RoCE พร้อม PFC ( Priority Flow Control) และ ECN (Explicit Congestion Notification)เส้นทางการอพยพนั้นเรียบง่าย: ตัวปรับสัญญาณคือสอดคล้องกับ MCX556A-ECATด้วยสล็อต PCIe 3.0 ที่มีอยู่, การกําจัดการปรับปรุงเซอร์เวอร์. การปรับปรุงที่เกี่ยวข้องกับการเปิด RoCE ในสเต็ก Driver และการปรับขั้นต่ําของพัฟเฟอร์ตามที่ระบุในใบข้อมูล MCX556A-ECATภายในสองสัปดาห์ คลัสเตอร์ 120 ค้อนของหน่วยทั้งหมดจะทํางานการสื่อสารที่ใช้ RDMA สําหรับการจําลองฐานข้อมูลและการเก็บความทรงจําในแคช

รายการการ์ด MCX556A-ECAT Ethernetการดําเนินงานที่สําคัญที่ถอนโหลด: การเลี่ยงเนอร์เนลผ่าน userpace Verbs API, การขนส่งบนฮาร์ดแวร์สําหรับ RDMA เขียน / อ่าน, และการเคลื่อนไหวข้อมูลที่ไม่มีสําเนาMellanox (NVIDIA Mellanox) MCX556A-ECATลงในกระดูกสันหลังความช้าต่ําของคลาสเตอร์ โดยไม่เปลี่ยนแปลงโลจิกการใช้งานที่มีอยู่

ผล & ประโยชน์: ผลประโยชน์ที่สามารถวัดได้ในความช้าและการผ่าน

เมตริกส์หลังการใช้งานยืนยันการลงทุนรายละเอียด MCX556A-ECATในฐานะเบอร์ลีน (ความช้าของฮาร์ดแวร์ภายใต้ไมโครเซกอนด์) ทีมงานได้บรรลุ:

นอกเหนือจากตัวเลขดิบ ทีมงานสามารถบรรลุความยืดหยุ่นระยะเวลาที่มั่นคง ต่ํากว่า 4 ไมโครวินาที ที่ 99.9 เปอร์เซนติลที่สําคัญสําหรับการคํานวณความเสี่ยงคีย์ CPU ที่ได้รับการปลดปล่อย ทําให้เซอร์เวอร์ที่มีอยู่สามารถจัดการกับโครงการแอปพลิเคชั่นเพิ่ม 40%การเลื่อนการซื้อกันของเครื่องจักรMCX556A-ECAT สําหรับขายธนาคารกลายเป็นชัดเจน: ตัวปรับเปลี่ยนหนึ่งตัวต่อเซอร์เวอร์ส่ง ROI ภายในหกเดือนเพียงจากการลดจํานวน node และต้นทุนพลังงาน / การเย็นที่ต่ํากว่าราคา MCX556A-ECATเมื่อเทียบกับการ์ด 100G ที่แข่งขันกัน ค่าบริการทั้งหมด รวมถึงความสอดคล้องกับซอฟต์แวร์และความมั่นคงของไดรเวอร์

ทีมงานยังตรวจสอบสอดคล้องกับ MCX556A-ECATรูปแบบนี้ทําให้การเชื่อมโยงเครือข่ายการเก็บข้อมูลได้รวมกันในเครือข่ายเดียวกัน ทําให้การเชื่อมโยงและสวิตช์พอร์ตง่ายขึ้นตามใบข้อมูล MCX556A-ECAT, การ์ดรองรับสูงสุด 16 ล้าน IOPS ต่อพอร์ตที่ทีมวางแผนที่จะใช้ในระหว่างการปรับปรุงที่เก็บของในปีหน้า

สรุปและมุมมอง: รากฐานสําหรับศูนย์ข้อมูลรุ่นใหม่

การใช้งานนี้แสดงว่าMCX556A-ECATไม่ใช่แค่ NIC ที่เร็วขึ้น แต่เป็นแพลตฟอร์มสําหรับการแปลงสถาปัตยกรรม โดยการเปิด RDMA / RoCE องค์กรสามารถทําลายข้อตกลง TCPและปรับขนาดได้อย่างมีประสิทธิภาพ.NVIDIA Mellanox MCX556A-ECATได้พิสูจน์คุณค่าของมันในการเงินที่มีความรู้สึกต่อความอ่อนแอ แต่ผลประโยชน์ของมันขยายไปยังการฝึกอบรม AI, การจําลอง HPC และฐานข้อมูลที่กระจายการ์ดเครือข่าย PCIe MCX556A-ECAT ConnectXเป็นการเลือกที่วัสดุสมบูรณ์ และมีหลักฐานดีรายละเอียด MCX556A-ECATสําหรับการปรับประสิทธิภาพหรือค้นหาMCX556A-ECAT สําหรับขายสําหรับการวางแผนการใช้งานทั่วคลาสเตอร์ แอดป์เตอร์นี้ ทําให้เกิดความหวังของเอเธอร์เน็ตที่ไม่มีการเสียจริง ๆ และความช้าต่ํา