NVIDIA Mellanox MCX653106A-HDAT Server Adapter ในการทำงาน | RDMA/RoCE การขนส่งที่มีความหน่วงต่ำ & การเพิ่มปริมาณงานของเซิร์ฟเวอร์

NVIDIA Mellanox MCX653106A-HDAT Server Adapter ในการทำงาน | RDMA/RoCE การขนส่งที่มีความหน่วงแฝงต่ำ & การเพิ่มประสิทธิภาพเซิร์ฟเวอร์

ภูมิหลังและความท้าทาย: กำแพงประสิทธิภาพของฐานข้อมูลแบบกระจาย

บริษัทบริการทางการเงินระดับโลกที่ดำเนินงานแพลตฟอร์มการซื้อขายความถี่สูงได้พบกับเพดานประสิทธิภาพที่สำคัญในคลัสเตอร์ฐานข้อมูลในหน่วยความจำแบบกระจายของตน คลัสเตอร์ซึ่งประกอบด้วยเซิร์ฟเวอร์ทั่วไป 48 เครื่องที่รันคีย์-ค่าสโตร์แบบกำหนดเอง ถูกออกแบบมาเพื่อจัดการธุรกรรมหลายล้านรายการต่อวินาทีด้วยเวลาตอบสนองที่ต่ำกว่ามิลลิวินาที อย่างไรก็ตาม เมื่อปริมาณการซื้อขายเพิ่มสูงขึ้น โครงสร้างพื้นฐานเครือข่ายได้กลายเป็นคอขวดหลัก อะแดปเตอร์ 25GbE ที่มีอยู่ซึ่งทำงานด้วย TCP/IP ได้นำไปสู่ความหน่วงแฝงที่คาดเดาไม่ได้ ซึ่งบางครั้งทำให้เวลาในการทำธุรกรรมเสร็จสมบูรณ์เกินข้อตกลงระดับบริการ (SLA) ที่เข้มงวด 500 ไมโครวินาทีของบริษัท

ทีมโครงสร้างพื้นฐานได้ระบุปัญหาพื้นฐานสองประการ ประการแรก สแต็ก TCP/IP ใช้ทรัพยากร CPU ประมาณ 35% ทั่วทั้งคลัสเตอร์ ซึ่งจำกัดความสามารถของเอนจิ้นฐานข้อมูลในการประมวลผลคำขอที่เข้ามา ประการที่สอง การขาดการสนับสนุน RDMA หมายความว่าการสื่อสารระหว่างโหนดแต่ละครั้งต้องใช้การคัดลอกหน่วยความจำหลายครั้งและการข้ามเคอร์เนล ซึ่งเพิ่มค่าใช้จ่าย 15-20 ไมโครวินาทีต่อข้อความ ซึ่งเป็นค่าปรับที่สำคัญในระบบที่ทุกไมโครวินาทีมีความสำคัญ บริษัทต้องการโซลูชันที่สามารถให้การสื่อสารที่มีความหน่วงแฝงต่ำที่สามารถคาดการณ์ได้ ในขณะเดียวกันก็ลดภาระ CPU และรักษาความเข้ากันได้กับเครือข่าย Ethernet ที่มีอยู่

โซลูชันและการปรับใช้: การใช้งาน RoCE ด้วย MCX653106A-HDAT

หลังจากการประเมินโซลูชันเครือข่ายที่มีอยู่เป็นอย่างดี บริษัทได้เลือก NVIDIA Mellanox MCX653106A-HDAT เป็นรากฐานของการอัปเกรดเครือข่าย การ์ดเครือข่าย PCIe นี้ถูกปรับใช้กับเซิร์ฟเวอร์ฐานข้อมูลทั้ง 48 เครื่อง โดยแทนที่อะแดปเตอร์รุ่นก่อนหน้า การ์ดเครือข่าย PCIe MCX653106A-HDAT ConnectX adapter ให้การผสมผสานที่ต้องการของแบนด์วิดท์สูง, RoCEv2 ที่เร่งด้วยฮาร์ดแวร์ และการสนับสนุน GPUDirect ซึ่งเปิดใช้งานการสื่อสาร RDMA ที่แท้จริงผ่านโครงสร้างพื้นฐาน Ethernet ที่มีอยู่

การปรับใช้เป็นไปตามแนวทางที่ได้รับการจัดระเบียบอย่างรอบคอบ:

• การเตรียมโครงสร้างพื้นฐาน: เซิร์ฟเวอร์แต่ละเครื่องได้รับ การ์ดอะแดปเตอร์ Ethernet MCX653106A-HDAT เชื่อมต่อผ่านลิงก์ SFP28 แบบ dual-port 25GbE กับสวิตช์ top-of-rack ที่ซ้ำซ้อน สวิตช์ได้รับการกำหนดค่าด้วย Priority Flow Control (PFC) และ Explicit Congestion Notification (ECN) เพื่อให้แน่ใจว่าการขนส่ง Ethernet แบบไม่สูญเสีย
• การกำหนดค่า RDMA: ทีมเปิดใช้งาน RoCEv2 บนคิวลำดับความสำคัญเฉพาะ โดยใช้กลยุทธ์การจัดการความแออัดที่แยกการรับส่งข้อมูล RDMA ออกจากการรับส่งข้อมูล TCP/IP มาตรฐาน
• การรวมฐานข้อมูล: คีย์-ค่าสโตร์แบบกระจายได้รับการคอมไพล์ใหม่ด้วยไลบรารีเครือข่ายที่ตระหนักถึง RDMA ซึ่งเปิดใช้งานการถ่ายโอนหน่วยความจำต่อหน่วยความจำโดยตรงระหว่างโหนดฐานข้อมูลโดยไม่ต้องใช้ CPU โฮสต์
• การตรวจสอบความถูกต้อง: การเปิดตัวแบบเป็นระยะได้ดำเนินการ โดยเริ่มจากชุดโหนดบางส่วน ตามด้วยการทดสอบโหลดเพื่อตรวจสอบประสิทธิภาพที่เพิ่มขึ้นและรับประกันความเสถียร

ตาม เอกสารข้อมูล MCX653106A-HDAT อะแดปเตอร์รองรับ PCIe Gen 4.0 x16 ให้แบนด์วิดท์โฮสต์สูงสุด 256 GB/s ซึ่งเพียงพอที่จะทำให้พอร์ต 25GbE คู่เต็มที่พร้อมทั้งรักษาพื้นที่ว่างสำหรับการอัปเกรดความเร็วในอนาคตเป็น 50GbE หรือ 100GbE ทีมสังเกตว่าอะแดปเตอร์นั้น เข้ากันได้กับ MCX653106A-HDAT อย่างสมบูรณ์กับฮาร์ดแวร์เซิร์ฟเวอร์ที่มีอยู่ ซึ่งรองรับทั้ง PCIe Gen 3.0 และ 4.0 ทำให้เส้นทางการอัปเกรดแบบเป็นระยะง่ายขึ้น

ข้อมูลจำเพาะ MCX653106A-HDAT ได้นำทางทีมในการปรับแต่งประสิทธิภาพ พวกเขาปรับพารามิเตอร์การรวมขัดจังหวะเพื่อลดความหน่วงแฝง กำหนดค่าการตั้งค่าลำดับความสำคัญต่อคิวเพื่อให้แน่ใจว่าการรับส่งข้อมูลการจำลองฐานข้อมูลได้รับการดูแล QoS สูงสุด และใช้ประโยชน์จากการวัดปริมาณข้อมูลในตัวของอะแดปเตอร์เพื่อตรวจสอบสุขภาพของเครือข่ายแบบเรียลไทม์

ผลลัพธ์และประโยชน์ที่วัดได้

การปรับปรุงประสิทธิภาพนั้นทั้งทันทีและมีนัยสำคัญ ซึ่งส่งผลโดยตรงต่อการดำเนินงานการซื้อขายของบริษัท:

นอกเหนือจากตัวชี้วัดเชิงปริมาณแล้ว NVIDIA Mellanox MCX653106A-HDAT ยังให้ประโยชน์ในการดำเนินงานที่ทีมไม่ได้คาดการณ์ไว้ ความหน่วงแฝงที่คาดการณ์ได้ทำให้มั่นใจได้ว่าการตอบสนองคำขอที่ต่ำกว่า 100 ไมโครวินาทีอย่างสม่ำเสมอ ทำให้บริษัทสามารถเสนอการรับประกัน SLA ที่เข้มงวดแก่ลูกค้าการซื้อขายได้อย่างมั่นใจ คอร์ CPU ที่ว่างถูกเปลี่ยนเส้นทางไปยังการประมวลผลคำขอฐานข้อมูล ซึ่งเป็นการเพิ่มความจุธุรกรรมของคลัสเตอร์อย่างมีประสิทธิภาพโดยไม่ต้องเพิ่มฮาร์ดแวร์ใหม่

ทีมยังได้ใช้ประโยชน์จากการวัดปริมาณข้อมูลขั้นสูงของอะแดปเตอร์เพื่อรับข้อมูลเชิงลึกเกี่ยวกับรูปแบบความแออัดของเครือข่าย ซึ่งช่วยให้สามารถวางแผนความจุเชิงรุกและการเพิ่มประสิทธิภาพประสิทธิภาพ โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX653106A-HDAT พิสูจน์แล้วว่าเป็นทั้งตัวเร่งประสิทธิภาพและแพลตฟอร์มข้อมูลเชิงลึกในการดำเนินงาน

สรุปและภาพรวม

การปรับใช้นี้ยืนยันว่า MCX653106A-HDAT จาก NVIDIA Mellanox เป็นมากกว่าการอัปเกรดเครือข่าย แต่เป็นการลงทุนเชิงกลยุทธ์ในประสิทธิภาพของระบบแบบกระจาย ด้วยการเปิดใช้งาน RoCEv2 ที่เร่งด้วยฮาร์ดแวร์ อะแดปเตอร์ได้ลดความหน่วงแฝงของคำขอลงกว่า 80% เพิ่มปริมาณงานฐานข้อมูลขึ้น 3.6 เท่า และปรับปรุงประสิทธิภาพโครงสร้างพื้นฐานอย่างมีนัยสำคัญ บริษัทประสบความสำเร็จในการบรรลุข้อกำหนด SLA ที่เข้มงวด ในขณะเดียวกันก็ชะลอการอัปเกรดฮาร์ดแวร์ที่วางแผนไว้ ซึ่งส่งผลให้ประหยัดต้นทุนได้มาก

ขณะนี้ทีมกำลังสำรวจกรณีการใช้งานเพิ่มเติมสำหรับ NVIDIA Mellanox MCX653106A-HDAT รวมถึง NVMe-oF สำหรับที่เก็บข้อมูลบล็อกประสิทธิภาพสูงและการวิเคราะห์ที่เร่งด้วย GPU สำหรับการสร้างแบบจำลองความเสี่ยงแบบเรียลไทม์ ราคา MCX653106A-HDAT เมื่อประเมินเทียบกับผลการดำเนินงานที่ประหยัดได้และประสิทธิภาพที่เพิ่มขึ้น ถือเป็นการลงทุนที่คุ้มค่าอย่างยิ่ง โดยเฉพาะอย่างยิ่งเมื่อเทียบกับต้นทุนในการปรับใช้โครงสร้างพื้นฐาน InfiniBand เฉพาะหรือการจัดหาโหนดประมวลผลเพิ่มเติม

สำหรับองค์กรที่กำลังประเมินตัวเลือก MCX653106A-HDAT สำหรับขาย กรณีศึกษานี้แสดงให้เห็นว่าอะแดปเตอร์สามารถส่งมอบเครือข่ายที่มีความหน่วงแฝงต่ำและปริมาณงานสูงตามที่สัญญาไว้ในสภาพแวดล้อมการผลิตจริง การผสมผสานระหว่างการเร่งด้วยฮาร์ดแวร์ การวัดปริมาณข้อมูลที่ครอบคลุม และความเข้ากันได้ที่ราบรื่นกับโครงสร้างพื้นฐาน Ethernet ที่มีอยู่ ทำให้ NVIDIA Mellanox MCX653106A-HDAT เป็นส่วนประกอบพื้นฐานสำหรับสถาปัตยกรรมศูนย์ข้อมูลสมัยใหม่ที่ต้องการประสิทธิภาพสูง