Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter ในการทำงาน: การขนส่ง RDMA/RoCE ที่มีความหน่วงต่ำและเซิร์ฟเวอร์

Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT Server Adapter ในการทำงาน: RDMA/RoCE การขนส่งที่มีความหน่วงต่ำและการเพิ่มประสิทธิภาพปริมาณงานของเซิร์ฟเวอร์

ภูมิหลังและความท้าทาย: คอขวดเครือข่ายในการจัดเก็บแบบกระจายและการฝึกอบรม AI

ในสภาพแวดล้อมการผลิตจริงที่ผู้ให้บริการคลาวด์ขนาดกลาง กลุ่มธุรกิจหลักประกอบด้วยการจัดเก็บข้อมูลแบบบล็อกแบบกระจาย (Ceph) และแพลตฟอร์มการฝึกอบรมโมเดล AI ที่ใช้ GPU เมื่อปริมาณข้อมูลลูกค้าเติบโตขึ้นในอัตราประจำปีมากกว่า 200% สถาปัตยกรรมเครือข่าย 10GbE TCP/IP แบบเดิมได้ค่อยๆ เผยให้เห็นจุดอ่อนที่สำคัญสองประการ ประการแรก ความหน่วงในการซิงโครไนซ์ข้อมูลระหว่างโหนดจัดเก็บข้อมูลสูงถึง 2.5ms ทำให้กลุ่มจัดเก็บข้อมูล NVMe ไม่สามารถส่งมอบศักยภาพประสิทธิภาพสูงสุดได้ ประการที่สอง ในระหว่างการซิงโครไนซ์เกรเดียนต์ในคลัสเตอร์ฝึกอบรม GPU ปริมาณงานเครือข่ายสามารถทำได้เพียง 60% ของแบนด์วิดท์ตามทฤษฎี โดยส่วนสำคัญของทรัพยากร CPU ถูกใช้โดยสแต็กโปรโตคอลเครือข่าย ซึ่งส่งผลกระทบอย่างรุนแรงต่อประสิทธิภาพการทำซ้ำของการฝึกอบรม ทีมสถาปัตยกรรมต้องการโซลูชันอินเทอร์เฟซเครือข่ายที่สามารถลดความหน่วงในการส่งและเพิ่มปริมาณงานเซิร์ฟเวอร์ที่มีประสิทธิภาพได้อย่างมาก

โซลูชันและการปรับใช้: การปรับปรุง RoCE ด้วย MCX631102AN-ADAT ConnectX-6 Lx

หลังจากประเมินทางเลือกต่างๆ แล้ว ทีมได้เลือกMellanox (NVIDIA Mellanox) MCX631102AN-ADAT เป็นส่วนประกอบพื้นฐานสำหรับโครงการปรับปรุงเครือข่ายให้ทันสมัย การ์ดอะแดปเตอร์อีเธอร์เน็ต การ์ดอะแดปเตอร์อีเธอร์เน็ต MCX631102AN-ADAT ถูกนำไปใช้ในโหนดจัดเก็บข้อมูล 120 โหนดและโหนดประมวลผล GPU 64 โหนด แทนที่อะแดปเตอร์ 10GbE ที่มีอยู่ เซิร์ฟเวอร์แต่ละเครื่องติดตั้งการกำหนดค่าพอร์ตคู่ 25GbE SFP28 โดยพอร์ตหนึ่งเชื่อมต่อกับเครือข่าย RoCE สำหรับการผลิต และพอร์ตที่สองสงวนไว้สำหรับการจัดการและการรับส่งข้อมูลสำรอง การปรับใช้ใช้ประโยชน์จากการสนับสนุน RoCE v2 ดั้งเดิมของอะแดปเตอร์ MCX631102AN-ADAT ConnectX-6 Lx แบบพอร์ตคู่ 25GbE SFP28 โดยไม่จำเป็นต้องใช้อุปกรณ์เกตเวย์เพิ่มเติมหรือเลเยอร์การแปลโปรโตคอล

การนำไปใช้เป็นไปตามแนวทางแบบแบ่งระยะ ในระยะแรก ทีมได้ปรับใช้โซลูชันการ์ดอะแดปเตอร์อีเธอร์เน็ต MCX631102AN-ADAT บนโหนดจัดเก็บข้อมูล ทำให้ NVMe over Fabrics (NVMe-oF) ด้วยการขนส่ง RoCE ซึ่งช่วยลดภาระของสแต็ก TCP/IP บนเส้นทางการรับส่งข้อมูล I/O ของที่จัดเก็บข้อมูลได้ทันที ในระยะที่สอง โหนดประมวลผล GPU ได้รับการอัปเกรด โดยความสามารถ GPUDirect Storage ของอะแดปเตอร์ช่วยให้หน่วยความจำ GPU สื่อสารโดยตรงกับที่จัดเก็บข้อมูล NVMe ระยะไกลผ่านเครือข่าย RoCE โดยไม่ต้องผ่าน CPU การปรับใช้ทั้งหมดเสร็จสมบูรณ์ภายในสองสัปดาห์ โดยยังคงใช้โครงสร้างพื้นฐานสวิตช์ 25GbE ที่มีอยู่ ซึ่งแสดงให้เห็นถึงลักษณะที่ MCX631102AN-ADAT เข้ากันได้ กับอุปกรณ์เครือข่ายศูนย์ข้อมูลมาตรฐาน

ผลลัพธ์ที่วัดได้และประสิทธิภาพที่เพิ่มขึ้น

การปรับปรุงประสิทธิภาพหลังจากการปรับใช้ NVIDIA Mellanox MCX631102AN-ADAT มีความสำคัญและสามารถวัดผลได้ทันทีในหลายมิติ ตารางต่อไปนี้สรุปตัวชี้วัดสำคัญก่อนและหลังที่สังเกตได้ในสภาพแวดล้อมการผลิต:

นอกเหนือจากตัวชี้วัดเชิงปริมาณ ทีมได้สังเกตเห็นการปรับปรุงเชิงคุณภาพในเสถียรภาพการดำเนินงาน กลไกการควบคุมความแออัดที่ใช้ฮาร์ดแวร์บน MCX631102AN-ADAT ได้ขจัดปัญหาปริมาณงานที่ลดลงเป็นระยะๆ ที่เคยสังเกตได้ในช่วงที่มีการรับส่งข้อมูลจำนวนมาก ทำให้ประสิทธิภาพที่คาดการณ์ได้สำหรับงานฝึกอบรมที่ต้องการความหน่วงต่ำ ตาม ข้อมูลจำเพาะของ MCX631102AN-ADAT เอนจิ้นการกำหนดเส้นทางขั้นสูงและความสามารถ RDMA ของอะแดปเตอร์ช่วยให้มั่นใจได้ว่าแม้จะมีการเชื่อมต่อ NVMe-oF พร้อมกัน 128 รายการต่อพอร์ต ประสิทธิภาพระดับสายก็ยังคงรักษาไว้ได้อย่างสม่ำเสมอ

จากมุมมองของต้นทุนรวม ทีมสถาปัตยกรรมคำนวณว่า ราคา MCX631102AN-ADAT ต่อกิกะบิตของปริมาณงานที่มีประสิทธิภาพนั้นต่ำกว่าการอัปเกรดเป็นทางเลือก 40GbE หรือ 100GbE อย่างมาก ความสามารถในการนำสาย SFP28 และโครงสร้างพื้นฐานสวิตช์ที่มีอยู่กลับมาใช้ใหม่ได้ช่วยลดค่าใช้จ่ายในการลงทุนเพิ่มเติม ทำให้การประเมิน MCX631102AN-ADAT สำหรับการขาย เป็นกรณีธุรกิจที่น่าสนใจสำหรับผู้บริหารของผู้ให้บริการ

สรุปและแนวโน้ม: การสร้างรากฐานเครือข่ายที่พร้อมสำหรับอนาคต

การปรับใช้การผลิต Mellanox (NVIDIA Mellanox) MCX631102AN-ADAT แสดงให้เห็นถึงเส้นทางที่ชัดเจนสำหรับองค์กรที่ต้องการปลดล็อกศักยภาพสูงสุดของโครงสร้างพื้นฐานแบบกระจาย ด้วยการรวมการขนส่ง RDMA/RoCE ที่มีความหน่วงต่ำเข้ากับการยกเลิกภาระงานที่เร่งด้วยฮาร์ดแวร์ อะแดปเตอร์จึงช่วยขจัดคอขวดด้านประสิทธิภาพของเครือข่ายได้อย่างมีประสิทธิภาพ ไม่ว่าจะเป็นการฝึกอบรม AI การจัดเก็บข้อมูลที่กำหนดโดยซอฟต์แวร์ หรือการประมวลผลธุรกรรมความถี่สูง ประสบการณ์ของทีมยืนยันว่า การ์ดอะแดปเตอร์อีเธอร์เน็ต MCX631102AN-ADAT ไม่เพียงแต่ให้การปรับปรุงตามเกณฑ์มาตรฐานเท่านั้น แต่ยังให้ผลผลิตที่จับต้องได้อีกด้วย: เวลาในการทำงานของงานฝึกอบรม GPU ลดลงโดยเฉลี่ย 34% และ SLA การตอบสนองของคลัสเตอร์จัดเก็บข้อมูลได้รับการตอบสนองอย่างสม่ำเสมอแม้ในช่วงที่มีภาระงานสูงสุด

มองไปข้างหน้า ผู้ให้บริการวางแผนที่จะขยายการปรับใช้ MCX631102AN-ADAT ConnectX-6 Lx แบบพอร์ตคู่ 25GbE SFP28 ไปยังโซนความพร้อมใช้งานเพิ่มเติม โดยมีการประเมินเบื้องต้นกำลังดำเนินการอยู่สำหรับการรวมอะแดปเตอร์เข้ากับ DPU ของ NVIDIA BlueField เพื่อการตั้งโปรแกรมเครือข่ายที่มากขึ้น สำหรับทีมวิศวกรรมที่ประเมินการอัปเกรดที่คล้ายคลึงกัน เอกสารข้อมูล MCX631102AN-ADAT ที่มีรายละเอียดให้คำแนะนำที่ครอบคลุมเกี่ยวกับเมทริกซ์ความเข้ากันได้ พารามิเตอร์การปรับแต่งประสิทธิภาพ และสถาปัตยกรรมอ้างอิง กรณีศึกษานี้ตอกย้ำแนวโน้มอุตสาหกรรมที่ชัดเจน: อะแดปเตอร์ 25GbE อัจฉริยะที่ยกเลิกภาระงานด้วยฮาร์ดแวร์ เช่น MCX631102AN-ADAT กำลังกลายเป็นมาตรฐานใหม่สำหรับการออกแบบศูนย์ข้อมูลที่คำนึงถึงประสิทธิภาพอย่างรวดเร็ว