Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter ในการทํางาน
September 7, 2026
Mellanox (NVIDIA Mellanox) MCX623106AN-CDAT Server Adapter ในการทำงาน | RDMA/RoCE การขนส่งที่มีความหน่วงต่ำและการเพิ่มประสิทธิภาพปริมาณงานของเซิร์ฟเวอร์
ในสถานการณ์การใช้งานแบบผสมผสานระหว่าง bare-metal ที่ยืดหยุ่นและ AI inference ของบริษัทอินเทอร์เน็ตขนาดใหญ่ ความหน่วงของเครือข่ายและภาระงานของ CPU ได้กลายเป็นอุปสรรคสำคัญต่อการเพิ่มประสิทธิภาพการใช้งาน GPU และประสิทธิภาพการจัดเก็บข้อมูล ทีมโครงสร้างพื้นฐานต้องการโซลูชันที่สามารถให้ความหน่วงต่ำกว่าไมโครวินาทีสำหรับงานฝึกอบรมแบบกระจาย พร้อมทั้งรองรับปริมาณงาน NVMe-oF ที่มีปริมาณงานสูง โดยไม่ต้องอัปเกรดโครงสร้างสายเคเบิลที่มีอยู่ซึ่งมีค่าใช้จ่ายสูง กรณีศึกษานี้จะตรวจสอบว่า MCX623106AN-CDAT จาก Mellanox (NVIDIA Mellanox) แก้ไขปัญหาเหล่านี้ได้อย่างไร และเปลี่ยนโครงสร้างเครือข่ายให้เป็นตัวเร่งการประมวลผลที่แท้จริง
ภูมิหลังและความท้าทาย: เมื่อ NIC 25G ถึงขีดจำกัด
สภาพแวดล้อมการผลิตประกอบด้วยโหนดประมวลผลมากกว่า 1,200 โหนดที่แบ่งออกเป็นสองโซนความพร้อมใช้งาน โดยรันบริการ inference แบบออนไลน์ การฝึกอบรม AI แบบออฟไลน์ และการจัดเก็บข้อมูลแบบกระจาย อะแดปเตอร์ Ethernet 25G ที่มีอยู่ แม้จะเพียงพอสำหรับการเชื่อมต่อพื้นฐาน ก็ประสบปัญหาภายใต้ปริมาณงานที่ทำงานพร้อมกัน ปัญหาสำคัญรวมถึง:
- การใช้งาน CPU สูง: การประมวลผลสแต็ก TCP/IP แบบซอฟต์แวร์ใช้ CPU สูงถึง 35% ของคอร์บนโหนดจัดเก็บข้อมูลในช่วงที่มี I/O สูงสุด
- ความหน่วงที่ไม่สอดคล้องกัน: ความหน่วงหาง (p99) สำหรับการดำเนินการ all-reduce แบบกระจายมักเกิน 50 ไมโครวินาที ทำให้ GPU ทำงานได้ไม่เต็มที่ระหว่างการซิงโครไนซ์พารามิเตอร์
- คอขวดในการจัดเก็บข้อมูล: การรับส่งข้อมูล NVMe-oF ผ่าน Ethernet ที่สูญเสียข้อมูลประสบปัญหาการสูญหายของแพ็กเก็ต ทำให้เกิดการส่งซ้ำซึ่งลดปริมาณงานที่มีประสิทธิภาพลงเกือบ 40%
หลังจากประเมินทางเลือกต่างๆ มากมาย รวมถึง InfiniBand ที่เป็นกรรมสิทธิ์และ NIC 25G คู่แข่ง ทีมงานได้เลือก NVIDIA Mellanox MCX623106AN-CDAT สำหรับการผสมผสานที่เป็นเอกลักษณ์ของการเร่งความเร็ว RoCEv2 ด้วยฮาร์ดแวร์ เส้นทางการประมวลผลที่ตั้งโปรแกรมได้ และความเข้ากันได้ของแพลตฟอร์มที่กว้างขวาง
แนวทางการแก้ปัญหาและการปรับใช้
กลยุทธ์การปรับใช้เน้นที่สามเสาหลัก: การเปิดใช้งาน RDMA/RoCE, การเปิดใช้งานการออฟโหลดอัจฉริยะ, และ การย้ายกลุ่มอุปกรณ์ทีละน้อย โหนดประมวลผลแต่ละโหนดได้รับ การ์ดอะแดปเตอร์ Ethernet MCX623106AN-CDAT หนึ่งใบ แทนที่ NIC รุ่นก่อนหน้าโดยไม่ต้องเปลี่ยนโครงสร้างพื้นฐานทองแดง/ใยแก้วนำแสง 25G ที่มีอยู่
จากมุมมองของการกำหนดค่า ทีมงานได้ใช้ประโยชน์จาก เอกสารข้อมูล MCX623106AN-CDAT เพื่อปรับแต่งพารามิเตอร์ต่อไปนี้:
- การตั้งค่า RoCEv2 PFC (Priority Flow Control): มีการกำหนดคลาสการรับส่งข้อมูลแบบไม่สูญเสียสำหรับจัดเก็บข้อมูล (NVMe-oF) และการสื่อสารแบบรวม AI ในขณะที่การรับส่งข้อมูลแบบ best-effort ยังคงอยู่ในคิวที่สูญเสียแยกต่างหาก
- เปิดใช้งานการออฟโหลดฮาร์ดแวร์: เปิดใช้งานการออฟโหลดอุโมงค์ VXLAN/NVGRE การแบ่งส่วน checksum และ LRO (Large Receive Offload) เพื่อลดการแทรกแซง CPU ต่อแพ็กเก็ต
- ความสามารถในการตั้งโปรแกรม DPU-ready: การใช้ ASAP² ทีมงานได้ปรับใช้กฎการไหลข้อมูลขนาดเล็กเพื่อนำทางการรับส่งข้อมูลจัดเก็บข้อมูลโดยตรงไปยังปลายทาง NVMe-oF โดยข้ามสแต็กเครือข่ายเคอร์เนลโดยสิ้นเชิง
การตรวจสอบความเข้ากันได้นั้นตรงไปตรงมา— ระบบนิเวศ MCX623106AN-CDAT ที่เข้ากันได้ รายการครอบคลุมเซิร์ฟเวอร์ทุกรุ่นในกลุ่ม (Dell PowerEdge R750 และ Supermicro Ultra series) และโหนดที่ใช้ Red Hat OpenShift และ Ubuntu ที่มีอยู่ได้นำไดรเวอร์ใหม่มาใช้โดยไม่มีปัญหา
ผลลัพธ์และประโยชน์ที่วัดผลได้
หลังจากการปรับใช้การผลิตสามสัปดาห์ใน 40% ของกลุ่มประมวลผล การเพิ่มประสิทธิภาพนั้นเห็นได้ชัดเจนทันที ตารางต่อไปนี้สรุปเมตริกสำคัญก่อนและหลัง:
| เมตริก | NIC ก่อนหน้า (25G) | MCX623106AN-CDAT (RoCEv2) | การปรับปรุง |
|---|---|---|---|
| ความหน่วง NVMe-oF อ่าน (p99) | 42 ไมโครวินาที | 8.3 ไมโครวินาที | ↓ 80.2% |
| เวลาซิงค์ All-Reduce (512 โหนด) | 147 ms | 89 ms | ↓ 39.5% |
| การใช้งาน CPU (โหนดจัดเก็บข้อมูล) | 34% (เฉลี่ย 4 คอร์) | 12% | ↓ 64.7% |
| ปริมาณงานที่มีประสิทธิภาพ (พอร์ตคู่ 25G) | 31.2 Gbps (รวม) | 47.8 Gbps | ↑ 53.2% |
นอกเหนือจากการปรับปรุงเชิงปริมาณแล้ว ทีมวิศวกรรมยังรายงานถึงการเปลี่ยนแปลงเชิงคุณภาพในเสถียรภาพการดำเนินงาน กลไก PFC และ ECN (Explicit Congestion Notification) ที่ทำงานด้วยฮาร์ดแวร์ทำให้มั่นใจได้ว่าการรับส่งข้อมูลจัดเก็บข้อมูลยังคงแทบไม่สูญเสีย ทำให้การส่งซ้ำที่ส่งผลกระทบต่อ SLA ของแอปพลิเคชันก่อนหน้านี้หมดไป นอกจากนี้ การ์ดเครือข่าย PCIe อะแดปเตอร์ MCX623106AN-CDAT ConnectX จัดการการเข้ารหัส IPSec แบบ line-rate สำหรับการรับส่งข้อมูลการจำลองแบบข้ามโซน ทำให้ทีมรักษาความปลอดภัยสามารถบังคับใช้นโยบาย zero-trust ได้โดยไม่ต้องปรับใช้เครื่องมือเข้ารหัสเฉพาะ
สรุปและมุมมองไปข้างหน้า
การปรับใช้นี้เน้นย้ำว่า โซลูชันการ์ดอะแดปเตอร์ Ethernet MCX623106AN-CDAT ไม่ใช่เพียงการอัปเกรด NIC แบบเพิ่มทีละน้อย แต่เป็นตัวเปิดใช้งานเชิงกลยุทธ์สำหรับสถาปัตยกรรมศูนย์ข้อมูลสมัยใหม่ ด้วยการผสมผสาน RoCEv2 ที่เร่งความเร็วด้วยฮาร์ดแวร์ ความสามารถในการตั้งโปรแกรมที่ยืดหยุ่น และความสามารถในการออฟโหลดที่ครอบคลุม อะแดปเตอร์จึงเปลี่ยนโครงสร้าง Ethernet มาตรฐานให้เป็นชั้นโครงสร้างพื้นฐานที่มีความหน่วงต่ำและมีประสิทธิภาพสูงได้อย่างมีประสิทธิภาพ องค์กร IT กำลังวางแผนที่จะขยายการปรับใช้ไปยังโหนดที่เหลือทั้งหมด และกำลังประเมิน ข้อมูลจำเพาะ MCX623106AN-CDAT สำหรับการออกแบบ Spine-Leaf 50G รุ่นต่อไป
สำหรับสถาปนิกโครงสร้างพื้นฐานและผู้จัดการฝ่าย IT ที่เผชิญกับเพดานประสิทธิภาพที่คล้ายคลึงกัน MCX623106AN-CDAT นำเสนอเส้นทางที่น่าสนใจและได้รับการพิสูจน์แล้ว ดังที่สถาปนิกอาวุโสคนหนึ่งกล่าวไว้: "เราได้รับความหน่วงที่ดีกว่า NIC 25G ก่อนหน้านี้ของเรา โดยใช้ต้นทุน CPU เพียงครึ่งเดียว และเราไม่ต้องเดินสายใหม่แม้แต่ชั้นเดียว" ด้วย ระบบนิเวศ MCX623106AN-CDAT ที่เข้ากันได้ และ ตำแหน่งราคา MCX623106AN-CDAT ที่แข่งขันได้ อะแดปเตอร์นี้จึงพร้อมที่จะกลายเป็นตัวเลือกเริ่มต้นสำหรับการปรับใช้ 25G RoCE ไม่ว่าปริมาณงานจะเป็นการฝึกอบรม AI การจัดเก็บข้อมูลแบบกระจาย หรือการวิเคราะห์แบบเรียลไทม์