Các tổ chức đang triển khai hạ tầng GPU phục vụ huấn luyện và suy luận đang phải đối mặt với những thách thức mới về hạ tầng mạng. Khác với các ứng dụng doanh nghiệp truyền thống, khối lượng công việc AI tạo ra các mô hình lưu lượng mạng đặc thù, bao gồm việc nạp dữ liệu quy mô lớn trước khi huấn luyện, truyền các checkpoint của mô hình với băng thông cao đến hệ thống lưu trữ phân tán, xử lý liên tục các yêu cầu suy luận từ hàng nghìn người dùng, cùng với lưu lượng quản trị hệ thống diễn ra xuyên suốt giữa các ranh giới của cụm AI.
Đối với các đội ngũ quản trị và an ninh mạng, vấn đề không nằm ở việc lưu lượng này có tồn tại hay không—bởi toàn bộ đều truyền qua mạng IP tiêu chuẩn và tạo ra các bản ghi NetFlow trên router và switch tại ranh giới của cụm AI. Điều quan trọng là liệu các luồng lưu lượng này có đang được giám sát, thiết lập đường cơ sở lưu lượng và phân tích bất thường để phát hiện sớm các dấu hiệu của sự cố hiệu năng hoặc các cuộc tấn công bảo mật hay không.
Bài viết này sẽ phân tích những trường hợp mà NetFlow Optimizer (NFO) mang lại giá trị rõ ràng trong việc giám sát hạ tầng AI, đồng thời chỉ ra những giới hạn tự nhiên về khả năng quan sát của giải pháp này.
NetFlow có thể quan sát những gì trong môi trường AI?
Mạng của một cụm AI thường bao gồm hai lớp lưu lượng riêng biệt. Việc hiểu rõ NetFlow có thể quan sát lớp lưu lượng nào là yếu tố quan trọng để xây dựng kỳ vọng phù hợp về khả năng giám sát.
Mạng tính toán East-West: Ngoài phạm vi quan sát của NetFlow
Trong quá trình huấn luyện mô hình AI, hoạt động trao đổi dữ liệu giữa các GPU diễn ra trên một mạng tính toán chuyên dụng. Đến năm 2026, RoCEv2 (RDMA over Converged Ethernet v2) trên nền Ethernet đã trở thành công nghệ chủ đạo cho các cụm AI trong doanh nghiệp, trong khi InfiniBand vẫn được sử dụng phổ biến trong các môi trường hyperscale quy mô rất lớn. Cả hai công nghệ này đều dựa trên RDMA, công nghệ truy cập trực tiếp vào bộ nhớ từ xa.
Do RDMA bỏ qua ngăn xếp giao thức IP truyền thống, lưu lượng này không thể được ghi nhận bởi các bộ thu thập NetFlow hoặc sFlow, bất kể hạ tầng truyền dẫn bên dưới sử dụng Ethernet hay InfiniBand.
Đây là một điểm khác biệt rất quan trọng: NFO không thể quan sát lưu lượng huấn luyện GPU theo chiều East-West trong phần lớn các môi trường AI của doanh nghiệp. Muốn giám sát mạng tính toán, doanh nghiệp cần triển khai các giải pháp giám sát chuyên dụng dành cho RDMA.
Mạng Front-End North-South: Được NetFlow quan sát đầy đủ
Mọi cụm AI đều kết nối với hạ tầng CNTT của doanh nghiệp thông qua mạng front-end dựa trên giao thức IP tiêu chuẩn. Đây là nơi truyền tải các loại lưu lượng như:
- Dữ liệu được nạp từ các nền tảng lưu trữ và hồ dữ liệu.
- Lưu lượng truyền model checkpoint.
- Lưu lượng suy luận giữa người dùng, ứng dụng và các dịch vụ AI.
- Lưu lượng quản trị và điều phối cụm AI.
Vì toàn bộ các luồng dữ liệu này đều hoạt động trên nền TCP/IP, chúng sẽ tạo ra các bản ghi NetFlow tại các router và switch ở ranh giới của cụm AI.
Mặc dù NFO không thể quan sát bên trong mạng tính toán GPU, giải pháp vẫn cung cấp khả năng hiển thị toàn diện đối với toàn bộ lưu lượng đi qua ranh giới của cụm AI, bao gồm:
- Các kết nối từ bên ngoài không được cấp phép.
- Lưu lượng dữ liệu vào và ra.
- Các yêu cầu suy luận.
- Lưu lượng quản trị hệ thống.
Ba lĩnh vực NFO mang lại giá trị nổi bật
1. Giám sát lưu lượng nạp dữ liệu và lưu trữ
Các tác vụ huấn luyện AI phụ thuộc vào việc truyền tải các tập dữ liệu lớn từ lưu trữ đối tượng (Object Storage), hồ dữ liệu và các kho lưu trữ NFS đến các nút GPU trước và trong quá trình huấn luyện. Những hoạt động này tạo ra các luồng dữ liệu có băng thông cao và duy trì liên tục, hoàn toàn có thể được quan sát thông qua các bản ghi NetFlow thu thập tại ranh giới của cụm AI.
NFO cung cấp khả năng quan sát băng thông theo từng luồng dữ liệu và từng ứng dụng, giúp đội ngũ vận hành xác định:
- Hệ thống lưu trữ nào đang phục vụ từng GPU node.
- Khối lượng dữ liệu đang được truyền tải.
- Thời điểm các phiên truyền dữ liệu diễn ra.
Những thông tin này đặc biệt hữu ích cho việc lập kế hoạch năng lực hạ tầng và xử lý sự cố hiệu năng. Đội ngũ CNTT có thể xác định liệu tình trạng tắc nghẽn mạng lưu trữ có đang làm chậm quá trình huấn luyện hay không, nhận biết các tầng lưu trữ đang bị khai thác quá mức, đồng thời phát hiện các pipeline tiền xử lý dữ liệu tạo ra lưu lượng ngoài dự kiến và cạnh tranh băng thông với các tác vụ huấn luyện AI.
Thiết lập đường cơ sở cho lưu lượng suy luận và phát hiện bất thường
Lưu lượng phát sinh từ các tác vụ suy luận AI có đặc điểm hoàn toàn khác so với quá trình huấn luyện mô hình. Thay vì trao đổi khối lượng dữ liệu lớn bên trong cụm AI, môi trường suy luận phải xử lý số lượng lớn các yêu cầu đồng thời từ người dùng và các ứng dụng phía sau truy cập vào các dịch vụ AI.
Ngày nay, nhiều doanh nghiệp triển khai kiến trúc AI lai, trong đó sử dụng RDMA Fabric chuyên dụng cho hoạt động huấn luyện, trong khi lưu lượng suy luận được phục vụ thông qua mạng Ethernet tiêu chuẩn. Toàn bộ lưu lượng của phần suy luận vẫn được NetFlow ghi nhận đầy đủ.
NFO làm giàu các bản ghi lưu lượng bằng cách bổ sung:
- Thông tin nhận diện ứng dụng (Application Intelligence).
- Dữ liệu vị trí địa lý IP (GeoIP).
- Thông tin định danh người dùng (khi có), lấy từ Active Directory, Microsoft Entra ID, Okta và nhật ký xác thực VPN.
Sau đó, dữ liệu được chuyển tiếp tới các nền tảng SIEM và hệ thống giám sát.
Nguồn dữ liệu đã được làm giàu này giúp doanh nghiệp xây dựng đường cơ sở lưu lượng và nhanh chóng phát hiện các dấu hiệu bất thường như:
- Lượng yêu cầu AI Inference tăng đột biến.
- Các kết nối xuất phát từ địa chỉ IP không được cấp phép.
- Các yêu cầu truy cập ngoài khung thời gian vận hành được cho phép.
- Các yêu cầu đến từ vị trí địa lý bất thường.
Đối với các tổ chức cung cấp dịch vụ AI trong những ngành có yêu cầu tuân thủ nghiêm ngặt, khả năng quan sát này còn hỗ trợ hiệu quả cho công tác giám sát liên tục và đáp ứng các yêu cầu kiểm toán theo các khung tiêu chuẩn tuân thủ hiện hành.
3. Tăng cường giám sát an ninh cho hạ tầng AI
Hạ tầng AI đã trở thành mục tiêu có giá trị cao đối với các cuộc tấn công mạng. Trọng số mô hình độc quyền, bộ dữ liệu huấn luyện và các tài nguyên tính toán GPU đắt đỏ đều là những tài sản hấp dẫn đối với cả tội phạm mạng lẫn các nhóm tấn công được quốc gia bảo trợ.
NFO cung cấp dữ liệu Flow Telemetry đã được làm giàu từ ranh giới của cụm AI, giúp các nền tảng bảo mật phía trên có đủ thông tin để phát hiện nhiều kịch bản tấn công quan trọng.
Phát hiện hành vi đánh cắp mô hình và dữ liệu
Các phiên truyền dữ liệu lớn từ hệ thống lưu trữ hoặc GPU node đến những đích bên ngoài không mong đợi thường là dấu hiệu đầu tiên của hành vi đánh cắp dữ liệu.
Thông qua việc phân tích thời lượng phiên truyền và tổng dung lượng dữ liệu truyền tải tích lũy trong thời gian dài, đội ngũ an ninh có thể phát hiện cả:
- Các hành vi đánh cắp dữ liệu diễn ra ngay lập tức.
- Các cuộc tấn công Low-and-Slow Exfiltration (rò rỉ dữ liệu chậm và âm thầm nhằm tránh bị phát hiện).
Cách tiếp cận này hoàn toàn phù hợp với phương pháp phát hiện được đề cập trong tài liệu Defeating the Low and Slow.
Phát hiện truy cập trái phép vào dịch vụ AI Inference
Các kết nối xuất phát từ những địa chỉ IP nằm ngoài danh sách được phép có thể được phát hiện ngay lập tức thông qua dữ liệu Flow Telemetry do NFO thu thập.
Khi được kết hợp thêm với thông tin GeoIP và dữ liệu Threat Intelligence, các sự kiện này sẽ dễ dàng được điều tra, đánh giá và ưu tiên xử lý hơn.
Nhận diện dấu hiệu tấn công chuỗi cung ứng
Các kết nối ra ngoài bất thường từ hạ tầng AI trong hoặc sau quá trình triển khai mô hình có thể là dấu hiệu của việc hệ thống đã bị xâm nhập.
Ví dụ bao gồm:
- Kết nối tới các kho lưu trữ gói phần mềm không xác định.
- Truy cập đến các địa chỉ Internet không quen thuộc.
- Kết nối tới các máy chủ đã được các nguồn tình báo mối đe dọa an ninh mạng (Threat Intelligence) cảnh báo là độc hại.
Do toàn bộ các kết nối này đều đi qua mạng North-South, chúng sẽ xuất hiện trong dữ liệu NetFlow và có thể được điều tra trước khi phát triển thành các sự cố bảo mật nghiêm trọng hơn.
Tóm tắt khả năng quan sát của NFO đối với hạ tầng AI
| Loại lưu lượng | Khả năng quan sát của NFO | Giá trị mang lại |
| Dữ liệu từ hệ thống lưu trữ đến GPU node | Đầy đủ | Giám sát băng thông, lập kế hoạch năng lực lưu trữ, xác định điểm nghẽn trong quá trình huấn luyện |
| Truyền Model Checkpoint đến hệ thống lưu trữ phân tán | Đầy đủ | Theo dõi tần suất và dung lượng checkpoint, đánh giá mức sử dụng lưu trữ |
| Lưu lượng AI Inference (người dùng/ứng dụng đến GPU node) | Đầy đủ | Cung cấp dữ liệu đã được làm giàu để xây dựng baseline, phát hiện bất thường, truy cập trái phép và phục vụ kiểm toán trong các môi trường yêu cầu tuân thủ |
| Lưu lượng quản trị và điều phối cụm AI | Đầy đủ | Phát hiện kết nối quản trị bất thường, nhận diện dấu hiệu thay đổi cấu hình và các kết nối lần đầu tới các hệ thống bên ngoài |
| Kết nối đi ra từ hạ tầng AI (nguy cơ rò rỉ dữ liệu) | Đầy đủ | Hỗ trợ phát hiện hành vi đánh cắp dữ liệu, nhận diện tấn công chuỗi cung ứng và sàng lọc mối đe dọa thông qua Threat Intelligence |
| Lưu lượng huấn luyện GPU theo chiều East-West (RoCEv2 hoặc InfiniBand Compute Fabric) | Không quan sát được | Do RDMA bỏ qua ngăn xếp IP, cần sử dụng các giải pháp giám sát RDMA chuyên dụng để theo dõi Compute Fabric |
Triển khai NFO để tăng cường khả năng quan sát hạ tầng AI
NFO là giải pháp thuần phần mềm, có thể triển khai trên các máy chủ Linux hoặc Windows Server tiêu chuẩn mà không cần thay đổi bất kỳ phần cứng nào trong hạ tầng AI.
Mô hình triển khai rất đơn giản: NFO thu thập dữ liệu NetFlow hoặc IPFIX từ các router và switch tại ranh giới kết nối giữa cụm AI với mạng lưu trữ và mạng doanh nghiệp, sau đó làm giàu dữ liệu và chuyển tiếp tới nền tảng SIEM hoặc hệ thống giám sát của doanh nghiệp. Toàn bộ quá trình triển khai có thể hoàn thành trong chưa đầy một giờ.
Đối với các tổ chức triển khai dịch vụ AI trong các môi trường có yêu cầu bảo mật và tuân thủ nghiêm ngặt, kiến trúc on-premises và tương thích với môi trường air-gap của NFO đảm bảo toàn bộ dữ liệu giám sát của hạ tầng AI luôn được giữ bên trong ranh giới bảo mật của tổ chức. Kiến trúc triển khai dành cho các môi trường mật hoặc nhạy cảm được trình bày chi tiết trong tài liệu NFO Government Solution Brief.
Kết luận
NFO không cung cấp khả năng quan sát bên trong GPU Compute Fabric, đây là phạm vi cần đến các công cụ giám sát RDMA chuyên dụng.
Tuy nhiên, NFO mang đến khả năng giám sát mạng liên tục cùng dữ liệu Flow Telemetry đã được làm giàu đối với toàn bộ lưu lượng đi qua ranh giới của cụm AI, bao gồm:
- Các kết nối đi ra ngoài có thể là dấu hiệu của một sự cố an ninh mạng.
- Lưu lượng lưu trữ phục vụ quá trình huấn luyện.
- Lưu lượng AI Inference phục vụ người dùng.
- Lưu lượng quản trị và vận hành cụm AI.
Đối với phần lớn doanh nghiệp triển khai hạ tầng AI, ranh giới của cụm AI (cluster boundary) chính là nơi tồn tại khoảng trống lớn nhất về khả năng quan sát đối với cả vận hành và an ninh mạng. Trong khi RDMA Fabric đã có các công cụ giám sát chuyên biệt, thì mạng front-end lại thường chưa được đầu tư đầy đủ về khả năng giám sát.
Cụm GPU đã trở thành một trong những tài sản giá trị nhất của hạ tầng CNTT doanh nghiệp. Vì vậy, mạng lưới bao quanh nó cũng cần được giám sát với mức độ tương đương như bất kỳ tài sản trọng yếu nào khác.
Về DT Asia
DT Asia được thành lập năm 2007 với sứ mệnh đưa các giải pháp bảo mật CNTT tiên phong khác nhau từ Hoa Kỳ, Châu Âu và Israel gia nhập thị trường.
Hiện tại, DT Asia đã là một nhà phân phối giá trị gia tăng trong khu vực đối với các giải pháp an ninh mạng, cung cấp công nghệ tiên tiến cho các tổ chức chính phủ trọng yếu cũng như các khách hàng tư nhân lớn bao gồm các ngân hàng toàn cầu và các công ty trong danh sách Fortune 500. Với các văn phòng và đối tác rộng khắp trong khu vực Châu Á Thái Bình Dương, chúng tôi hiểu rõ hơn về thị trường và từ đó mang đến những giải pháp bản địa hóa phù hợp với từng quốc gia, từng tổ chức.
DT Asia có thể hỗ trợ bạn như thế nào?
Nếu bạn muốn tìm hiểu thêm về giải pháp giám sát hạ tầng AI dành cho đội ngũ An ninh và Vận hành, DT Asia luôn sẵn sàng hỗ trợ.
Là nhà phân phối chính thức của NetFlow Logic tại Singapore và nhiều thị trường trong khu vực Châu Á, DT Asia sở hữu đội ngũ kỹ sư giàu kinh nghiệm về sản phẩm và các công nghệ liên quan. Chúng tôi cung cấp giải pháp trọn gói (turnkey), bao gồm tư vấn, triển khai và dịch vụ bảo trì, giúp doanh nghiệp nhanh chóng khai thác hiệu quả các giải pháp giám sát và phân tích lưu lượng mạng.
Để tìm hiểu thêm về các giải pháp của NetFlow Logic, vui lòng truy cập: https://dtasiagroup.com/netflowlogic/
