Các tổ chức đang triển khai hạ tầng GPU phục vụ huấn luyện và suy luận ngày càng phải đối mặt với những thách thức mới về hạ tầng mạng. Khác với các ứng dụng doanh nghiệp truyền thống, khối lượng công việc AI tạo ra các mô hình lưu lượng mạng đặc thù, bao gồm việc nạp dữ liệu quy mô lớn trước khi huấn luyện, truyền các checkpoint của mô hình với băng thông cao đến hệ thống lưu trữ phân tán, xử lý liên tục các yêu cầu suy luận từ hàng nghìn người dùng, cùng với lưu lượng quản trị hệ thống diễn ra xuyên suốt giữa các ranh giới của cụm AI.