
Khối lượng dữ liệu được tạo ra không ngừng gia tăng, kéo theo nhu cầu đầu tư và mở rộng liên tục đối với các hệ thống giám sát mạng, bảo mật và phân tích dữ liệu. Khi lượng dữ liệu ngày càng lớn, các tổ chức phải đối mặt với áp lực ngày càng tăng về dung lượng lưu trữ, hiệu suất hệ thống và nguồn lực vận hành.
Cubro cung cấp các giải pháp giúp giảm lượng dữ liệu được tạo ra và lưu trữ trong các hệ thống giám sát mạng, bảo mật và phân tích dữ liệu, đồng thời vẫn bảo đảm giữ lại toàn bộ dữ liệu cần thiết cho những mục đích này. Bằng cách loại bỏ dữ liệu không cần thiết, các tổ chức có thể giảm dung lượng và quy mô hạ tầng cần thiết cho các công cụ mạng cũng như hệ thống hồ dữ liệu (Data Lake), đồng thời cải thiện hiệu suất, giảm chi phí đầu tư ban đầu (CAPEX), chi phí vận hành (OPEX), mức tiêu thụ điện năng và nhu cầu về không gian lắp đặt.
Bài viết này phân tích những thách thức chính trong việc lưu trữ dữ liệu tại các môi trường quy mô lớn và cách các giải pháp của Cubro có thể giúp giải quyết những thách thức đó.
Những thách thức chính trong quản lý lưu trữ dữ liệu
Quản lý lưu trữ dữ liệu trên các hệ thống quy mô lớn đặt ra nhiều thách thức. Khi dữ liệu liên tục tích lũy, các tổ chức phải tìm cách cân bằng giữa khả năng truy cập, nhu cầu lưu trữ và chi phí vận hành.
1. Dung lượng lưu trữ
Các hệ thống quy mô lớn tạo ra và tích lũy khối lượng dữ liệu khổng lồ theo thời gian. Để duy trì đủ dung lượng lưu trữ cho lượng thông tin này, các tổ chức cần một hạ tầng có khả năng mở rộng, tối ưu chi phí và đáp ứng được khối lượng, tốc độ phát sinh cũng như sự đa dạng của dữ liệu được tạo ra.
2. Quản lý vòng đời dữ liệu
Lưu trữ dữ liệu bao gồm việc quản lý toàn bộ vòng đời dữ liệu, từ khi được tạo ra, lưu trữ, truy cập cho đến khi bị loại bỏ. Ở quy mô lớn, các tổ chức cần xây dựng những chính sách và quy trình rõ ràng để phân loại dữ liệu, lưu trữ dài hạn và xóa dữ liệu. Việc triển khai và duy trì các hoạt động này ngày càng trở nên phức tạp khi khối lượng dữ liệu tăng lên.
3. Khả năng truy cập và truy xuất dữ liệu
Việc tìm kiếm và truy xuất thông tin cụ thể từ khối lượng dữ liệu lưu trữ lớn có thể gặp nhiều khó khăn. Các cơ chế lập chỉ mục, tìm kiếm và quản lý siêu dữ liệu (metadata) hiệu quả đóng vai trò thiết yếu, giúp xác định thông tin liên quan một cách nhanh chóng và chính xác. Tuy nhiên, việc xây dựng và duy trì các cơ chế truy xuất hiệu quả cũng có thể rất phức tạp và tiêu tốn nhiều nguồn lực.
4. Quản lý chi phí
Lưu trữ dữ liệu kéo theo các khoản chi phí liên tục cho hạ tầng lưu trữ và hoạt động vận hành. Khi khối lượng dữ liệu tăng lên, chi phí liên quan đến hạ tầng lưu trữ cũng tăng theo, bao gồm phần cứng, phần mềm và bảo trì. Do đó, các tổ chức cần cân bằng giữa yêu cầu lưu trữ dữ liệu và hiệu quả chi phí để tránh những khoản chi không cần thiết.
Để giải quyết những thách thức này, cần có các giải pháp kỹ thuật phù hợp, chính sách và quy trình được xác định rõ ràng, cùng với sự hiểu biết đầy đủ về nhu cầu lưu trữ dữ liệu của tổ chức.
Quản lý lưu trữ dữ liệu hiệu quả với các giải pháp của Cubro
Cubro cung cấp các giải pháp được thiết kế nhằm giúp tổ chức quản lý khối lượng dữ liệu hiệu quả hơn, giảm nhu cầu lưu trữ không cần thiết và bảo đảm những thông tin quan trọng luôn sẵn sàng phục vụ công tác giám sát mạng, bảo mật và phân tích dữ liệu.
Lọc lưu lượng mạng không liên quan
Quản lý lưu trữ dữ liệu hiệu quả bắt đầu từ việc loại bỏ những lưu lượng mạng không mang lại giá trị đáng kể cho các hoạt động giám sát, bảo mật và phân tích dữ liệu. Giải pháp Lọc nội dung (Content Filtering) của Cubro sử dụng công nghệ Kiểm tra gói tin chuyên sâu (Deep Packet Inspection – DPI) tiên tiến để lọc dữ liệu dựa trên nội dung hoặc siêu dữ liệu của dữ liệu đó.
Bạn có biết rằng hơn 70% lưu lượng Internet bao gồm nội dung video và âm thanh từ các nền tảng đáng tin cậy như Netflix và YouTube? Mặc dù loại lưu lượng này có thể không liên quan đến một số trường hợp sử dụng lưu trữ dữ liệu và LinkedIn (LI), chúng vẫn có thể chiếm dụng đáng kể dung lượng lưu trữ và tài nguyên hệ thống.
Để giải quyết vấn đề này, Cubro đã phát triển một giải pháp lọc ứng dụng tiên tiến, được thiết kế chuyên biệt cho các mạng quy mô lớn có lưu lượng dữ liệu cao. Giải pháp cho phép các tổ chức lọc bỏ hiệu quả những lưu lượng không liên quan, qua đó bảo đảm chỉ những dữ liệu thực sự có giá trị mới được lưu giữ.
Bằng cách giảm lượng dữ liệu không cần thiết ngay tại nguồn, các tổ chức có thể tối ưu hóa việc sử dụng dung lượng lưu trữ, giảm tải cho các công cụ mạng và hệ thống hồ dữ liệu, đồng thời nâng cao hiệu quả tổng thể của hạ tầng giám sát, bảo mật và phân tích dữ liệu.

Với giải pháp này, băng thông lưu lượng mạng có thể giảm từ 60% đến 70% so với phương pháp ghi nhận toàn bộ lưu lượng (Full Capture). Điều này giúp giảm đáng kể chi phí và kéo dài thời gian lưu trữ dữ liệu.
Để tiếp tục giảm quy mô hạ tầng cần thiết, chúng tôi đề xuất áp dụng một phương pháp phân tích hiệu quả hơn làm giải pháp thứ hai: Giám sát dựa trên cửa sổ thời gian (Time Window-Based Monitoring).
Trong bối cảnh lưu trữ dữ liệu, việc kiểm tra từng phiên TCP/IP riêng lẻ thuộc một phiên dịch vụ là không cần thiết. Trong môi trường lưu lượng Web 2.0 hiện nay, một phiên dịch vụ, chẳng hạn như xem video trực tuyến trên Netflix hoặc duyệt mua sắm trên Amazon, không chỉ dựa trên một kết nối duy nhất giữa người dùng và máy chủ. Thay vào đó, phiên dịch vụ này bao gồm nhiều kết nối TCP/IP khác nhau.
Ví dụ, khi phát trực tuyến một video trên Netflix, có thể có từ 50 kết nối TCP/IP trở lên được thiết lập và phân bổ trên nhiều máy chủ, nhiều trung tâm dữ liệu khác nhau, thậm chí trải rộng tại nhiều địa điểm trên toàn thế giới. Thông tin thu được từ việc lưu trữ dữ liệu liên quan đến những kết nối TCP/IP này là rất hạn chế, bởi lưu lượng được mã hóa bằng SSL, khiến các bên khác ngoài nhà cung cấp dịch vụ không thể truy cập nội dung. Ngoài ra, các thông điệp và giao thức được sử dụng trong những dịch vụ này cũng thường xuyên thay đổi. Tuy nhiên, các giải pháp lưu trữ dữ liệu truyền thống vẫn tiếp tục hoạt động dựa trên việc lưu giữ từng kết nối TCP/IP riêng lẻ.

Đối với mỗi kết nối được xác định bằng bộ 5 thông số (5-tuple), hệ thống sẽ tạo ra một bản ghi chi tiết cuộc gọi NetFlow (NetFlow Call Detail Record – CDR). Tuy nhiên, nhiều bản ghi CDR trong số này không thể được nhận diện là có liên quan đến Amazon do không thể phân giải tên miền bên ngoài.
Sau khi luồng dữ liệu (flow) được tạo ra, nó sẽ được chuyển tiếp đến bộ nhớ đệm luồng (Flow Cache). Flow Cache có thể lưu trữ một lượng lớn mục dữ liệu, từ hàng trăm nghìn đến hàng triệu mục. Tuy nhiên, cần lưu ý rằng quá trình này tiêu tốn tài nguyên bộ nhớ.
Khi các luồng dữ liệu hết thời hạn lưu giữ trong bộ nhớ đệm, chúng sẽ được xuất đến hệ thống thu thập NetFlow (NetFlow Collector). Hệ thống này liên tục phân tích và lưu trữ dữ liệu để phục vụ việc tham chiếu trong tương lai.
Phương pháp của Cubro sử dụng các dấu hiệu nhận diện DPI (DPI Signatures) để kết hợp tất cả các luồng dữ liệu thành một luồng duy nhất.

Đối với mỗi máy khách, hệ thống tạo một vùng lưu trữ dữ liệu (bucket) cho từng ứng dụng khi cần thiết, đồng thời thu thập và đếm toàn bộ gói tin trong một khoảng thời gian cụ thể có thể cấu hình được. Khi khoảng thời gian này kết thúc, một bản ghi XDR sẽ được tạo ra, bổ sung thông tin làm giàu dữ liệu (data enrichment) và gửi đi. Ưu điểm của phương pháp này là giúp giảm 90% lượng dữ liệu lưu lượng mạng, đồng thời tránh được các giới hạn về tài nguyên và vấn đề hiệu suất trong toàn bộ quy trình xử lý dữ liệu trước khi đưa vào hệ thống hồ dữ liệu.
Giải pháp mới của Cubro tạo ra sự khác biệt đáng kể về chi phí lưu trữ dữ liệu, đồng thời giúp việc truy xuất dữ liệu diễn ra nhanh hơn nhiều. Hãy tham khảo bảng so sánh bên dưới.
Trong bảng dưới đây, bạn có thể thấy phép tính dung lượng lưu trữ dựa trên các luồng TCP/IP. Với lưu lượng đầu vào 1 TB/giây và thời gian lưu trữ 90 ngày, phương pháp này sẽ yêu cầu dung lượng lưu trữ lên đến 29 PB. Đây là dung lượng tương đương với một trung tâm dữ liệu quy mô nhỏ.

Trong khi đó, giải pháp của Cubro chỉ cần 2,5 PB dung lượng lưu trữ, mức dung lượng hoàn toàn có thể đáp ứng bằng một hệ thống hồ dữ liệu.
Giải pháp tối ưu là kết hợp cả hai phương pháp: trước tiên lọc dữ liệu để loại bỏ lưu lượng không cần thiết, sau đó áp dụng phương pháp CDR của Cubro.
Với cách tiếp cận này, dung lượng dữ liệu cần lưu trữ chỉ còn 750 TB cho mỗi 1 Tbit/s lưu lượng đầu vào.
Các trường hợp sử dụng được Cubro CDR hỗ trợ
Giám sát băng thông Cubro CDR cho phép giám sát thông tin băng thông theo từng thuê bao và từng ứng dụng với độ phân giải lên đến 1 giây. Mức độ chi tiết cao này đóng vai trò quan trọng trong việc ghi nhận thông tin chuyên sâu theo thời gian thực về các mô hình lưu lượng mạng, đồng thời bảo đảm phân tích chính xác mức tiêu thụ băng thông.

Phân tích lưu lượng mạng của thuê baoHình ảnh minh họa đi kèm cho thấy hiệu quả của Cubro CDR. Ví dụ, hãy xem xét lưu lượng WhatsApp của một thuê bao cụ thể. Biểu đồ màu đỏ thể hiện lưu lượng đi vào, với băng thông 29 kbps, trong khi biểu đồ màu xanh lá cây thể hiện lưu lượng đi ra, chỉ ở mức 500 byte. Điều này cho thấy thuê bao chủ yếu nhận tin nhắn (lưu lượng màu đỏ), trong khi lưu lượng màu xanh lá cây thể hiện quá trình bắt tay (handshake) với máy chủ, nơi tin nhắn được nhận. Đây chỉ là một ví dụ về cách Cubro CDR cung cấp thông tin chuyên sâu một cách hiệu quả và chi tiết về hành vi sử dụng lưu lượng mạng của thuê bao.

Biểu đồ này thể hiện các ứng dụng mà một thuê bao sử dụng trong một khoảng thời gian nhất định.
Các tùy chọn bổ sung để giảm quy mô hạ tầng lưu trữ
Cubro hiểu rằng việc lọc dữ liệu không phải lúc nào cũng là lựa chọn phù hợp, đặc biệt khi khách hàng muốn giám sát toàn bộ các ứng dụng. Để đáp ứng nhu cầu này, chúng tôi đã phát triển một giải pháp cho phép tổng hợp các dịch vụ thành từng nhóm. Phương pháp này giúp giảm đáng kể lượng dữ liệu CDR đầu ra, qua đó giảm tổng chi phí lưu trữ dữ liệu trong hệ thống hồ dữ liệu.
Một lựa chọn khác là giảm lượng dữ liệu đầu ra xuống chỉ còn các sự kiện theo thời gian đối với những ứng dụng cụ thể. Phương pháp này cung cấp thông tin về những ứng dụng đã được sử dụng trong các khoảng thời gian nhất định mà không cần bao gồm thông tin chi tiết về băng thông. Cách tiếp cận linh hoạt này đáp ứng đa dạng yêu cầu lưu trữ dữ liệu, đồng thời tối ưu hóa hiệu quả sử dụng dung lượng lưu trữ.
Thiết kế phần cứng sáng tạo

Điểm khác biệt của giải pháp Cubro nằm ở việc ứng dụng các card mạng thông minh (Smart NIC) sử dụng kiến trúc ARM, được nghiên cứu và phát triển nội bộ. Bằng cách thay thế phần cứng máy chủ Intel truyền thống, chúng tôi giảm đáng kể quy mô hạ tầng xét trên các khía cạnh chi phí, kích thước và mức tiêu thụ năng lượng. Thiết kế phần cứng sáng tạo này mang đến một giải pháp nhỏ gọn, chỉ chiếm 19U không gian trong tủ rack nhưng vẫn có khả năng xử lý tốc độ lưu lượng đầu vào lên đến 2 Tbps.
Tổng kết
Khi khối lượng dữ liệu ngày càng tăng, những thách thức liên quan đến việc lưu trữ, hiệu suất truy cập và chi phí cũng không ngừng gia tăng. Các giải pháp của Cubro mang đến những phương thức mới và sáng tạo để giải quyết các thách thức này, giúp cải thiện hiệu suất, giảm chi phí đầu tư ban đầu (CAPEX) và chi phí vận hành (OPEX), đồng thời giảm mức tiêu thụ điện năng và không gian lắp đặt.
Giới thiệu về DT Asia
DT Asia được thành lập vào năm 2007 với sứ mệnh rõ ràng là xây dựng bước thâm nhập thị trường cho các giải pháp bảo mật CNTT tiên phong khác nhau từ Mỹ, Châu Âu và Israel.
Ngày nay, DT Asia là nhà phân phối giá trị gia tăng khu vực về các giải pháp an ninh mạng, cung cấp các công nghệ tiên tiến cho các cơ quan chính phủ trọng điểm và các khách hàng hàng đầu thuộc khu vực tư nhân, bao gồm các ngân hàng toàn cầu và các công ty thuộc danh sách Fortune 500. Chúng tôi có các văn phòng và đối tác khắp khu vực Châu Á - Thái Bình Dương nhằm thấu hiểu rõ hơn các thị trường và cung cấp các giải pháp mang tính bản địa hóa.
Chúng tôi hỗ trợ như thế nào
Nếu bạn muốn tìm hiểu thêm về các phương pháp quản lý lưu trữ dữ liệu hiệu quả về chi phí trong các hệ thống quy mô lớn, DT Asia luôn sẵn sàng hỗ trợ! DT Asia là nhà phân phối của Cubro, đặc biệt tại Singapore và thị trường châu Á. Đội ngũ kỹ thuật của chúng tôi có kinh nghiệm chuyên sâu về sản phẩm và các công nghệ liên quan, luôn sẵn sàng đồng hành và hỗ trợ khách hàng. Chúng tôi cung cấp giải pháp trọn gói, bao gồm tư vấn, triển khai và dịch vụ bảo trì.
Nhấn vào đây để tìm hiểu thêm: https://dtasiagroup.com/cubro/








