Nền tảng dữ liệu vận hành chuỗi cung ứng: Xây dựng bản sao số Digital Twins với kiến trúc Data Lakehouse

Trong bối cảnh thị trường biến động liên tục, việc vận hành và quản lý chuỗi cung ứng được đáng giá là năng lực cạnh tranh cốt lõi của các doanh nghiệp logistic nói riêng và supply chain nói chung. Năng lực này ảnh hưởng trực tiếp đến biên lợi nhuận và trải nghiệm khách hàng của các doanh nghiệp sản xuất, bán lẻ và phân phối thông qua việc điều phối, giữ đúng cam kết cung cấp sản phẩm tới khách hàng hay không.

Theo báo cáo của Gartner, 80% doanh nghiệp quản lý chuỗi cung ứng lựa chọn triển khai giải pháp công nghệ để hỗ trợ quy trình vận hành toàn trình trong tổ chức, đặc biệt là công nghệ liên quan tới phân tích dữ liệu và AI. Tuy nhiên, khi các doanh nghiệp muốn ứng dụng trí tuệ nhân tạo (AI) để tối ưu hóa vận hành, họ thường gặp một bài toán thực tế: các mô hình AI không thể hoạt động hiệu quả nếu không có dữ liệu sạch và đồng bộ trong tổ chức.

Nhằm mang đến lời giải cho bài toán hạ tầng này, vừa qua, FPT Smart Cloud (FCI) đã bắt tay cùng Smartlog đồng tổ chức hội thảo chuyên sâu mang tên “Next Generation Logistics powered by Cloud, Data và AI”. Trong khuôn khổ sự kiện, bài tham luận “Cloud-native Digital Twin for next-gen Logistics” của diễn giả Đặng Thị Giang – Product Owner FPT Data Platform (FPT Smart Cloud) đã thu hút sự chú ý khi đưa ra giải pháp công nghệ và lộ trình triển khai thực tiễn: xây dựng mô hình bản sao số Digital Twins trên nền tảng kiến trúc Lakehouse để chuẩn hóa dữ liệu logistics. Đây được xem là kiến trúc nền tảng giúp doanh nghiệp chuẩn hóa hạ tầng dữ liệu, tối ưu hiệu năng, chi phí quản trị dữ liệu và tạo đà bứt phá tăng trưởng vượt bậc.

Hình ảnh: Diễn giả: Đặng Thị Giang – Product Owner FPT Data Platform, FPT Smart Cloud, Tập đoàn FPT

Dữ liệu bị cô lập, phân mảnh làm tăng chi phí vận hành doanh nghiệp

Để hiểu lý do tại sao mô hình bản sao số (Digital twins) và kiến trúc Data Lakehouse là giải pháp công nghệ tối ưu, doanh nghiệp cần nhìn thẳng vào thực trạng quản trị dữ liệu chuỗi cung ứng hiện nay. Điểm nghẽn lớn nhất của doanh nghiệp chính là tình trạng cô lập dữ liệu (data silos) giữa các hệ thống phần mềm quản lý riêng biệt trong tổ chức.

Các số liệu thực tế cho thấy trung bình một doanh nghiệp phải sử dụng từ 4 đến 8 hệ thống phần mềm độc lập chỉ để quản lý một đơn hàng với thông tin đơn hàng gồm: khách hàng ở hệ thống CRM, thông tin hàng hóa ở WMS, thông tin vận chuyển ở TMS, thông tin tài chính, kế hoạch ở ERP …Việc tra cứu thông tin vận hành hàng ngày như điều phối kho hàng, trạng thái giao hàng phải kiểm tra thủ công qua các hệ thống và phụ thuộc hoàn toàn vào đối tác giao nhận trong việc đảm bảo uy tín giao nhận hàng tới khách hàng. Điều đó trực tiếp ảnh hưởng tới không chi chi phí vận hành mà cả doanh thu, trải nghiệm khách hàng của tổ chức.

Đặc biệt khi tổ chức mở rộng quy mô phát triển, việc mất đồng bộ dữ liệu ngày càng tạo áp lực lên quy trình vận hành và đảm bảo cam kết với khách hàng. Trung bình hàng năm, tỷ lệ lệch tồn kho giữa các hệ thống và thực tế dao động từ 8% đến 15%, buộc doanh nghiệp phải tăng chi phí lưu kho từ 10% đến 25% mỗi năm để duy trì lượng hàng dự trữ an toàn. Ngoài ra, các dữ liệu di chuyển thực địa như định vị GPS, dữ liệu quét mã vạch tại tổng kho, hay cảm biến IoT hoàn toàn bị tách biệt với dòng dữ liệu chứng từ pháp lý như biên bản bàn giao (POD), hóa đơn và phiếu xuất kho, dẫn tới rủi ro sai lệch dữ liệu tài chính - kế toán của doanh nghiệp. Hàng bị giao trễ với biên độ sai lệch thời gian dự kiến (ETA) lên tới 2 đến 4 tiếng, chứng từ bị thất lạc, hay lệch tồn kho... đều mất nhiều ngày đối soát thủ công mới phát hiện ra. Sự chậm trễ này làm giảm chất lượng dịch vụ khách hàng, trực tiếp làm giảm từ 2% đến 5% biên lợi nhuận ròng trên mỗi đơn hàng và đẩy tổng chi phí vận hành (TCO) tăng cao.

Hình ảnh minh họa: xu hướng (digital twins) và kiến trúc Data Lakehouse 

Kiến trúc Lakehouse trên nền tảng FPT Data Platform – Hạ tầng quản trị dữ liệu tập trung

Để xử lý bài toán thông tin phân mảnh và cô lập trong tổ chức, đại diện từ FPT Cloud, chị Đặng Thị Giang đã giới thiệu giải pháp quản lý dữ liệu với kiến trúc Data Lakehouse trên nền tảng hạ tầng FPT Cloud. Giải pháp giúp các doanh nghiệp tập trung, chuẩn hóa dữ liệu và là nền tảng để dịch chuyển mô hình quản lý từ phản ứng với sự cố (reactive) sang dự báo và phòng ngừa (predictive).
Giải pháp Data Lakehouse hiện đại giúp tổ chức thu thập từ nhiều nguồn khác nhau (như ERP, CRM, TMS, GPS, IoT, chứng từ ...) với cơ chế thu thập đa dạng theo yêu cầu dữ liệu (theo batch/ realtime/ near realtime/ streaming ...) về lưu trữ và quản trị tập trung ở FPT Cloud.

Tổ chức dễ dàng tích hợp và thu thập toàn bộ dữ liệu trong chuỗi cung ứng, bao gồm dữ liệu có cấu trúc (structured data) từ ERP, dữ liệu streaming từ GPS xe, đến dữ liệu phi cấu trúc (unstructured data) như ảnh chụp chứng từ, thu âm hotline, ... và không cần đội ngũ phát triển, tích hợp từng nguồn dữ liệu riêng biệt.

Sau đó, dữ liệu được đẩy vào quản lý ở Lakehouse với kiến trúc 3 lớp: Bronze – Silver – Gold. Trong đó, lớp Bronze được dùng lưu trữ dữ liệu gốc, phục vụ mục đích kiểm tra, thanh tra theo quy định. Tiếp theo, dòng thông tin sẽ chuyển lên tầng Silver (Dữ liệu chuẩn hóa) để được lọc sạch, loại bỏ thông tin trùng lặp, xử lý các lỗi sai sót và định dạng lại theo một cấu trúc thống nhất, đảm bảo chất lượng dữ liệu trong hệ thống. Cuối cùng, dữ liệu tiếp tục được biến đổi và lưu trữ sẵn tại lớp Gold, tạo thành bộ dữ liệu (dataset) để đảm bảo tốc độ truy xuất dữ liệu tối ưu theo mục đích sử dụng của người dùng cuối, như: các dashboard điều hành, hệ thống báo cáo quản trị (BI Tools) hoặc làm nguyên liệu đầu vào cho các thuật toán học máy (Machine Learning)/ AI.

Điểm mạnh vượt trội của kiến trúc Lakehouse trên nền tảng FPT Data Platform là khả năng xử lý đồng thời cả dữ liệu theo lô (batch data) lẫn dữ liệu thời gian thực (streaming data) trên cùng một hệ thống. Điểm cốt lõi này giúp doanh nghiệp loại bỏ hoàn toàn độ trễ thông tin, từ đó vừa phân tích được xu hướng lịch sử, vừa kiểm soát được các biến động ngoài thực địa ngay lập tức.

Toàn bộ hoạt động thu thập, biến đổi dữ liệu được thực hiện tự động trên hệ thống (Policy as a Code) giúp giảm thiểu khả năng sai sót trong vận hành, tiết kiệm nguồn lực vận hành dữ liệu. Đồng thời công nghệ nén dữ liệu theo cột giúp tối ưu lượng dữ liệu lưu trữ thực tế ở Lakehouse so với lưu trữ dữ liệu gốc ở Data warehouse hay Data Lake, tiết kiệm chi phí lưu trữ không nhỏ đối với bài toán lưu trữ hóa đơn chứng từ lâu dài lên tới 10 năm theo quy định pháp luật.

Quản trị dữ liệu và bảo mật hệ thống toàn diện với dịch vụ FPT Lakehouse

Khi toàn bộ dữ liệu trong chuỗi cung ứng được quản lý tập trung ở Lakehouse, bảo mật dữ liệu chính là bảo vệ hồ sơ cạnh tranh của doanh nghiệp với dữ liệu nhạy cảm như thông tin khách hàng, hợp đồng tới thông tin thương mại như tình trạng hàng hóa, kho bãi, chi phí gốc, biên lợi nhuận hay lộ trình di chuyển của các chuyến hàng giá trị cao.

Nhằm bảo vệ tài sản số cho doanh nghiệp, dịch vụ FPT Lakehouse thuộc hệ sinh thái FPT Data Platform đã thiết lập hệ thống bảo mật toàn diện kết hợp chặt chẽ giữa quản trị, bảo vệ và giám sát.
Đầu tiên, ở khâu kiểm soát và phân quyền sử dụng (Access control), hệ thống cho phép doanh nghiệp chia nhỏ và quản lý quyền truy cập của từng người dùng đến từng dòng, từng cột dữ liệu cụ thể trong hệ thống, cho từng phòng ban, nhân sự riêng biệt (Fine grained access control); ví dụ như nhân viên kế toán chỉ được xem thông tin đơn hàng, hóa đơn còn điều phối viên chỉ được cập nhật trạng thái xe mà không thể can thiệp vào số liệu tài chính. Ngoài ra, hệ thống cung cấp tính năng phân quyền theo nhãn dữ liệu (Tagging) để áp dụng quy định bảo mật đồng loạt theo loại dữ liệu nhạy cảm ở mọi schema dữ liệu.

Tiếp theo, để bảo vệ dữ liệu và ngăn chặn nguy cơ rò rỉ, thông tin luôn được mã hóa theo tiêu chuẩn quốc tế xuyên suốt vòng đời từ lúc thu thập, truyền đi cho đến khi lưu trữ tĩnh (In use, In transit, At rest). Đặc biệt, công nghệ mặt nạ dữ liệu động (Dynamic Masking) sẽ tự động mã hóa (masking) thông tin nhạy cảm theo cơ chế phù hợp như masking toàn bộ/ một phần/ hash/ .... Cuối cùng, tính minh bạch và an toàn được hoàn thiện nhờ hệ thống nhật ký giám sát tự động, nơi mọi hành động truy cập, chỉnh sửa hay xóa dữ liệu của bất kỳ ai đều được ghi lại chính xác, giúp doanh nghiệp dễ dàng truy vết nguồn gốc khi xảy ra sự cố và đáp ứng hoàn hảo các tiêu chuẩn kiểm toán khắt khe của ngành.

Dựa trên nền tảng công nghệ đó, doanh nghiệp không chỉ tập trung dữ liệu mà còn quản trị dữ liệu tốt hơn, đảm bảo dòng chảy dữ liệu thông suốt trong hệ thống và giúp các hệ thống hoạt động liên tục và đồng bộ kết quả tới người dùng cuối cùng, giúp doanh nghiệp khai phá sức mạnh dữ liệu trong công nghệ phân tích hiện đại và triển khai AI/ML trong hoạt động quản lý - kinh doanh của mình.

Giải pháp nền tảng dữ liệu được FPT Cloud đem đến hội thảo cách tiếp cận hiện đại và thực tế cho các nhà điều hành chuỗi cung ứng. Kiến trúc Data Lakehouse không phải là một xu hướng nhất thời, mà là lựa chọn giải pháp công nghệ tối ưu để giải quyết thách thức trong quản lý điều hành chuỗi cung hiện nay và phát triển trong tương lai. FPT vinh dự được đồng hành cùng doanh nghiệp trong suốt quá trình chuyển đổi và mang lại giá trị thực cho doanh nghiệp từ chính công nghệ Cloud-native do chúng tôi phát triển.

Liên hệ với chúng tôi để được tư vấn chi tiết về các giải pháp, dịch vụ của FPT Cloud:

• Hotline: 1900 638 399
• Email: support@fptcloud.com
• Support: m.me/fptsmartcloud