AI Factory Playbook: Hướng dẫn Developer phát triển ứng dụng GenAI an toàn và hiệu quả
Xem nhanh
Tại NVIDIA AI Day, ông Phạm Vũ Hùng – Solutions Architect & Senior Consultant của FPT Smart Cloud, Tập đoàn FPT đã có bài chia sẻ với chủ đề “AI Factory Playbook: Hướng dẫn Developer phát triển ứng dụng GenAI an toàn và hiệu quả”.
Trong phần trình bày, ông Hùng mang đến góc nhìn về cách hiện thực hóa quy trình phát triển AI toàn trình, bao gồm từ việc xây dựng mô hình Generative AI cho đến triển khai AI Agent trong doanh nghiệp, trên nền tảng GPU Cloud H100/H200 của NVIDIA và hạ tầng AI Factory do FPT phát triển trong nước.
Một vài điểm đáng chú ý trong phần chia sẻ:
Trong phần trình bày, ông Hùng không chỉ nhấn mạnh những năng lực toàn diện của FPT AI Factory mà còn đưa ra ví dụ cụ thể từ khách hàng. Điển hình, FPT đã hợp tác với một công ty CNTT Nhật Bản để tinh chỉnh mô hình Donut (Document Understanding Transformer) trên bộ dữ liệu hơn 300GB. Bằng cách kết hợp GPU Container cùng FPT Object Storage, khách hàng có thể xử lý hiệu quả khối lượng lớn dữ liệu tài liệu, đồng thời tối ưu chi phí. Đây cũng là một ví dụ thực tiễn cho thấy doanh nghiệp có thể tận dụng hạ tầng của FPT AI Factory để triển khai các tác vụ AI trong thực tế.
Một trong những điểm nhấn của sự kiện là phần demo trực tiếp về AI Camera Agent được thiết kế cho bài toán tìm kiếm và tóm tắt nội dung video. Quy trình vận hành đơn giản nhưng mạnh mẽ: chỉ cần chọn một video, nhập mô tả ngắn gọn về nội dung cần tìm, và agent sẽ tự động xác định các đoạn liên quan, đồng thời tạo ra phần tóm tắt súc tích trong thời gian thực.
NVIDIA Blueprints là yếu tố then chốt giúp hiện thực hóa giải pháp này – bộ kiến trúc giải pháp và công cụ đã được kiểm chứng, cho phép thử nghiệm nhanh chóng. Thay vì mất hàng tháng để xây dựng một nguyên mẫu từ đầu, nhóm đã có thể chuyển từ ý tưởng sang bản demo hoạt động chỉ trong một ngày. Sự tăng tốc này không chỉ chứng minh tính khả thi của giải pháp mà còn mang lại cho doanh nghiệp cách nhìn cụ thể về việc AI có thể được áp dụng như thế nào cho các thách thức xử lý dữ liệu video của riêng họ.
Đặc biệt, FPT AI Factory cung cấp môi trường full-stack, bao gồm từ các thành phần hạ tầng như GPU, máy ảo (VM) và Kubernetes đến các công cụ dành cho nhà phát triển, giúp triển khai giải pháp AI một cách nhanh chóng và hiệu quả. Với kiến trúc linh hoạt cùng các mô hình sẵn sàng sử dụng, nhà phát triển thậm chí có thể xây dựng giải pháp hoàn chỉnh chỉ với một NVIDIA H100 GPU, cân bằng giữa hiệu năng, khả năng mở rộng và tối ưu chi phí.
Chẳng hạn, FPT AI Inference cung cấp thư viện mô hình sẵn dùng, cho phép nhà phát triển tích hợp ngay lập tức qua các API đơn giản. Với mức giá token cạnh tranh, đội ngũ phát triển có thể chạy các tác vụ suy luận nhanh hơn trong khi giảm đáng kể chi phí, giúp doanh nghiệp đưa ứng dụng AI ra thị trường một cách hiệu quả hơn.
Hiện nay, nhà phát triển có thể tinh chỉnh mô hình trực tiếp trên GPU Container, điều này rất phù hợp cho mục đích thử nghiệm và phát triển nhanh. Tuy nhiên, để đưa một giải pháp vào vận hành thực tế, cần hơn cả sức mạnh tính toán - đó là khả năng tự động hóa quy trình tinh chỉnh.
Để đáp ứng nhu cầu này, FPT AI Studio được giới thiệu, tích hợp các thành phần phổ biến trong quy trình MLOps như AI Notebook, xử lý dữ liệu (Data Processing) và nhiều chiến lược tinh chỉnh khác nhau như continual training. FPT AI Studio cho phép người dùng tích hợp dữ liệu, mô hình nền tảng và các chiến lược tinh chỉnh, với giao diện kéo-thả thân thiện, giúp xây dựng workflow nhanh chóng.
Mô hình sau khi được tinh chỉnh có thể được lưu trữ trong Model Hub - một kho trung tâm để quản lý phiên bản, chia sẻ và tái sử dụng. Sau đó, các mô hình này có thể được chuyển ngay sang FPT AI Inference để triển khai với khả năng mở rộng và độ trễ thấp trong môi trường sản xuất.
FPT AI Studio cung cấp môi trường lý tưởng để tối ưu hóa việc tinh chỉnh và triển khai mô hình. Nền tảng này vừa dễ tiếp cận cho người mới, vừa cho phép tùy chỉnh sâu cho người dùng nâng cao. Các thành phần chính của MLOps trên FPT AI Studio bao gồm:
Khi một mô hình đã được tinh chỉnh trong FPT AI Studio, nó sẽ được lưu giữ trong Model Hub để dễ dàng quản lý, chia sẻ và sử dụng lại. Từ đây, mô hình có thể được chuyển trực tiếp sang FPT AI Inference, phục vụ với hiệu suất cao và độ trễ thấp trong môi trường sản xuất.
Tại buổi chia sẻ, ông Hùng đã minh họa một câu chuyện thành công về cách FPT AI Studio được ứng dụng để tùy biến một mô hình ngôn ngữ lớn phục vụ lĩnh vực y tế tại Việt Nam. Mô hình gốc được chọn là Llama-3.1-8B, cân bằng tốt giữa khả năng xử lý và hiệu suất. Nhiệm vụ đặt ra là phát triển một mô hình tối ưu cho trả lời câu hỏi y tế, yêu cầu điều chỉnh chuyên sâu theo lĩnh vực nhưng vẫn giữ nguyên năng lực suy luận tổng quát của mô hình gốc. Bộ dữ liệu sử dụng bao gồm các tài liệu y tế tiếng Việt, với mục tiêu nâng cao khả năng nhớ chính xác thông tin, độ chuyên sâu về lĩnh vực, và chất lượng phản hồi trong các tình huống hỏi đáp lâm sàng.
Cách tiếp cận thứ nhất dựa trên việc huấn luyện liên tục (continual pre-training). Sử dụng 24 NVIDIA H100 GPU trên 3 node, mô hình được huấn luyện trên bộ dữ liệu y tế qua 3 epoch, toàn bộ quy trình mất khoảng 31 giờ để hoàn tất.
Cách tiếp cận thứ hai áp dụng tinh chỉnh có giám sát với LoRA adapters, là giải pháp tiết kiệm tài nguyên hơn. Trong phương án này, chỉ sử dụng 4 NVIDIA H100 GPU trên một node, huấn luyện qua 5 epoch, với thời gian tổng cộng khoảng 3 giờ. Mặc dù yêu cầu tính toán thấp hơn, phương pháp này vẫn mang lại cải thiện đáng kể cho các tác vụ hỏi đáp chuyên ngành.
Trước tiên, điều quan trọng là lựa chọn công cụ phù hợp cho từng loại khối lượng công việc nhằm tối đa hóa cả hiệu suất lẫn hiệu quả chi phí. Với FPT AI Factory, người dùng được trang bị đầy đủ công cụ cần thiết cho mọi loại khối lượng công việc AI/ML, giúp thúc đẩy đổi mới AI nhanh hơn và hiệu quả hơn.
Thứ hai, các nhà phát triển cần tối ưu hóa khối lượng công việc huấn luyện. Việc tối ưu huấn luyện các mô hình AI sinh tạo lớn đòi hỏi kết hợp giữa kỹ thuật tận dụng phần cứng và thiết kế quy trình làm việc. Một phương pháp quan trọng là sử dụng huấn luyện chính xác hỗn hợp (mixed-precision training), áp dụng các định dạng như FP16 hoặc BF16 để tăng tốc tính toán trên NVIDIA GPU đồng thời giảm tới 50% bộ nhớ sử dụng. Điều này không chỉ rút ngắn thời gian huấn luyện mà còn duy trì độ chính xác với khả năng tự động mở rộng.
Huấn luyện phân tán cũng rất quan trọng, với các chiến lược như PyTorch DDP hoặc pipeline parallelism giúp mở rộng khối lượng công việc trên nhiều GPU hoặc node, cải thiện thông lượng và rút ngắn chu kỳ phát triển. Trong môi trường đa node, tối ưu kết nối cluster bằng NVLink hoặc InfiniBand có thể tăng tốc huấn luyện lên tới 3 lần, đảm bảo đồng bộ hiệu quả cho các tác vụ AI quy mô lớn. Quy trình dữ liệu và lưu trữ cũng cần được tối ưu, sử dụng NVIDIA DALI và khả năng I/O mở rộng để tránh nghẽn cổ chai. Cuối cùng, các công cụ đối chuẩn như kiểm thử hiệu suất GPU của FPT AI Factory và kết quả MLPerf của NVIDIA giúp xác thực cấu hình, đảm bảo mở rộng hiệu quả về chi phí cho quá trình tinh chỉnh.
Thứ ba, cần tối ưu hóa khối lượng công việc suy luận (inference) để cung cấp dịch vụ AI tạo sinh có khả năng mở rộng và độ trễ thấp. Một phương pháp hiệu quả là lượng tử hóa (quantization) và sử dụng độ chính xác thấp hơn với NVIDIA TensorRT, chuyển đổi mô hình sang FP8 hoặc INT8 để tăng thông lượng tới 1,4 lần với ít ảnh hưởng tới độ chính xác. Đối với các mô hình ngôn ngữ lớn, quản lý bộ nhớ KV cache hiệu quả cũng rất quan trọng; các kỹ thuật như PagedAttention và chunked prefill giúp giảm phân mảnh bộ nhớ và rút ngắn thời gian tạo token đầu tiên tới 2–5 lần trong môi trường nhiều người dùng.
Speculative decoding cải thiện hiệu suất bằng cách kết hợp một mô hình nháp nhỏ với mô hình chính để dự đoán nhiều token cùng lúc, mang lại thông lượng tăng 1,9–3,6 lần, đồng thời giảm độ trễ, đặc biệt hữu ích trong ứng dụng thời gian thực như tóm tắt video. Mở rộng với multi-GPU parallelism cũng đóng vai trò then chốt, giúp tăng tới 1,5 lần hiệu suất trong các tác vụ tinh chỉnh phân tán ở cluster khối lượng lớn. Cuối cùng, model distillation và pruning giúp thu gọn mô hình, giảm chi phí và độ trễ 20 - 30% mà không làm giảm chất lượng đầu ra.