Chính thức ra mắt FPT AI Gateway – Nền tảng quản trị tập trung API & LLM cho doanh nghiệp

FPT AI Gateway được phát hành, đánh dấu bước tiến quan trọng trong hành trình giúp doanh nghiệp quản trị, vận hành và mở rộng hệ sinh thái AI một cách an toàn, hiệu quả và có kiểm soát chi phí.

Trong bối cảnh doanh nghiệp ngày càng sử dụng nhiều mô hình AI và LLM từ các nhà cung cấp khác nhau, bài toán đặt ra không chỉ là tích hợp nhanh, mà còn phải quản trị tập trung, kiểm soát truy cập, theo dõi chi phí và đảm bảo hiệu năng vận hành. FPT AI Gateway ra đời để giải quyết trọn vẹn những thách thức đó, với một nền tảng thống nhất cho API và LLM trên quy mô tổ chức.

FPT AI Gateway là gì?

FPT AI Gateway là nền tảng quản trị tập trung API và LLM cho doanh nghiệp, giúp chuẩn hóa cách sử dụng AI trong tổ chức, tăng cường bảo mật truy cập và tối ưu chi phí vận hành. Nền tảng hỗ trợ nhiều nhà cung cấp LLM khác nhau và cung cấp một cơ chế quản trị thống nhất, phù hợp cho môi trường enterprise.

Với phiên bản 1.0.0, FPT AI Gateway mang đến loạt tính năng mới dành cho tất cả người dùng sử dụng dịch vụ của FPT AI Gateway như sau: 

Các tính năng nổi bật trong phiên bản 1.0.0

1. Giám sát theo thời gian thực

FPT AI Gateway cung cấp bộ chỉ số giám sát toàn diện về Usage, Cost và Performance theo thời gian thực. Doanh nghiệp có thể theo dõi chi tiết theo từng model, team, user hoặc application, từ đó nhanh chóng phát hiện điểm nghẽn hiệu năng, lỗi vận hành hoặc nguy cơ vượt ngân sách.

Hệ thống cho phép theo dõi các chỉ số quan trọng như TTFT, latency, tỷ lệ thành công, tỷ lệ lỗi và tình trạng rate-limit/quota. Đồng thời, cơ chế lọc metadata theo thời gian, tổ chức, model, access key, user-project giúp truy vết nguyên nhân gốc rễ (root cause) nhanh chóng khi có sự cố phát sinh.

2. Quản trị tổ chức & phân quyền chuẩn doanh nghiệp

Nền tảng hỗ trợ mô hình tổ chức đa cấp (Parent org – Sub-org), phản ánh đúng cấu trúc tổ chức thực tế của doanh nghiệp. Org Admin có thể chủ động enable/disable từng sub-org để kiểm soát vận hành linh hoạt.

Cơ chế phân quyền rõ ràng theo vai trò:

• Org Admin: toàn quyền cấu hình hệ thống, quản trị tổ chức và thành viên
• Member: sử dụng tài nguyên được cấp

Các thao tác nhạy cảm như vô hiệu hóa hoặc xóa thành viên được bổ sung cơ chế xác thực, giúp giảm thiểu rủi ro thao tác nhầm và tăng cường an toàn vận hành.

3. Quản lý Models & Endpoint

FPT AI Gateway cung cấp một endpoint chuẩn OpenAI: /v1/chat/completions, giúp doanh nghiệp truy cập nhiều mô hình AI khác nhau một cách nhất quán, không cần thay đổi logic tích hợp ở phía ứng dụng.

Nền tảng hỗ trợ đa nhà cung cấp như OpenAI, Google, DeepSeek, Anthropic và FPTAI, cho phép doanh nghiệp linh hoạt lựa chọn mô hình phù hợp với từng bài toán.

Tính năng Model Alias giúp đặt tên hiển thị theo ngữ cảnh nghiệp vụ, dễ quản lý trong môi trường nhiều mô hình.

Bên cạnh đó, cơ chế Custom Pricing theo input/output tokens hỗ trợ billing nội bộ và hạch toán chi phí rõ ràng.

Tính năng Test Connection cho phép kiểm tra nhanh API Key và Base URL trước khi đưa vào vận hành production.

4. Access Key & Rate Limiting (Kiểm soát truy cập & ngân sách chặt chẽ) 

Doanh nghiệp có thể tạo API key theo từng application, có expiration và quản trị vòng đời (enable/disable/delete). Secret key chỉ hiển thị 1 lần khi khởi tạo để tăng an toàn. Giới hạn quyền truy cập model theo từng key, giảm phạm vi rủi ro. 

Bảo mật Secret Key: Mã bí mật chỉ hiển thị duy nhất một lần khi khởi tạo, đảm bảo tính riêng tư tuyệt đối. 

• Rate limiting theo Access Key, linh hoạt theo: Requests, Tokens, hoặc Budget (USD) 
• Time window linh hoạt tùy chỉnh (phút/giờ/ngày) 
• Tự động chặn vượt ngưỡng để chống lạm dụng và kiểm soát ngân sách. 

5. Monitoring 

FPT AI Gateway cung cấp công cụ theo dõi độ ổn định toàn hệ thống, bao gồm tổng số request, tỷ lệ lỗi, độ trễ và khả năng phát hiện sớm sự cố vận hành. Song song đó, hệ thống giám sát hạ tầng gateway giúp đánh giá mức tải, trạng thái kết nối và khả năng chịu tải, từ đó tối ưu vận hành AI ở môi trường production.

Giá trị mang lại cho doanh nghiệp

Việc triển khai FPT AI Gateway 1.0.0 giúp doanh nghiệp:

• Minh bạch và tối ưu vận hành: đo lường usage, cost, performance theo thời gian thực, truy vết nhanh khi có sự cố.
• Quản trị chuẩn doanh nghiệp: phân cấp tổ chức, phân quyền rõ ràng, kiểm soát truy cập theo ứng dụng.
• Tăng tốc triển khai AI: một endpoint thống nhất, tích hợp đa nhà cung cấp LLM.
• Kiểm soát chi phí & rủi ro: rate-limit theo token/request/budget, custom pricing, hạn chế vượt ngân sách ngoài kiểm soát.