Tất cả tài liệu
FPT Cloud cung cấp Kubernetes sử dụng GPU NVIDIA có các tính năng chính sau:
Cấu hình GPU linh hoạt với nhiều loại GPU, bộ nhớ GPU tùy chọn, áp dụng theo từng Worker Group.
Quản lý và cấp phát tài nguyên GPU trong Kubernetes tự động với NVIDIA Operator
Trực quan hóa và giám sát GPU bằng NVIDIA DCGM.
Tự động tăng/giảm Container/Node với Autoscaler khi ứng dụng yêu cầu sử dụng tài nguyên GPU tăng lên/giảm đi.
Hỗ trợ GPU sharing với cơ chế Multi-Instance, giúp tối ưu hóa tài nguyên và chi phí sử dụng GPU.
FPT Cloud sử dụng NVIDIA GPU Operator cung cấp công cụ tự động quản lý tất cả các thành phần phần mềm cần thiết để sử dụng GPU trên Kubernetes. GPU Operator cho phép người dùng sử dụng tài nguyên GPU giống như sử dụng CPU trong cụm Kubernetes.
Các thành phần của Operator bao gồm:
NVIDIA Drivers (CUDA, MIG,…)
NVIDIA Device Plugin
NVIDIA Container Toolkit
NVIDIA GPU Feature Discovery
NVIDIA Data Center GPU Manager (Monitoring)
Trong tài liệu hướng dẫn này, chúng tôi sẽ trình bày các tính năng chính của dịch vụ GPU trên Kubernetes FPT Cloud, bao gồm:
Cài đặt cluster Kubernetes sử dụng GPU
Khởi tạo một worker group sử dụng GPU
Chỉnh sửa một worker group sử dụng GPU
Triển khai ứng dụng sử dụng GPU
Hướng dẫn sử dụng GPU Telemetry
Hướng dẫn cài đặt và sử dụng driver
Hướng dẫn cấu hình Auto Scale sử dụng GPU Custom mertric
Hướng dẫn cấu hình Auto Scale sử dụng KEDA và Prometheus
Hướng dẫn sử dụng các chế độ GPU Sharing
Cookie | Thời gian | Mô tả |
---|---|---|
cookielawinfo-checbox-analytics | 11 Tháng | |
cookielawinfo-checbox-functional | 11 Tháng | |
cookielawinfo-checbox-others | 11 Tháng | |
cookielawinfo-checkbox-necessary | 11 Tháng | |
cookielawinfo-checkbox-performance | 11 Tháng | |
viewed_cookie_policy | 11 Tháng |