Triển khai ứng dụng sử dụng GPU trên Kubernetes
Triển khai ứng dụng sử dụng GPU trên Kubernetes
Updated on 23 Feb 2024

Kubernetes quản lý và sử dụng resources GPU tương tự như sử dụng resources CPU. Tùy vào cấu hình GPU lựa chọn cho Worker Group để khai báo resources GPU cho ứng dụng trên Kubernetes.

Chú ý:

  • Có thể chỉ định GPU limits mà không cần chỉ định requests do Kubernetes sử dụng limits làm giá trị yêu cầu mặc định.

  • Có thể chỉ định cả GPU limits và requests nhưng hai giá trị này phải bằng nhau.

  • Không thể chỉ định GPU requests mà không chỉ định limits.

  • Kiểm tra cấu hình GPU bằng lệnh sau:

Ví dụ: hình dưới cho thấy worker sử dụng card Nvidia A30, cấu hình strategy: all-balanced, trạng thái: success.

  • Kiểm tra cấu hình GPU Instance trên worker chưa bằng lệnh sau: (ssh vào worker, gõ lệnh)

Ví dụ triển khai ứng dụng sử dụng GPU:

  • Với strategy: single, tài nguyên GPU được khai báo như sau:

  • Với strategy: mixed, tài nguyên GPU được khai báo như sau:

  • Với none strategy, tài nguyên GPU được khai báo như sau: