Tất cả tài liệu

Managed GPU Cluster (Kubernetes)

    Triển khai mô hình DeepSeek-R1 sử dụng Ollama và Open WebUI
    Triển khai mô hình DeepSeek-R1 sử dụng Ollama và Open WebUI
    Updated on 26 Mar 2025

    Ollama là một công cụ mã nguồn mở cho phép chạy, quản lý và tùy chỉnh các mô hình ngôn ngữ lớn (LLMs) trên máy tính cá nhân hoặc server, hỗ trợ nhiều mô hình khác nhau như Llama, DeepSeek, Mistral,.... Open-WebUI là giao diện web mã nguồn mở được thiết kế đặc biệt để tương tác với Ollama, cung cấp trải nghiệm người dùng thân thiện và dễ dàng trong việc quản lý và sử dụng các mô hình LLM.

    Tài liệu này sẽ hướng dẫn các bước triển khai mô hình DeepSeek-R1 lên FPT Managed GPU Cluster sử dụng Ollama và Open-WebUI để người dùng có thể sử dụng một cách đơn giản và dễ dàng.

    Bước 1: Clone mã nguồn và script đã có của Open-WebUI

    > git clone https://github.com/open-webui/open-webui
    > cd open-webui/kubernetes

    Bước 2: Chạy các script để triển khai ollama và open-webui. Bên trong thư mục đã bao gồm tất cả các file cần thiết để triển khai như namespace, ollama statefulSet, ollama service, open-webui deploymentopen-webui service.

    > cd kubernetes
    > kubectl apply -f ./kubernetes/manifest

    Bước 3: Truy cập vào open-webui trên trình duyệt tại port đã được forward, ví dụ: http://localhost:52433. Với lần đầu tiên cài đặt và sử dụng OpenWebUI, người dùng sẽ cần cấu hình các thông tin: tên, email, mật khẩu.

    Bước 4: Sau khi cài đặt xong, người dùng lựa chọn model để sử dụng. Ví dụ ở đây, ta sẽ cài đặt mô hình DeepSeek-R1, phiên bản 1.5b.

    Bước 5: Sau khi mô hình đã được tải và chạy, người dùng có thể tương tác với mô hình rất đơn giản và trực quan thông qua giao diện.