Tất cả tài liệu

FPT Data Platform

    Tạo Ingestion
    Tạo Ingestion
    Updated on 24 Jul 2025

    Ingestion servicer được xây dựng để tự động hóa luồng dữ liệu giữa các hệ thống. Giúp quản lý, điều phối và tự động hóa việc di chuyển dữ liệu giữa các hệ thống khác nhau một cách dễ dàng và hiệu quả. Cung cấp khả năng theo dõi, giám sát và quản lý luồng dữ liệu.

    Để tạo Ingestion service, người dùng thực hiện các bước sau:

    Bước 1: Tại thanh menu chọn Data Platform > chọn Workspace Management > chọn Workspace name

    Chú ý: Người dùng có thể vào trực tiếp dịch vụ Ingestion service bằng cách: Tại thanh menu chọn Data Platform > chọn Ingestion service

    Bước 2: Tại phần My Services nhấn Create > hiển thị popup New service chọn Ingestion service > create

    Hình ảnh

    Bước 3: Trong form tạo Ingestion service, nhập thông tin màn Basic Information:

    • Name (required): Tên dịch vụ

      Chú ý: Tên dịch vụ phải từ 1 đến 30 kí tự. Có thể chứa các kí tự chữ cái thường a-z hoặc chữ cái in hoa A-Z hoặc các kí tự số 0-9.

    • Description (optional): Mô tả dịch vụ

    • Version (required): chọn version

    Hình ảnh

    Bước 4: Nhấn Next Step để chuyển sang màn nhập thông tin Node Configuration

    • Type: Chọn type cấu hình cho dịch vụ

    • Number of node: chọn số node phù hợp

      Chú ý: số node phải lớn hơn hoặc bằng 1 và nhỏ hơn hoặc bằng 10

    • Storage policy: chọn storage policy

    • Disk (GB): nhập số disk

      Chú ý: số disk phải lớn hơn hoặc bằng 100 và nhỏ hơn hoặc bằng 1000

    Hình ảnh

    Bước 5: Nhấn Next Step để chuyển sang màn nhập thông tin Advance

    • Nhập thông tin Mount storage

      • Name : tên Storage
      • Path: đường dẫn tới thư mục trong storage

      Người dùng có thể thêm Mount storage bằng cách nhấn vào dấu “+”

      Chú ý: tối đa thêm được 5 Mount storage

    • Nhập thông tin Nars storage

      • Bucket name (required): tên bucket

      • Endpoint (required): địa chỉ truy cập

      • Access key (required): khóa truy cập

      • Secret (required): mật khẩu truy cập

      • Path (required): thư mục của storage

    Hình ảnh

    • Single Sign On

      • Nếu không tích chọn Single Sign On, Superset được khởi tạo xác thực bằng Basic authen

      • Nếu tích chọn Single Sign On:

      • Provider: FPT ID

        • Người dùng nhập các thông tin sau:

        • Username: tên username

        • Email: địa chỉ email FPT

      Hình ảnh

      • Provider: Google

        • Người dùng nhập các thông tin sau:

        • Client ID: một đoạn mã ID được sử dụng để xác thực client với google

        • Client Secret: mật khẩu được sử dụng để xác thực client với google

        • Email: địa chỉ email

      Hình ảnh

      • Provider: Keycloak

        • Người dùng nhập các thông tin sau:

        • Auth Provider name: Tên provider

        • Realm: là một không gian quản lý mà trong đó, tất cả người dùng, nhóm, vai trò, khách hàng (clients) và các đối tượng khác đều được quản lý và bảo mật một cách độc lập

        • Auth server url: là URL cơ bản của máy chủ Keycloak, được sử dụng bởi các clients để thực hiện xác thực

        • Client ID: một đoạn mã ID được sử dụng để xác thực client với Keycloak

        • Client Secret: mật khẩu được sử dụng để xác thực client với Keycloak

        • Username: Tên username trong keycloak

        • Email: địa chỉ email trong keycloak

    Hình ảnh

    Bước 6: Nhấn Next Step để chuyển qua màn Review & Create

    Hình ảnh

    Bước 7: Kiểm tra thông tin nhập sau đó nhấn Create để hoàn thành việc khởi tạo Ingestion service.

    Ingestion service hoàn thành khởi tạo khi Worker StatusSucceededStatus của Ingestion serviceHealthy ( ~10 phút)