Tất cả tài liệu

FPT Data Platform

    2.14 Clickhouse (Replication) Sink Connector
    2.14 Clickhouse (Replication) Sink Connector
    Updated on 24 Jul 2025

    Tạo connector, Type là sink, Database là ClickHouse

    Pre-condition: Status CDC service Healthy

    Các bước tạo connector:

    Bước 1: Tại thanh menu chọn Data Platform > chọn Workspace Management > chọn Workspace name

    Bước 2: Tại phần My services chọn CDC service

    Bước 3: Tại màn detail CDC service > Chọn tab Connectors > nhấn Create a connector

    Bước 4: Nhập các thông tin màn Connector Information:

    • Name (required): tên connector

      Chú ý: Tên connector có thể chứa các kí tự chữ cái thường a-z hoặc các kí tự số 0-9. Đặc biệt không dùng dấu cách có thể thay dấu cách bằng dấu “-”.

    • Type (required): chọn sink

    • Database (required): chọn ClickHouse (Replication) image-1

    Bước 5: Nhấn Next ở góc phải màn hình để chuyển qua màn Properties

    Có hai lựa chọn: From FPT Database Engine, Manual configuration

    • Trường hợp chọn Manual configuration - Điền các thông tin:

      • Host Name (required): Hostname hoặc IP của clickhouse

      • Port (required): ClickHouse server port, mặc định là: 8123.

      • Database name (required): Database đích mà Connector sẽ sink dữ liệu vào

      • Username (required): Username sử dụng bởi Connector

      • Password (required): Password sử dụng bởi Connector

      • Topics (required): Danh sách các topics Connector sẽ consume và sink dữ liệu vào ClickHouse, và được ngăn cách bởi dấu ","

    • Trường hợp chọn From FPT Database Engine - Điền các thông tin:

      • Database (required): Chọn Database

      • Host Name (required): Hostname hoặc IP của clickhouse

      • Port (required): ClickHouse server port, mặc định là: 8123.

      • Database name (required): Database đích mà Connector sẽ sink dữ liệu vào

      • Username (required): Username sử dụng bởi Connector

      • Password (required): Password sử dụng bởi Connector

      • Topics (required): Danh sách các topics Connector sẽ consume và sink dữ liệu vào ClickHouse, và được ngăn cách bởi dấu ","

    • Nhấn Test connection để kiểm tra kết nối từ Workspace tới Database đã nhập

    • Converter

      • Converter key: chọn giá trị key cho converter

      • Converter key schema enable: chọn giá trị có/không sử dụng schema trong Converter key

      • Converter value: chọn giá trị value cho converter

      • Converter value schema enable: chọn giá trị có/không sử dụng schema trong Converter value image-2

    Bước 6: Nhấn Next ở góc phải màn hình để chuyển qua màn Additional Properties

    Điền các thông tin:

    • Tasks max (required): Số lượng tác vụ tối đa cho kết nối

    • Topic 1: tên topics Connector sẽ consume và sink dữ liệu vào ClickHouse

    • Table 1: tên table lắng nghe dữ liệu thay đổi từ postgres

      Chú ý: Enable “Create new table” để đặt tên table mới, Disable “Create new table” có thể chọn table có trong Database

    • Mode (required): Hành vi của Connector khi không thể xử lý được message

      • None: Connector sẽ bỏ qua các messages không thể sink vào CSDL

      • All: Các message lỗi sẽ được gửi vào topic được nhập image-3

    Bước 7: Nhấn Next ở góc phải màn hình để chuyển qua màn Review image-4

    Bước 8: Kiểm tra thông tin và nhấn nút Create để hoàn thành việc tạo connector.