Hive Metastore là thành phần cốt lõi để lưu trữ metadata trong kiến trúc Lakehouse. Nó cung cấp thông tin về các bảng, schema, phân vùng, và vị trí dữ liệu, giúp các công cụ như Apache Spark, Trino, hoặc Presto hiểu và truy cập dữ liệu một cách hiệu quả.
Để tạo Hive Metastore, người dùng thực hiện các bước sau:
Bước 1: Tại thanh menu chọn Data Platform > chọn Workspace Management > chọn Workspace name
Bước 2: Tại phần My services nhấn Create > hiển thị popup New Service chọn Hive Metastore > Create
Bước 3: Trong form tạo Hive metastore, nhập thông tin màn Basic Information:
Chú ý: Tên dịch vụ phải từ 1 đến 30 kí tự. Có thể chứa các kí tự chữ cái thường a-z hoặc chữ cái in hoa A-Z hoặc các kí tự số 0-9.
Description (optional): Mô tả
Version (required): chọn version
Bước 4: Nhấn Next để chuyển qua màn Node configuration
Nhập các thông tin sau:
Storage policy (required): chọn Storage Policy
Type (required): chọn cấu hình tài nguyên
Bước 5: Nhấn Next để chuyển qua màn Additional properties
Database (thông tin Database lưu dữ liệu cho Hive Metastore, người dùng có thể sử dụng Database đã tạo trên dịch vụ FPT Database Engine hoặc các Database khác của người dùng)
Trường hợp chọn type là PostgreSQL
Host name(required): hostname hoặc IP của Postgres
Port (required): cổng kết nối, mặc định là 5432
Database name (required): tên database
Username (required): tên tài khoản
Password (required): mật khẩu
Trường hợp chọn type là MySQL
Host name(required): hostname hoặc IP của MySQL
Port (required): cổng kết nối, mặc định là 3306
Database name (required): tên database
Username (required): tên tài khoản
Password (required): mật khẩu
Sau khi nhập đầy đủ thông tin Database, người dùng ấn Test connection để kiểm tra kết nối từ Workspace đến Database đã nhập
Nhập thông tin Storage
Bucket name (required): tên bucket
Endpoint (required): địa chỉ truy cập
Access key (required): khóa truy cập
Secret (required): mật khẩu truy cập
Path (required): thư mục lưu dữ liệu
Nhấn Test connection để kiểm tra kết nối từ Workspace tới Storage
Bước 6: Nhấn Next để chuyển qua màn Review & Create
Bước 7: Kiểm tra thông tin sau đó nhấn Create để hoàn thành khởi tạo Hive Metastore
Hive Metastore hoàn thành khởi tạo khi Worker Status là Succeeded và Status của Hive Metastore là Healthy (~10 phút)