Tất cả tài liệu

Object Storage

    Clone dữ liệu bucket giữa hai Object Storage (S3) khác nhau
    Clone dữ liệu bucket giữa hai Object Storage (S3) khác nhau

    Trong trường hợp chuyển môi trường S3 từ nhà cung cấp khác đến S3 của FPT Smart Cloud hoặc sử dụng song song giữa 2 môi trường S3 chúng ta có thể sử dụng công cụ Rclone để giúp quá trình clone dữ liệu được tiến hành thuận tiện hơn.

    Đặt trường hợp ta đang sử dụng S3 Site01 và có ý định sẽ chuyển qua S3 Site02 và muốn clone dữ liệu từ bucket ở Site01 qua Site02. Để thực hiện điều này, FPT Smart Cloud hướng dẫn thực hiện trên các hệ điều hành như sau:

    Clone dữ liệu bucket với Linux

    Bước 1: Tải và cài đặt công cụ Rclone:

    sudo apt-get install rclone

    Bước 2: Để tạo thư mục rclone chứa thông tin Site01 và Site02, tạo file rclone.conf theo đường dẫn ~/.config/rclone/rclone.conf > Edit file rclone.conf với nội dung sau:

    (Lưu ý ở mục provider có thể thay đổi tùy theo môi trường S3 sử dụng như AWS,…)

    [site01]

    type = s3

    provider = Other

    env_auth = false

    access_key_id = 00d4701ee34ab6a0967b

    secret_access_key = SevRaN+gCPbIC6VvUjXx74mhHkbg0ZuQTFpmYTsa

    endpoint = https://s3-sgn09.fptcloud.com/

    acl = private

     

    [site02]

    type = s3

    provider = Other

    env_auth = false

    access_key_id = XRRS541KWS8T9DMDRCFY

    secret_access_key = gknj5RPmgifmr4Bc90euHF8GIaZEY7xJD6bVDm7D

    endpoint = https://s3-hfx03.fptcloud.com/

    acl = private

     

    Kết quả:

    User guide FPT Object Storage 64

    Bước 3: Tại Site02 thực hiện tạo 1 bucket không chứa dữ liệu.

    (Lưu ý do khi clone dữ liệu sẽ đồng bộ từ bucket Site01 sang bucket Site02 nên những dữ liệu nào không giống với dữ liệu ở Site02 đều sẽ bị xóa đi)

    Bước 4: Kiểm tra bucket và dữ liệu ở 2 site thông qua Rclone.

    User guide FPT Object Storage 65

    Bước 5: Thực hiện clone dữ liệu từ site01:bucket-site01 sang site02:bucket-site02 bằng cách:

    • Thực hiện lệnh với option –dry-run để đảm bảo không có error trong qua trình clone.

    rclone sync -Pv site01:bucket-site01 site02:bucket-site02 --dry-run

    User guide FPT Object Storage 66

    Sau khi chạy lệnh với option –dry-run không xuất hiện error > thực hiện chạy lệnh bỏ option –dry-run

    rclone sync -Pv site01:bucket-site01 site02:bucket-site02

    User guide FPT Object Storage 67

    Sau khi thực hiện thành công, khách hàng có thể kiểm tra lại dữ liệu và bucket ở 2 site thông qua rclone.

    User guide FPT Object Storage 68