[Swift] – Phần 5: Tạo và phân phối ring trên Controller Node

1. Tổng quan.

Phần này sẽ hướng dẫn quá trình tạo và phân phối ring ban đầu trong OpenStack Swift, một dịch vụ lưu trữ đối tượng phân tán. Ring ở đây không phải là nhẫn mà là một cấu trúc dữ liệu được sử dụng bởi Swift để quản lý vị trí lưu trữ của các object.

Tài liệu tham khảo: https://docs.openstack.org/swift/latest/install/

Swift sử dụng một cấu trúc phân cấp ba tầng để lưu trữ dữ liệu: account -> container -> object. Một tài khoản chứa các container, và mỗi container chứa các object

• Account ring quản lý vị trí lưu trữ của các tài khoản (đây không phải là tài khoản người dùng mà là tài khoản quản lý vị trí lưu trữ của các container chứa object).
• Container ring quản lý vị trí lưu trữ của các container.
• Object ring quản lý vị trí lưu trữ của các object.

Quá trình này bao gồm việc tạo các file cấu hình mà mỗi node sử dụng để xác định và triển khai kiến trúc lưu trữ.

Trong OpenStack Swift, dữ liệu được lưu trữ theo một cấu trúc phân cấp nhất định để đảm bảo tính sẵn sàng và độ tin cậy. Đây là một giải thích ngắn gọn về các thuật ngữ bạn đã đề cập:

• Region: Đây là một khu vực địa lý lớn, chẳng hạn như một quốc gia hoặc một lục địa. Một Region có thể chứa nhiều Zones.
• Zone: Đây là một phần nhỏ hơn của một Region, chẳng hạn như một trung tâm dữ liệu hoặc một tầng của trung tâm dữ liệu. Một Zone có thể chứa nhiều phân vùng (partitions).
• Partition: Đây là một đơn vị lưu trữ nhỏ nhất trong Swift. Mỗi object được lưu trữ trong một Partition. Số lượng tối đa của các Partition là 2^10 (1024).
• Replica: Đây là một bản sao của dữ liệu. Trong trường hợp này, mỗi object có 3 bản sao (replicas) để đảm bảo rằng dữ liệu không bị mất nếu một phần của hệ thống gặp sự cố.
• Thời gian tối thiểu giữa các lần di chuyển phân vùng: Điều này có nghĩa là một phân vùng không được di chuyển nhiều hơn một lần trong một khoảng thời gian tối thiểu là một giờ. Điều này giúp ngăn chặn việc di chuyển dữ liệu quá nhiều, có thể gây ra tình trạng quá tải cho hệ thống.

Trong hướng dẫn này, hệ thống sử dụng một khu vực (region) và hai vùng (zones) với tối đa 2^10 (1024) phân vùng, 3 bản replica của mỗi object và thời gian tối thiểu 1 giờ giữa các lần di chuyển một phân vùng nhiều hơn một lần.

Trong OpenStack Swift một phân vùng (partition) không phải là một phân vùng đĩa cứng thông thường mà chúng ta thường nghĩ đến (như một phân vùng NTFS hoặc EXT4 trên một ổ đĩa cứng). Thay vào đó, một phân vùng trong Swift là một thư mục trên một thiết bị lưu trữ, nơi mà các object (các file) được lưu trữ.

Swift sử dụng một cấu trúc phân cấp để lưu trữ dữ liệu account -> container -> object. Mỗi object được lưu trữ trong một phân vùng và mỗi phân vùng là một thư mục trên một thiết bị lưu trữ.

Ví dụ, nếu bạn có một object tên là my_photo.jpg trong một container tên là my_photos và container này thuộc về tài khoản my_account, thì object này có thể được lưu trữ trong một phân vùng như sau: /srv/node/sdb1/123/my_account/my_photos/my_photo.jpg, vậy /srv/node/sdb1/123 chính là phân vùng.

2. Các bước thực hiện.

Các bước này nên được thực hiện trên controller node.

Tạo và rebalance account ring.

Dưới đây là quá trình tạo và rebalance account ring trong OpenStack Swift. Account ring được sử dụng bởi account server để duy trì danh sách các container.

Đầu tiên, bạn chuyển đến thư mục /etc/swift.

cd /etc/swift

Tạo file account.builder cơ bản bằng cách sử dụng lệnh swift-ring-builder account.builder create 10 3 1. Lệnh này không xuất ra bất kỳ thông tin nào.

swift-ring-builder account.builder create 10 3 1

Thêm mỗi storage node vào ring bằng cách sử dụng lệnh swift-ring-builder account.builder add.

swift-ring-builder account.builder \
  add --region 1 --zone 1 --ip STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS --port 6202 \
  --device DEVICE_NAME --weight DEVICE_WEIGHT

Trong lệnh này, bạn cần thay thế STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS bằng địa chỉ IP của network management trên storage node, DEVICE_NAME bằng tên thiết bị lưu trữ trên cùng một storage node và DEVICE_WEIGHT bằng trọng số của thiết bị đó.

Ví dụ:

swift-ring-builder account.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6202 --device sdb --weight 100

Lặp lại lệnh trên cho mỗi thiết bị lưu trữ trên mỗi storage node.

shell> swift-ring-builder account.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6202 --device sdb --weight 100
Device d0r1z1-10.0.0.51:6202R10.0.0.51:6202/sdb_"" with 100.0 weight got id 0

shell> swift-ring-builder account.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6202 --device sdc --weight 100
Device d1r1z2-10.0.0.51:6202R10.0.0.51:6202/sdc_"" with 100.0 weight got id 1

shell> swift-ring-builder account.builder add \
  --region 1 --zone 2 --ip 10.0.0.52 --port 6202 --device sdb --weight 100
Device d2r1z3-10.0.0.52:6202R10.0.0.52:6202/sdb_"" with 100.0 weight got id 2

shell> swift-ring-builder account.builder add \
  --region 1 --zone 2 --ip 10.0.0.52 --port 6202 --device sdc --weight 100
Device d3r1z4-10.0.0.52:6202R10.0.0.52:6202/sdc_"" with 100.0 weight got id 3

Xác minh nội dung của ring bằng cách sử dụng lệnh swift-ring-builder account.builder.

shell> swift-ring-builder account.builder
account.builder, build version 4
1024 partitions, 3.000000 replicas, 1 regions, 2 zones, 4 devices, 100.00 balance, 0.00 dispersion
The minimum number of hours before a partition can be reassigned is 1
The overload factor is 0.00% (0.000000)
Devices:    id  region  zone      ip address  port  replication ip  replication port      name weight partitions balance meta
             0       1     1       10.0.0.51  6202       10.0.0.51              6202      sdb  100.00          0 -100.00
             1       1     1       10.0.0.51  6202       10.0.0.51              6202      sdc  100.00          0 -100.00
             2       1     2       10.0.0.52  6202       10.0.0.52              6202      sdb  100.00          0 -100.00
             3       1     2       10.0.0.52  6202       10.0.0.52              6202      sdc  100.00          0 -100.00

Rebalance ring bằng cách sử dụng lệnh swift-ring-builder account.builder rebalance.

shell> swift-ring-builder account.builder rebalance
Reassigned 1024 (100.00%) partitions. Balance is now 0.00.  Dispersion is now 0.00

Quá trình này đảm bảo rằng mỗi object được lưu trữ trên Swift được sao lưu trên nhiều thiết bị lưu trữ để đảm bảo tính sẵn sàng và độ tin cậy.

Tạo và rebalance container ring.

Dưới đây là quá trình tạo và rebalance container ring trong OpenStack Swift. Container ring được sử dụng bởi container server để duy trì danh sách các object.

Đầu tiên, bạn chuyển đến thư mục /etc/swift.

cd /etc/swift

Tạo file container.builder cơ bản bằng cách sử dụng lệnh swift-ring-builder container.builder create 10 3 1. Lệnh này không xuất ra bất kỳ thông tin nào.

swift-ring-builder container.builder create 10 3 1

Thêm mỗi storage node vào ring bằng cách sử dụng lệnh swift-ring-builder container.builder add. Trong lệnh này, bạn cần thay thế STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS bằng địa chỉ IP của mạng quản lý trên storage node, DEVICE_NAME bằng tên thiết bị lưu trữ trên cùng một storage node và DEVICE_WEIGHT bằng trọng số của thiết bị đó.

swift-ring-builder container.builder \
  add --region 1 --zone 1 --ip STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS --port 6201 \
  --device DEVICE_NAME --weight DEVICE_WEIGHT

Ví dụ:

swift-ring-builder container.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6201 --device sdb --weight 100

Lặp lại lệnh trên cho mỗi thiết bị lưu trữ trên mỗi storage node.

shell> swift-ring-builder container.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6201 --device sdb --weight 100
Device d0r1z1-10.0.0.51:6201R10.0.0.51:6201/sdb_"" with 100.0 weight got id 0

shell> swift-ring-builder container.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6201 --device sdc --weight 100
Device d1r1z2-10.0.0.51:6201R10.0.0.51:6201/sdc_"" with 100.0 weight got id 1

shell> swift-ring-builder container.builder add \
  --region 1 --zone 2 --ip 10.0.0.52 --port 6201 --device sdb --weight 100
Device d2r1z3-10.0.0.52:6201R10.0.0.52:6201/sdb_"" with 100.0 weight got id 2

shell> swift-ring-builder container.builder add \
  --region 1 --zone 2 --ip 10.0.0.52 --port 6201 --device sdc --weight 100
Device d3r1z4-10.0.0.52:6201R10.0.0.52:6201/sdc_"" with 100.0 weight got id 3

Xác minh nội dung của ring bằng cách sử dụng lệnh swift-ring-builder container.builder.

shell> swift-ring-builder container.builder
container.builder, build version 4
1024 partitions, 3.000000 replicas, 1 regions, 2 zones, 4 devices, 100.00 balance, 0.00 dispersion
The minimum number of hours before a partition can be reassigned is 1
The overload factor is 0.00% (0.000000)
Devices:    id  region  zone      ip address  port  replication ip  replication port      name weight partitions balance meta
             0       1     1       10.0.0.51  6201       10.0.0.51              6201      sdb  100.00          0 -100.00
             1       1     1       10.0.0.51  6201       10.0.0.51              6201      sdc  100.00          0 -100.00
             2       1     2       10.0.0.52  6201       10.0.0.52              6201      sdb  100.00          0 -100.00
             3       1     2       10.0.0.52  6201       10.0.0.52              6201      sdc  100.00          0 -100.00

Rebalance ring bằng cách sử dụng lệnh swift-ring-builder container.builder rebalance.

shell> swift-ring-builder container.builder rebalance
Reassigned 1024 (100.00%) partitions. Balance is now 0.00.  Dispersion is now 0.00

Quá trình này đảm bảo rằng mỗi object được lưu trữ trên Swift được sao lưu trên nhiều thiết bị lưu trữ để đảm bảo tính sẵn sàng và độ tin cậy.

Tạo và rebalance object ring.

Dưới đây là quá trình tạo và rebalance object ring trong OpenStack Swift. Object ring được sử dụng bởi object server để duy trì danh sách các vị trí object trên các thiết bị cục bộ.

Đầu tiên, bạn chuyển đến thư mục /etc/swift.

cd /etc/swift

Tạo file object.builder cơ bản bằng cách sử dụng lệnh swift-ring-builder object.builder create 10 3 1. Lệnh này không xuất ra bất kỳ thông tin nào.

swift-ring-builder object.builder create 10 3 1

Thêm mỗi storage node vào ring bằng cách sử dụng lệnh swift-ring-builder object.builder add. Trong lệnh này, bạn cần thay thế STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS bằng địa chỉ IP của mạng quản lý trên storage node, DEVICE_NAME bằng tên thiết bị lưu trữ trên cùng một storage node và DEVICE_WEIGHT bằng trọng số của thiết bị đó.

swift-ring-builder object.builder \
  add --region 1 --zone 1 --ip STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS --port 6200 \
  --device DEVICE_NAME --weight DEVICE_WEIGHT

Ví dụ:

swift-ring-builder object.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6200 --device sdb --weight 100

Lặp lại lệnh trên cho mỗi thiết bị lưu trữ trên mỗi storage node.

shell> swift-ring-builder object.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6200 --device sdb --weight 100
Device d0r1z1-10.0.0.51:6200R10.0.0.51:6200/sdb_"" with 100.0 weight got id 0

shell> swift-ring-builder object.builder add \
  --region 1 --zone 1 --ip 10.0.0.51 --port 6200 --device sdc --weight 100
Device d1r1z2-10.0.0.51:6200R10.0.0.51:6200/sdc_"" with 100.0 weight got id 1

shell> swift-ring-builder object.builder add \
  --region 1 --zone 2 --ip 10.0.0.52 --port 6200 --device sdb --weight 100
Device d2r1z3-10.0.0.52:6200R10.0.0.52:6200/sdb_"" with 100.0 weight got id 2

shell> swift-ring-builder object.builder add \
  --region 1 --zone 2 --ip 10.0.0.52 --port 6200 --device sdc --weight 100
Device d3r1z4-10.0.0.52:6200R10.0.0.52:6200/sdc_"" with 100.0 weight got id 3

Xác minh nội dung của ring bằng cách sử dụng lệnh swift-ring-builder object.builder.

shell> swift-ring-builder object.builder
object.builder, build version 4
1024 partitions, 3.000000 replicas, 1 regions, 2 zones, 4 devices, 100.00 balance, 0.00 dispersion
The minimum number of hours before a partition can be reassigned is 1
The overload factor is 0.00% (0.000000)
Devices:    id  region  zone      ip address  port  replication ip  replication port      name weight partitions balance meta
             0       1     1       10.0.0.51  6200       10.0.0.51              6200      sdb  100.00          0 -100.00
             1       1     1       10.0.0.51  6200       10.0.0.51              6200      sdc  100.00          0 -100.00
             2       1     2       10.0.0.52  6200       10.0.0.52              6200      sdb  100.00          0 -100.00
             3       1     2       10.0.0.52  6200       10.0.0.52              6200      sdc  100.00          0 -100.00

Rebalance ring bằng cách sử dụng lệnh swift-ring-builder object.builder rebalance.

shell> swift-ring-builder object.builder rebalance
Reassigned 1024 (100.00%) partitions. Balance is now 0.00.  Dispersion is now 0.00

Quá trình này đảm bảo rằng mỗi object được lưu trữ trên Swift được sao lưu trên nhiều thiết bị lưu trữ để đảm bảo tính sẵn sàng và độ tin cậy.

4. Phân phối các file cấu hình ring trong OpenStack Swift.

Các file account.ring.gz, container.ring.gz và object.ring.gz chứa thông tin về cấu trúc của ring, bao gồm vị trí của các object, container và account trên các storage node.

Sao chép các file này vào thư mục /etc/swift trên mỗi storage node và bất kỳ node nào khác đang chạy dịch vụ proxy.

scp /etc/swift/object.ring.gz /etc/swift/account.ring.gz /etc/swift/container.ring.gz root@10.0.0.51:/etc/swift
scp /etc/swift/object.ring.gz /etc/swift/account.ring.gz /etc/swift/container.ring.gz root@10.0.0.52:/etc/swift

Việc này đảm bảo rằng mỗi node trong hệ thống có thông tin cần thiết để xác định vị trí của các object, container và account, cho phép chúng phân phối yêu cầu một cách hiệu quả và đáng tin cậy.

Trên tất cả các node, đảm bảo quyền sở hữu hợp lý thư mục cấu hình.

chown -R root:swift /etc/swift

ssh root@10.0.0.51 'chown -R root:swift /etc/swift'
ssh root@10.0.0.52 'chown -R root:swift /etc/swift'