1. Tổng quan.
Phần này sẽ hướng dẫn quá trình tạo và phân phối ring
ban đầu trong OpenStack Swift, một dịch vụ lưu trữ đối tượng phân tán. Ring
ở đây không phải là nhẫn
mà là một cấu trúc dữ liệu được sử dụng bởi Swift để quản lý vị trí lưu trữ của các object.
Tài liệu tham khảo: https://docs.openstack.org/swift/latest/install/
Swift sử dụng một cấu trúc phân cấp ba tầng để lưu trữ dữ liệu: account -> container -> object. Một tài khoản chứa các container, và mỗi container chứa các object
Account ring
quản lý vị trí lưu trữ của các tài khoản (đây không phải là tài khoản người dùng mà là tài khoản quản lý vị trí lưu trữ của các container chứa object).Container ring
quản lý vị trí lưu trữ của các container.Object ring
quản lý vị trí lưu trữ của các object.
Quá trình này bao gồm việc tạo các file cấu hình mà mỗi node sử dụng để xác định và triển khai kiến trúc lưu trữ.
Trong OpenStack Swift, dữ liệu được lưu trữ theo một cấu trúc phân cấp nhất định để đảm bảo tính sẵn sàng và độ tin cậy. Đây là một giải thích ngắn gọn về các thuật ngữ bạn đã đề cập:
- Region: Đây là một khu vực địa lý lớn, chẳng hạn như một quốc gia hoặc một lục địa. Một Region có thể chứa nhiều Zones.
- Zone: Đây là một phần nhỏ hơn của một Region, chẳng hạn như một trung tâm dữ liệu hoặc một tầng của trung tâm dữ liệu. Một Zone có thể chứa nhiều phân vùng (partitions).
- Partition: Đây là một đơn vị lưu trữ nhỏ nhất trong Swift. Mỗi object được lưu trữ trong một Partition. Số lượng tối đa của các Partition là 2^10 (1024).
- Replica: Đây là một bản sao của dữ liệu. Trong trường hợp này, mỗi object có 3 bản sao (replicas) để đảm bảo rằng dữ liệu không bị mất nếu một phần của hệ thống gặp sự cố.
- Thời gian tối thiểu giữa các lần di chuyển phân vùng: Điều này có nghĩa là một phân vùng không được di chuyển nhiều hơn một lần trong một khoảng thời gian tối thiểu là một giờ. Điều này giúp ngăn chặn việc di chuyển dữ liệu quá nhiều, có thể gây ra tình trạng quá tải cho hệ thống.
Trong hướng dẫn này, hệ thống sử dụng một khu vực (region) và hai vùng (zones) với tối đa 2^10 (1024) phân vùng, 3 bản replica của mỗi object và thời gian tối thiểu 1 giờ giữa các lần di chuyển một phân vùng nhiều hơn một lần.
Trong OpenStack Swift một phân vùng (partition) không phải là một phân vùng đĩa cứng thông thường mà chúng ta thường nghĩ đến (như một phân vùng NTFS hoặc EXT4 trên một ổ đĩa cứng). Thay vào đó, một phân vùng trong Swift là một thư mục trên một thiết bị lưu trữ, nơi mà các object (các file) được lưu trữ.
Swift sử dụng một cấu trúc phân cấp để lưu trữ dữ liệu account -> container -> object
. Mỗi object được lưu trữ trong một phân vùng và mỗi phân vùng là một thư mục trên một thiết bị lưu trữ.
Ví dụ, nếu bạn có một object tên là my_photo.jpg trong một container tên là my_photos và container này thuộc về tài khoản my_account, thì object này có thể được lưu trữ trong một phân vùng như sau: /srv/node/sdb1/123/my_account/my_photos/my_photo.jpg
, vậy /srv/node/sdb1/123
chính là phân vùng.
2. Các bước thực hiện.
Các bước này nên được thực hiện trên controller node
.
Tạo và rebalance account ring.
Dưới đây là quá trình tạo và rebalance account ring
trong OpenStack Swift. Account ring
được sử dụng bởi account server
để duy trì danh sách các container.
Đầu tiên, bạn chuyển đến thư mục /etc/swift
.
cd /etc/swift
Tạo file account.builder cơ bản bằng cách sử dụng lệnh swift-ring-builder account.builder create 10 3 1
. Lệnh này không xuất ra bất kỳ thông tin nào.
swift-ring-builder account.builder create 10 3 1
Thêm mỗi storage node vào ring bằng cách sử dụng lệnh swift-ring-builder account.builder add
.
swift-ring-builder account.builder \
add --region 1 --zone 1 --ip STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS --port 6202 \
--device DEVICE_NAME --weight DEVICE_WEIGHT
Trong lệnh này, bạn cần thay thế STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS
bằng địa chỉ IP của network management trên storage node, DEVICE_NAME
bằng tên thiết bị lưu trữ trên cùng một storage node và DEVICE_WEIGHT
bằng trọng số của thiết bị đó.
Ví dụ:
swift-ring-builder account.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6202 --device sdb --weight 100
Lặp lại lệnh trên cho mỗi thiết bị lưu trữ trên mỗi storage node.
shell> swift-ring-builder account.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6202 --device sdb --weight 100
Device d0r1z1-10.0.0.51:6202R10.0.0.51:6202/sdb_"" with 100.0 weight got id 0
shell> swift-ring-builder account.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6202 --device sdc --weight 100
Device d1r1z2-10.0.0.51:6202R10.0.0.51:6202/sdc_"" with 100.0 weight got id 1
shell> swift-ring-builder account.builder add \
--region 1 --zone 2 --ip 10.0.0.52 --port 6202 --device sdb --weight 100
Device d2r1z3-10.0.0.52:6202R10.0.0.52:6202/sdb_"" with 100.0 weight got id 2
shell> swift-ring-builder account.builder add \
--region 1 --zone 2 --ip 10.0.0.52 --port 6202 --device sdc --weight 100
Device d3r1z4-10.0.0.52:6202R10.0.0.52:6202/sdc_"" with 100.0 weight got id 3
Xác minh nội dung của ring bằng cách sử dụng lệnh swift-ring-builder account.builder
.
shell> swift-ring-builder account.builder
account.builder, build version 4
1024 partitions, 3.000000 replicas, 1 regions, 2 zones, 4 devices, 100.00 balance, 0.00 dispersion
The minimum number of hours before a partition can be reassigned is 1
The overload factor is 0.00% (0.000000)
Devices: id region zone ip address port replication ip replication port name weight partitions balance meta
0 1 1 10.0.0.51 6202 10.0.0.51 6202 sdb 100.00 0 -100.00
1 1 1 10.0.0.51 6202 10.0.0.51 6202 sdc 100.00 0 -100.00
2 1 2 10.0.0.52 6202 10.0.0.52 6202 sdb 100.00 0 -100.00
3 1 2 10.0.0.52 6202 10.0.0.52 6202 sdc 100.00 0 -100.00
Rebalance ring bằng cách sử dụng lệnh swift-ring-builder account.builder rebalance
.
shell> swift-ring-builder account.builder rebalance
Reassigned 1024 (100.00%) partitions. Balance is now 0.00. Dispersion is now 0.00
Quá trình này đảm bảo rằng mỗi object được lưu trữ trên Swift được sao lưu trên nhiều thiết bị lưu trữ để đảm bảo tính sẵn sàng và độ tin cậy.
Tạo và rebalance container ring.
Dưới đây là quá trình tạo và rebalance container ring trong OpenStack Swift. Container ring được sử dụng bởi container server để duy trì danh sách các object.
Đầu tiên, bạn chuyển đến thư mục /etc/swift
.
cd /etc/swift
Tạo file container.builder cơ bản bằng cách sử dụng lệnh swift-ring-builder container.builder create 10 3 1
. Lệnh này không xuất ra bất kỳ thông tin nào.
swift-ring-builder container.builder create 10 3 1
Thêm mỗi storage node vào ring bằng cách sử dụng lệnh swift-ring-builder container.builder add
. Trong lệnh này, bạn cần thay thế STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS
bằng địa chỉ IP của mạng quản lý trên storage node, DEVICE_NAME
bằng tên thiết bị lưu trữ trên cùng một storage node và DEVICE_WEIGHT
bằng trọng số của thiết bị đó.
swift-ring-builder container.builder \
add --region 1 --zone 1 --ip STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS --port 6201 \
--device DEVICE_NAME --weight DEVICE_WEIGHT
Ví dụ:
swift-ring-builder container.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6201 --device sdb --weight 100
Lặp lại lệnh trên cho mỗi thiết bị lưu trữ trên mỗi storage node.
shell> swift-ring-builder container.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6201 --device sdb --weight 100
Device d0r1z1-10.0.0.51:6201R10.0.0.51:6201/sdb_"" with 100.0 weight got id 0
shell> swift-ring-builder container.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6201 --device sdc --weight 100
Device d1r1z2-10.0.0.51:6201R10.0.0.51:6201/sdc_"" with 100.0 weight got id 1
shell> swift-ring-builder container.builder add \
--region 1 --zone 2 --ip 10.0.0.52 --port 6201 --device sdb --weight 100
Device d2r1z3-10.0.0.52:6201R10.0.0.52:6201/sdb_"" with 100.0 weight got id 2
shell> swift-ring-builder container.builder add \
--region 1 --zone 2 --ip 10.0.0.52 --port 6201 --device sdc --weight 100
Device d3r1z4-10.0.0.52:6201R10.0.0.52:6201/sdc_"" with 100.0 weight got id 3
Xác minh nội dung của ring bằng cách sử dụng lệnh swift-ring-builder container.builder
.
shell> swift-ring-builder container.builder
container.builder, build version 4
1024 partitions, 3.000000 replicas, 1 regions, 2 zones, 4 devices, 100.00 balance, 0.00 dispersion
The minimum number of hours before a partition can be reassigned is 1
The overload factor is 0.00% (0.000000)
Devices: id region zone ip address port replication ip replication port name weight partitions balance meta
0 1 1 10.0.0.51 6201 10.0.0.51 6201 sdb 100.00 0 -100.00
1 1 1 10.0.0.51 6201 10.0.0.51 6201 sdc 100.00 0 -100.00
2 1 2 10.0.0.52 6201 10.0.0.52 6201 sdb 100.00 0 -100.00
3 1 2 10.0.0.52 6201 10.0.0.52 6201 sdc 100.00 0 -100.00
Rebalance ring bằng cách sử dụng lệnh swift-ring-builder container.builder rebalance
.
shell> swift-ring-builder container.builder rebalance
Reassigned 1024 (100.00%) partitions. Balance is now 0.00. Dispersion is now 0.00
Quá trình này đảm bảo rằng mỗi object được lưu trữ trên Swift được sao lưu trên nhiều thiết bị lưu trữ để đảm bảo tính sẵn sàng và độ tin cậy.
Tạo và rebalance object ring.
Dưới đây là quá trình tạo và rebalance object ring
trong OpenStack Swift. Object ring
được sử dụng bởi object server để duy trì danh sách các vị trí object trên các thiết bị cục bộ.
Đầu tiên, bạn chuyển đến thư mục /etc/swift
.
cd /etc/swift
Tạo file object.builder cơ bản bằng cách sử dụng lệnh swift-ring-builder object.builder create 10 3 1
. Lệnh này không xuất ra bất kỳ thông tin nào.
swift-ring-builder object.builder create 10 3 1
Thêm mỗi storage node vào ring bằng cách sử dụng lệnh swift-ring-builder object.builder add
. Trong lệnh này, bạn cần thay thế STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS
bằng địa chỉ IP của mạng quản lý trên storage node, DEVICE_NAME
bằng tên thiết bị lưu trữ trên cùng một storage node và DEVICE_WEIGHT
bằng trọng số của thiết bị đó.
swift-ring-builder object.builder \
add --region 1 --zone 1 --ip STORAGE_NODE_MANAGEMENT_INTERFACE_IP_ADDRESS --port 6200 \
--device DEVICE_NAME --weight DEVICE_WEIGHT
Ví dụ:
swift-ring-builder object.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6200 --device sdb --weight 100
Lặp lại lệnh trên cho mỗi thiết bị lưu trữ trên mỗi storage node.
shell> swift-ring-builder object.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6200 --device sdb --weight 100
Device d0r1z1-10.0.0.51:6200R10.0.0.51:6200/sdb_"" with 100.0 weight got id 0
shell> swift-ring-builder object.builder add \
--region 1 --zone 1 --ip 10.0.0.51 --port 6200 --device sdc --weight 100
Device d1r1z2-10.0.0.51:6200R10.0.0.51:6200/sdc_"" with 100.0 weight got id 1
shell> swift-ring-builder object.builder add \
--region 1 --zone 2 --ip 10.0.0.52 --port 6200 --device sdb --weight 100
Device d2r1z3-10.0.0.52:6200R10.0.0.52:6200/sdb_"" with 100.0 weight got id 2
shell> swift-ring-builder object.builder add \
--region 1 --zone 2 --ip 10.0.0.52 --port 6200 --device sdc --weight 100
Device d3r1z4-10.0.0.52:6200R10.0.0.52:6200/sdc_"" with 100.0 weight got id 3
Xác minh nội dung của ring bằng cách sử dụng lệnh swift-ring-builder object.builder
.
shell> swift-ring-builder object.builder
object.builder, build version 4
1024 partitions, 3.000000 replicas, 1 regions, 2 zones, 4 devices, 100.00 balance, 0.00 dispersion
The minimum number of hours before a partition can be reassigned is 1
The overload factor is 0.00% (0.000000)
Devices: id region zone ip address port replication ip replication port name weight partitions balance meta
0 1 1 10.0.0.51 6200 10.0.0.51 6200 sdb 100.00 0 -100.00
1 1 1 10.0.0.51 6200 10.0.0.51 6200 sdc 100.00 0 -100.00
2 1 2 10.0.0.52 6200 10.0.0.52 6200 sdb 100.00 0 -100.00
3 1 2 10.0.0.52 6200 10.0.0.52 6200 sdc 100.00 0 -100.00
Rebalance ring bằng cách sử dụng lệnh swift-ring-builder object.builder rebalance
.
shell> swift-ring-builder object.builder rebalance
Reassigned 1024 (100.00%) partitions. Balance is now 0.00. Dispersion is now 0.00
Quá trình này đảm bảo rằng mỗi object được lưu trữ trên Swift được sao lưu trên nhiều thiết bị lưu trữ để đảm bảo tính sẵn sàng và độ tin cậy.
4. Phân phối các file cấu hình ring trong OpenStack Swift.
Các file account.ring.gz
, container.ring.gz
và object.ring.gz
chứa thông tin về cấu trúc của ring, bao gồm vị trí của các object, container và account trên các storage node.
Sao chép các file này vào thư mục /etc/swift
trên mỗi storage node và bất kỳ node nào khác đang chạy dịch vụ proxy.
scp /etc/swift/object.ring.gz /etc/swift/account.ring.gz /etc/swift/container.ring.gz root@10.0.0.51:/etc/swift
scp /etc/swift/object.ring.gz /etc/swift/account.ring.gz /etc/swift/container.ring.gz root@10.0.0.52:/etc/swift
Việc này đảm bảo rằng mỗi node trong hệ thống có thông tin cần thiết để xác định vị trí của các object, container và account, cho phép chúng phân phối yêu cầu một cách hiệu quả và đáng tin cậy.
Trên tất cả các node, đảm bảo quyền sở hữu hợp lý thư mục cấu hình.
chown -R root:swift /etc/swift
ssh root@10.0.0.51 'chown -R root:swift /etc/swift'
ssh root@10.0.0.52 'chown -R root:swift /etc/swift'