Upgrading Ceph Cluster

Để đảm bảo tính ổn định, hiệu suất và bảo mật của cluster Ceph, là quan trọng để nâng cấp các phiên bản Ceph trên tất cả các node trong cluster, đảm bảo rằng chúng đồng nhất với nhau. Quá trình nâng cấp cần được thực hiện cẩn thận và tuân theo hướng dẫn từ nhà cung cấp hoặc bản phân phối Ceph của bạn để đảm bảo tính ổn định và tính tương thích của cluster. Nếu các phiên bản Ceph trong các node trong cluster không đồng nhất, có thể xảy ra các vấn đề sau:

Không tương thích: Ceph phiên bản cũ và phiên bản mới có thể không tương thích với nhau. Điều này có thể dẫn đến sự không ổn định hoặc lỗi trong hoạt động của cluster. Các tính năng mới không thể hoạt động và các cải tiến hiệu suất cũng không được áp dụng.
Lỗi và vấn đề bảo mật: Các phiên bản Ceph cũ có thể chứa lỗi hoặc vấn đề bảo mật đã được khắc phục trong các phiên bản mới hơn. Khi các node trong cluster không được cập nhật, rủi ro về lỗi và bảo mật tăng lên, có thể gây ra sự mất an toàn hoặc sự cố hoạt động.
Hiệu suất kém: Các phiên bản Ceph mới thường đi kèm với cải tiến hiệu suất và tối ưu hóa. Khi không có quá trình nâng cấp, các node vẫn sử dụng phiên bản cũ sẽ không thể tận dụng được các cải tiến này, dẫn đến hiệu suất kém hơn và khả năng xử lý giảm đi.
Sự không đồng nhất và sự cố hệ thống: Khi các node trong cluster chạy các phiên bản khác nhau, sự không đồng nhất có thể gây ra sự cố hệ thống, giao tiếp không đúng cách hoặc hiểu lầm giữa các node. Điều này có thể dẫn đến mất đồng bộ dữ liệu, gián đoạn hoạt động và gây ra sự cố nghiêm trọng trong cluster.

Ví dụ dưới đây của mình đang có 5 Node với 3 Node đầu chạy Ceph (pve-node1.hoanghd.com, pve-node2.hoanghd.com và pve-node3.hoanghd.com).

Hiện tại Các Node chạy Ceph của mình đang có phiên bản lệch nhau cụ thể như sau:

pve-node1.hoanghd.com đang chạy phiên bản mới nhất ceph version 16.2.13 pacific (stable).
pve-node2.hoanghd.com và pve-node3.hoanghd.com đang chạy phiên bản cũ hơn ceph version 16.2.11 pacific (stable).

Nếu bạn sử dụng Ceph chạy trên Proxmox bạn sẽ thấy các cảnh báo there are daemons running an older version of ceph, cảnh báo Health Warning.

Nếu ban bám vào pve-node1.hoanghd.com đang chạy Version mới nhất, Ceph yêu cầu Node này phải khởi động lại.

Tương tự bấm vào pve-node2.hoanghd.com hoặc pve-node3.hoanghd.com do đang chạy phiên bản cũ hơn so với pve-node1.hoanghd.com nên Ceph sẽ yêu cầu upgrade phiên bản cho 2 Node này lên cao nhất hoặc bằng phiên bản với pve-node1.hoanghd.com và sau khi upgrade xong hãy khởi động lại Node.

Bạn có thể xem trên command line bạn cũng nhận được các cảnh báo tương tự.

Do hình chụp không rõ nên mình sẽ copy và dán nội dung mình show ở trên vào dưới đây để các bạn nhìn rõ hơn.

Cảnh báo trên pve-node1.hoanghd.com.

root@pve-node1:~# ceph -s
  cluster:
    id:     1d447334-e065-4745-b494-99bc76c7dff8
    health: HEALTH_WARN
            There are daemons running an older version of ceph
 
  services:
    mon: 3 daemons, quorum pve-node2,pve-node1,pve-node3 (age 5d)
    mgr: pve-node2(active, since 9d), standbys: pve-node3, pve-node1
    mds: 1/1 daemons up, 2 standby
    osd: 17 osds: 17 up (since 5d), 17 in (since 13d)
 
  data:
    volumes: 1/1 healthy
    pools:   5 pools, 129 pgs
    objects: 28.56k objects, 103 GiB
    usage:   315 GiB used, 15 TiB / 15 TiB avail
    pgs:     129 active+clean
 
  io:
    client:   0 B/s rd, 143 KiB/s wr, 0 op/s rd, 12 op/s wr

Phiên bản Ceph trên pve-node1.hoanghd.com

root@pve-node1:~# ceph --version
ceph version 16.2.13 (b81a1d7f978c8d41cf452da7af14e190542d2ee2) pacific (stable)

Cảnh báo trên pve-node2.hoanghd.com.

root@pve-node2:~# ceph -s
  cluster:
    id:     1d447334-e065-4745-b494-99bc76c7dff8
    health: HEALTH_WARN
            There are daemons running an older version of ceph
 
  services:
    mon: 3 daemons, quorum pve-node2,pve-node1,pve-node3 (age 5d)
    mgr: pve-node2(active, since 9d), standbys: pve-node3, pve-node1
    mds: 1/1 daemons up, 2 standby
    osd: 17 osds: 17 up (since 5d), 17 in (since 13d)
 
  data:
    volumes: 1/1 healthy
    pools:   5 pools, 129 pgs
    objects: 28.56k objects, 103 GiB
    usage:   315 GiB used, 15 TiB / 15 TiB avail
    pgs:     129 active+clean
 
  io:
    client:   0 B/s rd, 143 KiB/s wr, 0 op/s rd, 12 op/s wr

Phiên bản Ceph trên pve-node2.hoanghd.com

root@pve-node2:~# ceph --version
ceph version 16.2.11 (578f8e68e41b0a98523d0045ef6db90ce6f2e5ab) pacific (stable)

Cảnh báo trên pve-node3.hoanghd.com.

root@pve-node3:~# ceph -s
  cluster:
    id:     1d447334-e065-4745-b494-99bc76c7dff8
    health: HEALTH_WARN
            There are daemons running an older version of ceph
 
  services:
    mon: 3 daemons, quorum pve-node2,pve-node1,pve-node3 (age 5d)
    mgr: pve-node2(active, since 9d), standbys: pve-node3, pve-node1
    mds: 1/1 daemons up, 2 standby
    osd: 17 osds: 17 up (since 5d), 17 in (since 13d)
 
  data:
    volumes: 1/1 healthy
    pools:   5 pools, 129 pgs
    objects: 28.56k objects, 103 GiB
    usage:   315 GiB used, 15 TiB / 15 TiB avail
    pgs:     129 active+clean
 
  io:
    client:   0 B/s rd, 143 KiB/s wr, 0 op/s rd, 12 op/s wr

Phiên bản Ceph trên pve-node3.hoanghd.com

root@pve-node3:~# ceph --version                                                                                                                                                                                             ──
ceph version 16.2.11 (578f8e68e41b0a98523d0045ef6db90ce6f2e5ab) pacific (stable

Sau khi view hệ thống xong, bạn tiến hành nâng cấp cho các Node đang chạy Ceph cũ theo quy trình sau. Có 2 cách để nâng cấp đó là sử dụng apt install hoặc apt upgrade. Mình sẽ sử dụng 2 cách này lần lượt cho 2 Node 2 và Node 3 như sau:

pve-node2.hoanghd.com mình sử dụng apt install. Đầu tiên bạn hãy dùng lệnh apt show ceph để kiểm tra xem khi dùng lệnh apt install thì Ceph sẽ được cài ở phiên bản nào, có mới nhất chưa hay có trùng Version với pve-node1.hoanghd.com hay không.

root@pve-node2:~# apt show ceph
Package: ceph
Version: 16.2.13-pve1
Priority: optional
Section: admin
Maintainer: Ceph Maintainers <ceph-maintainers@lists.ceph.com>
Installed-Size: 14.3 kB
Depends: ceph-mgr (= 16.2.13-pve1), ceph-mon (= 16.2.13-pve1), ceph-osd (= 16.2.13-pve1)
Recommends: ceph-mds (= 16.2.13-pve1)
Homepage: http://ceph.com/
Download-Size: 9,208 B
APT-Sources: http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 Packages
Description: distributed storage and file system
 Ceph is a massively scalable, open-source, distributed
 storage system that runs on commodity hardware and delivers object,
 block and file system storage.

N: There are 9 additional records. Please use the '-a' switch to see them.

Sau khi xác định được version hợp lệ, bạn sử dụng lệnh dưới để tiến hành cài đặt lại Ceph.

apt install ceph -y

Sau khi cài đặt xong, bạn sẽ thấy Ceph của pve-node2.hoanghd.com đã được nâng lên phiên bản cao hơn rồi.

root@pve-node2:~# ceph --version
ceph version 16.2.13 (b81a1d7f978c8d41cf452da7af14e190542d2ee2) pacific (stable)

Khi kiểm tra trên Proxmox bạn cũng thấy pve-node2.hoanghd.com đã được chuyển sang biểu tượng nâng cấp thành công và chờ khởi động lại Node.

Với pve-node3.hoanghd.com mình sử dụng apt upgrade. Tương tự như pve-node2.hoanghd.com thì đầu tiên bạn hãy dùng lệnh apt show ceph để kiểm tra xem khi dùng lệnh apt install thì Ceph sẽ được cài ở phiên bản nào, có mới nhất chưa hay có trùng Version với pve-node1.hoanghd.com hay không.

root@pve-node3:~# apt show ceph
Package: ceph
Version: 16.2.13-pve1
Priority: optional
Section: admin
Maintainer: Ceph Maintainers <ceph-maintainers@lists.ceph.com>
Installed-Size: 14.3 kB
Depends: ceph-mgr (= 16.2.13-pve1), ceph-mon (= 16.2.13-pve1), ceph-osd (= 16.2.13-pve1)
Recommends: ceph-mds (= 16.2.13-pve1)
Homepage: http://ceph.com/
Download-Size: 9,208 B
APT-Sources: http://download.proxmox.com/debian/ceph-pacific bullseye/main amd64 Packages
Description: distributed storage and file system
 Ceph is a massively scalable, open-source, distributed
 storage system that runs on commodity hardware and delivers object,
 block and file system storage.

N: There are 9 additional records. Please use the '-a' switch to see them.

Sau khi xác định được version hợp lệ, bạn sử dụng lệnh dưới để tiến hành nâng cấp Ceph bằng lệnh dưới.

apt upgrade ceph -y

Sau khi nâng cấp xong, bạn sẽ thấy Ceph của pve-node3.hoanghd.com đã được nâng lên phiên bản cao hơn rồi.

root@pve-node3:~# ceph --version
ceph version 16.2.13 (b81a1d7f978c8d41cf452da7af14e190542d2ee2) pacific (stable)

Kiểm tra trên Proxmox bạn cũng thấy cả 3 Node trong cụm Ceph đều đã được nâng cấp lên version mới hơn và chờ khởi động lại.

Nếu bạn bấm vào một Node bất kỳ bạn sẽ thấy yêu cầu khởi động lại Node sau khi Upgrade.

Bây giờ mình sẽ khởi động lại lần lượt các Node, đầu tiên là Node 1 – pve-node1.hoanghd.com. Bạn có thể vào shutdown từng VM hoặc CT trên Node này hoặc nếu bạn chủ động dùng lệnh shutdown Node ví dụ như init 6,… thì VM hoặc CT chúng sẽ được tắt đúng quy trình nhé. Sau khu shutdown xong các máy ảo đang chạy trong Node thì Node mới thực sự khởi động lại.