Proxmox/Ceph – Full Mesh HCI Cluster với Dynamic Routing

1. Tổng quan.

Hôm nay chúng ta bàn về việc sử dụng Proxmox, một nền tảng ảo hóa opensource mạnh mẽ và kết hợp nó với Ceph để tạo thành một nền tảng HyperConverged (HCI) mạnh mẽ. Nền tảng HCI này có khả năng cạnh tranh với các giải pháp thông dụng như của Dell, Nutanix, VMware và nó dựa trên opensource miễn phí (nhưng hỗ trợ trả phí có sẵn).

Một đặc điểm của các hệ thống HCI phân tán là cần có các kết nối tốc độ cao và dự phòng (10+ Gbps) giữa các node để sao chép dữ, lưu trữ dữ liệu liệu và migrate máy ảo (VM). Điều này có thể tạo ra rào cản đối với các doanh nghiệp nhỏ, vì họ phải mua các switch tốc độ cao đắt tiền chỉ để vận hành một cụm máy chủ 3 node nhỏ.

Mình sẽ giúp thiệu một giải pháp để giải quyết vấn đề này. Vì Proxmox chạy trên hệ điều hành Linux, nó sử dụng những khả năng vô tận của network kernel trong Linux để giải quyết vấn đề này, bằng cách sử dụng các kết nối trực tiếp giữa các node HCI.

Proxmox đã công bố một hướng dẫn về cách thực hiện điều này với một số tùy chọn mạng khác nhau. Tuy nhiên, mình cho rằng mỗi tùy chọn trong hướng dẫn đó (dựa trên STP, định tuyến tĩnh và truyền trực tiếp) đều có nhược điểm quan trọng liên quan đến việc sử dụng con đường tối ưu và tính dự phòng.

Và cuối cùng với phương pháp này của mình sẽ giải quyết vấn đề này một cách tốt hơn và dự kiến thời gian đọc và triển khai sẽ mất khoảng 15 phút để đọc và 45 phút để triển khai.

2. Phương pháp tốt hơn là gì?

Dĩ nhiên, đó là định tuyến động!

Giải pháp cốt lõi mà chúng ta cần cung cấp là một kênh giao tiếp giữa các node Proxmox/Ceph có sẵn khả năng chống lại sự cố về vật lý, ngắt cáp, vv…, và nó có khả năng truyền tải với tốc độ cao và không cần sử dụng switch vật lý đắt tiền. Trong các thuật ngữ mạng, chúng ta muốn mỗi node có một Interface/IP Address với kết nối dự phòng và nhanh chóng đến các Interface/IP Address tương ứng trên tất cả các node đồng cấp thông qua các kết nối trực tiếp.

Các thành phần mà chúng ta sẽ sử dụng để xây dựng giải pháp này bao gồm:

• OSPF (Open Shortest Path First): Chúng ta sẽ sử dụng bộ công cụ Free Range Routing (FRR) để chạy OSPF trên mỗi máy ảo (hypervisor). Điều này sẽ cung cấp cho chúng ta định tuyến động và đảm bảo lựa chọn con đường tối ưu cũng như tính dự phòng với các con đường thay thế.
• Interface Loopback: Chúng ta muốn đặt địa chỉ IP trên các interface mà không bao giờ bị ngắt kết nối, và giao diện loopback là cách để làm điều này. Chúng ta sẽ sử dụng giao diện loopback cho tất cả lưu lượng giao tiếp giữa các node Proxmox và Ceph và sẽ sử dụng các interface vật lý chỉ để thiết lập kết nối OSPF và chia sẻ tuyến đường.
• Chỉ sử dụng IPv6 trên Mạng Nội Bộ: Chúng ta chỉ sử dụng IPv6 trên mạng nội bộ của cụm. Network cluster này sẽ dành riêng cho việc giao tiếp giữa các node, trong khi mạng VM và quản lý các node trong cluster vẫn có thể sử dụng IPv4. Tuyệt đối, bạn có thể sử dụng IPv4 cho network cluster và giải pháp vẫn hoạt động, nhưng bạn sẽ bỏ lỡ một số lợi ích của việc sử dụng IPv6.

Điều quan trọng là bạn có tùy chọn để sử dụng IPv6 hoặc IPv4 trên network cluster, nhưng sử dụng IPv6 có thể mang lại một số ưu điểm cụ thể trong giải pháp này.

Chú thích về IPv4 cho Cụm:
Mình đã thêm các ghi chú vào hướng dẫn này (giống như ghi chú này) để hỗ trợ những người muốn sử dụng IPv4 trên network cluster của họ thay vì IPv6.

Tôi đã thử nghiệm nó, nó hoạt động, nhưng nó không thú vị bằng việc sử dụng chỉ IPv6 😀

3. Ưu điểm và nhược điểm của giải pháp.

Có một số lý do tốt để sử dụng chỉ IPv6 trên cụm của chúng ta.

• Liên kết local (Link-Local) giữa các node hàng xóm OSPF.
  • Không cần thiết phải đặt bất kỳ loại địa chỉ IP nào trên các interface vật lý, chỉ cần kích hoạt chúng trong OSPF và bạn sẽ được cấp 1 địa chỉ IP và có thể kết nối ngay đến hàng xóm OSPF.
• Mô hình mạng linh hoạt.
  • Vì bạn không cần đặt địa chỉ IP trên các interface vật lý, bạn có thể kết nối cáp giữa các node bất kỳ cách nào bạn muốn.
  • Bạn cũng có thể dễ dàng thêm các interface hoặc các node khác trong tương lai mà không cần phải cấu hình quá nhiều.
• Không xảy ra xung đột địa chỉ IP:
  • Sử dụng IPv6 mang lại tính linh hoạt lớn về cách bạn xác định địa chỉ của các node. Các địa chỉ IP được đặt trên node không thể sử dụng trên mạng ngoài nên bạn không sợ bị đụng IP ở bên ngoài.

Bên cạnh đó nó cũng có một số nhược điểm.

• Sự Phức Tạp Bổ Sung:
  • Sử dụng định tuyến động giữa các máy chủ Linux (hypervisor) tạo ra sự phức tạp cho hệ thống. Hãy xem xét điều này khi quyết định xem đây có phải là giải pháp đúng cho bạn hoặc khách hàng của bạn.
• Phụ thuộc vào routing Daemons:
  • Cụm lưu trữ Ceph sẽ phụ thuộc hoàn toàn vào dịch vụ định tuyến OSPF FRR để giao tiếp với các node Ceph khác. Các routing table OSPF trong bảng định tuyến sẽ bị xóa nếu dịch vụ OSPF gặp sự cố.
  • Giải pháp này được thiết kế để được cài đặt và sau đó và không nên thay đổi (ít nhất là về cấu hình network trong cụm). Nó không nên thường xuyên được thay đổi và sửa đổi. Nguy cơ ở đây chủ yếu là do lỗi phần mềm hơn là do cấu hình sai lầm tình cờ.

Mặc dù có những ưu điểm, cần lưu ý rằng giải pháp này cũng đi kèm với sự phức tạp và sự phụ thuộc vào dịch vụ định tuyến OSPF. Bạn cần xem xét các nhược điểm này trước khi quyết định triển khai nó.

4. Sơ đồ kết nối và yêu cầu.

Hướng dẫn này sẽ bắt đầu với các yêu cầu sau:

• 3 máy chủ dành cho cụm HCI (HyperConverged Infrastructure).
• Nên cài đặt version mới nhất của Proxmox phiên bản 7.1 trở lên.
• Các máy chủ đã cấu hình các repo “No-Subscription” hoặc kho repo khác có thể sử dụng được.
• Các máy chủ đã được cập nhật với các bản vá mới nhất bằng lệnh apt hoặc apt-get.
• Các máy chủ đã kết nối với mạng quản lý và bạn có quyền truy cập vào giao diện GUI của Proxmox cũng như quyền truy cập root qua SSH.
• Lưu ý:
  • Tất cả các lệnh trong hướng dẫn đang chạy dưới quyền root.
  • Các kết nối trong cụm giữa các node được kết nối theo mô hình vòng như sơ đồ.
  • Cụm Proxmox nên là nguyên bản chưa có cấu hình.
  • Ceph chưa được cài đặt hoặc chưacấu hình.
  • Các máy chủ không có máy ảo hoặc không có máy ảo nào đang chạy vì bạn có khả năng thực hiện khởi động lại, vv.

Các giá trị cụ thể.

Các giá trị cụ thể sau đây đang được sử dụng trong hướng dẫn này. Bạn sẽ cần thay thế chúng bằng các giá trị thực tế trong môi trường của bạn khi theo dõi.

• Số lượng interface trên mỗi node: 2
• Tên interface của mỗi node: ens3f0 và ens3f1
• Tên Cluster: HCI1
• Node #1:
  • Tên: pmx1
  • Tên miền đầy đủ (FQDN): pmx1.example.com
  • Địa chỉ IP quản lý Proxmox: 10.0.0.101
  • Địa chỉ IPv6 cluster: fc00::1
• Node #2:
  • Tên: pmx2
  • Tên miền đầy đủ (FQDN): pmx2.example.com
  • Địa chỉ IP quản lý Proxmox: 10.0.0.102
  • Địa chỉ IPv6 cluster: fc00::2
• Node #3:
  • Tên: pmx3
  • Tên miền đầy đủ (FQDN): pmx3.example.com
  • Địa chỉ IP quản lý Proxmox: 10.0.0.103
  • Địa chỉ IPv6 cụmcluster fc00::3

Lưu ý:
Các địa chỉ IPv6 fc00:: là Địa chỉ local bạn sẽ được tự động cấp khi kích hoạt interface và không nhất thiết phải thay thế bằng nó bằng IP khác, trừ khi bạn đang sử dụng hoặc có kế hoạch sử dụng các địa chỉ này ở nơi khác trong môi trường của bạn.

5. Hướng dẫn cài đặt.

5.1. Kích hoạt các interface.

• Trên mỗi node, đăng nhập vào giao diện GUI của Proxmox và điều hướng đến System > Network.
• Xác định các interface trong danh sách mà bạn đang sử dụng cho kết nối cluster.
  • Trong trường hợp này, chúng là ens3f0 và ens3f1.
• Chỉnh sửa các interface và đảm bảo rằng “Autostart” được chọn.
• Nhấn Apply Configuration để thực hiện thay đổi.

5.2. Cài đặt LLDP (được đề xuất, không bắt buộc).

Đăng nhập vào SSH với quyền root, sau đó cài đặt dịch vụ LLDP bằng lệnh.

apt install lldpd -y

Khi hoàn tất, chạy lệnh lldpctl để xem các node hàng xóm qua các interface kết nối cluster của bạn. Điều này đảm bảo rằng các interface của bạn đang hoạt động và được kết nối theo cách bạn muốn.

Bạn thấy một kết quả giống như sau:

root@pmx1:~# lldpctl 
-------------------------------------------------------------------------------
LLDP neighbors:
-------------------------------------------------------------------------------
Interface:    ens3f0, via: LLDP, RID: 8, Time: 0 day, 01:06:22
  Chassis:     
    ChassisID:    mac xx:xx:xx:xx:xx:xx
    SysName:      pmx3.example.com
    SysDescr:     Debian GNU/Linux 11 (bullseye) Linux 5.13.19-6-pve #1 SMP PVE 5.13.19-15 (Tue, 29 Mar 2022 15:59:50 +0200) x86_64
    MgmtIP:       10.0.0.103
    MgmtIface:    9
    Capability:   Bridge, on
    Capability:   Router, on
    Capability:   Wlan, off
    Capability:   Station, off
  Port:        
    PortID:       mac xx:xx:xx:xx:xx:xx
    PortDescr:    ens3f1
    TTL:          120
    PMD autoneg:  supported: yes, enabled: yes
      Adv:          100Base-TX, HD: no, FD: yes
      Adv:          1000Base-T, HD: no, FD: yes
      MAU oper type: 10GigBaseCX4 - X copper over 8 pair 100-Ohm balanced cable
-------------------------------------------------------------------------------
Interface:    ens3f1, via: LLDP, RID: 9, Time: 0 day, 01:06:19
  Chassis:     
    ChassisID:    mac xx:xx:xx:xx:xx:xx
    SysName:      pmx2.example.com
    SysDescr:     Debian GNU/Linux 11 (bullseye) Linux 5.13.19-6-pve #1 SMP PVE 5.13.19-15 (Tue, 29 Mar 2022 15:59:50 +0200) x86_64
    MgmtIP:       10.0.0.102
    MgmtIface:    10
    Capability:   Bridge, on
    Capability:   Router, on
    Capability:   Wlan, off
    Capability:   Station, off
  Port:        
    PortID:       mac xx:xx:xx:xx:xx:xx
    PortDescr:    ens3f0
    TTL:          120
    PMD autoneg:  supported: yes, enabled: yes
      Adv:          100Base-TX, HD: no, FD: yes
      Adv:          1000Base-T, HD: no, FD: yes
      MAU oper type: 10GigBaseCX4 - X copper over 8 pair 100-Ohm balanced cable

Điều này sẽ đảm bảo rằng các interface của bạn đang hoạt động và được kết nối đúng cách.

5.3. Tạo interface Loopback.

Trên mỗi node, sử dụng terminal SSH, chỉnh sửa file interfaces: vi /etc/network/interfaces.

Thêm thông tin interface dưới đây. Số ::1 nên đại diện cho số node của bạn (sửa thành ::2 cho node 2, ::3 cho node 3, vv.).

Đây sẽ là địa chỉ IP kết nối cluster của node này cho dịch vụ Ceph và cụm Proxmox.

auto lo:0
iface lo:0 inet static
       address fc00::1/128

Khi hoàn thành, đầu file sẽ trông như sau:

...
auto lo
iface lo inet loopback

auto lo:0
iface lo:0 inet static
        address fc00::1/128
...

Lưu lại và đóng file, sau đó khởi động lại network để áp dụng các thay đổi.

systemctl restart networking.service

Chú ý cho network cluster IPv4:
Để sử dụng IPv4 trên network cluster, bạn cần chỉ định địa chỉ IPv4 /32 cho các interface loopback thay vì địa chỉ fc00::x/128.

5.4. Kích hoạt chuyển tiếp IPv6.

Khi có một kết nối trong cluster bị hỏng, một số node sẽ cần giao tiếp với nhau thông qua việc định tuyến qua một node hàng xóm. Để cho phép điều này xảy ra, chúng ta cần kích hoạt chuyển tiếp IPv6 trong kernel Linux.

Trên mỗi node, chỉnh sửa file sysctl: vi /etc/sysctl.conf.

Bỏ dấu “#” trước dòng sau:

#net.ipv6.conf.all.forwarding=1

Để nó trở thành:

net.ipv6.conf.all.forwarding=1

Lưu lại và đóng file.

Hoặc bạn có thể thay đổi trạng thái chuyển tiếp IPv6 trực tiếp bằng lệnh.

sysctl net.ipv6.conf.all.forwarding=1

Kiểm tra xem kernel Linux đã được cài đặt để chuyển tiếp các gói IPv6.

sysctl net.ipv6.conf.all.forwarding

Kết quả đúng sẽ là: net.ipv6.conf.all.forwarding = 1.

Chú ý cho network cluster IPv4:
Ở đây, bạn sẽ sử dụng thiết lập net.ipv4.ip_forward thay vì net.ipv6.conf.all.forwarding cho network cluster IPv4.

5.5. Cấu hình.

Cài đặt Free Range Routing (FRR) OSPF.

• Trên mỗi node, cài đặt FRR bằng lệnh: apt install frr -y.
• Chỉnh sửa file cấu hình FRR bằng lệnh: vi /etc/frr/daemons.
• Điều chỉnh ospf6d=no thành ospf6d=yes và lưu file.
• Khởi động lại dịch vụ FRR bằng lệnh: systemctl restart frr.service.

Chú ý nếu sử dụng IPv4 bạn hãy thay đổi thiết lập ospfd=no ở đây thay vì ospf6d=no.

Trên mỗi node.

Dưới đây là các bước cấu hình:

• Trên mỗi node hãy vào FRR bằng cách chạy lệnh: vtysh.
• Kiểm tra cấu hình hiện tại bằng lệnh: show running-config.
• Hoặc bạn có thể list các interface hiện có băng lệnh: show interface brief.
• Vào mode cấu hình bằng cách gõ: configure.
• Áp dụng cấu hình sau đây. Số “0.0.0.1” nên đại diện cho số node của bạn. Hãy thay đổi nó thành “0.0.0.2” cho node 2, “0.0.0.3” cho node 3, và cứ tiếp tục như vậy:

ipv6 forwarding
!
router ospf6
 ospf6 router-id 0.0.0.1
 log-adjacency-changes
 exit
!
interface lo
 ipv6 ospf6 area 0
 exit
!
interface ens3f0
 ipv6 ospf6 area 0
 ipv6 ospf6 network point-to-point
 exit
!
interface ens3f1
 ipv6 ospf6 area 0
 ipv6 ospf6 network point-to-point
 exit

Nếu bạn sử dụng IPv4:

Thay vì các lệnh IPv6 ở trên, sử dụng các lệnh sau đây cho IPv4:

ip forwarding
!
router ospf
 ospf router-id 0.0.0.1
 log-adjacency-changes
 exit
!
interface lo
 ip ospf area 0
 exit
!
interface ens3f0
 ip ospf area 0
 ip ospf network point-to-point
 exit
!
interface ens3f1
 ip ospf area 0
 ip ospf network point-to-point
 exit

Thoát khỏi mode cấu hình bằng cách gõ: end.

Lưu cấu hình bằng lệnh: write memory.

Những bước này cấu hình OSPF6 (hoặc OSPF cho IPv4) trên các node của bạn. Bây giờ hãy kiểm tra neighbor OSPF6.

Để hiển thị neighbor ipv6 ospf6 sử dụng lệnh show ipv6 ospf6 neighbor.

pmx1# show ipv6 ospf6 neighbor 
Neighbor ID     Pri    DeadTime    State/IfState         Duration I/F[State]
0.0.0.3           1    00:00:36     Full/PointToPoint    01:53:14 ens3f0[PointToPoint]
0.0.0.2           1    00:00:37     Full/PointToPoint    01:53:09 ens3f1[PointToPoint]

Bạn sẽ thấy hai người neighbor trên mỗi node.

Để hiển thị routing table IPv6 trong FRR sử dụng lệnh show ipv6 route.

pmx1# show ipv6 route
Codes: K - kernel route, C - connected, S - static, R - RIPng,
       O - OSPFv3, I - IS-IS, B - BGP, N - NHRP, T - Table,
       v - VNC, V - VNC-Direct, A - Babel, F - PBR,
       f - OpenFabric,
       > - selected route, * - FIB route, q - queued, r - rejected, b - backup
       t - trapped, o - offload failure

O   fc00::1/128 [110/10] is directly connected, lo, weight 1, 00:14:18
C>* fc00::1/128 is directly connected, lo, 00:19:14
O>* fc00::2/128 [110/20] via fe80::1602:ecff:fe8f:8b98, ens3f1, weight 1, 00:12:39
O>* fc00::3/128 [110/20] via fe80::da9d:67ff:feee:2f4d, ens3f0, weight 1, 00:01:59
C * fe80::/64 is directly connected, ens3f0, 00:19:05
C * fe80::/64 is directly connected, ens3f1, 00:19:06
C>* fe80::/64 is directly connected, vmbr0, 00:19:08

Bạn sẽ thấy địa chỉ IPv6 của hàng xóm trong bảng dưới dạng các tuyến OSPF

Để thoát FRR sử dụng lệnh exit.

Hiển thị bảng định tuyến IPv6 trong Linux sử dụng lệnh ip -6 route.

root@pmx1:~# ip -6 route
::1 dev lo proto kernel metric 256 pref medium
fc00::1 dev lo proto kernel metric 256 pref medium
fc00::2 nhid 22 via fe80::1602:ecff:fe8f:8b98 dev ens3f1 proto ospf metric 20 pref medium
fc00::3 nhid 24 via fe80::da9d:67ff:feee:2f4d dev ens3f0 proto ospf metric 20 pref medium
fe80::/64 dev vmbr0 proto kernel metric 256 pref medium
fe80::/64 dev ens3f1 proto kernel metric 256 pref medium
fe80::/64 dev ens3f0 proto kernel metric 256 pref medium
root@pmx1:~#

Để kiểm tra xem kernel Linux đã được cài đặt để chuyển tiếp các gói IPv6 hay chưa, bạn có thể chạy lệnh sau: sysctl net.ipv6.conf.all.forwarding. Kết quả đúng sẽ là net.ipv6.conf.all.forwarding = 1.

Chú ý cho network cluster sử dụng IPv4.
Để cho OSPF cho IPv4 hoạt động, bạn cần đặt địa chỉ IPv4/30 trên mỗi interface dùng để kết nối vào cluster. Bạn có thể làm điều này trong Terminal hoặc GUI Proxmox.

Để kiểm tra các thông tin liên quan đến OSPF cho các lệnh trên, bạn sẽ sử dụng show ip ospf neighbor, show ip route, và ip route.

5.6. Kiểm tra định tuyến OSPF & tính dự phòng.

Sau khi bạn đã cấu hình OSPF và các interface, bạn nên thực hiện các bước kiểm tra sau:

• Ping từ mọi node đến mọi node khác.
  • Ví dụ, để kiểm tra tính dự phòng, bạn có thể thử: ping fc00::1 (thay đổi địa chỉ IP để đảm bảo bạn có thể truy cập giữa tất cả các node).
• Kiểm tra xem tất cả các node hàng xóm của bạn đã kết nối hoàn tất bằng lệnh: vtysh -c 'show ipv6 ospf6 neighbor'.
• Chọn một trong các node của bạn và tắt một trong các interface 10G của node đó. Bạn có thể sử dụng lệnh sau để tắt interface: ip link set ens3f0 down. Hoặc bạn có thể rút dây cáp mạng tương ứng. LƯU Ý: Đừng làm điều này trên tất cả các node, chỉ thử nghiệm trên 1 node cùng một thời điểm.
• Kiểm tra xem interface đã bị ngắt kết nối chưa bằng lệnh: ip link.
• Kiểm tra lại xem node hàng xóm OSPF6 đã thay đổi. Bây giờ bạn chỉ thấy một node hàng xóm trên node này bằng lệnh: vtysh -c 'show ipv6 ospf6 neighbor'.
• Tiếp tục thực hiện các lệnh ping từ mọi node đến mọi node khác, ví dụ: ping fc00::1. Nó vẫn hoạt động và bạn sẽ định tuyến qua một trong các node hàng xóm khác để truy cập tới node bị ngắt kết nối.
• Kiểm tra bảng định tuyến của bạn bằng lệnh: ip -6 route bạn sẽ thấy bảng định tuyến đã thay đổi so với trước đó.
• Để khôi phục interface bị tắt, bạn có thể sử dụng lệnh: ip link set ens3f0 up hoặc cắm lại cáp mạng. Bảng định tuyến sẽ thay đổi lại sau khoảng 15 giây.
• Cuối cùng, kiểm tra lại bằng cách ping từ mọi node đến mọi node khác một lần nữa để đảm bảo hệ thống hoạt động bình thường: ping fc00::1.

Những bước kiểm tra này sẽ giúp bạn đảm bảo tính dự phòng và hoạt động của hệ thống OSPF.

5.7. Cập nhật file hosts.

Sử dụng lệnh sau để chỉnh sửa file hosts: nano /etc/hosts.

Thêm các dòng sau vào file:

fc00::1 pmx1.example.com pmx1
fc00::2 pmx2.example.com pmx2
fc00::3 pmx3.example.com pmx3

Ping từng máy chủ bằng tên và đảm bảo địa chỉ IPv6 được sử dụng.

Bạn nên khởi động lại các máy chủ và có thể sử dụng lệnh sau để khởi động lại: reboot.

Sau khi máy chủ khởi động xong, hãy ping từng máy chủ bằng tên và đảm bảo địa chỉ IPv6 được sử dụng.

Thực hiện lại tất cả các bài kiểm tra về định tuyến và tính dự phòng như đã mô tả ở trên để đảm bảo rằng việc khởi động lại không gây sự cố nào.

5.8. Xây dựng Cụm Ceph:

• Cài đặt Ceph trên pmx1 từ giao diện GUI Proxmox. Không cài đặt Ceph trên các node khác lúc này.
• Trong quá trình cấu hình, hãy đặt địa chỉ fc00::1/128 làm mạng public network và network cluster
• Hoàn tất việc cấu hình trên node đầu tiên.
• Sửa file cấu hình Ceph trên node đầu tiên bằng lệnh: vi /etc/ceph/ceph.conf.
• Thay đổi hai dòng sau:

cluster_network = fc00::1/128
public_network = fc00::1/128

Thành:

cluster_network = fc00::/64
public_network = fc00::/64

Lưu file và thoát khỏi vi.

Khởi động lại Ceph trên node đầu tiên bằng lệnh:

systemctl restart ceph.target

Cài đặt và cấu hình Ceph trên các node còn lại.

6. Hoàn tất.

Khi đã hoàn thành các bước trên, bạn sẽ có thể thêm ổ cứng dạng OSD (Object Storage Daemon) vào cụm Ceph thông qua giao diện GUI của Proxmox hoặc cách khác mà bạn muốn.

Cụm của bạn sẽ chống chịu được việc các node bị tắt, các liên kết bị ngắt kết nối và nhiều tình huống khác.

Bạn cũng sẽ có khả năng quản lý một node đã mất kết nối quản lý thông qua việc truy cập nó qua một node khác (dịch vụ cụm Proxmox Corosync sử dụng network ring theo mặc định).

Bây giờ bạn có thể bắt đầu triển khai các máy ảo.

Chúc may mắn!

Tài liệu tham khảo: https://packetpushers.net/proxmox-ceph-full-mesh-hci-cluster-w-dynamic-routing/