So sánh ZFS, LDISKFS và mdadm khi triển khai Lustre

1. Tổng quan.

Khi xây dựng một hệ thống lưu trữ phân tán với Lustre, việc lựa chọn backend lưu trữ là bước đầu tiên và cực kỳ quan trọng.

Có 3 lựa chọn phổ biến bạn sẽ thường gặp:

• ZFS: file system hiện đại, tích hợp RAID, snapshot, kiểm tra lỗi.
• LDISKFS (Ext4): backend truyền thống của Lustre, đơn giản và quen thuộc.
• RAID mềm với mdadm + LDISKFS: giải pháp trung hòa, tận dụng RAID mềm và file system đơn giản.

Mỗi lựa chọn đều có ưu và nhược điểm riêng. Trong bài viết này, mình sẽ so sánh chi tiết, đưa ra ví dụ minh họa và cả sơ đồ hoạt động để bạn dễ hình dung.

2. Dùng Lustre với ZFS

ZFS không chỉ là một file system mà còn là một hệ thống quản lý ổ đĩa toàn diện. Nó cho phép bạn gộp nhiều ổ cứng vật lý lại thành một “pool” ảo, cấu hình RAID, snapshot, gửi/nhận bản sao…

✅ Ưu điểm:

• Tích hợp RAID (RAIDZ, mirror)
  → Không cần controller RAID phần cứng.
• Có snapshot, gửi/nhận dữ liệu (send/recv)
  → Phù hợp cho việc backup hoặc replication giữa các server.
• Checksumming chống silent data corruption
  → Giúp phát hiện và sửa lỗi dữ liệu tự động.
• Gom nhiều ổ nhỏ, khác dung lượng lại với nhau dễ dàng

❌ Nhược điểm:

• Cài đặt phức tạp hơn
  → Phải cài thêm ZFS, nạp module kernel (không có sẵn như ext4).
• Tốn RAM
  → Cần tối thiểu 8 GB RAM, nhưng lý tưởng là 16–32 GB+.
• Khó tuning nếu chưa quen
  → Tham số như recordsize, ashift, ARC/L2ARC cần hiểu rõ khi tối ưu.

📌 Ví dụ sơ đồ hệ thống ZFS backend:

+----------------------------------------+
|             Lustre OSS                |
|    (ZFS backend: zpool -> dataset)     |
+----------------------------------------+
| zpool: tank                            |
|   |- mirror 1: /dev/sda + /dev/sdb     |
|   |- mirror 2: /dev/sdc + /dev/sdd     |
|   |- Dataset: myfs-OST0000             |
+----------------------------------------+

3. Dùng Lustre với LDISKFS (Ext4-based)

Đây là cách triển khai truyền thống nhất và đơn giản nhất. LDISKFS thực chất là ext4 được tùy biến để hỗ trợ Lustre.

✅ Ưu điểm:

• Cài đặt cực đơn giản
  → Không cần build module, chỉ cần định dạng ext4 (ldiskfs).
• Tương thích cực tốt với Lustre
  → Vì đây là backend “gốc” được hỗ trợ lâu dài.
• Tiết kiệm RAM
  → Chạy ổn với 4–8 GB RAM cho mỗi OSS.
• Dễ monitoring và troubleshooting
  → Dùng công cụ Linux chuẩn (fsck, iostat, mount, dmesg…)

❌ Nhược điểm:

• Không có RAID/snapshot tích hợp
  → Phải dùng mdadm, LVM, hoặc controller RAID phần cứng riêng.
• Không có cơ chế tự sửa lỗi
  → Không có checksumming đầu-cuối như ZFS.

📌 Ví dụ cấu hình LDISKFS đơn giản:

+---------------------------+
|       Lustre OSS         |
|   Backend: LDISKFS/ext4  |
+---------------------------+
| /dev/md0 (RAID1)         |
|   |- Format ext4         |
|   |- Mount /mnt/ost0     |
|   |- mkfs.lustre ...     |
+---------------------------+

4. Dùng RAID mềm mdadm + LDISKFS

Nếu bạn không có controller RAID phần cứng, nhưng cũng không muốn dùng ZFS, thì RAID mềm mdadm là lựa chọn rất hợp lý.

✅ Ưu điểm:

• Không phụ thuộc ZFS hoặc phần cứng RAID
• Dễ triển khai trên mọi distro Linux
• Tách biệt rõ ràng: RAID là RAID, filesystem là filesystem

❌ Nhược điểm:

• Không có tính năng snapshot
• Không tự phát hiện/sửa lỗi như ZFS
• Cần giám sát RAID riêng (mdadm monitor/mail)

📌 Ví dụ sơ đồ sử dụng mdadm:

+---------------------------------+
|       Lustre OSS                |
+---------------------------------+
| mdadm --create /dev/md0 RAID5   |
|  + /dev/sda                     |
|  + /dev/sdb                     |
|  + /dev/sdc                     |
+---------------------------------+
| mkfs.lustre --fsname=myfs ...  |
| mount /dev/md0 /mnt/ost0       |
+---------------------------------+

🔍 So sánh nhanh các giải pháp:

💡 Khi nào nên chọn cái nào?

5. Nếu ở môi trường LAB.

Nếu bạn chỉ muốn cài đặt Lustre để thử nghiệm, lab nội bộ hoặc học cách hoạt động, thì bạn không bắt buộc phải dùng ZFS, mdadm hay RAID gì cả.

✅ Trong trường hợp chỉ để test, bạn có thể:

• Dùng ổ đĩa thường (hoặc file loop device) rồi định dạng bằng LDISKFS (ext4).
• Bỏ qua phần RAID, snapshot, replicate vì nó không cần thiết trong lab.
• Thậm chí có thể chạy tất cả các dịch vụ (MDS, OSS, client) trên 1–2 máy ảo nếu cần.

🧪 Ví dụ đơn giản để test:

# Tạo file làm ổ đĩa giả
dd if=/dev/zero of=/lustre/ost1.img bs=1G count=10
losetup /dev/loop10 /lustre/ost1.img
mkfs.ext4 /dev/loop10
mkfs.lustre --ost --fsname=myfs --mgsnode=10.0.0.1@tcp /dev/loop10

→ Với cách này bạn không cần RAID, không cần ZFS, vẫn dựng được Lustre OST đơn giản để test mount, write/read.

Tóm lại:

6. Kết luận

Không có lựa chọn nào là “tốt nhất cho mọi trường hợp”. Hãy chọn backend phù hợp với hạ tầng, kinh nghiệm kỹ thuật và nhu cầu sử dụng cụ thể của bạn.

Gợi ý cá nhân:

• Nếu bạn mới bắt đầu, dùng LDISKFS để làm quen.
• Nếu bạn là admin lâu năm, hiểu rõ về ZFS, hãy tận dụng khả năng của nó.
• Nếu bạn không muốn ZFS nhưng vẫn cần RAID, mdadm là giải pháp sạch sẽ và hiệu quả.