Hướng dẫn thay disk hỏng cho Swift Openstack

1. Tổng quan.

Khi bạn vận hành một hệ thống OpenStack Swift, việc theo dõi và phát hiện sớm các vấn đề liên quan đến disk là rất quan trọng để đảm bảo tính ổn định và hiệu quả của hệ thống.

Dưới đây là một số dấu hiệu cho thấy disk trong Swift OpenStack có vấn đề:

Tốc độ truy cập chậm:
- Tốc độ truy cập dữ liệu từ Swift chậm hơn bình thường.
- Thời gian phản hồi của các yêu cầu PUT, GET, DELETE tăng lên đáng kể.
Lỗi I/O (Input/Output):
- Các lỗi I/O thường xuyên xuất hiện trong log của hệ thống.
- Ví dụ: “I/O error”, “device not ready”, “read/write failure”.
Dung lượng disk giảm đột ngột:
- Dung lượng còn trống trên disk giảm nhanh chóng mà không có lý do rõ ràng.
- Tăng đột ngột của các file tạm thời hoặc các file không mong muốn.
Tỉ lệ lỗi tăng cao:
- Tỉ lệ lỗi HTTP 5xx (ví dụ: 500 Internal Server Error) tăng cao khi truy cập vào Swift.
- Lỗi replication, khi dữ liệu không thể được sao chép đúng cách giữa các node.
Các cảnh báo từ hệ thống giám sát:
- Các cảnh báo từ hệ thống giám sát (như Nagios, Zabbix) về tình trạng của disk.
- Ví dụ: S.M.A.R.T. (Self-Monitoring, Analysis, and Reporting Technology) cảnh báo về tình trạng sức khỏe của disk.
Lỗi phần cứng:
- Disk bị lỗi vật lý như bad sectors.
- Đèn LED cảnh báo trên các thiết bị lưu trữ.
Không thể mount disk:
- Gặp lỗi khi cố gắng mount một disk cụ thể.
- Ví dụ: “mount: wrong fs type, bad option, bad superblock”.
Lỗi phân vùng:
- Phân vùng disk bị lỗi hoặc không nhận diện được.
- Ví dụ: “Partition table unreadable”.
Logs của Swift:
- Kiểm tra các log của Swift, chẳng hạn như /var/log/swift/object-server.log, để tìm các lỗi hoặc cảnh báo liên quan đến disk.
Hiệu suất của cluster giảm sút:
- Giảm hiệu suất toàn diện của cluster, bao gồm tốc độ truy cập dữ liệu và thời gian phản hồi.

Để quản lý và giám sát hiệu quả hệ thống Swift, bạn nên:

Thường xuyên kiểm tra log và hệ thống giám sát.
Thiết lập cảnh báo tự động cho các dấu hiệu bất thường.
Đảm bảo rằng tất cả các disk đều có S.M.A.R.T. monitoring được kích hoạt và kiểm tra định kỳ.
Thực hiện kiểm tra sức khỏe và bảo trì định kỳ cho các phần cứng lưu trữ.

2. Quy trình kiểm tra một lỗi trong thực tế.

Kiểm tra bằng omreport bạn sẽ thấy disk có ID 15 đang có State là Failed.

Nếu bạn kiểm tra trong iDrac bạn cũng sẽ thấy lỗi tương tự.

Như vậy ở phần này chúng ta xác định được disk lỗi là disk sdp nằm ở vị trí 0.2.16.

3. Quy trình thay thế.

3.1. Raid ổ đĩa sử dụng iDrac.

Sau khi xác định vị trí disk là 0.2.16 xong, hãy thay disk hỏng đó. Sau khi thay xong disk sử dụng iDrac để kiểm tra trạng thái diskmới.

Như hình dưới disk mới gắn vào đang ở trạng thái Ready, nó chưa được join vào Vitual disk nên bây giờ chúng ta sẽ tạo Raid0 cho disk này nhé.

Dưới đây là hình ảnh tổng quan hơn về trạng thái của các disk vật lý. Bạn hãy để ý disk 0.2.16 nhé.

Chuyển qua Vitual disks và bấm vào Create vitual disk -> Basic config…. để tạo Raid0 cho disk này.

Mục name bạn có thể đặt tên cho nó hoặc bỏ trống nếu muốn hệ thống tự tạo ra tên cho Raid này.

Cảnh báo hiển thị ở dưới thông báo về việc không thể hoàn thành thao tác tạo đĩa ảo do có dữ liệu cache đã được lưu giữ trên bộ điều khiển. Cảnh báo này có mã lỗi STOR350 và cung cấp một số giải pháp để khắc phục vấn đề:

Đảm bảo rằng enclosure chứa đĩa ảo đã được kết nối với bộ điều khiển.
Thử nhập các ổ đĩa ngoài nếu có.
Cài đặt lại bất kỳ ổ đĩa nào bị báo cáo là bị thiếu hoặc bị hỏng.

Nếu dữ liệu lưu trong cache của bộ điều khiển không cần thiết, cache đã được lưu giữ có thể bị loại bỏ.

Bạn có thể nhấn “Ok” để đóng cảnh báo này và tiếp tục xử lý vấn đề theo các bước được gợi ý.

3.2. Raid ổ đĩa sử dụng sử dụng OpenManage Server Administrator (OMSA).

Đầu tiên bạn có thể xem mình đang sử dụng Dell Inc với mã PowerEdge R740xd2.

shell> dmidecode -t1
# dmidecode 3.1
Getting SMBIOS data from sysfs.
SMBIOS 3.2 present.
# SMBIOS implementations newer than version 3.1.1 are not
# fully supported by this version of dmidecode.

Handle 0x0100, DMI type 1, 27 bytes
System Information
        Manufacturer: Dell Inc.
        Product Name: PowerEdge R740xd2
        Version: Not Specified
        Serial Number: 2WGN6S3
        UUID: 4C4C4544-0057-4710-804E-B2C04F365333
        Wake-up Type: Power Switch
        SKU Number: SKU=08C2;ModelName=PowerEdge R740xd2
        Family: PowerEdge

Đây là thông tin controller của máy chủ.

shell> omreport storage controller
 Controller  PERC H740P Mini (Embedded)

Controller
ID                                            : 0
Status                                        : Non-Critical
Name                                          : PERC H740P Mini
Slot ID                                       : Embedded
State                                         : Degraded
Firmware Version                              : 51.16.0-4076
Minimum Required Firmware Version             : Not Applicable
Driver Version                                : 07.703.05.00-rc1
Minimum Required Driver Version               : Not Applicable
Storport Driver Version                       : Not Applicable
Minimum Required Storport Driver Version      : Not Applicable
Number of Connectors                          : 1
Rebuild Rate                                  : 30%
BGI Rate                                      : 30%
Check Consistency Rate                        : 30%
Reconstruct Rate                              : 30%
Alarm State                                   : Not Applicable
Cluster Mode                                  : Not Applicable
SCSI Initiator ID                             : Not Applicable
Cache Memory Size                             : 8192 MB
Patrol Read Mode                              : Auto
Patrol Read State                             : Stopped
Patrol Read Rate                              : 30%
Patrol Read Iterations                        : 51
Abort Check Consistency on Error              : Disabled
Allow Revertible Hot Spare and Replace Member : Enabled
Load Balance                                  : Not Applicable
Auto Replace Member on Predictive Failure     : Disabled
Redundant Path view                           : Not Applicable
CacheCade Capable                             : Not Applicable
Persistent Hot Spare                          : Disabled
Encryption Capable                            : Yes
Encryption Key Present                        : No
Encryption Mode                               : None
Preserved Cache                               : Yes
Spin Down Unconfigured Drives                 : Disabled
Spin Down Hot Spares                          : Disabled
Spin Down Configured Drives                   : Not Applicable
Automatic Disk Power Saving (Idle C)          : Not Applicable
T10 Protection Information Capable            : No
Non-RAID HDD Disk Cache Policy                : Not Applicable
Current Controller Mode                       : RAID

Sử dụng omreport storage pdisk controller=0 | more để show toàn bộ thiết bị đang gắn tại controller 0.

shell> omreport storage pdisk controller=0 | more

<đã lược bỏ bớt kết quả>

ID                              : 0:2:16
Status                          : Non-Critical
Name                            : Physical Disk 0:2:16
State                           : Ready
Power Status                    : Spun Up
Bus Protocol                    : SATA
Media                           : HDD
Part of Cache Pool              : Not Applicable
Remaining Rated Write Endurance : Not Applicable
Failure Predicted               : No
Revision                        : HPG4
Driver Version                  : Not Applicable
Model Number                    : Not Applicable
T10 PI Capable                  : No
Certified                       : No
Encryption Capable              : No
Encrypted                       : Not Applicable
Progress                        : Not Applicable
Mirror Set ID                   : Not Applicable
Capacity                        : 3,725.50 GB (4000225165312 bytes)
Used RAID Disk Space            : 0.00 GB (0 bytes)
Available RAID Disk Space       : 3,725.50 GB (4000225165312 bytes)
Hot Spare                       : No
Vendor ID                       :
Product ID                      : MB4000GVYZK
Serial No.                      : ZC1A3ZKP
Part Number                     : Not Available
Negotiated Speed                : 6.00 Gbps
Capable Speed                   : 6.00 Gbps
PCIe Negotiated Link Width      : Not Applicable
PCIe Maximum Link Width         : Not Applicable
Sector Size                     : 512B
Device Write Cache              : Not Applicable
Manufacture Day                 : Not Available
Manufacture Week                : Not Available
Manufacture Year                : Not Available
SAS Address                     : 500056B3B23641C4
Non-RAID HDD Disk Cache Policy  : Not Applicable
Disk Cache Policy               : Not Applicable
Sub Vendor                      : Not Available
Available Spare                 : Not Available
Cryptographic Erase Capable     : No

ID                              : 0:2:17
Status                          : Non-Critical
Name                            : Physical Disk 0:2:17
State                           : Online
Power Status                    : Spun Up
Bus Protocol                    : SATA
Media                           : HDD
Part of Cache Pool              : Not Applicable
Remaining Rated Write Endurance : Not Applicable
Failure Predicted               : No
Revision                        : HPG4
Driver Version                  : Not Applicable
Model Number                    : Not Applicable
T10 PI Capable                  : No
Certified                       : No
Encryption Capable              : No
Encrypted                       : Not Applicable
Progress                        : Not Applicable
Mirror Set ID                   : Not Applicable
Capacity                        : 3,725.50 GB (4000225165312 bytes)
Used RAID Disk Space            : 3,725.50 GB (4000225165312 bytes)
Available RAID Disk Space       : 0.00 GB (0 bytes)
Hot Spare                       : No
Vendor ID                       :
Product ID                      : MB4000GVYZK
Serial No.                      : ZC191VZK
Part Number                     : Not Available
Negotiated Speed                : 6.00 Gbps
Capable Speed                   : 6.00 Gbps
PCIe Negotiated Link Width      : Not Applicable
PCIe Maximum Link Width         : Not Applicable
Sector Size                     : 512B
Device Write Cache              : Not Applicable
Manufacture Day                 : Not Available
Manufacture Week                : Not Available
Manufacture Year                : Not Available
SAS Address                     : 500056B3B23641C5
Non-RAID HDD Disk Cache Policy  : Not Applicable
Disk Cache Policy               : Not Applicable
Sub Vendor                      : Not Available
Available Spare                 : Not Available
Cryptographic Erase Capable     : No

ID                              : 0:2:18
Status                          : Non-Critical
Name                            : Physical Disk 0:2:18
State                           : Online
Power Status                    : Spun Up
Bus Protocol                    : SATA
Media                           : HDD
Part of Cache Pool              : Not Applicable
Remaining Rated Write Endurance : Not Applicable
Failure Predicted               : No
Revision                        : HPG4
Driver Version                  : Not Applicable
Model Number                    : Not Applicable
T10 PI Capable                  : No
Certified                       : No
Encryption Capable              : No
Encrypted                       : Not Applicable
Progress                        : Not Applicable
Mirror Set ID                   : Not Applicable
Capacity                        : 3,725.50 GB (4000225165312 bytes)
Used RAID Disk Space            : 3,725.50 GB (4000225165312 bytes)
Available RAID Disk Space       : 0.00 GB (0 bytes)
Hot Spare                       : No
Vendor ID                       :
Product ID                      : MB4000GVYZK
Serial No.                      : ZC19ZXE6
Part Number                     : Not Available
Negotiated Speed                : 6.00 Gbps
Capable Speed                   : 6.00 Gbps
PCIe Negotiated Link Width      : Not Applicable
PCIe Maximum Link Width         : Not Applicable
Sector Size                     : 512B
Device Write Cache              : Not Applicable
Manufacture Day                 : Not Available
Manufacture Week                : Not Available
Manufacture Year                : Not Available
SAS Address                     : 500056B3B23641C6
Non-RAID HDD Disk Cache Policy  : Not Applicable
Disk Cache Policy               : Not Applicable
Sub Vendor                      : Not Available
Available Spare                 : Not Available
Cryptographic Erase Capable     : No

<đã lược bỏ bớt kết quả>

Với vdisk không tồn tại, ví dụ vdisk=15 bạn sẽ nhận được thông báo như dưới.

shell> omreport storage pdisk controller=0 vdisk=15
Invalid vdisk value. Read, vdisk=15
Valid values for vdisk are: 0, 1, 2, 3, 4, 5, 6, 8, 9, 10, 11, 12, 13, 14, 16, 17, 18, 19, 20, 21, 22, 7

Với vdisk tồn tại, ví dụ vdisk=16 bạn sẽ nhận được thông báo như dưới.

shell> omreport storage pdisk controller=0 vdisk=16
List of Physical Disks belonging to Virtual Disk16

Controller PERC H740P Mini  (Embedded)
ID                              : 0:2:17
Status                          : Non-Critical
Name                            : Physical Disk 0:2:17
State                           : Online
Power Status                    : Spun Up
Bus Protocol                    : SATA
Media                           : HDD
Part of Cache Pool              : Not Applicable
Remaining Rated Write Endurance : Not Applicable
Failure Predicted               : No
Revision                        : HPG4
Driver Version                  : Not Applicable
Model Number                    : Not Applicable
T10 PI Capable                  : No
Certified                       : No
Encryption Capable              : No
Encrypted                       : Not Applicable
Progress                        : Not Applicable
Mirror Set ID                   : Not Applicable
Capacity                        : 3,725.50 GB (4000225165312 bytes)
Used RAID Disk Space            : 3,725.50 GB (4000225165312 bytes)
Available RAID Disk Space       : 0.00 GB (0 bytes)
Hot Spare                       : No
Vendor ID                       :
Product ID                      : MB4000GVYZK
Serial No.                      : ZC191VZK
Part Number                     : Not Available
Negotiated Speed                : 6.00 Gbps
Capable Speed                   : 6.00 Gbps
PCIe Negotiated Link Width      : Not Applicable
PCIe Maximum Link Width         : Not Applicable
Sector Size                     : 512B
Device Write Cache              : Not Applicable
Manufacture Day                 : Not Available
Manufacture Week                : Not Available
Manufacture Year                : Not Available
SAS Address                     : 500056B3B23641C5
Non-RAID HDD Disk Cache Policy  : Not Applicable
Disk Cache Policy               : Not Applicable
Sub Vendor                      : Not Available
Available Spare                 : Not Available
Cryptographic Erase Capable     : No

Nếu bạn gặp cảnh báo dưới, hãy xem tiếp để biết cách xử lý nhé (lỗi này chính là lỗi chúng ta gặp ở trên khi raid0 sử dụng iDrac).

shell> omconfig storage controller action=createvdisk controller=0 raid=r0  size=max pdisk=0:2:16
Operation not supported. A new virtual disk cannot be created while preserved cache exists. If the failed array can be made healthy, preserved cache can be flushed. If not, discard preserved cache under controller actions and create a new virtual disk

Lỗi bạn gặp phải khi thực hiện lệnh omconfig storage controller action=createvdisk controller=0 raid=r0 size=max pdisk=0:2:16 là do tồn tại dữ liệu cache đã lưu giữ (preserved cache) trên bộ điều khiển. Khi dữ liệu cache này vẫn còn tồn tại, bạn không thể tạo raid (virtual disk) mới.

Giải thích lỗi:

Thông báo lỗi “Operation not supported. A new virtual disk cannot be created while preserved cache exists. If the failed array can be made healthy, preserved cache can be flushed. If not, discard preserved cache under controller actions and create a new virtual disk” nghĩa là:

Bạn không thể tạo một raid mới vì bộ điều khiển hiện đang có dữ liệu cache đã được lưu giữ.
Nếu raid bị lỗi có thể được phục hồi, bạn cần làm cho raid đó khỏe mạnh lại để có thể xóa (flush) dữ liệu cache.
Nếu không thể phục hồi raid bị lỗi, bạn cần xóa (discard) dữ liệu cache đã lưu giữ trên bộ điều khiển trước khi tạo raid mới.

Các bước giải quyết:

Thử phục hồi raid bị lỗi:
- Nếu bạn biết raid nào đang gặp vấn đề, hãy cố gắng làm cho raid đó khỏe mạnh lại bằng cách thay thế các ổ đĩa bị hỏng hoặc thực hiện các thao tác cần thiết để phục hồi.
Xóa dữ liệu cache đã lưu giữ (discard preserved cache):
- Nếu không thể phục hồi raid bị lỗi, bạn cần xóa dữ liệu cache đã lưu giữ.
- Đây là cách thực hiện:

Bước 1: Xóa dữ liệu cache đã lưu giữ.

root@SNS-STOR-VSTOR-HAN01-NODE-GOL-021:~# omconfig storage controller action=discardpreservedcache controller=0 force=disabled
Command successful!

Lệnh này sẽ xóa dữ liệu cache đã lưu giữ trên bộ điều khiển số 0.

Bước 2: Kiểm tra lại bộ điều khiển và tạo raid mới.

Sau khi đã xóa dữ liệu cache, bạn có thể kiểm tra lại bộ điều khiển và sau đó thực hiện lại lệnh để tạo raid mới.

root@SNS-STOR-VSTOR-HAN01-NODE-GOL-021:~# omconfig storage controller action=createvdisk controller=0 raid=r0  size=max pdisk=0:2:16
Command successful!

Xác nhận raid tạo thành công bằng lệnh lsblk.

shell> lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 558.4G  0 disk
├─sda1   8:1    0   976M  0 part /boot
├─sda2   8:2    0     1K  0 part
├─sda5   8:5    0   3.8G  0 part
└─sda6   8:6    0 553.6G  0 part /
sdb      8:16   0 446.6G  0 disk /srv/node/0.2.2
sdc      8:32   0 446.6G  0 disk /srv/node/0.2.3
sdd      8:48   0   3.7T  0 disk /srv/node/0.2.8
sde      8:64   0   3.7T  0 disk /srv/node/0.2.9
sdf      8:80   0   3.7T  0 disk /srv/node/0.2.13
sdg      8:96   0   3.7T  0 disk /srv/node/0.2.14
sdi      8:128  0   3.7T  0 disk /srv/node/0.2.5
sdj      8:144  0   3.7T  0 disk /srv/node/0.2.6
sdk      8:160  0   3.7T  0 disk /srv/node/0.2.7
sdl      8:176  0   3.7T  0 disk /srv/node/0.2.10
sdm      8:192  0   3.7T  0 disk /srv/node/0.2.11
sdn      8:208  0   3.7T  0 disk /srv/node/0.2.12
sdo      8:224  0   3.7T  0 disk /srv/node/0.2.15
sdq     65:0    0   3.7T  0 disk /srv/node/0.2.17
sdr     65:16   0   3.7T  0 disk /srv/node/0.2.18
sds     65:32   0   3.7T  0 disk /srv/node/0.2.19
sdt     65:48   0   3.7T  0 disk /srv/node/0.2.20
sdu     65:64   0   3.7T  0 disk /srv/node/0.2.21
sdv     65:80   0   3.7T  0 disk /srv/node/0.2.22
sdw     65:96   0   3.7T  0 disk /srv/node/0.2.23
sdx     65:112  0   3.7T  0 disk /srv/node/0.2.4
sdy     65:128  0   3.7T  0 disk

Hoặc trong iDrac bạn cũng nhìn thấy nó.

Bây giờ bạn chạy lại lệnh omreport storage pdisk controller=0 vdisk=15 bạn sẽ thấy kết quả trả về như dưới.

shell> omreport storage pdisk controller=0 vdisk=15
List of Physical Disks belonging to Virtual Disk15

Controller PERC H740P Mini  (Embedded)
ID                              : 0:2:16
Status                          : Non-Critical
Name                            : Physical Disk 0:2:16
State                           : Online
Power Status                    : Spun Up
Bus Protocol                    : SATA
Media                           : HDD
Part of Cache Pool              : Not Applicable
Remaining Rated Write Endurance : Not Applicable
Failure Predicted               : No
Revision                        : HPG4
Driver Version                  : Not Applicable
Model Number                    : Not Applicable
T10 PI Capable                  : No
Certified                       : No
Encryption Capable              : No
Encrypted                       : Not Applicable
Progress                        : Not Applicable
Mirror Set ID                   : Not Applicable
Capacity                        : 3,725.50 GB (4000225165312 bytes)
Used RAID Disk Space            : 3,725.50 GB (4000225165312 bytes)
Available RAID Disk Space       : 0.00 GB (0 bytes)
Hot Spare                       : No
Vendor ID                       :
Product ID                      : MB4000GVYZK
Serial No.                      : ZC1A3ZKP
Part Number                     : Not Available
Negotiated Speed                : 6.00 Gbps
Capable Speed                   : 6.00 Gbps
PCIe Negotiated Link Width      : Not Applicable
PCIe Maximum Link Width         : Not Applicable
Sector Size                     : 512B
Device Write Cache              : Not Applicable
Manufacture Day                 : Not Available
Manufacture Week                : Not Available
Manufacture Year                : Not Available
SAS Address                     : 500056B3B23641C4
Non-RAID HDD Disk Cache Policy  : Not Applicable
Disk Cache Policy               : Not Applicable
Sub Vendor                      : Not Available
Available Spare                 : Not Available
Cryptographic Erase Capable     : No

Tiến hành format ổ đĩa /dev/sdy thuộc raid0 của slot 0.2.16.

shell> mkfs.xfs -L 0:2:16 /dev/sdy
meta-data=/dev/sdy               isize=512    agcount=32, agsize=30519232 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=1, sparse=0, rmapbt=0, reflink=0
data     =                       bsize=4096   blocks=976615424, imaxpct=5
         =                       sunit=64     swidth=64 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=476864, version=2
         =                       sectsz=512   sunit=64 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0

#!/bin/bash
flag="true"
# Checking device
device_name=$1
if [ ! -b "${device_name}" ]; then
        echo "####### Device not found!"
        flag='false'
fi

# Checking label existed
label=$2
status='ok'
/sbin/blkid | grep "LABEL=\"${label}\"" && status='nok'
if [ "$status" == "nok" ]; then
        echo "####### Label name was existed"
        /sbin/blkid | grep "LABEL=\"${label}\""
        flag='false'
fi

# Cheking fstab record
status='ok'
cat /etc/fstab | egrep "${device_name}|${label} " && status='nok'
if [ "$status" == "nok" ]; then
        echo "####### Device info was existed in /etc/fstab"
        cat /etc/fstab | egrep "${device_name}|${label}"
        flag='false'
fi

if [ "${flag}" == "false" ]; then
        echo 'failed'
        exit 1
elif [[ "${flag}" == "true" ]]; then
        #statements
        mkfs.xfs -f -L "${label}" "${device_name}"
        mkdir -p "/srv/node/${label}"
        echo "LABEL=${label} /srv/node/${label} xfs noatime,nodiratime,nobarrier,logbufs=8 0 2" >> /etc/fstab
        mount -a
        chown -R swift:swift "/srv/node/${label}"
fi

Hãy format disk này bằng mkfs.xfs định dạng xfs cho /dev/sdy, phân quyền cho nó.

mkfs.xfs -L 0:2:16 /dev/sdy
chown -R swift:swift /srv/node/0.2.16

Xác minh quy trình trên đã thành công.

ls /srv/node/ -al | grep 0.2.16
drwxr-xr-x  3 swift swift   21 Jun 18 11:21 0.2.16

Vào /etc/fstab thêm LABEL=0.2.16 /srv/node/0.2.16 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2 nếu nó chưa tồn tại.

LABEL=0.2.2 /srv/node/0.2.2 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.3 /srv/node/0.2.3 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.8 /srv/node/0.2.8 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.9 /srv/node/0.2.9 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.13 /srv/node/0.2.13 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.14 /srv/node/0.2.14 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.5 /srv/node/0.2.5 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.6 /srv/node/0.2.6 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.7 /srv/node/0.2.7 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.10 /srv/node/0.2.10 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.11 /srv/node/0.2.11 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.12 /srv/node/0.2.12 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.15 /srv/node/0.2.15 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.17 /srv/node/0.2.17 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.18 /srv/node/0.2.18 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.19 /srv/node/0.2.19 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.20 /srv/node/0.2.20 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.21 /srv/node/0.2.21 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.22 /srv/node/0.2.22 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.23 /srv/node/0.2.23 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.4 /srv/node/0.2.4 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2
LABEL=0.2.16 /srv/node/0.2.16 xfs noatime,nodiratime,nobarrier,logbufs=8 0 2

Hãy sử dụng lệnh mount –a để mount disk mới này nhé.

Kết quả của lsblk là sdy 65:128 0 3.7T 0 disk /srv/node/0.2.16 cho thấy disk đã được định dạng và mount thành công.

shell> lsblk
NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda      8:0    0 558.4G  0 disk
├─sda1   8:1    0   976M  0 part /boot
├─sda2   8:2    0     1K  0 part
├─sda5   8:5    0   3.8G  0 part
└─sda6   8:6    0 553.6G  0 part /
sdb      8:16   0 446.6G  0 disk /srv/node/0.2.2
sdc      8:32   0 446.6G  0 disk /srv/node/0.2.3
sdd      8:48   0   3.7T  0 disk /srv/node/0.2.8
sde      8:64   0   3.7T  0 disk /srv/node/0.2.9
sdf      8:80   0   3.7T  0 disk /srv/node/0.2.13
sdg      8:96   0   3.7T  0 disk /srv/node/0.2.14
sdi      8:128  0   3.7T  0 disk /srv/node/0.2.5
sdj      8:144  0   3.7T  0 disk /srv/node/0.2.6
sdk      8:160  0   3.7T  0 disk /srv/node/0.2.7
sdl      8:176  0   3.7T  0 disk /srv/node/0.2.10
sdm      8:192  0   3.7T  0 disk /srv/node/0.2.11
sdn      8:208  0   3.7T  0 disk /srv/node/0.2.12
sdo      8:224  0   3.7T  0 disk /srv/node/0.2.15
sdq     65:0    0   3.7T  0 disk /srv/node/0.2.17
sdr     65:16   0   3.7T  0 disk /srv/node/0.2.18
sds     65:32   0   3.7T  0 disk /srv/node/0.2.19
sdt     65:48   0   3.7T  0 disk /srv/node/0.2.20
sdu     65:64   0   3.7T  0 disk /srv/node/0.2.21
sdv     65:80   0   3.7T  0 disk /srv/node/0.2.22
sdw     65:96   0   3.7T  0 disk /srv/node/0.2.23
sdx     65:112  0   3.7T  0 disk /srv/node/0.2.4
sdy     65:128  0   3.7T  0 disk /srv/node/0.2.16

Xác nhận disk đã thay thành công bằng cách sử dụng lệnh tail để xem log /var/log/swift/object-server.log.

Kết quả ở dưới cho thấy đã có metric đổ vào disk này với status code là 201.

tail -f /var/log/swift/object-server.log | grep 0.2.16 | grep PUT
Jun 18 11:31:33 Object-Node113 object-server: 172.16.11.113 - - [18/Jun/2024:04:31:33 +0000] "PUT /0.2.16/12820/AUTH_af1ed461f0f6424ca8aeab22503dd58c/pro-jmsvn-file/lite-ylappbc/pay_picture/f635c14bf29c4735905f8b6d607b775b.png" 201 - "PUT http://han01.vstorage.vngcloud.vn/v1/AUTH_af1ed461f0f6424ca8aeab22503dd58c/pro-jmsvn-file/lite-ylappbc/pay_picture/f635c14bf29c4735905f8b6d607b775b.png" "tx44d3573a332640bf90c1f-0066710da4" "proxy-server 4165252" 0.8337 "-" 1109702 0
Jun 18 11:31:34 Object-Node113 object-server: 172.16.11.113 - - [18/Jun/2024:04:31:34 +0000] "PUT /0.2.16/12808/AUTH_af1ed461f0f6424ca8aeab22503dd58c/pro-jmsvn-file/lite-ylappbc/scan_problem/f1bfaea956104e1ab126295117128b2d.png" 201 - "PUT http://han01.vstorage.vngcloud.vn/v1/AUTH_af1ed461f0f6424ca8aeab22503dd58c/pro-jmsvn-file/lite-ylappbc/scan_problem/f1bfaea956104e1ab126295117128b2d.png" "tx1b5ea459042843618ae97-0066710da4" "proxy-server 4164905" 1.3463 "-" 1109750 0

Tới đây đã done rồi nhé.

Hướng dẫn thay disk hỏng cho Swift Openstack

LEAVE A REPLY Cancel reply

LATEST POSTS

Thiết lập cảnh báo Telegram cho Prometheus

Extend Linux LVM Logical Volume

Sử dụng Python theo dõi sự thay đổi một file và ghi log nó

Giám sát cho Elasticsearch sử dụng Telegraf và InfluxDB

Thêm Data Node vào Cluster Elasticsearch với Docker Compose

Related Stories

Thiết lập cảnh báo Telegram cho Prometheus

Extend Linux LVM Logical Volume

Sử dụng Python theo dõi sự thay đổi một file và ghi log nó

Giám sát cho Elasticsearch sử dụng Telegraf và InfluxDB

Thêm Data Node vào Cluster Elasticsearch với Docker Compose

EDITOR PICKS

Tạo Instance AWS với Terraform

[AWS] Cost Explorer, Batch, AppFlow

[AWS] Simple Email, Pinpoint & Systems Manager

POPULAR POSTS

Thiết lập cảnh báo Telegram cho Prometheus

Extend Linux LVM Logical Volume

Sử dụng Python theo dõi sự thay đổi một file và ghi log nó

POPULAR CATEGORY

LIÊN KẾT