1. Hybrid Cloud for Storage.
Hybrid Cloud for Storage (đám mây lai cho lưu trữ) là một kiến trúc mạng kết hợp giữa lưu trữ đám mây và lưu trữ on-premises (tức lưu trữ trên nền tảng cơ sở hạ tầng của riêng doanh nghiệp). AWS đang tập trung nâng cao khái niệm lai cho lưu trữ, bởi vì nó giúp các tổ chức thích ứng với sự biến động và thay đổi trong quá trình phát triển của doanh nghiệp.
Việc sử dụng đám mây lai cho lưu trữ có thể do một số lý do, bao gồm việc di chuyển dữ liệu lớn lên đám mây, yêu cầu bảo mật, yêu cầu tuân thủ các quy định, chiến lược CNTT của doanh nghiệp.
Amazon S3 là công nghệ lưu trữ đám mây có tính độc quyền (không giống như EFS / NFS), do đó làm sao để bạn có thể truy cập vào dữ liệu S3 trên nền tảng on-premises (tức là trên cơ sở hạ tầng của doanh nghiệp)?
AWS Storage Gateway là một dịch vụ của AWS cho phép bạn kết nối S3 với các máy chủ on-premises. Nó cho phép bạn tạo ra các tập tin nói chung iSCSI để lưu trữ trên đám mây AWS, đồng thời đảm bảo sự liên lạc giữa máy chủ và S3. Storage Gateway cung cấp 3 loại cơ sở dữ liệu: tập tin, tập tin nói chung và đĩa. Mỗi loại cơ sở dữ liệu có một số trường hợp sử dụng riêng biệt và cách mà nó hoạt động khác nhau.
- Loại tập tin dùng cho các ứng dụng lưu trữ dữ liệu dạng file.
- Loại tập tin nói chung (iSCSI) được sử dụng cho các ứng dụng lưu trữ dữ liệu dạng block, được truyền qua giao thức iSCSI.
- Loại đĩa được sử dụng cho các trường hợp sử dụng cần độ tin cậy cao, với dữ liệu được đảm bảo không bị mất khi đám mây gặp sự cố.
Storage Gateway cung cấp khả năng sao lưu và phục hồi dữ liệu tự động, và có thể tích hợp với nhiều dịch vụ khác nhau trên AWS.
2. AWS Storage Cloud Native Options.
AWS cung cấp các giải pháp lưu trữ cloud native bao gồm Block và File.
- Block Storage: Block storage cung cấp cho các ứng dụng lưu trữ phân vùng dữ liệu dưới dạng các khối được xử lý độc lập. AWS cung cấp hai loại block storage sau đây:
- Amazon Elastic Block Store (Amazon EBS): cung cấp cho khách hàng một dịch vụ lưu trữ khối dữ liệu được kết nối trực tiếp với máy ảo EC2, giúp khách hàng tăng tính sẵn sàng và khả năng mở rộng trong việc lưu trữ dữ liệu.
- EC2 Instance Store: cung cấp cho khách hàng một loại lưu trữ khối tạm thời được lưu trữ trên ổ cứng của máy ảo EC2. Loại lưu trữ này phù hợp với các tác vụ yêu cầu tốc độ cao như xử lý dữ liệu trên ổ đĩa tạm thời và tạo và huấn luyện các mô hình machine learning.
- File Storage: File Storage cung cấp cho khách hàng một hệ thống file phân tán trên nhiều máy chủ và cung cấp cho các ứng dụng khả năng chia sẻ dữ liệu thông qua giao thức file system. AWS cung cấp hai loại lưu trữ file như sau:
- Amazon Elastic File System (Amazon EFS): cung cấp cho khách hàng một dịch vụ lưu trữ file phân tán có khả năng mở rộng, cho phép nhiều máy ảo EC2 truy cập và chia sẻ cùng một file trong cùng một thời điểm.
- Amazon FSx: cung cấp cho khách hàng một dịch vụ lưu trữ file phân tán có khả năng mở rộng và tốc độ cao được tối ưu cho các ứng dụng như Machine Learning, High Performance Computing (HPC), Video Processing, Financial Modeling, Electronic Design Automation. Amazon FSx có hai loại file system khác nhau: Lustre và OpenZFS. Cả hai đều cung cấp cho khách hàng các tính năng bảo mật và quản lý dữ liệu, bao gồm snapshots, replication và tính năng sao lưu dữ liệu.
3. AWS Storage Gateway.
AWS Storage Gateway là một dịch vụ của AWS cho phép các tổ chức kết nối và tích hợp dữ liệu giữa hạ tầng lưu trữ on-premises và các dịch vụ lưu trữ của AWS như S3 và EBS. Nó giúp tăng tính linh hoạt, tiết kiệm chi phí, cải thiện khả năng khôi phục dữ liệu và quản lý dữ liệu trên đám mây.
Storage Gateway cung cấp các lựa chọn khác nhau để kết nối dữ liệu on-premises với AWS. Các trường hợp sử dụng chính bao gồm khôi phục dữ liệu sau sự cố, sao lưu và phục hồi, lưu trữ đa tầng và truy cập dữ liệu đám mây. Nó cũng cung cấp các lựa chọn khác nhau để lưu trữ dữ liệu on-premises như một bộ đệm hoặc lưu trữ tạm thời cho các yêu cầu truy cập dữ liệu với độ trễ thấp.
AWS Storage Gateway cung cấp bốn loại Gateway khác nhau:
- S3 File Gateway: loại Gateway này giúp các tổ chức truy cập dữ liệu S3 từ các ứng dụng trên địa phương. Các ứng dụng này truy cập các file thông qua giao thức NFS hoặc SMB.
- FSx File Gateway: loại Gateway này cho phép các tổ chức sử dụng các dịch vụ lưu trữ Amazon FSx cho các ứng dụng trên địa phương. Các ứng dụng truy cập các file thông qua giao thức NFS hoặc SMB.
- Volume Gateway: loại Gateway này cho phép các tổ chức sử dụng AWS Cloud để lưu trữ dữ liệu theo dạng khối (block). Loại Gateway này cung cấp hai phương pháp lưu trữ dữ liệu: iSCSI và phát triển khối.
- Tape Gateway: loại Gateway này cho phép các tổ chức sao chép dữ liệu trên band từ các thiết bị lưu trữ trên địa phương đến AWS để sao lưu dữ liệu của mình. Nó cung cấp các tính năng như lưu trữ, sao chép và khôi phục dữ liệu tape trên đám mây.
4. Amazon S3 File Gateway.
Amazon S3 File Gateway là một phần mềm gateway dữ liệu lưu trữ được cài đặt trên một máy chủ tại vị trí khách hàng để kết nối dữ liệu đến Amazon S3. S3 File Gateway cho phép người dùng truy cập vào các bucket S3 bằng cách sử dụng giao thức NFS và SMB. Dữ liệu được lưu trữ trên Amazon S3 và chỉ được tải xuống tạm thời trên máy chủ để tăng tốc độ truy cập.
S3 File Gateway hỗ trợ các lớp lưu trữ khác nhau của Amazon S3 bao gồm: S3 Standard, S3 Standard IA, S3 One Zone IA, S3 Intelligent Tiering. Người dùng có thể chuyển đổi dữ liệu sang lớp S3 Glacier bằng cách sử dụng các quy tắc Lifecycle Policy.
Mỗi File Gateway được liên kết với một hoặc nhiều tài khoản S3 và sử dụng IAM roles để quản lý quyền truy cập vào các bucket S3. Bên cạnh đó, S3 File Gateway cũng tích hợp với Active Directory để xác thực người dùng khi sử dụng giao thức SMB.
S3 File Gateway được sử dụng cho nhiều trường hợp sử dụng như phục hồi dữ liệu, sao lưu và khôi phục dữ liệu, bộ nhớ đệm cục bộ và truy cập tập tin trực tuyến.
5. Amazon FSx File Gateway.
Amazon FSx File Gateway là một giải pháp lưu trữ dữ liệu tập tin được quản lý trên AWS. Nó cung cấp quyền truy cập tập tin native vào Amazon FSx cho Windows File Server thông qua giao thức SMB. FSx File Gateway có thể được sử dụng để tạo ra một môi trường lưu trữ tập tin kết nối với Amazon FSx. Dữ liệu được cache trên địa phương, vì vậy dữ liệu được truy cập thường xuyên có thể được truy cập với độ trễ thấp.
Nó cung cấp tính tương thích với Windows (bao gồm SMB, NTFS, Active Directory, …) nên rất hữu ích để chia sẻ tập tin cho các nhóm và các thư mục home trên Windows. Với tính tương thích này, nó có thể được tích hợp với hệ thống AD cho việc xác thực người dùng. FSx File Gateway cung cấp cho người dùng khả năng truy cập dữ liệu trên Amazon FSx với độ trễ thấp và tính khả dụng cao.
6. Volume Gateway.
Volume Gateway là một loại AWS Storage Gateway được sử dụng để cung cấp lưu trữ khối iSCSI cho các ứng dụng trên nền tảng đám mây AWS. Volume Gateway sử dụng giao thức iSCSI để cho phép các máy chủ truy cập tới các ổ đĩa ảo (VD) được lưu trữ trên Amazon S3, và cung cấp hai kiểu lưu trữ: cached volumes và stored volumes.
- Cached volumes: dữ liệu được truy cập nhiều nhất được lưu trữ trên Volume Gateway, giúp cho việc truy cập dữ liệu trở nên nhanh chóng và hiệu quả hơn. Dữ liệu sẽ được sao lưu lên S3 để đảm bảo tính an toàn và khả năng phục hồi.
- Stored volumes: toàn bộ dữ liệu được lưu trữ trên một thiết bị lưu trữ cục bộ được kết nối tới Volume Gateway. Những dữ liệu này sẽ được sao lưu lên S3 để đảm bảo an toàn và khả năng phục hồi.
Ngoài ra, Volume Gateway hỗ trợ sao lưu và phục hồi dữ liệu từ các bản snapshot của Amazon EBS (Elastic Block Store), cho phép người dùng khôi phục lại các dữ liệu đã bị xóa hoặc bị mất.
Volume Gateway được sử dụng cho các trường hợp sử dụng đám mây AWS, chẳng hạn như sao lưu và phục hồi dữ liệu, giảm chi phí lưu trữ dữ liệu, tăng tính khả dụng của dữ liệu, hoặc mở rộng khả năng lưu trữ cho các ứng dụng lớn.
7. Tape Gateway.
Tape Gateway là một giải pháp của AWS Storage Gateway được thiết kế để giúp các công ty chuyển đổi từ việc sao lưu dữ liệu bằng băng vật lý sang việc sao lưu dữ liệu trong đám mây. Với Tape Gateway, các công ty có thể sử dụng các quy trình sao lưu hiện có của mình nhưng thực hiện trong đám mây.
Tape Gateway cho phép các công ty sử dụng một thư viện băng ảo (VTL) được lưu trữ trên Amazon S3 và Glacier để sao lưu dữ liệu. Với giao diện iSCSI, công ty có thể sử dụng các quy trình sao lưu hiện có của mình để sao lưu dữ liệu vào VTL trong Tape Gateway. Tape Gateway cũng hỗ trợ các nhà cung cấp phần mềm sao lưu hàng đầu để sử dụng cùng với giải pháp của nó.
Tape Gateway giúp các công ty giảm thiểu chi phí phát triển hạ tầng sao lưu, tăng tính linh hoạt, an toàn và sẵn sàng phục hồi dữ liệu. Nó cũng giúp cho việc quản lý dữ liệu được thực hiện hiệu quả hơn với việc tự động lưu trữ dữ liệu trong các cấp độ khác nhau, từ tần suất truy cập thấp đến tần suất truy cập cao, giúp tiết kiệm chi phí lưu trữ dữ liệu.
8. Storage Gateway – Hardware appliance.
Khi sử dụng AWS Storage Gateway, bạn cần có một môi trường ảo hóa trên nơi đặt máy chủ của bạn. Tuy nhiên, nếu bạn không có sẵn môi trường ảo hóa, bạn có thể sử dụng một thiết bị phần cứng Storage Gateway.
Thiết bị này có thể được mua trên amazon.com và hoạt động với các tính năng của File Gateway, Volume Gateway và Tape Gateway. Thiết bị cung cấp các tài nguyên CPU, bộ nhớ, mạng và bộ đệm SSD cần thiết cho các tính năng của Storage Gateway.
Nó rất hữu ích cho việc sao lưu NFS hàng ngày trong các trung tâm dữ liệu nhỏ. Bằng cách sử dụng thiết bị phần cứng này, bạn có thể tiết kiệm chi phí và tối ưu hóa các hoạt động lưu trữ của mình trên AWS.
9. AWS Transfer Family.
AWS Transfer Family là một dịch vụ quản lý toàn bộ cho việc chuyển tập tin vào và ra khỏi Amazon S3 hoặc Amazon EFS sử dụng giao thức FTP. Dịch vụ hỗ trợ ba giao thức AWS Transfer for FTP, AWS Transfer for FTPS và AWS Transfer for SFTP. Dịch vụ cung cấp hạ tầng được quản lý, có khả năng mở rộng, đáng tin cậy và có sẵn ở nhiều khu vực khác nhau (multi-AZ). Người dùng sẽ thanh toán theo số lượng điểm cuối được cung cấp hàng giờ và lưu lượng dữ liệu truyền tải tính bằng gigabyte (GB).
AWS Transfer Family cho phép lưu và quản lý thông tin đăng nhập của người dùng trong dịch vụ. Ngoài ra, nó còn tích hợp với các hệ thống xác thực hiện có (như Microsoft Active Directory, LDAP, Okta, Amazon Cognito, tùy chỉnh). Dịch vụ được sử dụng cho nhiều mục đích như chia sẻ tập tin, các tập dữ liệu công cộng, CRM, ERP, v.v.
10. AWS DataSync.
AWS DataSync là dịch vụ quản lý di chuyển dữ liệu lớn tới và từ AWS. Dịch vụ này cho phép di chuyển dữ liệu từ các nguồn khác nhau như on-premises hoặc cloud khác đến AWS bằng các giao thức như NFS, SMB, HDFS, S3 API. Để sử dụng dịch vụ này, cần phải cài đặt một ứng dụng trên server gốc để sử dụng.
AWS DataSync cũng có thể được sử dụng để đồng bộ dữ liệu giữa các dịch vụ lưu trữ khác nhau trong AWS như Amazon S3, Amazon EFS, Amazon FSx (Windows, Lustre, NetApp, OpenZFS…). Các tác vụ sao chép có thể được lập lịch theo giờ, ngày, tuần. Dữ liệu di chuyển sẽ được giữ nguyên quyền hạn truy cập, dữ liệu metadata và quyền truy cập POSIX NFS, SMB.
Một tác vụ ứng dụng có thể sử dụng tối đa 10 Gbps. Có thể thiết lập giới hạn băng thông để giảm thiểu ảnh hưởng đến các ứng dụng đang chạy trên cùng một mạng. Phí dịch vụ tính theo số lượng nhiệm vụ di chuyển dữ liệu đã cấu hình và dữ liệu đã chuyển (GB).
11. All AWS Storage Options Compared.
Trong AWS, có nhiều loại lưu trữ khác nhau phục vụ các mục đích khác nhau. Dưới đây là một số loại lưu trữ và tính năng chính của chúng:
- S3: Lưu trữ đối tượng, phù hợp với lưu trữ dữ liệu không cần tốc độ cao và có tính chất mở rộng lớn.
- S3 Glacier: Lưu trữ đối tượng dùng cho việc lưu trữ dữ liệu lưu trữ dài hạn, có tính năng lưu trữ ít truy cập và hỗ trợ giải quyết các yêu cầu tuân thủ quy định của ngành công nghiệp.
- EBS volumes: Lưu trữ mạng cho một EC2 instance tại một thời điểm.
- Instance Storage: Lưu trữ vật lý cho các EC2 instance, phục vụ cho việc yêu cầu IOPS cao.
- EFS: Hệ thống file hệ thống mạng cho các EC2 instance của Linux, hỗ trợ hệ thống file POSIX.
- FSx cho Windows: Hệ thống file hệ thống mạng cho các máy chủ Windows, hỗ trợ SMB, NTFS, Active Directory, …
- FSx cho Lustre: Hệ thống file Linux phục vụ cho các ứng dụng tính toán đòi hỏi hiệu suất cao.
- FSx cho NetApp ONTAP: Hệ thống file có khả năng tương thích hệ điều hành cao.
- FSx cho OpenZFS: Hệ thống file quản lý ZFS được quản lý.
- Storage Gateway: Bao gồm các cổng File Gateway, Volume Gateway (cache & stored) và Tape Gateway cho phép sử dụng các quy trình hiện có của khách hàng để sao lưu dữ liệu lên S3 hoặc sử dụng các giải pháp FSx.
- Transfer Family: Cung cấp giao diện FTP, FTPS, SFTP trên Amazon S3 hoặc Amazon EFS.
- DataSync: Cho phép đồng bộ hóa dữ liệu giữa on-premises và AWS hoặc giữa các dịch vụ khác nhau trong AWS.
- Snowcone / Snowball / Snowmobile: Cho phép chuyển dữ liệu lớn vào cloud.
- Cơ sở dữ liệu: Lưu trữ phục vụ cho các công việc cụ thể, thường có tính năng chỉ mục và truy vấn dữ liệu.
