[AWS] AWS Snow Family Overview

1. AWS Snow Family.

AWS Snow Family là một tập hợp các thiết bị được thiết kế để thu thập và xử lý dữ liệu tại các vị trí xa như vùng ngoại ô, trung tâm dữ liệu tạm thời hoặc các vị trí cần bảo mật cao. Các thiết bị Snow Family này được tạo ra để giúp các khách hàng của AWS có thể chuyển dữ liệu vào và ra khỏi AWS một cách đáng tin cậy và an toàn.

Snow Family gồm hai dòng sản phẩm chính:

• AWS Snowcone: Là thiết bị nhỏ gọn và cực kỳ bền, được thiết kế để thu thập, lưu trữ và di chuyển dữ liệu tại các địa điểm khó tiếp cận. Snowcone có thể chứa tới 8TB dữ liệu và được trang bị các tính năng bảo mật cao để bảo vệ dữ liệu của bạn khi di chuyển tới các trung tâm dữ liệu của AWS.
• AWS Snowball: Là một thiết bị lưu trữ tạm thời dùng để di chuyển lượng lớn dữ liệu vào và ra khỏi AWS một cách nhanh chóng, an toàn và đáng tin cậy. Snowball có thể chứa tới 80TB dữ liệu và được trang bị các tính năng bảo mật cao như mã hóa, chữ ký số và phân tán dữ liệu để đảm bảo an toàn cho dữ liệu của bạn.

Cả hai loại thiết bị Snow Family đều được AWS cung cấp kèm theo các công cụ và dịch vụ hỗ trợ để giúp khách hàng thu thập, xử lý và chuyển dữ liệu một cách dễ dàng và hiệu quả.

– Data migration là gì?

Data migration là quá trình di chuyển dữ liệu từ một hệ thống sang một hệ thống khác. AWS cung cấp các giải pháp cho việc di chuyển dữ liệu bao gồm Snowcone, Snowball và Edge Snowmobile.

• AWS Snowcone: là một thiết bị nhỏ gọn, chuyên dụng để di chuyển dữ liệu từ các địa điểm khó tiếp cận về AWS. Snowcone được trang bị các tính năng bảo mật cao, cho phép mã hóa dữ liệu và hỗ trợ kết nối mạng 4G LTE. Snowcone có dung lượng lưu trữ lên tới 8TB và có khả năng chứa các loại dữ liệu khác nhau như video, hình ảnh, tài liệu…
• AWS Snowball: là một thiết bị lưu trữ tạm thời, giúp khách hàng di chuyển lượng lớn dữ liệu (lên tới 80TB) vào hoặc ra khỏi AWS. Snowball được trang bị các tính năng bảo mật cao, cho phép mã hóa dữ liệu và có khả năng kết nối mạng 10Gbps. Snowball cũng hỗ trợ các giao thức di chuyển dữ liệu như S3, EBS, Glacier, và các công nghệ Amazon khác.
• AWS Snowmobile: là một giải pháp di chuyển dữ liệu quy mô lớn, cho phép khách hàng di chuyển lượng lớn dữ liệu lên tới hàng petabyte từ các trung tâm dữ liệu của mình đến AWS bằng cách sử dụng một container trailer có kích thước lớn. Snowmobile được trang bị các tính năng bảo mật cao, bao gồm mã hóa dữ liệu và phân tán dữ liệu trên các thiết bị đĩa cứng để đảm bảo an toàn cho dữ liệu của khách hàng.

Các giải pháp di chuyển dữ liệu của AWS đều được thiết kế để giúp khách hàng chuyển dữ liệu một cách đáng tin cậy, nhanh chóng và an toàn. Ngoài ra, AWS cũng cung cấp các công cụ và dịch vụ hỗ trợ cho việc di chuyển và quản lý dữ liệu của khách hàng trên AWS.

– Edge computing là gì?

Edge computing là một khái niệm liên quan đến việc xử lý và phân tích dữ liệu ngay tại vị trí thu thập, thay vì phải truyền tải dữ liệu lên đám mây để xử lý. Điều này giúp giảm độ trễ và chi phí mạng, đồng thời cung cấp khả năng xử lý dữ liệu nhanh hơn và đáp ứng được các yêu cầu thời gian thực.

AWS Snowcone và Snowball Edge là những thiết bị có khả năng tích hợp các chức năng xử lý, lưu trữ và truyền tải dữ liệu để có thể đáp ứng nhu cầu xử lý tại chỗ. Snowcone là một thiết bị nhỏ gọn, có khả năng lưu trữ dữ liệu lên đến 8TB, được thiết kế để hoạt động trong môi trường có độ ẩm và nhiệt độ thấp. Snowball Edge là một thiết bị lớn hơn, có khả năng lưu trữ lên đến 100TB dữ liệu, cũng như hỗ trợ các tính năng xử lý dữ liệu như trích xuất, chuyển đổi và phân tích.

Cả Snowcone và Snowball Edge đều được thiết kế để hoạt động tại các vị trí khác nhau như trên tàu thủy, các mỏ khai thác, hoặc các địa điểm hẻo lánh khác. Chúng có khả năng kết nối với các thiết bị khác để thu thập dữ liệu và xử lý trên chính thiết bị đó, giúp giảm độ trễ và tiết kiệm chi phí mạng.

Edge Snowmobile là một phiên bản lớn hơn của Snowball Edge, có khả năng lưu trữ và vận chuyển lên đến 100PB dữ liệu. Nó được thiết kế để đáp ứng nhu cầu lưu trữ và xử lý dữ liệu tại các địa điểm lớn và khó tiếp cận. Phiên bản này được đặt trên một xe tải và được trang bị các tính năng bảo mật mạnh mẽ để bảo vệ dữ liệu trên đường vận chuyển.

Tóm lại, AWS Snowcone, Snowball Edge và Edge Snowmobile đều là những giải pháp đáp ứng nhu cầu xử lý và lưu trữ dữ liệu tại chỗ, giúp giảm độ trễ và tiết kiệm chi phí mạng.

Hãy vào Snow family > Create new job, chúng ta sẽ có các phương pháp Import vào Amazon S3, Export từ Amazon S3 và Local compute and storage only là các giải pháp được AWS cung cấp để di chuyển dữ liệu giữa các nơi lưu trữ khác nhau và xử lý dữ liệu trên các máy tính cục bộ.

• Import into Amazon S3: Đây là phương pháp để di chuyển dữ liệu từ các nguồn khác vào Amazon S3 bằng các dịch vụ của AWS như Snowball hoặc Snowmobile. Snowball là một thiết bị lưu trữ di động được cung cấp bởi AWS để di chuyển lượng lớn dữ liệu vật lý từ trung tâm dữ liệu của khách hàng đến Amazon S3. Snowmobile là một dịch vụ của AWS để di chuyển lượng lớn dữ liệu lên đến hàng petabyte bằng cách sử dụng xe tải.
• Export from Amazon S3: Đây là phương pháp để di chuyển dữ liệu từ Amazon S3 đến các đích khác như máy tính cục bộ hoặc các dịch vụ đám mây khác. AWS cung cấp các dịch vụ để chuyển dữ liệu từ Amazon S3 như AWS DataSync hoặc AWS Snowball.
• Local compute and storage only: Đây là phương pháp để xử lý và lưu trữ dữ liệu trên các máy tính cục bộ của khách hàng mà không sử dụng các dịch vụ đám mây của AWS. Các công cụ của AWS có thể được cài đặt trên các máy tính cục bộ để hỗ trợ xử lý dữ liệu như AWS Snowball Edge hoặc AWS Greengrass. Tuy nhiên, việc sử dụng các công cụ này cần phải được cân nhắc cẩn thận để đảm bảo hiệu quả và tính bảo mật của dữ liệu.

Mình sử dụng Import into Amazon S3 và bấm Next.

Add a new address là một thành phần để thêm một địa chỉ mới có thể bao gồm:

• Name: Tên của người nhận hàng, thường là họ và tên đệm.
• City: Tên thành phố hoặc thị trấn của địa chỉ nhận hàng.
• Company: Tên công ty hoặc tổ chức của người nhận hàng, nếu có.
• Country: Quốc gia của địa chỉ nhận hàng.
• Address: Địa chỉ nhận hàng, gồm số nhà, tên đường, phường/xã, quận/huyện (nếu có) và tỉnh/thành phố.
• Division: Khu vực hoặc phân vùng của địa chỉ nhận hàng, nếu có.
• Address line 2 – optional: Dòng địa chỉ thứ hai (nếu có), thường là tên tòa nhà, căn hộ hoặc số thứ tự của nhà trong khu phố.
• Zip code: Mã bưu chính của địa chỉ nhận hàng.
• Address line 3 – optional: Dòng địa chỉ thứ ba (nếu có), thường là tên địa điểm, gần địa chỉ nhận hàng.
• Phone number: Số điện thoại của người nhận hàng, dùng để liên lạc khi cần thiết.

Tại phần Shipping speed chúng ta có 2 tuỳ chọn:

• Express Shipping là phương thức vận chuyển nhanh chóng, được đảm bảo giao hàng trong khoảng thời gian ngắn hơn so với phương thức Standard Shipping. Thường thì, các đơn hàng được giao trong vòng 1-2 ngày với Express Shipping. Tuy nhiên, phương thức này thường có chi phí cao hơn so với Standard Shipping do yêu cầu phải sử dụng các dịch vụ vận chuyển nhanh và hơn nữa, phương thức này có thể không khả dụng cho các khu vực xa, địa phương hẻo lánh hoặc vùng ngoại ô.
• Standard Shipping là phương thức vận chuyển tiêu chuẩn, thường mất thêm thời gian so với Express Shipping nhưng có chi phí thấp hơn. Thời gian giao hàng tùy thuộc vào khoảng cách và tốc độ vận chuyển của nhà vận chuyển, thường từ 3 đến 7 ngày. Phương thức này thường được sử dụng cho các đơn hàng không gấp và các sản phẩm không quá cồng kềnh hoặc quá nặng để vận chuyển nhanh.

Đặt tên cho job tại Job name. Tại phần Choose your Snow device chúng ta có 3 tuỳ chọn như sau:

• Snowball Edge Storage Optimized: là một thiết bị lưu trữ lớn, được trang bị khả năng lưu trữ dữ liệu tới 80TB, 40 vCPU và 80GB RAM, được sử dụng để xử lý, truyền tải và lưu trữ dữ liệu. Thiết bị này có thể được sử dụng để tạo cluster lưu trữ và hỗ trợ nhiều giao thức như NFS, SMB và S3.
• Snowball Edge Compute Optimized: là một thiết bị tính toán được trang bị khả năng xử lý lớn, với 52 vCPU, 208GB RAM và hỗ trợ thêm GPU. Thiết bị này được sử dụng để chạy các ứng dụng tính toán phức tạp, như trích xuất thông tin và xử lý hình ảnh. Ngoài ra, thiết bị này cũng hỗ trợ các giao thức lưu trữ như NFS và S3.
• Snowball Edge Compute Optimized with GPU: tương tự như Snowball Edge Compute Optimized nhưng được trang bị thêm GPU, giúp tăng tốc độ xử lý dữ liệu, đặc biệt là cho các ứng dụng liên quan đến xử lý hình ảnh và video.

Nhưng bạn để ý, mình đang ở khu vực LonDon nên không có tuỳ chọn Snowcone, vì vậy mình sẽ chuyển sang 1 vùng khác. Snowcone là một sản phẩm mới nhất trong gia đình Snow Family của AWS. Đây là một thiết bị lưu trữ di động rất nhỏ gọn, có kích thước tương đương với một hộp cơm, được thiết kế để xử lý, lưu trữ và chuyển dữ liệu tại các vị trí xa và môi trường khắc nghiệt.

Snowcone có thể được sử dụng để lưu trữ dữ liệu hoặc để chuyển dữ liệu từ các thiết bị ngoại vi hoặc các thiết bị lưu trữ khác. Nó có kết nối mạng Ethernet và Wi-Fi, cũng như USB và cổng HDMI. Snowcone có khả năng mã hóa dữ liệu và chống sốc, cùng với các tính năng bảo mật khác như chứng nhận FIPS 140-2 và Tài khoản AWS Identity and Access Management (IAM).

Khi sử dụng Snowcone, người dùng có thể lưu trữ tối đa 8TB dữ liệu trên thiết bị và có thể kết nối nó với các dịch vụ AWS như S3, Glacier và EBS để lưu trữ dữ liệu dễ dàng hơn. Snowcone cũng hỗ trợ tính năng AWS IoT Greengrass, cho phép người dùng xử lý dữ liệu trên thiết bị trước khi truyền nó đến các dịch vụ AWS khác.

Tóm lại, Snowcone là một giải pháp lưu trữ di động nhỏ gọn, tiện lợi và bảo mật, giúp người dùng xử lý và chuyển dữ liệu tại các vị trí xa và khắc nghiệt một cách dễ dàng.

Và bây giờ mình đã chuyển qua vùng Ireland và chúng ta có tuỳ chọn Snowcone. Hiện tại, Snowcone chỉ có sẵn ở một số khu vực được chọn của AWS. Việc phát triển và triển khai các dịch vụ mới của AWS thường phải dựa trên nhiều yếu tố, bao gồm yêu cầu khách hàng, cơ sở hạ tầng, kinh phí và sự phân bố địa lý. Do đó, không phải tất cả các khu vực đều có các dịch vụ mới như Snowcone cùng lúc, và nó có thể phụ thuộc vào một số yếu tố khác nhau. Tuy nhiên, AWS liên tục mở rộng và phát triển sự hiện diện của mình trên toàn cầu, do đó, các dịch vụ mới có thể sẽ được phát triển và triển khai trong tương lai.

Mình chuyển vùng chỉ muốn cho các bạn xem lựa chọn Snowcone và sẽ lựa chọn Snowball Edge Storage Optimized và kéo xuống dưới.

Kéo tới phần Choose your S3 storage hãy lựa chọn 1 bucket S3 để lưu dữ liệu của bạn. Khi sử dụng các thiết bị của Snow Family để lưu trữ dữ liệu, bạn cần chọn các thông tin liên quan đến lưu trữ trên Amazon S3. Cụ thể, bạn cần chọn các bucket S3 để lưu trữ dữ liệu trên thiết bị Snow Family của mình.

Việc lựa chọn các bucket S3 sẽ cho phép bạn sử dụng các file và thư mục trong các bucket này trên thiết bị của mình như các thư mục thông thường. Dữ liệu trong các thư mục này sẽ được chuyển đổi và chuyển về lại Amazon S3 để lưu trữ lâu dài.

Quá trình này giúp bạn có thể lưu trữ và xử lý dữ liệu trên các thiết bị Snow Family một cách linh hoạt và dễ dàng hơn.

Kéo xuống dưới cùng và bấm Next.

Trong các tùy chọn “Service access”, khi bạn tạo một job với AWS Snowball hay Snowball Edge, bạn cần phải tạo một service role để cho phép Snowball truy cập các tài nguyên của bạn. Role này sẽ được sử dụng bởi Snowball để lấy và ghi dữ liệu vào các tài nguyên của bạn, như S3 buckets hay EC2 instances. Bằng cách tạo service role, bạn có thể cung cấp quyền truy cập chính xác mà Snowball cần để thực hiện các tác vụ của nó trên các tài nguyên của bạn, đồng thời giữ cho các tài nguyên của bạn được an toàn và bảo mật.

Bấm close để đóng bảng Detailts lại.

Bạn sẽ thấy tại Service access đã chuyển từ Create service role thành View policy. Hãy bấm Next để tiếp tục.

“Choose your notification preferences” là một phần trong quá trình tạo một AWS Snowball Edge job, nơi người dùng có thể cấu hình các thông báo để được gửi khi job hoàn thành hoặc xảy ra lỗi. Có hai tuỳ chọn trong phần này:

• Use an existing SNS topic: Nếu bạn đã có một Amazon SNS (Simple Notification Service) topic và muốn sử dụng nó để nhận thông báo từ AWS Snowball Edge job, bạn có thể chọn tùy chọn này và chọn SNS topic đã tồn tại.
• Create a new SNS topic: Nếu bạn chưa có một SNS topic, bạn có thể tạo mới một SNS topic để nhận các thông báo liên quan đến AWS Snowball Edge job. Bạn có thể cấu hình email hoặc SMS để nhận thông báo khi job hoàn thành hoặc xảy ra lỗi. Sau khi tạo mới SNS topic, bạn sẽ nhận được một chủ đề ARN (Amazon Resource Name) để sử dụng trong phần cấu hình thông báo của AWS Snowball Edge job.

Điền đầy đủ thông tin và bấm Next.

AWS OpsHub là một ứng dụng desktop cho phép quản lý và điều khiển các thiết bị AWS Snow Family. Việc tải xuống AWS OpsHub sẽ giúp người dùng quản lý Snow Family Device một cách dễ dàng hơn bằng cách sử dụng một giao diện đồ họa thân thiện hơn thay vì phải sử dụng CLI. AWS OpsHub cho phép người dùng thực hiện các tác vụ như: cấu hình thiết bị, chuyển file, quản lý các phiên EC2, theo dõi các chỉ số hiệu suất và nhiều hơn nữa. Nó cũng cho phép người dùng khởi chạy các dịch vụ AWS trên thiết bị của họ, như EC2 instances, DataSync, NFS, v.v. Tóm lại, việc tải xuống AWS OpsHub giúp người dùng quản lý và vận hành AWS Snow Family một cách dễ dàng và hiệu quả hơn.

Tại phần Review and create your job sẽ cho bạn review lại các thiết lập của bạn.

Hãy kéo xuống dưới và bấm vào Create job để tạo Job và nếu bạn chỉ demo thì vui lòng không bấm vào Create job ví nó sẽ làm tiêu tốn rất nhiều tiền của bạn.

Nhưng nếu bạn sử dụng cho 1 trường hợp khác là Local compute and storage only. Tại phần Make this a cluster bạn có thể tạo 1 cụm hoặc bỏ qua nó, do đang demo nên mình sẽ bỏ qua nó và bấm Next.

Phần thiết lập địa chỉ mình sẽ thiết lập theo thông tin lúc nãy mình đã thiết lập ở bước trên.

Giờ mình lựa chọn Snow device là Snowball Edge Compute Optimized để thực hiện các tính toán nặng.

Một lần nữa chúng ta lựa chọn 1 bucket để sao lưu dữ liệu.

Tùy chọn “Compute using EC2 instances – optional” trong quá trình thiết lập thiết bị Snowball Edge cho phép bạn cấu hình các máy ảo EC2 (Elastic Compute Cloud) trên thiết bị Snowball Edge. EC2 là một dịch vụ tính toán đám mây của AWS, cho phép bạn thuê các máy ảo với các cấu hình khác nhau để chạy các ứng dụng của mình trên đám mây.

Với tùy chọn này, bạn có thể triển khai các ứng dụng của mình trên các máy ảo EC2 trên Snowball Edge để thực hiện các tác vụ tính toán phức tạp hoặc yêu cầu nhiều tài nguyên tính toán. Việc triển khai máy ảo EC2 trên Snowball Edge cũng giúp bạn tiết kiệm chi phí so với việc thuê các máy ảo EC2 trên đám mây AWS Public Cloud.

Các thiết lập còn lại tương tự như ở trên mình đã làm và nếu bạn chỉ demo thì vui lòng không bấm vào Create job để tránh phát sinh chi phí nhé.

2. Data Migrations with AWS Snow Family.

Khi di chuyển dữ liệu từ các nơi đến AWS Cloud bằng AWS Snow Family, tồn tại một số thách thức nhất định mà các tổ chức phải đối mặt. Dưới đây là một số thách thức chính:

• Kết nối mạng hạn chế: Các thiết bị Snowcone, Snowball và Snowmobile được thiết kế để hoạt động tại các vị trí có kết nối mạng hạn chế hoặc không có kết nối mạng. Tuy nhiên, điều này có thể dẫn đến khó khăn trong việc truyền tải dữ liệu đến AWS Cloud.
• Băng thông mạng hạn chế: Do thiết bị Snow Family hoạt động trong môi trường có băng thông mạng hạn chế, điều này có thể làm chậm quá trình di chuyển dữ liệu và kéo dài thời gian cần thiết để hoàn thành.
• Chi phí mạng cao: Việc sử dụng các dịch vụ mạng của AWS để truyền tải dữ liệu có thể tạo ra chi phí cao cho các tổ chức.
• Băng thông mạng chia sẻ: Vì Snow Family hoạt động trong môi trường có băng thông mạng chia sẻ, việc tối đa hóa băng thông mạng để di chuyển dữ liệu là khó khăn.
• Ổn định kết nối: Vì Snow Family hoạt động tại các vị trí có kết nối mạng không ổn định, điều này có thể dẫn đến các sự cố liên quan đến kết nối và làm gián đoạn quá trình di chuyển dữ liệu.

AWS Snow Family là một họ thiết bị được thiết kế để giúp cho việc di chuyển dữ liệu giữa các thiết bị và các trung tâm dữ liệu trở nên dễ dàng hơn. Khi mà việc truyền tải dữ liệu qua mạng mất nhiều thời gian, Snowball devices sẽ là giải pháp lý tưởng để tăng tốc độ truyền tải dữ liệu. Snowball là một thiết bị lưu trữ dữ liệu rất lớn, cho phép di chuyển dữ liệu tới và từ AWS một cách dễ dàng, an toàn và nhanh chóng. Thiết bị này có dung lượng lưu trữ từ 50TB đến 80TB và cho phép di chuyển lượng dữ liệu lớn một cách nhanh chóng.

Với những thách thức như kết nối mạng hạn chế, băng thông hạn chế, chi phí kết nối cao, băng thông chia sẻ và sự ổn định kết nối, việc truyền tải dữ liệu qua mạng có thể trở nên rất khó khăn và tốn nhiều thời gian. Vì vậy, Snowball devices là một giải pháp tuyệt vời cho những dự án di chuyển dữ liệu quy mô lớn, hoặc khi việc truyền tải dữ liệu qua mạng mất quá nhiều thời gian. Snowball devices cho phép người dùng di chuyển dữ liệu của họ nhanh chóng, tiết kiệm chi phí và đảm bảo an toàn cho dữ liệu. Nếu việc truyền tải dữ liệu qua mạng mất hơn một tuần, thì Snowball devices sẽ là giải pháp tốt nhất để giúp tăng tốc độ truyền tải dữ liệu.

3. Diagrams.

3.1. Direct upload to S3.

Đây là mô hình về việc trực tiếp tải lên dữ liệu lên Amazon S3 bằng cách sử dụng một công cụ client (như AWS Command Line Interface) trên một máy tính bất kỳ có kết nối internet với tốc độ 10 Gbit/s.

Công cụ client này sẽ được sử dụng để truy cập vào Amazon S3 bucket để thực hiện quá trình tải lên dữ liệu. Amazon S3 là một dịch vụ lưu trữ đám mây được cung cấp bởi Amazon Web Services (AWS), cho phép người dùng lưu trữ và truy xuất dữ liệu từ bất kỳ đâu trên internet.

Trong mô hình này, dữ liệu được truyền trực tiếp từ máy tính của người dùng đến Amazon S3 bucket thông qua kết nối internet với tốc độ 10 Gbit/s. Quá trình này được thực hiện một cách nhanh chóng và tiết kiệm thời gian so với các phương pháp truyền thống khác như sử dụng phương tiện lưu trữ dữ liệu di động hoặc truyền qua mạng.

Mô hình này giúp cho việc tải lên dữ liệu trở nên đơn giản, nhanh chóng và tiện lợi hơn cho người dùng, đặc biệt là khi có một lượng lớn dữ liệu cần được tải lên.

3.2. With Snow Family.

Chúng ta có thể sử dụng các thiết bị của AWS Snow Family để di chuyển dữ liệu. Cụ thể, để di chuyển dữ liệu từ ngoài vào AWS, ta sẽ sử dụng AWS Snowball Import, trong đó dữ liệu sẽ được tải lên Snowball, sau đó thiết bị này sẽ được chuyển đến một trong các trung tâm dữ liệu của AWS để được import vào S3. Nếu muốn di chuyển dữ liệu từ trong AWS ra ngoài, ta sử dụng AWS Snowball Export, trong đó dữ liệu từ S3 sẽ được tải xuống Snowball, sau đó thiết bị này sẽ được chuyển đến địa điểm yêu cầu để export dữ liệu.

Dưới đây là một sơ đồ minh họa về việc sử dụng Snowball Import và Snowball Export để di chuyển dữ liệu giữa ngoài và trong AWS:

               +-----------+
               |  Client   |
               |  AWS CLI  |
               +-----------+
                     |
                     v
            +-----------------+
            |   Snowball      |
            |   Import/Export |
            +-----------------+
                     |
                     v
            +-----------------+
            |   AWS S3        |
            +-----------------+

Với Snowball Import, dữ liệu được tải lên thiết bị Snowball bằng cách sử dụng các công cụ AWS CLI hoặc SDK. Sau khi dữ liệu được tải lên, Snowball sẽ được vận chuyển đến trung tâm dữ liệu của AWS để import vào S3. Tương tự, với Snowball Export, dữ liệu từ S3 được tải xuống Snowball và thiết bị này sẽ được vận chuyển đến địa điểm yêu cầu để export dữ liệu.

Việc sử dụng Snowball Import và Snowball Export giúp giải quyết các thách thức về kết nối mạng yếu, băng thông hạn chế và chi phí cao khi di chuyển dữ liệu, đặc biệt là khi di chuyển dữ liệu lớn và trong thời gian ngắn.

4. Snowball Edge (for data transfers).

Snowball là một giải pháp vận chuyển dữ liệu vật lý của AWS, cho phép di chuyển hàng TB hoặc PB dữ liệu vào hoặc ra khỏi AWS. Snowball được xây dựng như một giải pháp thay thế cho việc di chuyển dữ liệu qua mạng (và trả phí mạng). Snowball tính phí trên mỗi công việc vận chuyển dữ liệu, và cung cấp lưu trữ khối và đối tượng tương thích với Amazon S3.

Có hai loại Snowball Edge: Storage Optimized và Compute Optimized. Snowball Edge Storage Optimized cung cấp tới 80 TB dung lượng HDD cho khối và lưu trữ đối tượng tương thích với Amazon S3, trong khi Snowball Edge Compute Optimized cung cấp tới 42 TB dung lượng HDD cho khối và lưu trữ đối tượng tương thích với Amazon S3.

Snowball được sử dụng để chuyển dữ liệu trong các trường hợp như di chuyển lượng lớn dữ liệu vào đám mây, hạ bệ hệ thống trung tâm dữ liệu hoặc khôi phục dữ liệu sau một thảm họa. Các ứng dụng khác của Snowball bao gồm sao lưu dữ liệu trên đám mây và chuyển dữ liệu giữa các khu vực của AWS.

5. AWS Snowcone & Snowcone SSD.

AWS Snowcone và Snowcone SSD là các thiết bị tính toán di động, nhỏ gọn, có thể đem đi bất cứ đâu, chịu được điều kiện khắc nghiệt và đảm bảo bảo mật. Thiết bị này được sử dụng cho edge computing, lưu trữ và truyền dữ liệu. Snowcone có dung lượng lưu trữ 8TB và Snowcone SSD có dung lượng lưu trữ 14TB.

Sử dụng Snowcone trong các môi trường có giới hạn không gian. Tuy nhiên, bạn phải tự cung cấp pin / cáp của riêng mình. Thiết bị này có thể được gửi lại cho AWS ngoại tuyến hoặc kết nối với internet và sử dụng AWS DataSync để gửi dữ liệu.

6. AWS Snowmobile.

AWS Snowmobile là một giải pháp di chuyển dữ liệu lớn nhất của AWS. Nó cho phép khách hàng di chuyển exabytes của dữ liệu từ trung tâm dữ liệu của họ tới AWS bằng cách sử dụng các xe container được trang bị đầy đủ với công nghệ lưu trữ, mạng và bảo mật.

Mỗi Snowmobile có khả năng chứa lên tới 100 PB của dữ liệu và có thể sử dụng nhiều Snowmobile song song để di chuyển nhiều hơn. Snowmobile được thiết kế để cung cấp tính an toàn cao với các tính năng bảo mật như kiểm soát nhiệt độ, GPS và giám sát video 24/7.

Snowmobile là giải pháp tốt hơn so với Snowball nếu khách hàng cần di chuyển hơn 10 PB dữ liệu. Với Snowmobile, khách hàng không cần phải lo lắng về vấn đề liên quan đến băng thông và kết nối internet. Ngoài ra, việc sử dụng Snowmobile còn giúp giảm thiểu thời gian di chuyển dữ liệu và chi phí vận chuyển so với các phương thức truyền thống khác.

7. AWS Snow Family for Data Migrations.

Snowcone và Snowcone SSD có dung lượng lưu trữ lần lượt là 8TB HDD và 14TB SSD. Snowball Edge Storage Optimized có dung lượng lưu trữ sử dụng được là 80TB. Snowmobile có dung lượng lưu trữ lên đến 100PB và có thể sử dụng nhiều thiết bị cùng lúc để tăng dung lượng lưu trữ.

Về kích thước dữ liệu di chuyển, Snowcone và Snowcone SSD có thể di chuyển lên đến 24TB, trực tuyến hoặc ngoại tuyến. Snowball Edge Storage Optimized có thể di chuyển lên đến petabytes, chỉ ngoại tuyến. Snowmobile có thể di chuyển lên đến exabytes, cũng chỉ ngoại tuyến.

Về DataSync agent, Snowcone và Snowcone SSD được cài đặt sẵn để sử dụng.

Về Storage Clustering, Snowball Edge Storage Optimized có thể sử dụng tối đa 15 nút để tăng dung lượng lưu trữ.

8. Snow Family – Usage Process.

Snow Family là bộ sản phẩm giúp chuyển dữ liệu offline, bao gồm các thiết bị như Snowball, Snowcone, và Snowmobile. Dưới đây là quy trình sử dụng Snowball:

1. Yêu cầu các thiết bị Snowball thông qua AWS Console.
2. Cài đặt Snowball client hoặc AWS OpsHub trên các máy chủ của bạn.
3. Kết nối Snowball với máy chủ của bạn và sao chép các file sử dụng client.
4. Trả lại thiết bị khi bạn hoàn tất (được gửi đến cơ sở AWS đúng).
5. Dữ liệu sẽ được tải lên một bucket S3.
6. Snowball sẽ được xóa hoàn toàn.

9. What is Edge Computing?

Edge Computing là một mô hình xử lý dữ liệu ngay tại điểm phát sinh dữ liệu, nhưng không phải trên các máy tính trung tâm. Thay vào đó, dữ liệu được xử lý tại các điểm ngoại vi như các phương tiện di chuyển trên đường, các trạm khai thác mỏ, tàu trên biển, v.v. Ở những địa điểm này, thường có hạn chế hoặc không có kết nối internet và không có sẵn năng lực tính toán đủ lớn để xử lý dữ liệu.

Do đó, để giải quyết vấn đề này, chúng ta sử dụng các thiết bị như Snowball Edge / Snowcone để xử lý dữ liệu ngay tại điểm phát sinh. Các thiết bị này có thể được triển khai tại các vị trí khác nhau để đảm bảo xử lý dữ liệu đầy đủ ngay tại chỗ.

Edge Computing được sử dụng để tiền xử lý dữ liệu, phân tích dữ liệu và thực hiện machine learning ngay tại các điểm phát sinh dữ liệu. Nó cũng được sử dụng để transcode các luồng phương tiện và xử lý các nhu cầu tính toán tại điểm ngoại vi.

Cuối cùng, nếu cần, chúng ta có thể chuyển các thiết bị Snowball Edge / Snowcone về AWS để chuyển dữ liệu, chẳng hạn như để lưu trữ hoặc phân tích ở các trung tâm tính toán.

10. Snow Family – Edge Computing.

Snow Family là một dòng sản phẩm của AWS được thiết kế để hỗ trợ cho Edge Computing. Các thiết bị trong Snow Family gồm Snowcone, Snowball Edge – Compute Optimized, và Snowball Edge – Storage Optimized.

Snowcone và Snowcone SSD là hai thiết bị nhỏ gọn, được trang bị 2 CPU, 4GB bộ nhớ, kết nối có dây hoặc không dây và có thể sử dụng pin hoặc dây cáp để sạc.

Snowball Edge – Compute Optimized có 52 vCPU, 208 GB RAM và tùy chọn GPU (hữu ích cho xử lý video hoặc học máy). Nó có 42 TB dung lượng lưu trữ sử dụng được.

Snowball Edge – Storage Optimized có thể có đến 40 vCPU, 80GB RAM và hỗ trợ việc tổ chức cụm lưu trữ đối tượng.

Tất cả các thiết bị trong Snow Family đều có thể chạy các ứng dụng EC2 Instances & AWS Lambda bằng cách sử dụng AWS IoT Greengrass. Ngoài ra, có tùy chọn giá ưu đãi cho các tùy chọn triển khai lâu dài trong 1 hoặc 3 năm.

11. AWS OpsHub.

AWS OpsHub là một phần mềm mà người dùng cài đặt trên máy tính / laptop của mình để quản lý các thiết bị trong Snow Family. Trước đây, để sử dụng các thiết bị Snow Family, người dùng cần sử dụng một công cụ CLI (Command Line Interface). Nhưng hiện nay, với AWS OpsHub, người dùng có thể quản lý các thiết bị Snow Family một cách dễ dàng hơn.

Các tính năng của AWS OpsHub bao gồm:

• Cấu hình và mở khóa các thiết bị Snow Family đơn lẻ hoặc kết nối với nhau để tạo thành một cluster.
• Chuyển file đến và từ các thiết bị Snow Family.
• Khởi chạy và quản lý các instance đang chạy trên các thiết bị Snow Family.
• Theo dõi các chỉ số của các thiết bị như dung lượng lưu trữ, các instance đang hoạt động trên thiết bị.
• Khởi chạy các dịch vụ AWS tương thích trên các thiết bị, chẳng hạn như Amazon EC2 instances, AWS DataSync, Network File System (NFS).

12. Architecture Snowball into Glacier.

Snowball là một dịch vụ của AWS giúp khách hàng chuyển dữ liệu lớn từ một địa điểm đến một vị trí khác trong các trường hợp mà việc truyền tải dữ liệu qua mạng internet trở nên không khả thi. Tuy nhiên, khi bạn muốn lưu trữ dữ liệu đó vào dịch vụ AWS Glacier để tiết kiệm chi phí lưu trữ dữ liệu thì Snowball không thể trực tiếp import dữ liệu vào Glacier được.

Trong trường hợp này, bạn phải sử dụng Amazon S3 làm bước trung gian. Cụ thể, bạn cần tải dữ liệu từ Snowball vào S3 bucket, sau đó sử dụng S3 Lifecycle policy để tự động chuyển dữ liệu từ S3 bucket sang Glacier Vault. S3 Lifecycle policy cho phép bạn tự động chuyển dữ liệu từ S3 sang Glacier để giảm chi phí lưu trữ cho những dữ liệu mà bạn không cần truy cập thường xuyên. Khi bạn đã chuyển dữ liệu từ S3 sang Glacier, bạn vẫn có thể truy cập dữ liệu đó và khôi phục nó khi cần thiết.

Hình trên thể hiện một kiến trúc giải pháp được sử dụng để chuyển dữ liệu từ Snowball vào Amazon Glacier.

Bước đầu tiên là sử dụng Snowball để nhập dữ liệu vào Amazon S3. Snowball là một thiết bị lưu trữ di động được sử dụng để chuyển dữ liệu lớn từ một vị trí đến vị trí khác trong một mạng riêng tư hoặc công cộng. Snowball cung cấp tính năng bảo mật với mã hóa 256-bit và tính năng đánh giá xác thực dữ liệu với khả năng kiểm tra dữ liệu và đưa ra báo cáo.

Sau khi dữ liệu đã được nhập vào S3, bạn sử dụng S3 lifecycle policy để tự động chuyển dữ liệu từ S3 sang Amazon Glacier. Amazon Glacier là một dịch vụ lưu trữ dữ liệu rất rẻ tiền và phù hợp để lưu trữ các bản sao lưu dữ liệu lớn hoặc các dữ liệu mà không cần truy cập thường xuyên.

S3 lifecycle policy là một tính năng cho phép tự động di chuyển hoặc xóa các đối tượng trong S3 khi chúng đạt đến tuổi thọ hoặc thỏa mãn các điều kiện nhất định. Ví dụ, bạn có thể sử dụng S3 lifecycle policy để tự động chuyển các đối tượng từ S3 sang Glacier sau một khoảng thời gian nhất định.

Với kiến trúc giải pháp này, bạn có thể chuyển dữ liệu từ Snowball vào Amazon Glacier một cách an toàn và tiết kiệm chi phí.