[Terraform] Lesson 22 – Consul và Terraform

1. Khái niệm về Consul.

Consul là một phần mềm dùng để quản lý dịch vụ và khám phá dịch vụ, cung cấp tính năng phân tán, bảo mật và độ tin cậy cao. Consul giúp các ứng dụng phần mềm đáp ứng yêu cầu độ tin cậy cao, tạo điều kiện cho việc scale và quản lý các dịch vụ một cách hiệu quả hơn. Consul cũng cho phép các nhà phát triển và quản trị viên cấu hình và tìm kiếm các dịch vụ thông qua giao diện dòng lệnh hoặc giao diện đồ họa.

Khi được kết hợp với nhau, Consul và Terraform cung cấp một giải pháp hoàn chỉnh để quản lý cơ sở hạ tầng, cung cấp khả năng quản lý dịch vụ, khám phá dịch vụ và cấu hình cơ sở hạ tầng một cách đồng bộ trên nhiều nền tảng khác nhau. Việc kết hợp giữa hai công cụ này giúp cho quản trị viên có thể tự động hóa việc cài đặt, triển khai và quản lý các ứng dụng và dịch vụ một cách hiệu quả, tiết kiệm thời gian và giảm thiểu sai sót.

Consul là một nền tảng mạng dịch vụ cung cấp các chức năng như phát hiện dịch vụ, đăng ký trung tâm cho các dịch vụ trong mạng, quản lý lưu lượng mạng giữa các dịch vụ, hỗ trợ cấu hình ứng dụng, v.v. Consul rất hữu ích khi bạn có một kiến trúc dịch vụ hoặc kiến trúc hướng dịch vụ với hàng trăm hoặc hàng nghìn dịch vụ (ứng dụng được đóng gói hoặc các tải công việc).

Consul cũng tích hợp với Terraform thông qua các cách sau:

• Remote backend: Consul có một Key Value (KV) Store để lưu trữ các cấu hình, Terraform có thể sử dụng Consul KV Store làm backend để lưu trữ các state file và tfstate.
• Consul Provider: Terraform có thể sử dụng Consul Provider để cấu hình các dịch vụ được đăng ký với Consul, thay đổi thông tin dịch vụ, cấu hình chuyển tiếp và quản lý các endpoint của dịch vụ.

Thêm vào đó, Terraform cũng hỗ trợ tích hợp với Consul để quản lý các tài nguyên của hệ thống. Terraform có thể sử dụng Consul để lưu trữ các state file và tfstate để quản lý các tài nguyên. Ngoài ra, Terraform cũng có thể sử dụng Consul để thực hiện phát hiện dịch vụ và cấu hình dịch vụ một cách tự động.

Sự tích hợp giữa Consul và Terraform cho phép người dùng quản lý hệ thống một cách hiệu quả và giảm thiểu thời gian triển khai và quản lý hệ thống. Nó cũng cung cấp khả năng phát hiện và sửa lỗi hệ thống nhanh chóng, đảm bảo rằng hệ thống luôn hoạt động tốt.

Một tính năng khác của Consul là có thể tích hợp với Terraform để thực hiện tạo và quản lý các cơ sở dữ liệu. Terraform có thể sử dụng Consul để lưu trữ các thông tin về cơ sở dữ liệu và cấu hình một cách tự động. Điều này giúp giảm thiểu tối đa thời gian và công sức khi tạo và quản lý các cơ sở dữ liệu trong hệ thống.

Ngoài ra, Consul cũng hỗ trợ tính năng Health Check để kiểm tra tình trạng hoạt động của các dịch vụ trong hệ thống. Tính năng này có thể tích hợp với Terraform để tự động khởi động lại các dịch vụ khi chúng gặp sự cố hoặc lỗi. Điều này giúp đảm bảo rằng hệ thống luôn hoạt động tốt và giảm thiểu tối đa thời gian chết của dịch vụ trong hệ thống.

2. Sử dụng Consul trong Terraform như thế nào?

Để sử dụng Consul trong Terraform, bạn cần cài đặt Consul và tạo ra một vài key-value pairs trong Consul. Sau đó, bạn cần cấu hình Terraform để kết nối với Consul và sử dụng các key-value pairs trong Consul để tạo và quản lý các tài nguyên.

Bước 1: Cài đặt Consul Bạn có thể cài đặt Consul bằng các phương thức khác nhau, nhưng phương thức đơn giản nhất là tải xuống và cài đặt Consul trên máy tính của bạn.

Bước 2: Tạo key-value pairs trong Consul Sau khi cài đặt Consul, bạn cần tạo ra một vài key-value pairs trong Consul. Key-value pairs này sẽ được sử dụng trong Terraform để tạo và quản lý các tài nguyên.

Bạn có thể sử dụng giao diện web của Consul để tạo key-value pairs hoặc sử dụng lệnh curl để tạo chúng. Ví dụ:

curl \
    --request PUT \
    --data "Hello, Consul" \
    http://localhost:8500/v1/kv/my-key

Bước 3: Cấu hình Terraform để kết nối với Consul Sau khi đã tạo key-value pairs trong Consul, bạn cần cấu hình Terraform để kết nối với Consul. Bạn có thể làm điều này bằng cách thêm đoạn mã sau vào file cấu hình Terraform của bạn:

provider "consul" {
  address = "http://localhost:8500"
}

data "consul_keys" "my_keys" {
  keys = ["my-key"]
}

Trong đoạn mã trên, bạn đang cấu hình Terraform để sử dụng Consul provider và lấy các key-value pairs từ Consul.

Bước 4: Sử dụng key-value pairs trong Terraform Cuối cùng, bạn có thể sử dụng key-value pairs trong Terraform để tạo và quản lý các tài nguyên. Ví dụ:

resource "my-resource" "example" {
  some_property = "${data.consul_keys.my_keys.my-key.value}"
}

Trong ví dụ trên, bạn đang tạo một tài nguyên và sử dụng giá trị của key-value pair từ Consul để đặt giá trị cho thuộc tính của tài nguyên đó.

3. Ưu và nhược điểm của Consul.

Ưu điểm của Consul:

• Dễ sử dụng và triển khai: Consul được thiết kế để dễ dàng sử dụng và triển khai trong môi trường sản xuất.
• Tính linh hoạt cao: Consul hỗ trợ nhiều mô hình triển khai khác nhau và có thể tích hợp với nhiều công cụ và hệ thống khác nhau.
• Cơ chế phân phối dịch vụ: Consul cung cấp cơ chế phân phối dịch vụ, giúp đảm bảo rằng các dịch vụ có sẵn và hoạt động như mong muốn.
• Cơ chế kiểm soát truy cập: Consul cung cấp các công cụ và cơ chế kiểm soát truy cập cho phép người dùng quản lý và kiểm soát quyền truy cập vào dịch vụ.
• Tính mở rộng cao: Consul có khả năng mở rộng linh hoạt và dễ dàng để quản lý cả hàng trăm, thậm chí hàng ngàn máy chủ và dịch vụ.

Nhược điểm của Consul:

• Hạn chế về khả năng đồng bộ hóa dữ liệu: Consul không thể đồng bộ hóa các dữ liệu giữa các node cùng lúc, điều này có thể gây ra các vấn đề liên quan đến tính nhất quán và khả năng phục hồi sau sự cố.
• Chi phí cao: Consul yêu cầu tài nguyên phần cứng và bộ nhớ lớn để chạy một cách hiệu quả, điều này có thể tạo ra chi phí cao cho các tổ chức.
• Khó khăn trong việc cấu hình: Mặc dù Consul rất mạnh mẽ, nhưng nó cũng có khó khăn trong việc cấu hình và triển khai cho các tổ chức với nhân lực hạn chế và kinh nghiệm thiếu thốn.
• Khả năng quản lý dữ liệu bị giới hạn: Consul chỉ hỗ trợ một số loại dữ liệu và không phù hợp cho các ứng dụng yêu cầu quản lý dữ liệu phức tạp.

4. Các lưu ý khi sử dụng Consul.

Consul là một công cụ mã nguồn mở được sử dụng để quản lý dịch vụ và phân phối dịch vụ. Trong Terraform, Consul được sử dụng để lưu trữ và phân phối thông tin cấu hình giữa các máy chủ và ứng dụng.

Dưới đây là một số lưu ý khi sử dụng Consul trong Terraform:

• Xác thực: Consul hỗ trợ các phương thức xác thực khác nhau, bao gồm cả phương thức xác thực với token và xác thực SSL/TLS. Để sử dụng Consul với Terraform, bạn cần cấu hình Consul để hỗ trợ xác thực phù hợp.
• Bảo mật: Consul cung cấp các tính năng bảo mật, bao gồm mã hóa dữ liệu, xác thực người dùng và kiểm soát truy cập. Để đảm bảo tính bảo mật, bạn cần cấu hình Consul để sử dụng các tính năng này.
• Khả năng mở rộng: Consul cho phép bạn thêm hoặc xóa máy chủ và dịch vụ một cách linh hoạt, giúp cho việc mở rộng hệ thống trở nên dễ dàng hơn. Tuy nhiên, để đảm bảo tính động và linh hoạt của Consul, bạn cần cấu hình và quản lý Consul một cách thích hợp.
• Quản lý dịch vụ: Consul cung cấp các tính năng để quản lý và phân phối dịch vụ, bao gồm phát hiện dịch vụ, tải cân bằng và khởi động lại dịch vụ. Để sử dụng Consul hiệu quả trong Terraform, bạn cần hiểu rõ các tính năng này và cấu hình Consul để sử dụng chúng.
• Tích hợp với Terraform: Consul cung cấp một API mạnh mẽ để quản lý dịch vụ và phân phối thông tin cấu hình. Terraform hỗ trợ tích hợp với Consul thông qua các plugin và module, giúp cho việc triển khai hệ thống trở nên dễ dàng hơn.
• Sử dụng phiên bản phù hợp: Khi sử dụng Consul trong Terraform, bạn cần đảm bảo rằng bạn đang sử dụng phiên bản phù hợp của Consul. Nếu bạn sử dụng phiên bản không tương thích, có thể dẫn đến lỗi hoặc khó khăn trong việc triển.
• Đảm bảo rằng Consul đã được triển khai và cấu hình chính xác trước khi sử dụng trong Terraform.
• Sử dụng phiên bản Consul tương thích với Terraform.
• Cần phải có quyền truy cập và xác thực hợp lệ để Terraform có thể kết nối và tương tác với Consul.
• Nếu sử dụng Consul Enterprise, cần cung cấp các thông tin xác thực để Terraform có thể truy cập và sử dụng các tính năng của Consul Enterprise.
• Sử dụng các tài nguyên Consul trong Terraform theo đúng cách sử dụng và cấu hình chính xác để đảm bảo tính đúng đắn của hệ thống.

5. Các ví dụ minh hoạ.

Dưới đây là một ví dụ minh họa sử dụng Consul kết hợp với Terraform trong hệ thống KVM.

Giả sử rằng chúng ta có một hệ thống KVM với nhiều máy ảo, và chúng ta muốn tự động tạo các máy ảo mới bằng cách sử dụng Terraform và lưu trữ thông tin máy ảo trong Consul.

1. Trước tiên, chúng ta cần cài đặt Consul trên một máy chủ. Sau đó, chúng ta cần thiết lập một Consul key-value store để lưu trữ thông tin máy ảo. Ví dụ:

consul kv put kvm/vm1 '{"name": "vm1", "memory": "4096", "vcpu": "2", "disk_size": "20G", "os_image": "ubuntu-20.04"}'
consul kv put kvm/vm2 '{"name": "vm2", "memory": "8192", "vcpu": "4", "disk_size": "40G", "os_image": "centos-8"}'

Tiếp theo, chúng ta cần tạo một module Terraform để định nghĩa các tài nguyên máy ảo. Điều này có thể bao gồm các tài nguyên như CPU, bộ nhớ, ổ đĩa và hình ảnh hệ điều hành. Dưới đây là một ví dụ đơn giản:

resource "libvirt_domain" "vm" {
  name   = "${var.vm_name}"
  memory = "${var.memory}"
  vcpu   = "${var.vcpu}"

  disk {
    volume_id = "${libvirt_volume.vm.id}"
  }

  network_interface {
    network_name = "${var.network_name}"
  }

  console {
    type = "pty"
  }
}

resource "libvirt_volume" "vm" {
  name = "${var.vm_name}"
  size = "${var.disk_size}"

  source = "${var.os_image}"
  format = "qcow2"
}

Chúng ta cần tạo một file Terraform để truy xuất thông tin về máy ảo từ Consul. Ví dụ:

data "consul_keys" "vm1" {
  key = "kvm/vm1"
}

data "consul_keys" "vm2" {
  key = "kvm/vm2"
}

Sau đó, chúng ta có thể sử dụng dữ liệu từ Consul để tạo máy ảo. Ví dụ:

module "vm1" {
  source = "./modules/vm"
  vm_name   = "${data.consul_keys.vm1.value.name}"
  memory    = "${data.consul_keys.vm1.value.memory}"
  vcpu      = "${data.consul_keys.vm1.value.vcpu}"
  disk_size = "${data.consul_keys.vm1.value.disk_size}"
  os_image  = "${data.consul_keys.vm1.value.os_image}"
  network_name = "default"
}

module "vm2" {
  source = "./modules/vm"
  vm_name   = "vm2"
  memory    = "1024"
  vcpu      = "1"
  disk_size = "20"
  os_image  = "ubuntu"
  network_name = "network1"
  provisioner "remote-exec" {
    inline = [
      "sudo apt update -y",
      "sudo apt install -y nginx",
      "echo 'Hello from vm2' | sudo tee /var/www/html/index.html"
    ]
  }
  connection {
    type        = "ssh"
    user        = "ubuntu"
    private_key = file("~/.ssh/id_rsa")
    host        = consul_service.vm2.address
  }
}

Trong đó:

• hostname: Tên của VM.
• template_name: Tên của template OS.
• memory: Dung lượng RAM cấp phát cho VM (đơn vị là MB).
• cpus: Số lượng CPU cấp phát cho VM.
• disk_size: Dung lượng ổ đĩa cấp phát cho VM (đơn vị là GB).
• network_adapter: Thông tin về adapter mạng.
  • network: Tên network mà adapter kết nối tới.
  • type: Loại adapter mạng (trong ví dụ này là virtio).
• provisioner: Cấu hình để chạy các command trên VM sau khi tạo ra nó (trong ví dụ này là cài đặt và cấu hình nginx).
• connection: Cấu hình để kết nối tới VM bằng SSH. Host được đặt thành consul_service.vm2.address, nghĩa là sử dụng địa chỉ IP của VM đã được đăng ký với Consul.

Trong đoạn code này, module "vm2" sử dụng module ./modules/vm và có các thuộc tính tương tự như module "vm1", nhưng thêm cấu hình provisioner để cài đặt Nginx và tạo file index.html, và cấu hình connection để kết nối SSH vào VM thông qua địa chỉ IP được lấy từ Consul.

Tiếp theo trong ví dụ, chúng ta có đoạn mã cho phép tạo firewall rule để cho phép truy cập vào máy ảo:

module "vm2" {
  source = "./"

  vm_name         = "web2"
  vm_ip           = "10.0.2.15"
  vm_image        = "ubuntu/bionic64"
  vm_memory       = "512"
  vm_cpu          = "1"
  vm_user         = "ubuntu"
  vm_password     = "ubuntu"
  consul_endpoint = "http://192.168.56.110:8500"

  firewall_rule = {
    protocol = "tcp"
    port     = "80"
    source   = "0.0.0.0/0"
  }
}

Đoạn mã trên sử dụng module “vm2” để tạo một máy ảo có địa chỉ IP là 10.0.2.15 và hệ điều hành Ubuntu Bionic64. Module này cũng sử dụng Consul để lưu trữ thông tin về máy ảo và cấu hình tường lửa.

Thông qua thuộc tính “firewall_rule”, module “vm2” sẽ cấu hình một luật tường lửa cho phép truy cập vào cổng 80 trên máy ảo. Thuộc tính “protocol” chỉ định giao thức sử dụng (ở đây là TCP), “port” chỉ định cổng được mở (ở đây là cổng 80), và “source” chỉ định phạm vi địa chỉ IP được phép truy cập (ở đây là tất cả địa chỉ IP với subnet mask là 0.0.0.0/0).

Ở đây, chúng ta định nghĩa một firewall rule để cho phép truy cập vào máy ảo thông qua cổng 80. Điều này cho phép máy ảo được truy cập từ bất kỳ địa chỉ IP nào.

Các tài nguyên (resources) được tạo ra trong module được định nghĩa bởi file main.tf trong thư mục module. Trong ví dụ này, file main.tf của module sẽ tạo ra một máy ảo với các thuộc tính được chỉ định trong biến của module.

Với sự tích hợp của Consul, khi máy ảo được tạo ra, nó sẽ tự động đăng ký với Consul dựa trên địa chỉ IP của máy ảo và thông tin định danh của module. Các ứng dụng khác trong hệ thống có thể sử dụng Consul để tìm kiếm và kết nối với máy ảo này thông qua địa chỉ IP được đăng ký trong Consul KV store.