Azure DevOps（二）利用Azure DevOps Pipeline 构建基础设施资源
一，引言
上一篇文章记录了利用 Azure DevOps 跨云进行构建 Docker images，并且将构建好的 Docker Images 推送到 AWS 的 ECR 中。今天我们继续讲解 Azure DevOps 的 Pipeline，利用 Release Pipeline 实现 Terraform for AWS Infrastructure Resources 自动部署，我们的目标是将 images 部署到 AWS ECS 上。
-------------------- 我是分割线 --------------------
1，Azure DevOps（一）利用Azure DevOps Pipeline 构建应用程序镜像到AWS ECR
2，Azure DevOps（二）利用Azure DevOps Pipeline 构建基础设施资源
二，正文
1，Terraform Code
根据之前利用 Terrraform 部署Azure 资源的时候，我们都知道需要将各个资源模块划分 Common Module。同样的，我们当前需要部署的AWS的基础设施资源也划分出多个模块，例如，"ECS"，"Security Group"，“ELB”，“IAM”，“VPC” 等
整个项目 mian.tf 的入口，该文件中包含了各个模块嵌套调用等
当前TF Code 中以及集成了 CodeDeploy 的Common Module 可以实现ECS 的蓝绿部署，大家下载 TF 代码后，可以自行魔改。
provider "aws" {
region = "ap-northeast-1"
}
terraform {
backend "s3" {
region = "ap-northeast-1"
profile = "default"
}
}
locals {
container_name = "cnbateblogweb"
name = "cnbateblogwebCluster"
service_name = "cnbateblogwebservice"
http_port = ["80"]
cidr_block = "10.255.0.0/16"
container_port = tonumber(module.alb.alb_target_group_blue_port)
}
module "securitygroup" {
source = "../modules/securitygroup"
enabled_security_group = true
security_group_name = "cnbateblogwebCluster_ecs_securitygroup"
security_group_vpc_id = module.vpc.vpc_id
from_port_ingress = 9021
to_port_ingress = 9021
from_port_egress = 0
to_port_egress = 0
}
# module "codedeploy" {
# source = "../modules/codedeploy"
# name = "example-deploy"
# ecs_cluster_name = local.name
# ecs_service_name = local.service_name
# lb_listener_arns = [module.alb.http_alb_listener_blue_arn]
# blue_lb_target_group_name = module.alb.aws_lb_target_group_blue_name
# green_lb_target_group_name = module.alb.aws_lb_target_group_green_name
# auto_rollback_enabled = true
# auto_rollback_events = ["DEPLOYMENT_FAILURE"]
# action_on_timeout = "STOP_DEPLOYMENT"
# wait_time_in_minutes = 1440
# termination_wait_time_in_minutes = 1440
# test_traffic_route_listener_arns = []
# iam_path = "/service-role/"
# description = "This is example"
# tags = {
# Environment = "prod"
# }
# }
module "ecs_fargate" {
source = "../modules/ecs"
name = local.name
service_name = local.service_name
container_name = local.container_name
container_port = local.container_port
subnets = module.vpc.public_subnet_ids
security_groups = [module.securitygroup.security_group_id]
target_group_arn = module.alb.alb_target_group_blue_arn
vpc_id = module.vpc.vpc_id
container_definitions = jsonencode([
{
name = local.container_name
image = "693275195242.dkr.ecr.ap-northeast-1.amazonaws.com/cnbateblogweb:28" #"693275195242.dkr.ecr.ap-northeast-1.amazonaws.com/cnbateblogweb:28" #"docker.io/yunqian44/cnbateblogweb:laster"
essential = true
environment = [
{ name : "Location", value : "Singapore" },
{ name : "ASPNETCORE_ENVIRONMENT", value : "Production" }
]
portMappings = [
{
containerPort = local.container_port
protocol = "tcp"
}
]
}
])
desired_count = 1
deployment_maximum_percent = 200
deployment_minimum_healthy_percent = 100
deployment_controller_type = "ECS"
assign_public_ip = true
health_check_grace_period_seconds = 10
platform_version = "LATEST"
cpu = 256
memory = 512
requires_compatibilities = ["FARGATE"]
iam_path = "/service_role/"
description = "This is example"
enabled = true
ecs_task_execution_role_arn = aws_iam_role.default.arn
tags = {
Environment = "prod"
}
}
resource "aws_iam_role" "default" {
name = "iam-rol-ecs-task-execution"
assume_role_policy = data.aws_iam_policy_document.assume_role_policy.json
}
data "aws_iam_policy_document" "assume_role_policy" {
statement {
actions = ["sts:AssumeRole"]
principals {
type = "Service"
identifiers = ["ecs-tasks.amazonaws.com"]
}
}
}
data "aws_iam_policy" "ecs_task_execution" {
arn = "arn:aws:iam::aws:policy/service-role/AmazonECSTaskExecutionRolePolicy"
}
resource "aws_iam_policy" "ecs_task_execution" {
name = aws_iam_role.default.name
policy = data.aws_iam_policy.ecs_task_execution.policy
}
resource "aws_iam_role_policy_attachment" "ecs_task_execution" {
role = aws_iam_role.default.name
policy_arn = aws_iam_policy.ecs_task_execution.arn
}
module "alb" {
source = "../modules/elb"
name = "elb-cnbateblogweb"
vpc_id = module.vpc.vpc_id
subnets = module.vpc.public_subnet_ids
enable_https_listener = false
enable_http_listener = true
enable_deletion_protection = false
enabled_lb_target_group_blue = true
aws_lb_target_group_blue_name = "elb-cnbateblogweb-blue"
health_check_path = ""
enabled_lb_target_group_green = true
aws_lb_target_group_green_name = "elb-cnbateblogweb-green"
enable_http_listener_blue = true
http_port_blue = 80
target_group_blue_port = 9021
enable_http_listener_rule_blue = true
enable_http_listener_green = true
http_port_green = 8080
target_group_green_port = 8080
enable_http_listener_rule_green = true
}
module "vpc" {
source = "../modules/vpc"
cidr_block = local.cidr_block
name = "ecs-fargate"
public_subnet_cidr_blocks = [cidrsubnet(local.cidr_block, 2, 0), cidrsubnet(local.cidr_block, 2, 1)]
public_availability_zones = data.aws_availability_zones.available.names
}
data "aws_caller_identity" "current" {}
data "aws_availability_zones" "available" {}
具体的各个模块的Common Moudle 点击文章底部的 github 链接
2，Azure DevOps 设置 Release Pipeline
回到上一篇文章中创建好的 Azure DebOps 的项目中，docker images 的构筑我们已经在CI 阶段的 pipeline 中已经完成了。我们需要创建部署阶段的 Release Pipeline
选择 “CnBateBlogWeb_AWS” 的项目，选择 “Release” 菜单，点击 “New Pipeline”
选择模板的时候，先点击 “Empty”
修改当前阶段的名称
Stage name：”Deploy AWS ECS“
下一步，我们就得先添加 ”Artifacts“（工件），也就是我们写的 TF 代码
点击 ”+Add“，选择 TF 代码源 ”GitHub“
Service：”Github_Connection44“
Source(repository)：”yunqian44/AWS_ECS“（注意：大家选择fork 到自己的github 仓库名称）
Default branch：“master”
Default version：“Latest from the default branch”
Source alias：“yunqian44_AWS_ECS”
点击 “Add”
点击 “1 job，0 task” 链接为部署阶段添加新的任务
我们都知道，如果我们的基础设施代码的开发是多人协助，并且是需要保存状态文件，那么我们就必须得先在执行Terraform 代码之前创建用于保存 terraform 状态文件的S3，所以，我们得先添加 AWS CLI 来执行创建S3的动作。
点击图中 "Agent job" 旁圈中的 “+”，并在 task 的搜索框中输入 “AWS CLI” ，点击 “Add” 进行添加
添加相关参数用于执行AWS CLI 命令创建S3
Display name：“AWS CLI：Create S3 for Saving terraform state file”
AWS Credentials 选择之前手动加的 AWS 的 ServiceConnection
AWS Region：“Asia Pacific（Tokyo）[ap-northeast-1]”
Command：“s3”
Subcommand：“mb”
Options and parameters：“s3://$(terraform_statefile)” （注意：$(terraform_statefile) 是通过Pipleline Variable 来保存参数的）
接下来添加 Terraform 依赖SDK 的 task，搜索 “Terraform tool installer”，选择添加当前任务
经过查询，我们需要修改当前 Terraform 的版本
Version 版本改为：“0.15.5”
接下来添加 Terraform 初始化的Task
Task 搜索框中搜索 “Terraform”，点击 “Add”
修改相关参数：
Display name：“Terraform：aws init”
Provider 选择：”aws“
Command：”init“
Configuration directory：选择 Terraform 代码执行的目录
AWS backend configuration
aws service connection 大家可以选择创建一个新的
Bucket：”$(terraform_statefile)“ 已通过Pipeline Variable 进行设置了
Key：”$(terraform_statefile_key)“ 已通过Pipeline Variable 进行设置了
接下来添加 Terraform 生成部署计划的Task
修改相关参数：
Display name：”Terraform：aws plan“
Provider 选择：”aws“
Command 选择：”plan“
Configuration directory: 选择 terraform 代码的工作目录
AWS Services connection 选择刚刚新添加的 terraform 的后端服务连接
最后，我们添加执行 Terraform 部署计划的 Task
Display name：”Terraform：aws auto-apply“
Provider：”aws“
Command：”validate and apply“
Configuration directory: 选择 terraform 代码的工作目录
Additional command arguments：”-auto-approve“
AWS Services connection 选择刚刚新添加的 terraform 的后端服务连接
修改当前 Release Pipeline 的名称，点击 ”Save“
关于pipeline 的触发条件，我就不进行设置了，也不是今天演示的目的。
3，测试 Azure DevOps 自动化部署基础设施资源
手动触发 Pipeline，点击 ”Create release“ 进行手动触发
点击 ”Create“
等待整个Pipeline 的执行完成，我们可以看到日志整个的输出，并成功进行部署
接下来，我们需要登陆到 AWS Console 查看资源创建的状况，ECS 运行成功
找到利用 Terraform 构筑好的ELB，复制 dns 名进行访问
Bingo!!!!! 成功。大功告成！！！！！
🎉🎉🎉🎉🎉！！！！
三，结尾
今天的实际操作比较多，大多都是集中在Azure DevOps 上，我们都是需要在Azure DevOps 上进行操作的，大家要多加练习。至于 Terraform 代码方面没有过多的讲解，主要是因为结合之前部署Azure 资源，大家都会Terraform 有了一定的理解了。所以大家可以自行下载，进行分析修改。
参考资料：Terraform 官方，Terraform For AWS 文档，AWS CLI 文档
AWS_ECS github：https://github.com/yunqian44/AWS_ECS
文章来自博主本人自己的博客：https://allenmasters.com/post/2021/6/8/azure-devopsazure-devops-pipeline
欢迎大家关注博主的博客：https://allenmasters.com/
作者：Allen
版权：转载请在文章明显位置注明作者及出处。如发现错误，欢迎批评指正。
- 如何利用Azure DevOps快速实现自动化构建、测试、打包及部署
- Azure Terraform（八）利用Azure DevOps 实现Infra资源和.NET CORE Web 应用程序的持续集成、持续部署
- Azure Terraform（五）利用Azure DevOps 实现自动化部署基础资源
- 利用 Azure Devops 创建和发布 Nuget 包
- 【Azure DevOps系列】Azure DevOps多阶段构建
- 利用Nomad构建弹性基础设施: 工作生命周期
- 利用Nomad构建弹性基础设施: 工作生命周期
- Windows Azure Marketplace入门教学-利用TabLeau Public构建可视化DataMarket应用
- .Net Core中利用TPL（任务并行库）构建Pipeline处理Dataflow
- Windows Azure Marketplace入门教学-利用TabLeau Public构建可视化DataMarket应用
- 如何利用Docker构建基于DevOps的全自动CI
- Windows Azure Marketplace入门教学-利用TabLeau Public构建可视化DataMarket应用
- DevOps案例 | 基于Multibranch Pipeline+docker+gtest+lcov等集成代码检查构建发布实践
- Azure DevOps 构建部署
- Windows Azure Marketplace入门教学-利用TabLeau Public构建可视化DataMarket应用
- Laravel利用gulp如何构建前端资源详解
- 基于LAMP平台利用NFS远程共享资源实现站点构建
- Windows Azure Marketplace入门教学-利用TabLeau Public构建可视化DataMarket应用
- 如何利用Docker构建基于DevOps的全自动CI
- 如何利用Docker构建基于DevOps的全自动CI