Consul+Registrator+Consul-template实现动态修改nginx配置文件

实现需求
用nginx做负载均衡,手动的方式是在upstream中添加或删除后端服务器,比较麻烦.
通过Registrator收集需要注册到Consul作为Nginx后端服务器信息然后注册到Consul key/value.Consul-template去Consul key/value中读取信息,然后自动修改Nginx配置文件并平滑重启Nginx.不需要修改nginx.conf
环境

192.168.0.149	Mesos-master	Zookeeper	Consul-server	Consul-template	Nginx
192.168.0.161	Mesos-master	Zookeeper	Marathon
192.168.0.174	Mesos-master	Zookeeper
192.168.0.239	Mesos-salve	Registrator

步骤
mesosphere和Nginx搭建过程省略
启动Consul-server

[root@slave-1 ~]# docker run -d --name=consul --net=host gliderlabs/consul-server -bootstrap -bind=192.168.0.149

启动Registrator
NOTE:这种启动方式是注册到Consul的key/value

[root@slave-1 ~]# docker run -d  --name=registrator     --net=host   --volume=/var/run/docker.sock:/tmp/docker.sock    gliderlabs/registrator:latest consulkv://localhost:8500/hello

测试Registrator是否把本机容器注册到Consul key/value
1.启动一个redis容器

[root@slave-1 ~]# docker run -d -P --name=redis redis

2.进入Consul UI界面查看



安装Consul-template

[root@slave-1 ~]# wget -c  https://releases.hashicorp.com/consul-template/0.12.0/consul-template_0.12.0_linux_amd64.zip [root@slave-1 ~]# unzip -d . consul-template_0.12.0_linux_amd64.zip
[root@slave-1 ~]# cp consul-template    /usr/local/bin/.

配置nginx.conf模板

NOTE:
consul-template和nginx必须装到一台机器，因为consul-template需要动态修改nginx配置文件
只需要把nginx.conf默认配置复制到/root/nginx_web.ctmpl,然后修改upstream段.

[root@slave-1 ~]# vim /root/nginx_web.ctmpl
worker_processes  1;

events {
worker_connections  1024;
}

http {
include       mime.types;
default_type  application/octet-stream;
sendfile        on;
keepalive_timeout  65;

upstream app {
{{range $key, $pairs := tree "hello/" | byKey}}{{range $serverid, $pair := $pairs}}
server ``.`Value`； weight=1 `end``end`
}
server {
listen       80;
server_name  localhost;

location / { http://app; }

}

}

}

启动consul-template

[root@slave-1 ~]# consul-template -consul 192.168.0.149:8500 -template /root/nginx_web.ctmpl:/usr/local/nginx/conf/nginx.conf:"/usr/local/nginx/sbin/nginx -s reload"

测试:
用marathon启动一个nginx容器，看registrator是否注册到consul,然后看consul-template是否自动添加了这个后端服务器到/usr/local/nginx/conf/nginx.conf