salt源码装nginx

其实早就知道saltstack的强大，其中的state，grain，pillar，是个很好的自动化配置工具！！由于在上一个公司像这样的脚本都已经写好，其实没有太大的动力去学salt的更强大的功能。在这家公司就是深入研究一下salt。在之前做了好多的准备。。。今天下午才做成功实验！！！！废话不多说。上干货！！
思路：

1.使用grains收集cpu信息、以及打开文件最大等信息结合jinja配置nginx.conf.
2.使用salt推送文件。
一、做准备工作。

（1）环境介绍：

master： 192.168.100.127 web1
minion： 192.168.100.129 web2 192.168.100.90 db1 192.168.100.134 db2

（2）安装saltmaster
我们需要安装其他的yum源，这样才能顺利的安装master和minion。

master：
yum -y install epel-release
yum install salt-master
编辑配置文件vim /etc/salt/master

file_roots:
base:
- /srv/salt/
pillar_roots:
base:
- /srv/pillar
pillar_opts: True
order_masters: True

重启服务：service salt-master restart
主要配置是如上所示。。

（3）安装salt-minion
minion：
yum -y install epel-release
yum install salt-minion
编辑minion的配置文件vim /etc/salt/minion

#master为你所指定的master的ip或者机器名

master: web1
#id为你配置的机器minion的ip或者机器名
id: db2

重启服务： service salt-minion restart

其他的minion同上！！！！
（4）连通
master端：
salt-key -L 会显示所有minion向master发送的公钥。但是没有被master接受！！
salt-key -A 可以接受那些minion发送的公钥也就是master同意了作为他们的“头”了

可以验证一下： salt ‘*’ test.ping

[root@master files]# salt '*' test.ping
db2:
True
web1:
True
web2:
True
db1:
True
[root@master files]#
此时说明master和minion之间可以互相通信了。。。。

二、目录树
（1）下面的图是这次实验的目录树

srv
├── pillar
│ ├── dbserver.sls
│ ├── top.sls
│ └── webserver.sls
└── salt
├── _grains
│ └── nginx_config.py
├── nginx
│ ├── conf.sls
│ ├── files
│ │ ├── nginx
│ │ ├── nginx-1.8.0.tar.gz
│ │ └── nginx.conf
│ ├── init.sls
│ ├── install.sls
│ └── server.sls
└── top.sls
（2）介绍
所有的state文件的执行都要个top.sls 该文件是入口文件。
例如salt下top.sls 要想执行 conf.sls,install.sls server.sls 必须有个top.sls
规范为主：在在某个项目都要有个独立的文件夹，其中有个init.sls 文件里面包括了这次要执行的state文件。废话不多说！！上干货！！
三、编写grain与pillar
（1）vim nginx_config.py

#该文件是用来获取打开文件最大数的方便了nginx.conf的参数的确定

#  1 #!/usr/bin/python
2 import os
3 import sys
4 import commands
5 def NginxGrains():
6     grains={}
7     max_open_file=65535
8     try:
9         getulimit=commands.getstatusoutput('source /etc/profile;ulimit -n')
10     except Exception,e:
11         pass
12     if getulimit[0]==0:
13         max_open_file=int(getulimit[1])
14         grains['max_open_file']=max_open_file
15         return grains

（2）测试数据
刷新grain模块：salt ‘*’ saltutil.sync_all
检验数据加载情况：salt ‘*’ grains.item max_open_file
[root@master _grains]# salt '*' grains.item max_open_file
web1:
----------
max_open_file:
1024
web2:
----------
max_open_file:
1024
db2:
----------
max_open_file:
1024
db1:
----------
max_open_file:
1024
数据测试成功！

（3）编写pillar
vim top.sls
base:
'web*':
- webserver
'db*':
- dbserver

以上是正则匹配 ‘web*’‘db*’
在此类文件中执行state文件可以省略后缀名.sls
vim webserver.sls
nginx:
root: /data

vim dbserver.sls
nginx:
root: /WWW

pillar在此的作用是根据webserver和dbserver做区分，webserver的根目录为/data,而dbserver为/WWW
.简单的实现这些，其他的可以根据需求来定义。

刷新pillar：salt ‘*’saltutil.refresh_pillar

检验数据的成效：salt '*' pillar.data nginx 如下所示：

[root@master pillar]# salt '*' pillar.data nginx
该命令的含义是：获取pillar的数据 名称是nginx的数据，pillar的格式用一个词是有相当强的归属感！意思就是root这个参数是归属在nginx名称下的。同样root下也可以继续有参数。。
web1:
----------
nginx:
----------
root:
/data
web2:
----------
nginx:
----------
root:
/data
db1:
----------
nginx:
----------
root:
/www
db2:
----------
nginx:
----------
root:
/www
四、编写salt文件下的nginx项目

vim  top.sls

1 base:
2   '*':
3     - nginx                                                                          此处的nginx表明要执行文件夹里的sls文件。

cd nginx

vim init.sls
include:
2   - nginx.install
3   - nginx.conf
4   - nginx.server

nginx.install 表示 要执行nginx目录下的install.sls文件
此处的点代表路径。省略后缀名于是就是nginx.install。其他一样。顺序不能变原因就在下面。。。

vim install.sls
#该文件是安装过程的文件

1 #nginx.tar.gz
2 nginx_source:
3 file.managed:
4 - name: /tmp/nginx-1.8.0.tar.gz
5 - unless: test -e /tmp/nginx-1.8.0.tar.gz
6 - source: salt://nginx/files/nginx-1.8.0.tar.gz
7 #extract
8 extract_nginx:
9 cmd.run:
10 - cwd: /tmp
11 - names:
12 - tar -zxvf nginx-1.8.0.tar.gz
13 - unless: test -d /tmp/nginx-1.8.0
14 - reuqire:
15 - file: nginx_source
16 #user
17 nginx_user:
18 user.present:
19 - name: nginx
20 - uid: 610
21 - createhome: False
22 - shell: /sbin/nologin
23 #nginx_pkgs
24 nginx_pkgs:
25 pkg.installed:
26 - pkgs:
27 - gcc
28 - openssl
29 - openssl-devel
30 - pcre-devel
31 - zlib-devel
32 #nginx_compile
33 nginx_compile:
34 cmd.run:
35 - cwd: /tmp/nginx-1.8.0
36 - names:
37 - ./configure --prefix=/nginx/nginx --user=nginx --group=nginx --with-http_ssl_module --with-http_gzip_static_module --http-client-body-temp-path=/usr/local/nginx/client/ --http-proxy-temp-path=/usr/local/nginx /proxy/ --http-fastcgi-temp-path=/usr/local/nginx/fcgi/ --with-poll_module --with-file-aio --with-http_realip_module --with-http_addition_module --with-http_random_index_module --with-pcre --with-http_stub_sta tus_module
38 - pwd
39 - make
40 - make install
41 - require:
42 - cmd: extract_nginx
43 - pkg: nginx_pkgs
44 - unless: test -d /nginx/nginx
45 #cache_dir
46 cache_dir:
47 cmd.run:
48 - names:
49 - mkdir -p /nginx/nginx{client,proxy,fcgi} && chown -R nginx.nginx /nginx/nginx/
50 - mkdir -p /nginx/nginx/conf/vhost && chown -R nginx.nginx /nginx/nginx/conf/vhost
51 - unless: test -d /nginx/nginx/client
52 - require:
53 - cmd: nginx_compile

vim conf.sls
#该文件是从master传送conf文件。启动过程依赖conf文件。

1 include:
2 - nginx.install
3 nginx_service:
4 file.managed:
5 - name: /nginx/nginx/conf/nginx.conf
6 - user: nginx
7 - mode: 644
8 - source: salt://nginx/files/nginx.conf
9 - template: jinja
10 service.running:
11 - name: nginx
12 - enable: True
13 - reload: True
14 - watch:
15 - file: /nginx/nginx/conf/nginx.conf
vim server.sls
#该文件是传送启动脚本，服务启动依赖该脚本

1 include:
2 - nginx.install
3 server:
4 file.managed:
5 - name: /etc/init.d/nginx
6 - user: root
7 - mode: 755
8 - source: salt://nginx/files/nginx
9 service.running:
10 - name: nginx
11 - enable: True
12 - reload: True
13 - watch:
14 - file: /etc/init.d/nginx
15 command:
16 cmd.run:
17 - names:
18 - /sbin/chkconfig --add nginx
19 - /sbin/chkconfig --nginx on
20 - unless: /sbin/chkconfig --list nginx

五、files文件夹
在目录树中有files这里面是放了在安装过程中需要的文件。例如配置文件、启动脚本、安装包、
vim nginx.conf
1 # For more information on configuration, see:
2 user nginx;
3 worker_processes {{ grains['num_cpus'] }};
4 {% if grains['num_cpus'] == 1 %}
5 worker_cpu_affinity 1 ;
6 {% elif grains['num_cpus'] == 2 %}
7 worker_cpu_affinity 01 10;
8 {% elif grains['num_cpus'] == 4 %}
9 worker_cpu_affinity 1000 0100 0010 0001;
10 {% elif grains['num_cpus'] >= 8 %}
11 worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;
12 {% else %}
13 worker_cpu_affinity 1000 0100 0010 0001;
14 {% endif %}
15 worker_rlimit_nofile {{ grains['max_open_file'] }};
16
17 error_log /var/log/nginx/error.log;
18 #error_log /var/log/nginx/error.log notice;
19 #error_log /var/log/nginx/error.log info;
20
21 pid /var/run/nginx.pid;
22
23 events {
24 worker_connections {{ grains['max_open_file'] }};
25 }
26
27 http
28 {
29 include mime.types;
30 default_type application/octet-stream;
31 charset utf-8;
32 server_names_hash_bucket_size 128;
33 client_header_buffer_size 32k;
34 large_client_header_buffers 4 32k;
35 client_max_body_size 128m;
36 sendfile on;
37 tcp_nopush on;
38 keepalive_timeout 60;
39 tcp_nodelay on;
40 server_tokens off;
41 client_body_buffer_size 512k;
42 gzip on;
43 gzip_min_length 1k;
44 gzip_buffers 4 16k;
45 gzip_http_version 1.1;
46 gzip_comp_level 2;
47 gzip_types text/plain application/x-javascript text/css application/xml;
48 gzip_vary on;
49 log_format main '$remote_addr - $remote_user [$time_local] "$request" '
50 '$status $body_bytes_sent "$http_referer" '
51 '"$http_user_agent" "$http_x_forwarded_for" "$host"' ;
52
53
54 server {
55 listen 80;
56 root {{ pillar['nginx']['root'] }};
57 index index.html;
58
59 }
60
61 include vhost/*.conf;
62 }
关键注意加黑的字体的参数的数值。。。这就是pillar和grain的威力！！！！！
vim nginx
#启动脚本没什么可说的
1 #!/bin/sh
2 #
3 # nginx - this script starts and stops the nginx daemon
4 #
5 # chkconfig: - 85 15
6 # description: Nginx is an HTTP(S) server, HTTP(S) reverse \
7 # proxy and IMAP/POP3 proxy server
8 # processname: nginx
9 # config: /nginx/nginx/conf/nginx.conf
10 # pidfile: /nginx/nginx/logs/nginx.pid
11
12 # Source function library.
13 . /etc/rc.d/init.d/functions
14
15 # Source networking configuration.
16 . /etc/sysconfig/network
17
18 # Check that networking is up.
19 [ "$NETWORKING" = "no" ] && exit 0
20
21 nginx="/nginx/nginx/sbin/nginx"
22 prog=$(basename $nginx)
23
24 NGINX_CONF_FILE="/nginx/nginx/conf/nginx.conf"
25
26
27 lockfile=/var/lock/subsys/nginx
28
29 make_dirs() {
30 # make required directories
31 user=`$nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
32 if [ -z "`grep $user /etc/passwd`" ]; then
33 useradd -M -s /bin/nologin $user
34 fi
35 options=`$nginx -V 2>&1 | grep 'configure arguments:'`
36 for opt in $options; do
37 if [ `echo $opt | grep '.*-temp-path'` ]; then
38 value=`echo $opt | cut -d "=" -f 2`
39 if [ ! -d "$value" ]; then
40 # echo "creating" $value
41 mkdir -p $value && chown -R $user $value
42 fi
43 fi
44 done

45 }
46
47 start() {
48 [ -x $nginx ] || exit 5
49 [ -f $NGINX_CONF_FILE ] || exit 6
50 make_dirs
51 echo -n $"Starting $prog: "
52 daemon $nginx -c $NGINX_CONF_FILE
53 retval=$?
54 echo
55 [ $retval -eq 0 ] && touch $lockfile
56 return $retval
57 }
58
59 stop() {
60 echo -n $"Stopping $prog: "
61 killproc $prog -QUIT
62 retval=$?
63 echo
64 [ $retval -eq 0 ] && rm -f $lockfile
65 return $retval
66 }
67
68 restart() {
69 configtest || return $?
70 stop
71 sleep 1
72 start
73 }
74
75 reload() {
76 configtest || return $?
77 echo -n $"Reloading $prog: "
78 killproc $nginx -HUP
79 RETVAL=$?
80 echo
81 }
82
83 force_reload() {
84 restart
85 }
86
87 configtest() {
88 $nginx -t -c $NGINX_CONF_FILE
89 }
90
91 rh_status() {
92 status $prog
93 }
94
95 rh_status_q() {
96 rh_status >/dev/null 2>&1
97 }
98
99 case "$1" in
100 start)
101 rh_status_q && exit 0
102 $1
103 ;;
104 stop)
105 rh_status_q || exit 0
106 $1
107 ;;
108 restart|configtest)
109 $1
110 ;;
111 reload)
112 rh_status_q || exit 7
113 $1
114 ;;
115 force-reload)
116 force_reload
117 ;;
118 status)
119 rh_status
120 ;;
121 condrestart|try-restart)
122 rh_status_q || exit 0
123 ;;
124 *)
125 echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
126 exit 2
127 esac

到此主要步骤结束。

六、安装
master端：salt ‘*’ state.highstate
如果你运气好的话，一遍就成功了。这基本上是不可能的！！！！！
假设是成功的：
会有如下：
nginx就能用了呗。。
跟手动编译的一模一样！！！
最重要的是pillar和grain起的作用！！

七、问题总结
（1）、就是在编译安装时，./configure 通过了，可是在make，make install 相继报错make: *** No targets specified and no makefile found. Stop
这意思就是该文件夹下没有Makefile。
解决办法：我认为是不是路径变了。于是在make和make install 前加了条pwd 看看是不是该路径。没想到加上这条命令这个问题就解决了。
（2）就是在推送启动脚本和nginx配置文件时，明明存在就是不能解释，报类似的错误：

[root@web2 init.d]# service nginx start
env: /etc/init.d/nginx: No such file or directory
突然想起来原来我是在windows上编写的。于是用dos2unix 这个命令解决了

（3）就是在安装过程中，saltstack有个不好的地方就是明明上一次还行，下一次同样的系统就是不可以了。这样的解决办法就是多推送几次。前提是之前的问题都解决了。还出现同样的问题。

好了，就到这吧。学得所有关于saltstack的知识都是为了能按照需求源码搭建应用！！