nginx和tomcat使用chroot（jail）相关配置

本文注重配置记录，chroot（jail）作用好处不再赘述。

本文分三部分讲述：配置基本的chroot jail，nginx配置chroot jail，tomcat配置chrootjail。

1.配置基本的chroot jail

1.1.创建一个目录，作为chroot jail的根目录。

# mkdir /home/chroot/jail

1.2.使用ldd命令，找出你想在chroot jail中想运行的命令的依赖库。

# ldd /bin/bash
linux-vdso.so.1 =>  (0x00007fff56fcc000)
libtinfo.so.5 => /lib64/libtinfo.so.5 (0x0000003ad1200000)
libdl.so.2 => /lib64/libdl.so.2 (0x0000003abe600000)
libc.so.6 => /lib64/libc.so.6 (0x0000003abe200000)
/lib64/ld-linux-x86-64.so.2 (0x0000003abde00000)

1.3.创建chroot jail根目录的子文件夹，你想在chroot下要运行的东西需要什么，就创建什么，记住服务最小化原则。

# mkdir /home/chroot/jail/bin
# mkdir /home/chroot/jail/lib64

1.4.拷贝二进制文件（需要在chroot下运行的）和依赖库到chroot jail目录下。

# cp /bin/bash /home/chroot/jail/bin
# cp /lib64/{libtinfo.so.5,libdl.so.2,libc.so.6,ld-linux-x86-64.so.2} \
/home/chroot/jail/lib64

1.5.完成上面操作，就可以进chroot下查看了。
上述操作只是能再chroot下能运行bash，其他操作不可以。因而下列例子中的ls指令找不到

# chroot /home/chroot/jail
bash-4.1# pwd
/
bash-4.1# ls
bash: ls: command not found
bash-4.1# exit
exit
#

这里只能运行一些内嵌的shell，比如pwd，但是其他指令不行，除非你将它的二进制文件和相关依赖库也拷进chroot jail中。

1.6.如果启动某服务总是出错，可以使用strace来查错。在nginx配置最后会补充。

2.nginx配置chroot jail

nginx的安装方式省略，就是下载tar.gz，解压，configure，make，make install。。。
这里配置针对CentOS6.x 64位系统。

2.1.指定chroot目录，也就是1.1.中说的根目录。
为命名规范统一，都做成以下目录结构：

# D=/home/nginx/jail
# mkdir -p $D

2.2.创建隔离环境，jail根目录下的子目录。

# mkdir -p $D/etc
# mkdir -p $D/dev
# mkdir -p $D/var
# mkdir -p $D/usr
# mkdir -p $D/usr/local/nginx
# mkdir -p $D/tmp
# chmod 1777 $D/tmp
# mkdir -p $D/var/tmp
# chmod 1777 $D/var/tmp
# mkdir -p $D/lib64

2.3.在$D/dev中创建需要的设备，应该是缓冲区。
这里使用mknod 命令创建缓存文件：

# /bin/mknod -m 0666 $D/dev/null c 1 3
# /bin/mknod -m 0666 $D/dev/random c 1 8
# /bin/mknod -m 0444 $D/dev/urandom c 1 9

2.4.拷贝所有的nginx文件到jail中。

# /bin/cp -farv /usr/local/nginx/* $D/usr/local/nginx

2.5.拷贝依赖库到jail中。（2.5与2.4相当于1.4中的过程）

# ldd /usr/local/nginx/sbin/nginx

需要什么拷什么，服务最小化。

2.6.拷贝/etc到jail。
nixCraft教程中专门指出这些，应该是nginx运行时会用到的东西。

# cp -fv /etc/{group,prelink.cache,services,adjtime,shells,gshadow,shadow,hosts.deny,localtime,nsswitch.conf,nscd.conf,prelink.conf,protocols,hosts,passwd,ld.so.cache,ld.so.conf,resolv.conf,host.conf} $D/etc

添加一些文件夹：

# cp -avr /etc/{ld.so.conf.d,prelink.conf.d} $D/etc

2.7.启动nginx。
如果有正在运行的nginx，首先要关闭之：

# killall -9 nginx

在chroot中开启nginx：

# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -t
# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx

也可以先进chroot，再开启：

# chroot /home/nginx/jail
bash-4.1# /usr/local/nginx/sbin/nginx -t
bash-4.1# /usr/local/nginx/sbin/nginx

将其配置为开机自启：

# echo '/usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx' >> /etc/rc.local

编辑chroot中nginx的配置文件：

# cd /home/nginx/jail/usr/local/nginx/conf/
# vi nginx.conf

保存关闭后，测试并重启nginx：

# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -t
# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -s reload

如果直接copy的chroot环境，nginx可能配置文件不识别，执行：

# /usr/sbin/chroot /home/nginx/jail /usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf

再测试重启nginx。

2.8.如果环境还是有问题，使用strace追踪错误。（本方法配置tomcat或其他服务也试用，之后不再赘述）

# strace -f -o /tmp/nginx.strace chroot /nginx /usr/local/nginx/sbin/nginx -t

strace可能需要安装。

执行完语句，会有一些追踪，在/tmp/nginx.strace文件中，会有更详细的追踪。
自己在配置环境时，就是子啊该文件中发现，缺失了某个包，将其加入chroot jail中，启动正常。

2.9.补充隐藏nginx版本号
1）编辑nginx.conf文件：
http {

    ……省略

    sendfile on;

    tcp_nopush on;

    keepalive_timeout 60;

    tcp_nodelay on;

    server_tokens off;

    …….省略   
}

2）编辑php-fpm配置文件，如fastcgi.conf或fcgi.conf（这个配置文件名也可以自定义的，根据具体文件名修改）：
找到：

fastcgi_param SERVER_SOFTWARE nginx/$nginx_version;

改为：

fastcgi_param SERVER_SOFTWARE nginx;
3）重启nginx
重启后，可以用Nmap等软件扫一下看看。

3.tomcat配置chroot jail

3.1.创建chroot jail根目录。

# mkdir /home/tomcat/jail

3.2.创建chroot jail目录结构。

# cd /home/tomcat/jail
# mkdir -p lib lib64 etc tmp dev usr
# chmod 755 etc dev usr
# chmod 1777 tmp

# cp -a /etc/hosts etc/hosts

3.3.安装java环境，并拷贝root安装的环境到chroot中。

# mkdir -p usr/java
# cp -a /usr/java/jdk1.7.0_67 usr/java

3.4.查找拷贝java的依赖库

# ldd /usr/java/jdk1.7.0_67/bin/java
linux-vdso.so.1 =>  (0x00007fff532d1000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fc36c8f2000)
libjli.so => /usr/java/jdk1.7.0_67/bin/../lib/amd64/jli/libjli.so (0x00007fc36c6da000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007fc36c4d6000)
libc.so.6 => /lib64/libc.so.6 (0x00007fc36c142000)
/lib64/ld-linux-x86-64.so.2 (0x00007fc36cb17000)

只拷贝上述4个lib64中的库，另外还需要拷贝2个JVM需要的库：

# cp -p /lib64/libm.so.6 lib64/
# cp -p /lib64/libnsl.so.1 lib64/

3.5.在运行JVM之前，还需要做一些工作，使得chroot更像一个真实的root环境。
创建/dev和其中的子项：

# cd /home/tomcat/jail
# mkdir -p /home/tomcat/jail/dev/pts
# /dev/MAKEDEV -d /home/tomcat/jail/dev null random urandom zero loop* log console
# cp /dev/MAKEDEV /home/tomcat/jail/dev
# cp -a /dev/shm /home/tomcat/jail/dev/

3.6.挂载/proc。

# mkdir -p /home/tomcat/jail/proc
# mount -t proc proc /home/tomcat/jail/proc

这一步挂载完后，在chroot下就可以用java了，可以进入chroot通过以下命令测试：

bash-4.1# /usr/java/jdk1.7.0_67/bin/java -version

额。。前提是你已经将bash，sh在chroot中做了一份。或者这个3.x全部做完后，再此时也阔以哒~

3.7.添加其他需要文件和依赖库。
拷贝etc下的三个文件，不需要的尽量不要拷，还是那句话。。服务最小化。。

cp -a /etc/{hosts,resolv.conf,nsswitch.conf} /home/tomcat/jail/etc/

还有三个命名支持的依赖库需要拷贝

cp -p /lib64/libresolv.so.2 lib64/
cp -p /lib64/libnss_dns.so.2 lib64/
cp -p /lib64/libnss_files.so.2 lib64/

再将/bin/bash 和/bin/sh做到chroot中，参考1.x。其中sh在centos中是bash的一个软连接。

在这一步后，java在chroot中就可以工作了，再出错就用strace排错。
java运行环境搭好后，开始配置tomcat。

3.8.tomcat安装配置。
tomcat一般不需要安装，算是绿化的吧，下载解压包，在chroot jail目录中解压即可。
我直接压缩在了jail根目录。
尝试运行，会有如下结果：

bash-4.1# /apache-tomcat-7.0.57/bin/catalina.sh start
/apache-tomcat-7.0.57/bin/catalina.sh: line 102: uname: command not found
/apache-tomcat-7.0.57/bin/catalina.sh: line 122: dirname: command not found
Cannot find //bin/setclasspath.sh
This file is needed to run this program

需要将uname和dirname两个二进制文件和依赖库copy进来，做法与bash相同。

# cp /bin/uname bin/
# mkdir usr/bin
# cp /usr/bin/dirname usr/bin

在运行tomcat，发现还有一点小问题：

bash-4.1# /apache-tomcat-7.0.57/bin/catalina.sh start
/apache-tomcat-7.0.57/bin/catalina.sh: line 203: tty: command not found
Using CATALINA_BASE:   /apache-tomcat-7.0.57
Using CATALINA_HOME:   /apache-tomcat-7.0.57
Using CATALINA_TMPDIR: /apache-tomcat-7.0.57/temp
Using JRE_HOME:        /usr/java/jdk1.7.0_67
Using CLASSPATH:       /apache-tomcat-7.0.57/bin/bootstrap.jar:/apache-tomcat-7.0.57/bin/tomcat-juli.jar
/apache-tomcat-7.0.57/bin/catalina.sh: line 368: touch: command not found
Tomcat started.

再添加这个几个东西：

# cp -p /lib64/librt.so.1 lib64/
# cp /usr/bin/tty usr/bin/
# cp /bin/touch bin/

这样，tomcat在chroot容器中可以正常运行了。

将其配置为开机自启，在rc.local末尾追加：

export JAVA_HOME=/usr/local/java/jdk1.7.0_25
export JRE_HOME=$JAVA_HOME/jre
mount -t proc proc /home/tomcat/jail/proc &>/dev/null
/usr/sbin/chroot /home/tomcat/jail /usr/tomcat/bin/catalina.sh start

注意这个java路径，root与chroot要一致。

参考文献：
[1] 3.13 Configuring and Using Chroot Jails Chapter 3 Implementing Oracle Linux Security Guide for Release 6
[2] Linux nginx: Chroot (Jail) Setup By NIXCRAFT
[3] Tomcat: The Definitive Guide: The Definitive Guide By Jason Brittain, Ian F. Darwin