squid+iptables实现透明代理

NAT

网络地址转换（网络地址映射）
就是把数据包的源IP或者目标IP进行修改。
作用：
修改源IP，叫源地址映射，一般为了实现让私有网络的机器能够访问互联网
修改目标IP，叫目标地址映射，一般为了实现让互联网的机器能够访问私有网络的机器。
可以保护内网的资源。

clients<---- eth0:Router:eth1 -----> 互联网

clients
eth010.1.1.88
gw10.1.1.1
Router
eth010.1.1.1
eth1210.38.224.128

假设现在客户端需要访问互联网的web服务器 http://www.baidu.com <--- 61.3.2.4

sp: 1028
dp: 80
sip: 10.1.1.88 <--- 源IP和目标不是同一个网段，所以数据包会交给网关10.1.1.1
dip: 61.3.2.4

Router收到客户端发送过来的数据包，会判断该数据包是否是被路由本身还是要求路由转发

sp: 1028
dp: 80
sip: 10.1.1.88
dip: 61.3.2.4 <---路由器发现数据包的目标IP不是路由器设备配置的IP，路由器判断该数据包是需要路由把它转发出去。

路由在把数据包转发到公网的时候，必须把数据包中的源IP修改成公网IP

sp: 1028
dp: 80
sip: 210.38.224.128 <---把原来的10.1.1.88修改成路由的公网IP。并且做好相应的记录
dip: 61.3.2.4

=======================================================================

例子1：使用iptables直接实现软路由功能，实现正向代理

正向代理： 利用源地址映SNAT射实现让内部网络的客户访问互联网

拓扑图：

内网|可以访问互联网
client<--> virbr6: Router：br0---->

Router
br0 是可以用来访问互联网的网卡 172.16.2.21/16
virbr6 是虚拟化中的hostonly的一个网卡 192.168.29.1

client
192.168.29.11
gw: 192.168.29.1

sp: 2535
dp: 80
sip: 192.168.29.11
dip: 210.38.244.8

部署：

一、配置router(宿主机)

1、确保router本身可以访问互联网

172.16.2.0/16
GW: 172.16.2.1

2、打开路由转发
默认情况，Linux操作接受到的数据包中目标IP 如果不是本机的设备上绑定的IP，就会丢弃。如果是要Linux 软路由，路由的功能就是可以转发数据包的。所以需要打开路由转发功能，才能让Linux转发这些不属于它的所有数据包。

# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
。。。。

马上生效
# sysctl -p

马上生效，但临时的，下次重启系统就失效
# echo "1" > /proc/sys/net/ipv4/ip_forward

3、添加iptables规则，实现SNAT

# iptables -t nat -A POSTROUTING -s 192.168.29.0/24 -o br0 -j SNAT --to-source 172.16.2.21

二、部署客户机

1、设定正确IP,DNS

2、设定正确网关，网关根据拓扑图应该设定为Router's virbr6的IP ： 192.168.29.1

验证：
1、使用客户端访问互联网。

2、通过抓取数据包验证原理

顺着数据包的流通方向去抓包
# tcpdump -n tcp port 80 -i virbr6
# tcpdump -n tcp port 80 -i br0

如果需要iptables实现对转发的请求做过滤，应该是把规则放在filter表中FORWARD链
# iptables -t filter -A FORWARD -d www.baidu.com -j DROP

先会把域名www.baidu.com解析成IP。如果存在多个IP就会自动添加多个规则。
结果： 使用iptbales实现对七层协议的过滤非常不方便，而且不够准确，所以一般不是用iptables直接实现7层过滤

为了能够更好实现7七层过滤，实现更多过滤功能，使用iptables是很难实现的，所以建议使用7层代理软件， 比较出名的有squid,varnish等。
实现： 域名的过滤，以及文件类型的过滤等，实现限速，限制ip,限制MAC等等。

squid能够非常好的支持http协议的代理，而且还有缓存的功能，能够“加速”访问,默认支持缓存静态文件： js,html,图片，swf,电影文件等。

内网|可以访问互联网
client<--> virbr6: Squid：br0---->

例子：使用squid实现正向代理

原理： 客户端所有的http访问请求都交给了squid，由squid理解了请求之后，亲自代理客户端去访问相应的资源，然后再把资源返回给客户端，其实是“squid去上网，把结果告诉客户端”。
只需要保证客户端可以与squid正常通讯就能让客户端上网，而客户端根本不需要设定网关，dns。

内网|可以访问互联网
client<--> virbr6: Squid：br0---->

Router
br0 是可以用来访问互联网的网卡 172.16.2.21/16
virbr6 是虚拟化中的hostonly的一个网卡 192.168.29.1

client
192.168.29.11
gw: 192.168.29.1 <---可选。如果只是为了访问http的资源，可以不设定网关

一、部署squid

先把上个实验的iptables规则清空，把iptables恢复到最原始的状态

1、给squid设定正确IP和网关，保证squid服务器可以上网

2、安装源码包的squid

# groupadd -g 23 squid
# useradd -g 23 -u 23 squid

# tar xvf squid-3.1.19.tar.gz -C /usr/src

# ./configure --prefix=/usr/local/squid --enable-disk-io --enable-async-io=12 --enable-storeio="ufs,aufs,diskd" --enable-icmp --enable-delay-pools --enable-useragent-log --enable-referer-log --enable-arp-acl --enable-ssl --enable-cache-digests --enable-linux-netfilter --enable-linux-tproxy --with-large-files

# make -j2 && make install

3、配置squid
# cd /usr/local/squid/etc
# vim squid.conf
....
acl badweb dstdomain .qq.com
http_access deny badweb
http_access allow localnet <--原来具有
http_access allow localhost <--原来具有
http_access deny all <--原来具有

cache_dir ufs /usr/local/squid/var/cache 2000 16 256
access_log /usr/local/squid/var/logs/access.log squid
cache_effective_user squid
cache_effective_group squid
visible_hostname squid.upl.com
dns_nameservers 8.8.8.8

cache_mem 1024 MB
maximum_object_size 200 MB

# mkdir -p /usr/local/squid/var/cache
# chown squid:squid /usr/local/squid/var/cache
# chown squid:squid /usr/local/squid/var/logs/

首次运行之前必须对缓存目录进行初始化
# /usr/local/squid/sbin/squid -z

启动：首次启动，建议使用调试模式
# /usr/local/squid/sbin/squid -N -d 1

以后如果先直接放在后台运行服务
# /usr/local/squid/sbin/squid

# lsof -i:3128
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
squid 15499 squid 13u IPv6 164214 0t0 TCP *:squid (LISTEN)

二、客户端

客户端仅仅保证可以与squid能够正常通信。
然后设定浏览的代理
firefox --- 编辑--首选项---高级---网络--设置--手工设置代理

使用squid+iptables实现透明代理

内网 |可以访问互联网
client<--> virbr6: Squid+iptables：br0---->

Squid+iptables
br0 是可以用来访问互联网的网卡 172.16.2.21/16
virbr6 是虚拟化中的hostonly的一个网卡 192.168.29.1

一、让安装squid和iptables的机器作为代理服务器，并且让其可以访问互联网

1、给机器的物理网卡设定172.16.2.0/16网络中的Ip,保证其可以上网

# ifconfig br0:1 172.16.2.21 netmask 255.255.0.0
# route add default gw 172.16.2.1

# vim /etc/resolv.conf
nameserver 8.8.8.8

2、设定代理服务器的iptables规则，实现源地址映射

# vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

马上生效
# sysctl -p

为了不让之前的规则影响本次实验，暂时把原有的规则清空
# iptables -t nat -A POSTROUTING -s 192.168.29.0/24 -o br0 -j SNAT --to-source 172.16.2.21

二、让内部网络客户机测试是否可以访问互联网

仅仅需要让客户机配置正确网络信息：
根据网络划分，配置IP ： 192.168.29.0/24
GW： 192.168.29.1 <---代理服务器的该网络的IP
设定DNS： 8.8.8.8

备注：
如果在实际网络中，为了方便客户能够更灵活访问互联网，可以在网络假设DHCP服务器。

三、在代理服务器上配置squid,实现透明代理设定

安装：略

配置squid
# cd /usr/local/squid/etc
# vim squid.conf
....
http_port 3128 transparent <--- transparent 实现透明代理，代理服务器起到了请求的过滤作用
acl badweb dstdomain .qq.com
http_access deny badweb
http_access allow localnet <--原来具有
http_access allow localhost <--原来具有
http_access deny all <--原来具有

cache_dir ufs /usr/local/squid/var/cache 2000 16 256
access_log /usr/local/squid/var/logs/access.log squid
cache_effective_user squid
cache_effective_group squid
visible_hostname squid.upl.com
dns_nameservers 8.8.8.8

cache_mem 1024 MB
maximum_object_size 200 MB

首次安装的时候需要建立相应目录：
# mkdir -p /usr/local/squid/var/cache
# chown squid:squid /usr/local/squid/var/cache
# chown squid:squid /usr/local/squid/var/logs/

首次运行之前必须对缓存目录进行初始化
# /usr/local/squid/sbin/squid -z

暂时使用调试模式启动：
# /usr/local/squid/sbin/squid -N -d 1

四、设定iptables规则，让所有目标端口为80的数据包都截取然后转交给squid过滤

# iptables -t nat -A PREROUTING -s 192.168.29.0/24 -p tcp --dport 80 -j REDIRECT --to-ports 3128
3128端口是本机的squid监听的端口

五、增加更多的访问控制规则

格式
# acl aclname acltype argument ...
# acl aclname acltype "file" ... <---如果是引用文件的话，必须双引号

常用的acltype
dstdomain 匹配访问的目标域名
time匹配访问时间
url_regex匹配访问用的url网址,例如： http://www.qq.com/test/logo.jpg urlpath_regex匹配访问用的ulr中的path http://www.qq.com/test/logo.jpg <---url
/test/logo.jpg <--path

browser匹配浏览器（user_agent）
maxconn匹配访问的并发连接数

acl baddomaindstdomain.qq.com .youku.com
acl badurlurl_regex -isex sexy music film
匹配： http://www.baidu.com/q=sex http://sex.sina.com.cn

acl badurlurlpath_regex -isex sexy music film \.rar$ \.flv$ \.avi$ \.rmvb$ \.mp3$
匹配： http://www.baidu.com/q=sex 不能匹配：http://sex.sina.com.cn/bbs/

browser
类似：
Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.24) Gecko/20111104 Red Hat/3.6.24-3.el6_1 Firefox/3.6.24

acl okagentbrowser-i Mozilla Firefox Chrome IE

acl worktimetimeMTWHF 09:00-18:00
acl userconnmaxconn8<---每个IP的客户端只允许同时建立最多8个连接

实现：
禁止访问部分域名
acl baddomain dstdomain "/usr/local/squid/etc/baddomainlist"
文件中，一个域名一行
# vim /usr/local/squid/etc/baddomainlist
.qq.com
.youku.com
.xunlei.com
.tudou.com
.sina.com.cn

只能在部分的时间内访问网络受限资源，其余时间无限制（上班时间接受多所有规则的限制）
acl worktimetimeMTWHF 09:00-18:00

禁止访问某些类型的资源
acl badpostfix urlpath_regex \.exe$ \.mp3$ \.rmvb$ \.flv$

禁止访问url中带有敏感关键字的资源
acl badkeyword url_regex sex sexy movie audio mp3 mp4 film dianying

限制访问浏览器
acl okagentbrowser-i Mozilla Firefox Chrome IE

限制访问的并发连接数
acl userconnmaxconn8

应用规则，必须注意顺序,匹配顺序是从上往下，匹配了之后就停止往下匹配
http_accessallow!worktime
http_accessdeny baddomain
http_accessdenybadpostfix
http_accessdenybadkeyword
# http_accessdenyuserconn <----- 由于浏览器和服务器的连接配置问题，很多时候超过8个连接导致无法访问，所以不要用这条规则
http_accessdeny!okagent
http_accessallowall

如果把规则保存到squid.conf，结合它原来的规则：
acl baddomain dstdomain "/usr/local/squid/etc/baddomainlist"
acl worktime time MTWHF 09:00-18:00
acl badpostfix urlpath_regex \.exe$ \.mp3$ \.rmvb$ \.flv$
acl badkeyword url_regex sex sexy movie audio mp3 mp4 film dianying
acl okagent browser -i Mozilla Firefox Chrome IE
acl userconn maxconn 8

http_access allow !worktime
http_access deny baddomain
http_access deny badpostfix
http_access deny badkeyword
http_access deny userconn
http_access deny !okagent

http_access allow localnet <---把我们定义的控制放在这条规则上面
http_access allow localhost

http_access deny all

=========================================================================

反向代理
方式：
1、直接使用iptables
2、squid 缓存-“加速” <---缓存服务器
3、lvs,haproxy,nginx,
4、apache

外部网络客户端<--------->反向代理服务器 <-----------> 内部的服务器

例子1：使用iptables实现反向代理，允许外部网络访问内部网咯的服务器的web服务

互联网 |内部受保护的私有网络
外部网络客户端pc<---------> br0: iptables : virbr6 <-----------> 内部的web服务器

外部网络客户端pc10.1.1.88

iptables[宿主机]
br010.1.1.21<---模拟成互联网，www.upl.com
virbr6192.168.29.1

内部的web服务器
192.168.29.13

客户端使用域名或者IP访问 http://www.upl.com 或者 http://10.1.1.21 sp: 1028
dp: 80
sip: 10.1.1.88
dip: 10.1.1.21
---> 来到iptables的机器，会对数据包进行匹配，判断是否满足iptables规则
规则： 如果数据包的目标IP是10.1.1.21,目标端口是80，那么就映射到内部网络的192.168.29.13
sp: 1028
dp: 80<--- 满足 tcp:80
sip: 10.1.1.88
dip: 10.1.1.21 <---满足

进行目标地址映射DNAT

sp: 1028
dp: 80
sip: 10.1.1.88
dip: 192.168.29.13 修改成了内部网络的web服务器的IP

iptables服务器就会对修改完的数据包进行路由判断，决定把包路由到内部网络

一、部署内部的web服务器

设定IP: 192.168.29.13
网关： 192.168.29.1

部署apache服务，随便建立一个测试首页

启动服务器，使用iptables服务器访问测试http://192.168.29.13

二、部署iptables服务器【宿主机】

1、打开路由转发
略

2、添加iptables规则
规则： 如果数据包的目标IP是10.1.1.21,目标端口是80，那么就映射到内部网络的192.168.29.13

清空原来规则

# iptables -t nat -A PREROUTING -p tcp --dport 80 -d 10.1.1.21 -j DNAT --to 192.168.29.13

例子2：使用squid实现反向代理，允许外部网络访问内部网咯的服务器的web服务

优点：
起到缓存的作用，“加速”作用，把所有静态文件都缓存到squid服务器，客户端重复去访问这些被缓存的文件的时候，就直接返回这些文件，不会让内部web服务器去处理这些请求，减轻后端服务器的压力
使用squid简单的轮询功能，实现简单的负载均衡集群功能。

互联网 |内部受保护的私有网络
外部网络客户端pc<---------> br0: squid : virbr6 <-----------> 内部的web服务器

实现前：把上一个实验的iptables规则清空
http://www.upl.com/cccc
一、部署内部的web服务器

设定IP: 192.168.29.13
网关： 192.168.29.1

部署apache服务，随便建立一个测试首页

启动服务器，使用iptables服务器访问测试http://192.168.29.13

<h1 style="color:red">web server </h1>

<img src=\'#\'" /meizi.jpg" />

二、部署squid

安装略

配置：
# vim /usr/local/squid/etc/squid.conf

#http_access allow !worktime
#http_access deny baddomain
#http_access deny badpostfix
#http_access deny badkeyword
#http_access deny userconn
#http_access deny !okagent

#http_access allow localnet
#http_access allow localhost

http_access allow all <---允许所有请求

http_port 80 accel vhost vport
cache_peer 192.168.29.13 parent 80 0 originserver name=web1
cache_peer_domain web1 www.upl.com

cache_dir ufs /usr/local/squid/var/cache 2000 16 256
access_log /usr/local/squid/var/logs/access.log squid
cache_effective_user squid
cache_effective_group squid
visible_hostname squid.upl.com
dns_nameservers 8.8.8.8

cache_mem 1024 MB
maximum_object_size 200 MB

首次安装，如果相应目录不存在就需要建立
# mkdir -p /usr/local/squid/var/cache
# chown squid:squid /usr/local/squid/var/cache
# chown squid:squid /usr/local/squid/var/logs/

首次运行之前必须对缓存目录进行初始化
# /usr/local/squid/sbin/squid -z

启动：首次启动，建议使用调试模式
# /usr/local/squid/sbin/squid -N -d 1

以后如果先直接放在后台运行服务
# /usr/local/squid/sbin/squid

# lsof -i:3128
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
squid 15499 squid 13u IPv6 164214 0t0 TCP *:squid (LISTEN)

客户端验证：
注意：客户端必须在hosts文件绑定 www.upl.com 解析到 10.1.1.21（squid公网IP）

[root@www ~]# curl -I http://www.upl.com/test.jpg HTTP/1.0 200 OK
Date: Sat, 03 Aug 2013 01:53:10 GMT
Server: Apache/2.2.3 (Red Hat)
Last-Modified: Sat, 03 Aug 2013 01:52:51 GMT
ETag: "2789f0-322f-4e301553742c0"
Accept-Ranges: bytes
Content-Length: 12847
Content-Type: image/jpeg
X-Cache: MISS from squid.upl.com <---缓存没有
X-Cache-Lookup: MISS from squid.upl.com:80
Via: 1.0 squid.upl.com (squid/3.1.19)
Connection: keep-alive

[root@www ~]# curl -I http://www.upl.com/test.jpg HTTP/1.0 200 OK
Last-Modified: Sat, 03 Aug 2013 01:52:51 GMT
Accept-Ranges: bytes
Content-Length: 12847
Content-Type: image/jpeg
Date: Sat, 03 Aug 2013 01:53:42 GMT
Server: Apache/2.2.3 (Red Hat)
ETag: "2789f0-322f-4e301553742c0"
Age: 28802
X-Cache: HIT from squid.upl.com （缓存命中）
X-Cache-Lookup: HIT from squid.upl.com:80
Via: 1.0 squid.upl.com (squid/3.1.19)
Connection: keep-alive