一次网络故障的排查

前几天面试，主考官让我阐述下以前遇到的一些网络问题，我一时短路，不知从何谈起（最近老是在想routing protocol,vlan,ppp,encapsulation，authentication,frame-relay等等），草草的谈了2009年初的一个网络故障排查的例子，都有点遗忘了，今天写写这篇来回忆下吧，

具体情况是，该公司的局域网是我的前公司架设的（现在说是前公司，因为它付的money让我感觉今生恐怕买不起厕所了），我参与的全部过程，除了前期的布线。具体拓扑我就不出图了，大家都知道单臂路由的基本拓扑情况吧。
设备：
3台接入型switch，2台tp24口,1台腾达16口的，客户的办公楼分3层，但是switch却不是每个楼层一个，而是都挤在一个机柜，并不是每个楼层的网络终端在一起，因为2楼的终端模块比较多（有些分散在一楼和三楼的switch上了，但并不是都在使用状态，而一楼却使用soho路由扩充端口）。至于机房，大家想你们见到过最差的样子吧！
route:h3c er3100(很低端吧，今天我不是说iso configure啊，我现在还是个菜鸟了，)
firewall:紫荆盾NetST 1500-BIII
server：防病毒服务器（drweb的网络版），财务服务器，oa等等
WORKGROUP:大慨是60-70台吧，
带宽是10m的光纤。
因为有些设备是后来添加的，比如说firewall，只好把放在route和网络云之间了。还有什么生产管理系统的服务器（客户是一工厂）等等
内网是192.168.1.0/24,无vlan。
公网地址：x.x.x.x/30

在lan建设好，客户使用了一段时间后，我每次去他们那里，总有一些这样那样问题，特别是说经常网络掉线，但修复下本地连接，又可以联网了，当时我也没有在意（去多了经常有人找很烦啊），终于在不久之后，客户打电话给我说：今天网上不了，你快来吧。
当我去了，发现ping 公网gateway，出现长时间的丢包（请求超时），客户抱怨老总吵死了（3楼的是综合部和老总的办公室，机房也在这里，这还是国营公司）。要我立即解决问题，当时我分析了下，可能有以下几种情况：
1：isp端出问题了（dce设备出问题了）
2：网络设备出问题了（路由器与交换机出问题，客户老说我们的设备有问题）
3：工作站的问题，（可能是arp攻击，乱接soho路由导致环路发生，有部分机器使用p2p，占用大量的带宽）

1：当时我先验证是否是isp端的问题，我直接将电脑（就台就是以后的安装防病毒软件和oa服务器，就在机柜旁边）接到光纤收发器上，更换为公网ip address，gateway等，运行个ping gateway的批处理，在ping20分钟里，没有出现丢包的行为，并且平均延迟时间不到1ms。
2：排除了isp的问题，我测试了由路由器nat转化联网情况，经过一段时间，也没有出现丢包的行为，并且平均延迟时间不到1ms。
我又用交换机带了3楼的工作站，也没有出现丢包的行为，平均延迟时间稍微增大为2-4ms。

3：我又将部分工作站连接上，又出现了丢包的现象，我想不可能是出现路由环路，不然广播风暴就不会是有时丢包的现象，而是完全丢包了。想到对付arp攻击可以用ip-mac绑定的方法，让客户将所有mac地址和ip地址抄来，一一对应了，但是做了ip-mac表后还是这样的现象，正好看到限制连接数和限制上下的流量，将每台机器下行流量进行限制（我比较菜，当时还是使用web方式configure的），ok，（后来才知道2层有部分用户经常有p2p行为，导致带宽被大量的占用，而其他用户当然就出现丢包了），终于再ping
gateway没有出现丢包的情况，然后让客户测试时间长点，后来客户打电话说没有出现这种问题了。

这就是我的一次网络排错的过程，当我后来看了“善于管理 交换机也能“揪”出网络病毒.doc”，并深感受教。

唉，就是不知道这次面试结果怎样，也许over吧！

ping 的批处理送上：

@echo off
date /t
>>x:\ping.txt
time /t
>>x:\ping.txt
ping ip
>>x:\ping.txt
pause

x:指你想保存的某盘，ip指你想ping的ip address,测公网可以选择gateway，不过不要ping dns了，因为某些isp的dns是锁着的，你ping不通的。

另外把“善于管理 交换机也能“揪”出网络病毒.doc”放在附件里，有看的午饭可以看看。

附件：http://down.51cto.com/data/2355362