西安天讯:怎样添加百度蜘蛛访问网站日志log日志
2017-04-26 14:42
309 查看
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
首先确定,自己看就可以了,你的空间商 是否提供iis 日志。如果有下载一个
分担 分担
首先要确定网站空间支持IIS日志的下载,支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。
IIS日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,有时电脑打开是会造成死机,设置的话找空间商协调设置即可。
IIS日志如何分析
1.日志的后缀名是log的可以用记事本打开,选择格式里的自动换行这样看起来方便,同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。
例如:
百度蜘蛛
2012-03-1300:47:10W3SVC177116.255.169.37GET/-80-220.181.51.144Baiduspider-favo+(+baidu/search/spider)2000015256197265?
谷歌机器人
2012-03-1308:18:48W3SVC177116.255.169.37GET/robots.txt-80-222.186.24.26Googlebot/2.1+(+google/bot)2000098520031?
来分段来解释
2012-03-1300:47:10蜘蛛爬取的日期和时间点
W3SVC177这个是机器码这个是惟一的我们不去管它
116.255.169.37这个IP地址是服务器的IP地址
GET代表事件
GET后面就是蜘蛛爬取的网站页面,斜杠就代表首页
80是端口的意思
220.181.51.144这个IP则是蜘蛛的IP,这里告诉大家一个鉴别真假百度蜘蛛的方法,我们电脑点击开始运行输入cmd打开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。
如果网站中出现了大量的假蜘蛛则说明有人冒充百度蜘蛛来采集你的内容,你就需要注意了,如果太猖獗那会很占用你的服务器资源,我们需要屏蔽他们的IP.
20000这里是状态码状态码的意思可以在百度里搜索下
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志格式;爬行日期 time 01;\: Fields;\\
首先确定,自己看就可以了,你的空间商 是否提供iis 日志。如果有下载一个
分担 分担
首先要确定网站空间支持IIS日志的下载,支持的话空间后台一般都有日志WebLog日志下载这个功能把它下载到根目录在用FTP传到本地就可以,服务器的话可以设置将日志文件下载到指定路径。
IIS日志强烈建议设置成每小时生成一次,小型的企业站和页面内容较少的网站可以设置成一天,它默认是一天,如果内容多或者大型站设置成一天生成一次,那么一天只生成一个文件,这个文件会相当的大,有时电脑打开是会造成死机,设置的话找空间商协调设置即可。
IIS日志如何分析
1.日志的后缀名是log的可以用记事本打开,选择格式里的自动换行这样看起来方便,同时用搜索功能搜索BaiduSpider和Googlebot这两个蜘蛛。
例如:
百度蜘蛛
2012-03-1300:47:10W3SVC177116.255.169.37GET/-80-220.181.51.144Baiduspider-favo+(+baidu/search/spider)2000015256197265?
谷歌机器人
2012-03-1308:18:48W3SVC177116.255.169.37GET/robots.txt-80-222.186.24.26Googlebot/2.1+(+google/bot)2000098520031?
来分段来解释
2012-03-1300:47:10蜘蛛爬取的日期和时间点
W3SVC177这个是机器码这个是惟一的我们不去管它
116.255.169.37这个IP地址是服务器的IP地址
GET代表事件
GET后面就是蜘蛛爬取的网站页面,斜杠就代表首页
80是端口的意思
220.181.51.144这个IP则是蜘蛛的IP,这里告诉大家一个鉴别真假百度蜘蛛的方法,我们电脑点击开始运行输入cmd打开命令提示符,输入nslookup空格加蜘蛛IP点击回车,一般真百度蜘蛛都有自己的服务器IP而假蜘蛛则没有。
如果网站中出现了大量的假蜘蛛则说明有人冒充百度蜘蛛来采集你的内容,你就需要注意了,如果太猖獗那会很占用你的服务器资源,我们需要屏蔽他们的IP.
20000这里是状态码状态码的意思可以在百度里搜索下
相关文章推荐
- MOSS应用随笔--添加域用户访问网站
- 通过IP地址看网站日志寻找百度蜘蛛爬行规律
- apache访问日志开启百度蜘蛛访问记录格式并设置按天记录
- 学会分析网站原始访问日志
- asp网站的access数据库添加修改、写入权限后访问超慢
- [JavaScript]给自己的网站添加简单文本日志
- 网站访问日志分析
- 网站建设怎样添加设为首页和加入收藏代码
- asp.net 网站暂停访问之添加一个html文件(app_offline.htm)
- win7中IIS配置添加网站,局域网访问不到··
- 怎样在Asp.net中实现当前网站的访问用户数量统计
- 学会分析网站原始访问日志
- 网站访问异常日志,这是入侵吗?
- 分析网站原始访问日志
- 网站日志百度蜘蛛500是怎么回事
- windows live writer 怎样添加带有代码格式的日志
- 查看网站访问日志是,各HTTP 代码的含义
- Asp.Net : 捕捉和记录网站中出现的所有未处理错误,抛出详细的页面来源和访问ip,调用的接口方法及异常实例(记事本日志,系统日志及数据库日志)
- 分析网站访问日志
- Elmah框架,添加日志文件访问权限