Python脚本检测网站链接是否存在
2010-11-08 22:46
513 查看
最近购买了几个PR值高的网站链接,把我们自己的网站链接挂上去。为了能够检测对方的网站是否把我们的网站链接放上去,特地用Python写了一个小脚本,因为这是我的第一个Python程序,所以参考了网上的代码。所以,如有雷同,纯属模仿。
早就听说Python语言操作简单,果然名不虚传,短短几句,就实现了基本的功能。
要检测目标网站上是否存在指定的URL,其实过程很简单:
1、获得指定网站网页的HTML代码
2、在HTML代码中查找指定的URL
3、如果存在,OK;否则,Error
整个程序引用了两个lib库,urllib2和sgmllib。
urllib2库主要定义了一些访问URL(基本通过HTTP)的函数与类。
sgmllib库主要负责解析HTML代码。
1 import urllib2
2 from sgmllib import SGMLParser
3
4 class URLLister(SGMLParser):
5 def reset(self):
6 SGMLParser.reset(self)
7 self.urls = []
8
9 def start_a(self,attrs):
href=[v for k,v in attrs if k=='href']
if href:
if (href[0].count('http://网站URL')==1):
self.urls.extend(href)
links = ['http://www.google.com/',
'http://www.baidu.com',
'http://www.sohu.net',
'http://www.163.com',
'http://www.cnblogs.com',
'http://www.qq.com',
'http://www.yahoo.com/',
'http://www.bing.com/',
'http://www.360.com',]
for eachlink in links:
f = urllib2.urlopen(eachlink)
if f.code ==200:
parser = URLLister()
parser.feed(f.read())
f.close()
if (len(parser.urls)>=1):
print 'The link from '+eachlink+' is OK!'
else:
print 'The link from '+eachlink+' is ERROR!'
这其中几个主要函数:
1、urllib2.urlopen(url[, data][, timeout])//打开一个URL
2、SGMLParser.feed(data) //获得需要解析的HTML数据
3、SGMLParser.start_tag(attributes) //指定需要解析的HTML标签,在本程序中,我们调用了start_a,说明我们需要解析HTML代码中<a>标签。通过查找<a>标签中href属性的value,可以获得该网页上所有链接的信息,只要我们指定的URL存在,就OK了。
这其实是一个很小的脚本,但也让我激动不已。一来,我已经跨进了Python的世界,并用它解决了实际工作中的问题,二来,它的简单语法、缩进格式着实让我眼前一亮。今后,希望能够多多使用Python,解决实际工作中的种种问题,做到学以致用。
早就听说Python语言操作简单,果然名不虚传,短短几句,就实现了基本的功能。
要检测目标网站上是否存在指定的URL,其实过程很简单:
1、获得指定网站网页的HTML代码
2、在HTML代码中查找指定的URL
3、如果存在,OK;否则,Error
整个程序引用了两个lib库,urllib2和sgmllib。
urllib2库主要定义了一些访问URL(基本通过HTTP)的函数与类。
sgmllib库主要负责解析HTML代码。
1 import urllib2
2 from sgmllib import SGMLParser
3
4 class URLLister(SGMLParser):
5 def reset(self):
6 SGMLParser.reset(self)
7 self.urls = []
8
9 def start_a(self,attrs):
href=[v for k,v in attrs if k=='href']
if href:
if (href[0].count('http://网站URL')==1):
self.urls.extend(href)
links = ['http://www.google.com/',
'http://www.baidu.com',
'http://www.sohu.net',
'http://www.163.com',
'http://www.cnblogs.com',
'http://www.qq.com',
'http://www.yahoo.com/',
'http://www.bing.com/',
'http://www.360.com',]
for eachlink in links:
f = urllib2.urlopen(eachlink)
if f.code ==200:
parser = URLLister()
parser.feed(f.read())
f.close()
if (len(parser.urls)>=1):
print 'The link from '+eachlink+' is OK!'
else:
print 'The link from '+eachlink+' is ERROR!'
这其中几个主要函数:
1、urllib2.urlopen(url[, data][, timeout])//打开一个URL
2、SGMLParser.feed(data) //获得需要解析的HTML数据
3、SGMLParser.start_tag(attributes) //指定需要解析的HTML标签,在本程序中,我们调用了start_a,说明我们需要解析HTML代码中<a>标签。通过查找<a>标签中href属性的value,可以获得该网页上所有链接的信息,只要我们指定的URL存在,就OK了。
这其实是一个很小的脚本,但也让我激动不已。一来,我已经跨进了Python的世界,并用它解决了实际工作中的问题,二来,它的简单语法、缩进格式着实让我眼前一亮。今后,希望能够多多使用Python,解决实际工作中的种种问题,做到学以致用。
相关文章推荐
- Python检测网站链接是否已存在
- Python检测网站链接是否已存在
- 一个检测网页是否有日常链接的python脚本
- [JavaScript]用脚本检测用户是否把网站加入信任站点
- [windows]如何在batch脚本中检测系统是否安装了python和pip
- XMLHTTP.Open Head 检测网络链接是否存在..
- PHP检测链接是否存在的代码实例分享
- linux 检测进程是否存在,并统计进程数的有用的方法和脚本
- Python之检测XML文件中URL是否存在
- Python绝技笔记--------FTP匿名访问检测、用户名密码爆破、扫描是否存在web服务默认网页
- 使用Python脚本实现批量网站存活检测遇到问题及解决方法
- python Django 检测网站访问是否正常 并邮件提醒
- 脚本练习_输入用户名 检测用户是否存在 存在则检测家目录是否存在
- 转载大神的检测网站重定向的python脚本
- 批量检测链接是否存在
- XMLHTTP.Open Head 检测网络链接是否存在
- python脚本检测linux进程是否运行
- Python3基础 str find与index 检测参数字符串是否存在字符串中,有则范围第一个索引值
- 检测文件是否存在脚本