使用python BeautifulSoup库抓取58手机维修信息
2013-11-21 00:00
1021 查看
直接上代码:
直接执行后,存在 data1.txt中就会有商家的地址和电话等信息。
BeautifulSoup api 的地址为: http://www.crummy.com/software/BeautifulSoup/bs4/doc/
#!/usr/bin/python # -*- coding: utf-8 -*- import urllib import os,datetime,string import sys from bs4 import BeautifulSoup reload(sys) sys.setdefaultencoding('utf-8') __BASEURL__ = 'http://bj.58.com/' __INITURL__ = "http://bj.58.com/shoujiweixiu/" soup = BeautifulSoup(urllib.urlopen(__INITURL__)) lvlELements = soup.html.body.find('div','selectbarTable').find('tr').find_next_sibling('tr')('a',href=True) f = open('data1.txt','a') for element in lvlELements[1:]: f.write((element.get_text()+'\n\r' )) url = __BASEURL__ + element.get('href') print url soup = BeautifulSoup(urllib.urlopen(url)) lv2ELements = soup.html.body.find('table','tblist').find_all('tr') for item in lv2ELements: addr = item.find('td','t').find('a').get_text() phone = item.find('td','tdl').find('b','tele').get_text() f.write('地址:'+addr +' 电话:'+ phone + '\r\n\r') f.close()
直接执行后,存在 data1.txt中就会有商家的地址和电话等信息。
BeautifulSoup api 的地址为: http://www.crummy.com/software/BeautifulSoup/bs4/doc/
相关文章推荐
- 使用python BeautifulSoup库抓取58手机维修信息
- 使用python抓取58手机维修信息
- python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息,抓取政府网新闻内容
- 使用fiddler2抓取手机发出的请求信息
- 使用python抓取网站信息
- 使用python抓取有路网图书信息(原创)
- 使用Python3.x抓取58同城(南京站)的演出票的信息
- 使用Python+selenium+BeautifulSoup抓取动态网页的关键信息
- 【python日常一】使用python抓取拉勾网职位信息并做简单统计分析
- Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例
- 使用Python抓取网页信息
- 使用python抓取有道词典的网页并返回结果信息
- 使用python编写脚本获取手机当前应用apk的信息
- 使用Python抓取网页信息
- 使用Python抓取网页信息
- 关于用burp抓取python上网信息的使用方法
- Python使用Selenium模块模拟浏览器抓取斗鱼直播间信息示例
- 使用python抓取美团商家信息
- Python使用scrapy抓取网站sitemap信息的方法