Python使用bs4获取58同城城市分类的方法
2015-07-08 12:05
856 查看
本文实例讲述了Python使用bs4获取58同城城市分类的方法。分享给大家供大家参考。具体如下:
# -*- coding:utf-8 -*- #! /usr/bin/python import urllib import os, datetime, sys from bs4 import BeautifulSoup reload(sys) sys.setdefaultencoding( "utf-8" ) __BASEURL__ = "http://bj.58.com/" __INITURL__ = "http://bj.58.com/hezu/" soup=BeautifulSoup(urllib.urlopen(__INITURL__)) lv1Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem')('a',href=True) f=open('data.txt', 'w') for element in lv1Elements[1:]: f.write((element.get_text() + '\r\n')) print element.get_text() url = __BASEURL__ + element.get('href') print url soup=BeautifulSoup(urllib.urlopen(url)) lv2Elements = soup.html.body.section.find('div', 'relative').find('dl', 'secitem').find('div', 'subarea').find_all('a') texts = [t.get_text() for t in lv2Elements] f.write(' '.join(texts) + '\r\n\r\n') f.close()
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
相关文章推荐
- Python动态类型的学习---引用的理解
- Python3写爬虫(四)多线程实现数据爬取
- 垃圾邮件过滤器 python简单实现
- 下载并遍历 names.txt 文件,输出长度最长的回文人名。
- install and upgrade scrapy
- Scrapy的架构介绍
- Centos6 编译安装Python
- 使用Python生成Excel格式的图片
- 让Python文件也可以当bat文件运行
- [Python]推算数独
- Python中zip()函数用法举例
- Python中map()函数浅析
- Python在CAM软件Genesis2000中的应用
- 使用Shiboken为C++和Qt库创建Python绑定
- FREEBASIC 编译可被python调用的dll函数示例
- Python 七步捉虫法
- Python实现的基于ADB的Android远程工具