Python基于requests库爬取网站信息
2020-03-11 17:45
609 查看
requests库是一个简介且简单的处理HTTP请求的第三方库
get()是获取网页最常用的方式,其基本使用方式如下
使用requests库获取HTML页面并将其转换成字符串后,需要进一步解析HTML页面格式,这里我们常用的就是beautifulsoup4库,用于解析和处理HTML和XML
下面这段代码便是爬取百度的信息并简单输出百度的界面信息
import requests from bs4 import BeautifulSoup r=requests.get('http://www.baidu.com') r.encoding=None result=r.text bs=BeautifulSoup(result,'html.parser') print(bs.title) print(bs.title.text)
import requests from bs4 import BeautifulSoup #用来解决乱码现象,所以编写爬取信息的代码最好带上(输出出现乱码或者UnicodeEncodeError:'gbk'codec can't encode character) import io import sys sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='gb18030') #用来防止反爬取,可以了解一下 headers={"User-Agent" : "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1.6)", "Accept" : "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8", "Accept-Language" : "en-us", "Connection" : "keep-alive", "Accept-Charset" : "GB2312,utf-8;q=0.7,*;q=0.7" } #获取51job网站的基本信息 r=requests.get('https://search.51job.com/list/000000,000000,0000,00,9,99,python,2,1.html?lang=c&stype=&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&providesalary=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare=') r.encoding=r.apparent_encoding result=r.text bs=BeautifulSoup(result,'html.parser') print(bs.prettify()) u1=bs.find_all('u1',attrs={'class':'item_con_list'}) #这部分代码便是我们爬取的目标,51job网站上关于python职业的薪资 print(len(u1)) li=bs.find_all('span',attrs={'class':'t4'}) for l in li: print(l.text)
上面这段代码便是爬取51job网站上的与python相关职业的薪资
以上就是本文的全部内容,希望对大家的学习有所帮助
您可能感兴趣的文章:
相关文章推荐
- 基于类的Python多求职网站信息抓取!
- 基于网站地址URL传输session信息
- python+lxml+xpath提取nature网站中的article基本信息【初级版】
- python urllib BeautifulSoup抓取去哪儿网站景点部分信息
- Python使用requests库模拟登陆网站的方式--以豆瓣为例
- 基于python的学生信息管理系统
- python模拟彩云比特币网站登录以及信息的采集
- 用python抓取求职网站信息
- 基于python Scrapy的爬虫——爬取某网站新闻内容
- python以post方式登录csdn网站,并以cookie方式访问个人信息
- 使用python抓取网站信息
- python基于zabbix获取服务器基础信息
- python抓取南阳理工学院ACM网站排名信息
- python基于selenium+PhantomJS实现用提交表单,并点击按钮功能,获取返回的页面源码和ur等信息l。
- 基于python读取.mat文件并取出信息
- python爬虫爬取斗鱼网站信息(模拟翻页操作)
- python设计微型小说网站(基于Django+Bootstrap框架)
- python爬虫学习第二天,利用BeautifulSoup库和Requests库爬取网站
- 在IIS上部署基于django WEB框架的python网站应用
- Python爬虫爬取美剧网站信息