Python爬虫(入门+进阶)学习笔记 1-8 使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝商品)
2018-03-28 15:02
1211 查看
selenium 是一套完整的web应用程序测试系统,包含了测试的录制(selenium IDE),编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可以用于任何支持JavaScript的浏览器上。
selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。
安装:
下载chromedriver时,chromedriver官网打不开的话,可以去淘宝镜像,地址:http://npm.taobao.org/mirrors,使用最新的chromedriver可以避免一些未知错误(我用旧版的就报错了:WebDriverException: unknown error: call function result missing 'value')
在 Python 下引用 Selenium 包开发时,报错:WebDriverException: 'chromedriver' executable needs to be in PATH.
安装 selenium 的 python 包之后,还要安装浏览器 driver,下载安装了ChromeDriver后,将其路径添加到/usr/local/bin下,仍然报错,重新添加PATH,也报错。最后解决办法为:
复制 chromedrive 文件到 Google Chrome 程序目录下,
将driver = webdriver.Chrome() 改为:driver = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver") 即可正常运行。
缺点:时间以及内存消耗太大
driver.find_elements_by_name()
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver")
driver.get('http://www.baidu.com')
elem = driver.find_element_by_xpath('//*[@id = "kw"]') #查找输入框
elem.send_keys('Python',Keys.ENTER) #模拟点击回车
print(driver.page_source)
分析搜索框的xpath语句,并send_keys(‘鞋子’);
分析页面,找到每条商品的信息,使用xpath提取数据并将其存储成字典的格式,输出该字典;
找到下一页的按钮,模拟点击它,并循环第3步,直到循环结束 。
代码:#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Mon Mar 26 17:36:50 2018
@author: Jackie
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from pyquery import PyQuery as pq
import re
browser = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver")
wait = WebDriverWait(browser, 10)
#进入淘宝网,输入鞋子,返回页面
def search():
try:
browser.get('https://www.taobao.com/')
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
input.send_keys(u'鞋子')
submit.click()
total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
get_products()
return total.text
except TimeoutException:
return search()
#跳转到下一页
def next_page(page_number):
try:
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input")))
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
input.clear()
input.send_keys(page_number)
submit.click()
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)))
get_products()
except TimeoutException:
next_page(page_number)
#得到淘宝商品信息
def get_products():
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))
html = browser.page_source
doc = pq(html)
#pyquery (browser.page_source)就相当于requests.get获取的内容
items = doc('#mainsrp-itemlist .items .item').items()
for item in items:
product = {
'image':item.find('.pic .img').attr('src'),
'price':item.find('.price').text(),
'deal':item.find('.deal-cnt').text()[:-3],
'title':item.find('.title').text(),
'shop':item.find('.shop').text(),
'location':item.find('.location').text(),
}
print(product)
def main():
total = search()
total = int(re.compile('(\d+)').search(total).group(1))
#爬取所有的数据用total+1
for i in range(2,10):
next_page(i)
if __name__ == '__main__':
main()
selenium可以模拟真实浏览器,自动化测试工具,支持多种浏览器,爬虫中主要用来解决JavaScript渲染问题。
安装:
pip install selenium
下载chromedriver时,chromedriver官网打不开的话,可以去淘宝镜像,地址:http://npm.taobao.org/mirrors,使用最新的chromedriver可以避免一些未知错误(我用旧版的就报错了:WebDriverException: unknown error: call function result missing 'value')
from selenium import webdriver driver = webdriver.Chrome() driver.get('http://www.baidu.com')
在 Python 下引用 Selenium 包开发时,报错:WebDriverException: 'chromedriver' executable needs to be in PATH.
安装 selenium 的 python 包之后,还要安装浏览器 driver,下载安装了ChromeDriver后,将其路径添加到/usr/local/bin下,仍然报错,重新添加PATH,也报错。最后解决办法为:
复制 chromedrive 文件到 Google Chrome 程序目录下,
将driver = webdriver.Chrome() 改为:driver = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver") 即可正常运行。
Selenium的优缺点
优点:Selenium可以爬取任何网页的任何内容,因为它是通过浏览器访问的方式进行数据的爬取,没有网站会拒绝浏览器的访问。缺点:时间以及内存消耗太大
Selenium的操作
driver.find_element_by_name()查找符合条件的单个元素
driver.find_elements_by_name()
查找符合条件的一组元素点击查看更多操作尝试使用Seleniumfrom selenium import webdriver
from selenium.webdriver.common.keys import Keys
driver = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver")
driver.get('http://www.baidu.com')
elem = driver.find_element_by_xpath('//*[@id = "kw"]') #查找输入框
elem.send_keys('Python',Keys.ENTER) #模拟点击回车
print(driver.page_source)
实战环节
爬取淘宝网有关“鞋子”的商品信息,并把爬取的数据存储在MongoDB数据库中(这里为了方便大家测试,只是把信息输出)首先前往淘宝网;分析搜索框的xpath语句,并send_keys(‘鞋子’);
分析页面,找到每条商品的信息,使用xpath提取数据并将其存储成字典的格式,输出该字典;
找到下一页的按钮,模拟点击它,并循环第3步,直到循环结束 。
代码:#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""
Created on Mon Mar 26 17:36:50 2018
@author: Jackie
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import TimeoutException
from pyquery import PyQuery as pq
import re
browser = webdriver.Chrome("/Applications/Google Chrome.app/Contents/MacOS/chromedriver")
wait = WebDriverWait(browser, 10)
#进入淘宝网,输入鞋子,返回页面
def search():
try:
browser.get('https://www.taobao.com/')
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#q")))
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button')))
input.send_keys(u'鞋子')
submit.click()
total = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > div.total')))
get_products()
return total.text
except TimeoutException:
return search()
#跳转到下一页
def next_page(page_number):
try:
input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, "#mainsrp-pager > div > div > div > div.form > input")))
submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit')))
input.clear()
input.send_keys(page_number)
submit.click()
wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number)))
get_products()
except TimeoutException:
next_page(page_number)
#得到淘宝商品信息
def get_products():
wait.until(EC.presence_of_element_located((By.CSS_SELECTOR,'#mainsrp-itemlist .items .item')))
html = browser.page_source
doc = pq(html)
#pyquery (browser.page_source)就相当于requests.get获取的内容
items = doc('#mainsrp-itemlist .items .item').items()
for item in items:
product = {
'image':item.find('.pic .img').attr('src'),
'price':item.find('.price').text(),
'deal':item.find('.deal-cnt').text()[:-3],
'title':item.find('.title').text(),
'shop':item.find('.shop').text(),
'location':item.find('.location').text(),
}
print(product)
def main():
total = search()
total = int(re.compile('(\d+)').search(total).group(1))
#爬取所有的数据用total+1
for i in range(2,10):
next_page(i)
if __name__ == '__main__':
main()
补充资料
1. PhantomJS无头浏览器
Python爬虫利器之PhantomJS的用法2. Pyquery包
前往pyquery官方文档,学习更多关于pyquery语法的知识扩展阅读
虫师:随笔分类 -selenium
相关文章推荐
- 8 使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝)
- Python爬虫(入门+进阶)学习笔记 1-6 浏览器抓包及headers设置(案例一:爬取知乎)
- Python爬虫(入门+进阶)学习笔记 1-4 使用Xpath解析豆瓣短评
- Python爬虫(入门+进阶)学习笔记 1-5 使用pandas保存豆瓣短评数据
- Python爬虫(入门+进阶)学习笔记 1-7 数据入库之MongoDB(案例二:爬取拉勾)
- Python爬虫学习——使用selenium和phantomjs爬取js动态加载的网页
- Python爬虫(入门+进阶)学习笔记 1-3 使用Requests爬取豆瓣短评
- 萌新的Python学习日记 - 爬虫无影 - 使用BeautifulSoup + css selector 抓取动态网页内容:Knewone
- 小猪的Python学习之旅 —— 5.使用Selenium抓取JavaScript动态生成数据的网页
- Python爬虫(入门+进阶)学习笔记 1-2 初识Python爬虫
- Python爬虫(入门+进阶)学习笔记 1-1 什么是爬虫?
- [Python]网络爬虫学习笔记,爬取东南大学SEU-wlan的流量使用情况
- Python爬虫学习笔记二:百度贴吧网页图片抓取
- Selenium2 Python 自动化测试实战学习笔记(六)
- python3.4学习笔记(十三) 网络爬虫实例代码,使用pyspider抓取多牛投资吧里面的文章信息,抓取政府网新闻内容
- Selenium2 Python 自动化测试实战学习笔记(三)
- Selenium2 Python 自动化测试实战学习笔记(四)
- python2.7爬虫学习笔记(一)---Urllib库的使用
- python小白入门学习笔记-爬虫入门
- Selenium2 Python 自动化测试实战学习笔记(二)