Python 自动化测试chrome driver(模拟浏览器进行爬取淘宝商品信息)
2018-02-19 12:49
996 查看
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.support import expected_conditions as EC import re browser = webdriver.Chrome() wait=WebDriverWait(browser, 10) #print(browser.page_source) def search(): try: browser.get('https://www.taobao.com/') input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#q'))) submit= wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR,'#J_TSearchForm > div.search-button > button'))) input.send_keys("美食") submit.click() total=wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.total'))) return total.text except TimeoutError: return search() def next_page(page_number): try: input = wait.until(EC.presence_of_element_located((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > input'))) submit = wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, '#mainsrp-pager > div > div > div > div.form > span.btn.J_Submit'))) input.clear() #清除页码 input.send_keys(page_number) submit.click() wait.until(EC.text_to_be_present_in_element((By.CSS_SELECTOR,'#mainsrp-pager > div > div > div > ul > li.item.active > span'),str(page_number))) except TimeoutError: next_page(page_number) def get_one_page(): pass def main(): total=search() total=int(re.compile('(\d+)').search(total).group(1)) #正则表达式获取页数 for i in range(2,total+1): next_page(i) if __name__=='__main__': main()
相关文章推荐
- Python使用Selenium模块实现模拟浏览器抓取淘宝商品美食信息功能示例
- 使用python利器selenium工具模拟浏览器运行并爬取淘宝商品信息
- 使用Selenium模拟浏览器抓取淘宝商品美食信息
- Python 淘宝系列(三): 模拟登陆成功后获取购物车信息
- Python 淘宝系列(三): 模拟登陆成功后获取购物车信息
- python学习之爬取淘宝商品信息
- python通过关键字搜索淘宝商品详细信息
- python+chrome+Selenium模拟手机浏览器
- python抓取淘宝商品信息
- 简单的抓取淘宝关键字信息、图片的Python爬虫|Python3中级玩家:淘宝天猫商品搜索爬虫自动化工具(第二篇)
- python模拟浏览器webdriver登陆网站后抓取页面并输出
- Python爬虫之selenium爬虫,模拟浏览器爬取天猫信息
- python模拟浏览器登陆淘宝(设置代理、输入验证码)
- 在python获取网页的代码中添加头信息模拟浏览器
- python按综合、销量排序抓取100页的淘宝商品列表信息
- python爬虫爬取淘宝商品信息(selenum+phontomjs)
- python---pexpect的pxssh进行模拟ssh登陆返回相关命令信息
- Python网页信息采集:使用PhantomJS采集淘宝天猫商品内容
- python爬虫之:淘宝商品搜索爬虫(收集商品信息/下载详情图)
- Python+Selenium+Chrome抓取京东商品信息