beautifulsoup怎么查找子元素?与抓取活动行页面数据
2018-11-27 14:02
197 查看
活动行界面:http://www.huodongxing.com/events?orderby=o&city=%E5%85%A8%E9%83%A8&page=1
[code]import requests import time from bs4 import BeautifulSoup page = 1 def getid(): global page pages = requests.get('http://www.huodongxing.com/events?orderby=o&city=%E5%85%A8%E9%83%A8&page=' + str(page)) page = int(page) + 1 soup = BeautifulSoup(pages.text, 'html.parser') res = soup.find_all("div",class_="search-tab-content-item-mesh") #查找所有class for item in res: #循环res结果集 txtlist = item.find('a') #找到第一个a标签 print(txtlist['href']) #打印a标签href值 time.sleep(5) getid() ###############################分割线################################################ import requests import time from bs4 import BeautifulSoup import pymysql page = 1 def getid(): global page while True: pages = requests.get('http://www.huodongxing.com/events?orderby=o&city=%E5%85%A8%E9%83%A8&page=' + str(page)) soup = BeautifulSoup(pages.text, 'html.parser') res = soup.find_all("div",class_="search-tab-content-item-mesh") i=0 for item in res: txtlist = item.find('a') print('进行抓取第'+str(page)+'页,第'+str(i)+'个界面') page2 = requests.get('http://www.huodongxing.com'+str(txtlist['href'])) soup2 = BeautifulSoup(page2.text, 'html.parser') #标题 title = soup2.find('title').string #宣传图片 images = soup2.find('div',class_="jumbotron media").find('img')['src'] #简介 summary = soup2.find('title').string #内容 content = soup2.find('div', id="event_desc_page") i = i+1 #数据入库 page = int(page) + 1 getid()
相关文章推荐
- selenium-----简单的页面元素查找方法
- 查找带回——子父页面数据交互
- 查找数组中最大的2个元素及大数据查找
- spring mvc中controller怎么接收页面表单提交的数据
- web 页面阻止用户F12篡改页面元素和数据
- Excel 怎么用 vlookup 来查找两个表的重复数据?!
- Larval中js怎么传送数据到其他页面
- 更新页面数据时,怎么处理库里的数据和调用方的数据
- JQuery 简便实现页面元素数据验证功能
- iframe给主页面元素赋值【使用jquery获取页面数据】
- spring mvc中controller怎么接受页面表单提交的数据
- 怎么在jsp页面中获取数据库数据
- 关于获取页面元素的二进制数据并再次上传的问题的解决
- 查找页面元素
- 程序员面试题目总结--数组(五)【数组的后面m个数移动为前面m个数、列的前n项数据、判断整数x是否可以表示成n个连续正整数的和、数组中出现奇数次的元素、二维数组中的查找】
- curl爬数据,返回页面结果,如果没有任何显示,该怎么办?
- freemarker怎么把数据显示到页面中?
- jquery笔记之属性选择器 查找以某种条件开头的页面元素
- Spring Mvc中Jsp也页面怎么会获取不到Controller中的数据
- java中数据结构Bitmap查找相等元素