【原创】python爬虫获取网站数据并存入本地数据库
2017-07-18 14:39
381 查看
#coding=utf-8 import urllib import re import MySQLdb dbnumber = MySQLdb.connect('localhost', 'root', '*******', 'dbname') #连接本地数据库 cursor = dbnumber.cursor() def getHtml(url): page=urllib.urlopen(url) html=page.read() return html def getnumber(html): reg=r'm>(\d+)<' #通过正则表达抓取网站数字 number=re.compile(reg) numberlist=re.findall(number,html) return numberlist html=getHtml("http://baidu.lecai.com/lottery/draw/list/50?type=range_date&start=2005-06-08&end=2003-02-23") #目标网站页面
for i in range(10000): #设置一个循环 try: n = 7 * i sql_insert = "INSERT INTO dbnumber(red_1) VALUES(%s)" %getnumber(html) #将获取的数据存入本地数据库 cursor.execute(sql_insert) except Exception: break dbnumber.commit() dbnumber.close() #最后关闭数据库连接
相关文章推荐
- 关于Python爬虫之获取海量表情包+存入数据库+搭建网站通过关键字查询表情包
- 运维学python之爬虫高级篇(四)Item Pipeline介绍(附爬取网站获取图片到本地代码) 推荐
- python 爬虫获取json数据存入文件时乱码
- python爬虫获取数据后存入MySQL数据库中
- Python3 大型网络爬虫实战 004 — scrapy 大型静态商城网站爬虫项目编写及数据写入数据库实战 — 实战:爬取淘宝
- Python爬虫项目,获取所有网站上的新闻,并保存到数据库中,解析html网页等(未完待续)
- 获取博客积分排名,存入数据库,读取数据进行绘图(python,selenium,matplotlib)
- Python爬虫系列(七)豆瓣图书排行榜(数据存入到数据库)
- python中把一数据库表 数据存入另一个数据库中
- Python爬虫:获取链家,搜房,大众点评的数据
- python爬虫由浅入深9---定向爬取股票数据信息并保存至本地文件
- 关于Python爬虫爬淘宝mm详细教程+存入数据库
- [原创]利用爬虫技术获取网页数据,以及想要的指定数据
- 【python】100行代码python爬虫程序,抓取网站图片存储本地(附:中文链接解决)
- python爬虫--抽取百度百科名词的第一段存入数据库
- Python爬虫小实践:寻找失踪人口,爬取失踪儿童信息并写成csv文件,方便存入数据库
- python知识-本地获取数据
- Python 爬虫 PhantomJs 获取JS动态数据
- python爬虫爬取ithome的新闻存储到本地数据库
- Python获取城市的PM值存入数据库中