爬虫:股票数据定向爬虫
2018-11-25 15:24
232 查看
版权声明:关注微信公众号:摸鱼科技资讯,联系我们 https://blog.csdn.net/qq_36949176/article/details/84487150
功能描述
*目标:获取上交所和深交所所有股票的名称和交易信息
*输出:保存到文件中
*技术路线:requests-bs4-re
候选数据网站的选择:
新浪股票:https://finance.sina.com.cn/stock/
百度股票:https://gupiao.baidu.com/stock/
股票代码一览表:http://quote.eastmoney.com/stocklist.html
候选数据网站的选择
*选取原则:股票信息静态存在于HTML页面中,非js代码生成,没有Robots协议限制
*选取方法:浏览器F12,源代码查看等
*选取心态:不要纠结于某个网站,多找信息源尝试
程序的结构设计
步骤1:从东方财富网获取股票列表
步骤2:根据股票列表逐个到百度股票获取个股信息
步骤3:将结果存储到文件
[code]import requests from bs4 import BeautifulSoup import traceback import re def getHTMLText(url): try: r=requests.get(url,timeout=30) r.raise_for_status() r.encoding=r.apparent_encoding return r.text except: return "" def getStockList(lst,stockURL): html=getHTMLText(stockURL) soup=BeautifulSoup(html,'html.parser') a=soup.find_all('a') for i in a: try: href=i.attrs['href'] lst.append(re.findall(r"[s][hz]\d{6}",href)[0]) except: continue def getStockInfo(lst,stockURL,fpath): for stock in lst: url=stockURL+stock+".html" html=getHTMLText(url) try: if html=="": continue infoDict={} soup=BeautifulSoup(html,'html.parser') stockInfo=soup.find('div',attrs={'class':'stock-bets'}) name=stockInfo.find_all(attrs={'class':'bets-name'})[0] infoDict.update({'股票名称':name.text.split()[0]}) keyList=stockInfo.find_all('dt') valueList=stockInfo.find_all('dd') for i in range(len(keyList)): key=keyList[i].text val=valueList[i].text infoDict[key]=val with open(fpath,'a',encoding='utf-8') as f: f.write(str(infoDict)+'\n') except: traceback.print_exc() continue def main(): stock_list_url='http://quote.eastmoney.com/stocklist.html' stock_info_url='https://gupiao.baidu.com/stock/' output_file='C://gupiao.txt' slist=[] getStockList(slist,stock_list_url) getStockInfo(slist,stock_info_url,output_file) main()
阅读更多
相关文章推荐
- 股票数据定向爬虫
- 股票数据定向爬虫
- python爬虫由浅入深9---定向爬取股票数据信息并保存至本地文件
- Python网络爬虫与信息提取-Day14-(实例)股票数据定向爬虫
- Python 爬虫实战(2):股票数据定向爬虫
- 爬虫练习--爬取股票数据
- python爬虫案例——东方财富股票数据采集
- python爬虫实战二——股票数据定向爬虫【有补充】
- 互联网金融爬虫怎么写-第四课 雪球网股票爬虫(单页面多数据)
- 东方财富网股票数据爬虫
- python爬虫学习 之 定向爬取 股票信息
- python爬虫学习(股票数据爬取)
- [置顶] 爬虫如何实现每天爬取,定点爬取[以股票数据为例]
- python3.x爬虫学习:股票数据定向爬虫笔记
- python爬虫案例——证券之星股票数据采集
- Python爬虫入门(爬取某网页财经部分股票数据)
- 爬虫爬取股票数据
- 金融分析之股票相关历史数据爬虫地址
- python爬虫案例——新浪腾讯股票数据采集
- 互联网金融爬虫怎么写-第四课 雪球网股票爬虫(单页面多数据)