Python爬虫(入门+进阶)学习笔记 1-5 使用pandas保存豆瓣短评数据
2018-03-27 19:17
1211 查看
1. Python数据分析的工具包
numpy: (Numerical Python的简称),是高性能科学计算和数据分析的基础包pandas:基于Numpy创建的Python包,含有使数据分析工作变得更加简单的高级数据结构和操作工具
matplotlib:是一个用于创建出版质量图表的绘图包(主要是2D方面)
import pandas as pd #导入pandas
import numpy as np #导入numpy
import matplotlib.pypolt as plt #导入matplotlib
2. pandas保存数据到Excel
to_excel() 实例方法:用于将DataFrame保存到Exceldf.to_excel('文件名.xlsx', sheet_name = 'Sheet1') #其中df为DataFrame结构的数据,sheet_name = 'Sheet1'表示将数据保存在Excel表的第一张表中read_excel() 方法:从excel文件中读取数据pd.read_excel('文件名.xlsx', 'Sheet1', index_col=None, na_values=['NA'])
3. pandas保存数据到csv文件
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn(6,3)) #创建随机值并保存为DataFrame结构 print(df.head()) df.to_csv('numpppy.csv')
实战环节
结合之前学习的获取数据、解析数据的知识,爬取《小王子》豆瓣短评的数据,并把数据保存为本地的excel表格#!/usr/bin/env python3# -*- coding: utf-8 -*-
"""
Created on Sat Mar 17 17:18:35 2018
@author: Jackie
"""
import requests
from lxml import etree
import pandas as pd
urls = ['https://book.douban.com/subject/1084336/comments/hot?p={}'.format(str(i)) for i in range(1,6)]
comments = []
for url in urls:
r = requests.g
4000
et(url).text
s = etree.HTML(r)
file = s.xpath('//div[@class="comment"]/p/text()')
comments += file
df = pd.DataFrame(comments)
print(df.head())
#df.to_excel('comment.xlsx')
结果:
相关文章推荐
- Python爬虫(入门+进阶)学习笔记 1-4 使用Xpath解析豆瓣短评
- Python爬虫(入门+进阶)学习笔记 1-3 使用Requests爬取豆瓣短评
- Python爬虫(入门+进阶)学习笔记 1-8 使用自动化神器Selenium爬取动态网页(案例三:爬取淘宝商品)
- Python爬虫(入门+进阶)学习笔记 1-7 数据入库之MongoDB(案例二:爬取拉勾)
- Python爬虫(入门+进阶)学习笔记 1-1 什么是爬虫?
- python python 入门学习之网页数据爬虫cnbeta文章保存
- 爬虫笔记-使用python爬取豆瓣短评
- Python的入门与进阶的学习笔记之Python基本数据类型
- 【学习笔记】Python爬虫-豆瓣电影所有短评
- python爬虫:使用Mongodb数据库存储数据学习笔记
- 利用Pythonj进行数据分析学习笔记——第五章 pandas入门
- Python爬虫(入门+进阶)学习笔记 1-2 初识Python爬虫
- Python爬虫(入门+进阶)学习笔记 1-6 浏览器抓包及headers设置(案例一:爬取知乎)
- 【原】Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性
- Python爬虫学习笔记——豆瓣登陆(三)
- 『Python学习』pandas进阶学习笔记
- python爬虫学习笔记——使用requests库编写爬虫(1)
- Learning Spark (Python版) 学习笔记(二)----键值对、数据读取与保存、共享特性
- 【零基础入门学习Python笔记005】闲聊之Python的数据类型
- python小白入门学习笔记-爬虫入门