python本地与网络数据的获取

用python获取网络数据

网络数据如何获取（爬取）

抓取网页，解析网页内容

抓取

urllib内建模块

urllib.request

Requests第三方库

Scrapy框架—开源的第三方框架

某些网站爬虫协议提供robots.txt文件

解析

BeautifulSoup库

re模块

用python获取本地函数

(1)

open()

函数返回一个文件(file)对象

(2)文件对象可迭代

(3)有关闭和读写文件相关的函数方法

-

f.read(),f.write(),f.readline(),f.readlines(),f.writelines()

-

f.close(),f.seek()

推荐使用with语句来进行文件的读写以及异常的处理

readline()

读取一行数据

readlines()

读取多行数据

标准文件

当程序启动后，以下三种标准文件有效：

stdin

标准输入

stdout

标准输出

stderr

标准错误

print的实现方法

>>>import sys
>>>sys.stdout.write("hello")