入门实践，Python数据分析

钉钉、微博极速扩容黑科技，点击观看阿里云弹性计算年度发布会！>>>

1-2 Anaconda和Jupyter notebook介绍

很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：1097524789

Anaconda是什么

1 最著名的Python数据科学平台
2 750流行的Python&R包
3 跨平台：windows,Mac,Linux
4 condaL:可扩展的包管理工具 5 免费分发 6 非常活跃的社区 复制代码

Anaconda的安装

1 下载地址：https://www.anaconda.com/download/
2 检验是否安装成功
cd ~/anaconda anaconda bin/conda --version 复制代码

Conda的Environment管理

1 创建一个新的environment
conda create --name python34 python=3.4

2 激活一个environment
activate python34  # for Windows source activate python34 # for linuc & Mac 3 退出一个environment deactivate python34 # for Windows source deactivate python34 4 删除一个environment conda remmove --name python34 --all 复制代码

Conda的package的管理

1 Conda的包管理有点类似pip
2 安装一个Python包
conda install numpy

3 查看已安装的Python包
conda list
conda list -n python34  # 查看指定环境安装的Python包

4 删除一个Python包 conda remove -n python34 numpy 复制代码

什么是iPython

• 一个强大的交互式shell
• 是jupyter的kernel
• 支持交互式数据分析和可视化

什么是Jupyter Notebook

• 前身是IPython notebookl
• 一个开源的web application
• 可以创建和分享包含代码，视图，注释的文档、
• 可以用于数据统计，分析，建模，机器学习等领域

notebook的文件格式（.ipynb）

• 由Ipython Notebook 定义的一种格式（json）
• 可以读取在线数据，CSV/XLS文件
• 可以转化为其他格式，（py,html.pdf,md等）

NBViewer

• 一个online的ipynb格式notebook展示工具
• 可以通过URL分享
• Github集成了NBViewer
• 通过转换器轻松集成到Blogs Emails,Wikis,Books

实验室环境

1. 在Windows/Mac/Linux上安装Anaconda
2. 在使用Python3.6作为基础环境
3. 使用Jupyter Notebook 作为编程IDE

1-4 Anaconda在windows上安装演示

www.anaconda.com/products/in…

安装之后，按住win

点击jupyter botebook

浏览器输入localhost:8888

1-5 Anaconda在Linux上的安装演示

# 在linux机器中

wget https://repo.anaconda.com/archive/Anaconda3-2020.02-Linux-x86_64.sh

sh Anaconda3-2020.02-Linux-x86_64.sh # 进入命令号 1 按回车 2 yes 3 选择安装目录，这个时候目录不变，回车 需要两分钟 4 安装完之后需要选择什么什么玩意，选择yes 在根目录中会看见一个anaconda的文件夹，进入文件夹可以看到很多目录 cd ~/anaconda3 cd bin 可以很多的文件夹 ./anaconda --version # 查看conda版本号 ./jupyter notebook --no-browser # 在本地运行jupyter #要是抛错Running as root is not recommended. Use --allow-root to bypass. ./jupyter notebook --no-browser --allow-root # 但是这样只能本地访问jupyter，如何实现远程访问呢？ ssh端口转发 # 在本地执行端口转发命令 ssh -N -f -L localhost:8888:localhost:8888 root@{ip地址} >>>password # 本地浏览器执行localhost:8888,就可以看见linux上的jupyter的页面了 执行print('hello world') # jupyter执行命令行 :ifconfig 复制代码

1-6 Jupyter-notebook的使用演示

进入jupeter浏览器中之后
点击new-->Terminal,显示命令行界面

# 换目录执行jupeter，并把当前目录当做工作目录
/root/anaconda3/bin/jupyter notebook --no-browser --allow-root

复制代码

第2章 Numpy入门

2-1 数据科学领域5个常用Python库

numpy
scipy
Pandas
Matplotlib
Scikit-learn
复制代码

Number

数据处理里面最基础的库

1. N维数组（矩阵），快速高效，矢量数学运算
2. 高效的index,不需要循环
3. 开源免费跨平台，运行效率足以和C/Matlab媲美

Scipy

1. 依赖于Numpy
2. 专为科学和工程设计
3. 实现了多种常用科学计算：线性代数，傅里叶变换，信号和图像处理

Pandas

1. 结构化数据分析利器（依赖Numpy）
2. 提供了多种高级数据结构：Time-Series,DataFrame,Panel
3. 强大的数据索引和处理能力

Matplotlib

1. Python 2D绘图领域使用最广泛的套件
2. 基本能取代Matlab的绘图功能（散点，曲线，柱形等）
3. 通过mplot3d可以绘制精美的3D图

Scikit-learn

1. 机器学习的Python模块
2. 建立在Scipy之上，提供了常用的机器学习算法：聚类，回归
3. 简单易学的API接口

2-2 数学基础回顾之矩阵运算

基本概念

1. 矩阵：是指1xn或者nx1的矩阵
2. 标量：1x1的矩阵
3. 数组：N维的数组，是矩阵的延伸

特殊矩阵

矩阵加减运算

1. 相加，相减的两个矩阵必须要有相同的行和列
2. 行和列对应元素相加减

数组乘法(点乘）

矩阵乘法

清华大学出版的线性代数

http://www.wdfxw.net/goDownFiles.aspx?key=92039718
复制代码

2-3 Array的创建及访问

import munpy as np
# create from python list
list_1 = [1,2,3,4] array_1 = np.array(list_1) # 生成一个一维数组 list_2 = [6,7,8,9] array_2 = np.array([list_1,list_2]) # 创建一个二维数组 print(array_2) print(array_2.size) #数组里元素的个数 print(array_2.shape) # 查看矩阵或数组的维数 print(array_2.dtype) #数组元素的类型 array_4 = np.arange(1,10,2) # 使用arange创建数组 print(array_4) # array([1, 3, 5, 7, 9]) np.zeros(5) # 全0矩阵 array([0., 0., 0., 0., 0.]) np.zeros([2,3]) # 多维全0矩阵 array([[0., 0., 0.], [0., 0., 0.]]) np.eye(5) # 单位矩阵 array([[1., 0., 0., 0., 0.], [0., 1., 0., 0., 0.], [0., 0., 1., 0., 0.], [0., 0., 0., 1., 0.], [0., 0., 0., 0., 1.]]) # 数组的访问 a = np.arange(10) print(a) # array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) a[2] # 2 a[1:5] # array([1, 2, 3, 4]) b = np.array([[1,2,3,4],[5,6,7,8]]) # 矩阵 b[1,0] # 矩阵取值（第二个数组第一个值） # 5 c = np.array([[1,2,3],[4,5,6],[7,8,9]]) c[:2,1:] # 第一个元素是行，第二个元素是列 #array([[2, 3],[5, 6]]) 复制代码

2-4 数组与矩阵运算

快速创建数组

import numpy as np

np.random.randn(10)  # 创建一个十维数组，且是动态分布的

""" array([-0.7512065 , 0.97527973, -1.24433992, 0.86890475, -0.51251532, -0.02522675, -0.40664444, 0.66399272, -0.94669869, 1.52843227]) """ np.random.randint(10) # 返回一个10以内的随机整数 np.random.randint(10, size=(2,3)) #返回一个值在10以内的2x3的数组 """ array([[1, 8, 1], [6, 1, 8]]) """ np.random.randint(10,size=20).reshape(4,5) #返回一个大小为20的4x5的整数随机数组 """ array([[6, 6, 4, 8, 9], [0, 9, 1, 0, 8], [6, 2, 6, 1, 3], [5, 4, 8, 9, 2]]) """ 复制代码

数组的运算

a = np.random.randint(10,size=20).reshape(4,5)
b = np.random.randint(10,size=20).reshape(4,5)
# 生成的a,b都是一个元素值小于10，数量为20的一个4x5的多维数组

a+b  # 多维数组相加减就是对应位置元素值相加
a-b  # 多维数组相加减就是对应位置元素值相减
a * b # 多维数组相乘就是对应位置元素值相乘
a / b # 多维数组相乘就是对应位置元素值做除法--有的时候会抛错，是因为如果数学运算中0不能做除数 复制代码

矩阵

矩阵的命令其实跟数组差不多
np.mat([[1,2,3],[4,5,6]]) #创建一个矩阵 """ matrix([[1, 2, 3], [4, 5, 6]]) """ # 数组转化为矩阵 a = np.array([1,2,3]) np.mat(a) # matrix([[1, 2, 3]]) 复制代码

矩阵的运算

A = np.mat(np.random.randint(10,size=20).reshape(4,5))
B = np.mat(np.random.randint(10,size=20).reshape(4,5)) A+B # 元素相加 A-B # 元素值相减 # 矩阵的乘法运算要求第一个值得行和第二个值的列数量一致 A = np.mat(np.random.randint(10,size=20).reshape(4,5)) B = np.mat(np.random.randint(10,size=20).reshape(5,4)) A * B """ matrix([[ 59, 137, 69, 80], [ 77, 174, 124, 142], [ 48, 128, 44, 124], [ 54, 121, 102, 94]]) """ 复制代码

Array常用函数

import numpy as np

a = np.random.randint(10, size=20).reshape(4,5) np.unqiue(a) # 数组里面的唯一值 sum(a) #将矩阵的所有的列的和重新组合成一个数组 """ matrix([[21, 16, 24, 17, 9]]) """ sum(a[0]) # 计算某一行的值 sum(a[:,0]) # 计算某一列的值 A.max() #查看数组中最大值 a.max(a[0]) # 查看第一行的最大值 a.max(a[：，0]) # 查看第一列的最大值 复制代码

使用pickle序列化Numpy array

import numpy as np
x = np.arange(10)

# 将数组保存到硬盘
f = open('x.pk1','wb') pickle.dump(x,f) # 读取硬盘中的数组 f = open('x.pk1','rb') pickle.load(f) np.save('one_array',x) # 将数组序列化到硬盘 np.load('one_array.npy') # 读取文件 a = np.arange(10) b = np.arange(20) np.savez('two_array.npz',a=a,b=b) # 一个文件保存多个数组 c = np.load('two_array.npz') # 取数组 c['a'] c['b'] 复制代码