数据分析基础介绍
2018-11-05 19:58
232 查看
1.数据分析的定义:是指用适当的统计分析方法对收集来的大量数据进行分析,提取有用信息和形成结论,而对数据加以详细研究和概括总结的过程
2.Python3中字符串类型 bytes 与 str 转换
1.str 可以编码(encode)成 bytes
2.bytes 可以解码(decode)成 str
- 编码方式
ASCII:早期计算机保存英文字符的编码方式
GB2312:对ASCII的中文扩展
GBK/GB18030:包括了GB2312的所有内容,同时又增加了近20000个新的汉字和符号,是简体中文Windows环境下默认编码格式
Unicode:包括了全球的符号和编码。每个字符用3~4个字节表示,浪费空间
UTF-8:可变长的编码方式,在互联网上使用最广泛的一种Unicode的实现方式,根据语种决定字符长度,如一个汉字3个字节,一个字母1个字节,也是Linux环境下默认编码格式。
4、DIKW
DIKW体系是关于数据、信息、知识及智慧的体系
D:Data (数据),是 DIKW 体系中最低级的材料,一般指原始数据,包含(或不包含)有用的信息。
I:Information (信息),作为一个概念,信息有着多种多样的含义。在数据工程里,表示由数据工程师(使用相关工具)或者 数据科学家(使用数学方法),按照某种特定规则,对原始数据进行整合提取后,找出来的更高层数据(具体数据)。
K:Knowledge (知识),是对某个主题的确定认识,并且这些认识拥有潜在的能力为特定目的而使用。在数据工程里,表示对信息进行针对性的实用化,让提取的信息可以用于商业应用或学术研究。
W:Wisdom (智慧),表示对知识进行独立的思考分析,得出的某些结论。在数据工程里,工程师和科学家做了大量的工作用计算机程序尽可能多地提取了价值(I/K),然而真正要从数据中洞察出更高的价值,甚至能够对未来的情况进行预测,则需要数据分析师。
相关文章推荐
- 从调试数据分析USB通信协议——基础介绍(一)
- 利用Python进行数据分析(7) pandas基础: Series和DataFrame的简单介绍
- 利用Python进行数据分析(7) pandas基础: Series和DataFrame的简单介绍
- 利用 Python 进行数据分析(四)NumPy 基础:ndarray 简单介绍
- 利用Python进行数据分析(7) pandas基础: Series和DataFrame的简单介绍 一、pandas 是什么 pandas 是基于 NumPy 的一个 Python 数据分析包,主
- elasticsearch的基础语句介绍 聚合功能很强大 可以分析数据
- storm的基础介绍_数据分析_大数据
- 利用Python进行数据分析(4) NumPy基础: ndarray简单介绍
- 和数据分析相关的重要Python类库介绍
- Python玩转数据分析学习笔记-01基础
- 网站数据分析基础
- 数据分析介绍之四——单变量数据观察之累积分布函数
- 数据分析(1)--概率论基础
- numpy&pandas 数据分析基础一
- python基础1之python介绍、安装、变量和字符编码、数据类型、输入输出、数据运算、循环
- 数据分析与展示(3)-- Matplotlib库基础使用
- nginx源码分析2———基础数据结构三(内存池)
- GBIF元数据的分类和时空分析gbif-coverage介绍
- 数据分析介绍之十——双变量建立关系之对数图