Alink 使用技巧:如何使用批式 CSV 数据读取?
Alink 是基于 Flink 的机器学习算法平台,欢迎访问 Alink 的 GitHub 获取更多信息。本文主要分享 Alink 的使用技巧之一,如何使用批式 CSV 进行数据读取。
基本操作
我们先下载个 csv 文件用作后面的测试数据。
将数据文件下载到本地,文件路径为 /Users/yangxu/flinkml/data/iris/iris.data,使用文本编辑器打开如下所示,每行为一条数据,每条数据包括4个数值字段和一个字符串字段,各字段间使用逗号分隔。
数据下载
http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data
读取本地数据
使用 CsvSourceBatchOp 可以批式读 CSV 格式文件,其必填的两个参数为:filePath 和 schemaStr。filePath 为 CSV 格式文件所在的路径;schemaStr 为数据各字段的名称和类型。关于 Schema String 更多的介绍可以参见:
Alink Schema String简介
https://zhuanlan.zhihu.com/p/103027854
可以使用如下脚本,读取数据,并取前5条数据打印显示出来。
source_local = CsvSourceBatchOp()\ .setFilePath("/Users/yangxu/flinkml/data/iris/iris.data")\ .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string") source_local.firstN(5).print()
数据打印显示如下:
注意:CsvSourceBatchOp 必填的参数 filePath 和 schema 进行赋值,filePath 为本地文件存储路径"/Users/yangxu/flinkml/data/iris/iris.data",schema 为 iris 数据集的列名和类型信息,共有5个字段:sepal_length, sepal_width, petal_length, petal_width, category;其数据类型分别为 double, double, double, double, string。
读取网络数据
相对于前面介绍的读取本地 CSV 数据,我们只需将数据存储路径参数 filePath,赋值为 http 路径地址即可。脚本如下:
source_url = CsvSourceBatchOp()\ .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")\ .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string") source_url.firstN(5).print()
数据打印显示如下:
参数详细说明
Alink CsvSourceBatchOp 提供了丰富的读取功能,具体内容可以参阅其参数说明文档:
https://github.com/alibaba/Alink/blob/master/docs/cn/csvsourcebatchop.md
更复杂的例子
对于葡萄酒品质数据集,我们将其下载达到本地,可以看到其文件内容。
数据下载
http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv
第一行为数据列名的说明,第二行开始是数据,可以看到都是数值类型,各个数之间用分号“;”进行分隔。
我们可以通过设置参数 ignoreFirstLine 为 True,略过第一行;并且可以设置字段分隔符参数 fieldDelimiter 为分号“;”。另外,由于列名不能包含空格,所以由文件第一列转化来的列名需要进行相应处理,这里我们将其写为驼峰形式;并加上数据类型,这里都是 double 类型,构成了数据集的 SchemaStr。具体的脚本如下:
wine_url = CsvSourceBatchOp()\ .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-white.csv")\ .setSchemaStr("fixedAcidity double,volatileAcidity double,citricAcid double,residualSugar double,"+\ "chlorides double,freeSulfurDioxide double,totalSulfurDioxide double,density double,"+\ "pH double,sulphates double,alcohol double,quality double")\ .setFieldDelimiter(";")\ .setIgnoreFirstLine(True); wine_url.firstN(5).print()
数据打印显示如下:
可以看到由于每行的数据较多,在显示的时候进行了分段显示,每段数据可以由其最左方的行索引编号关联。
扫码关注「流计算Alink」,获取更多机器学习干货
- 如何使用python读取数据之间不等间距的TXT文件为CSV文件
- SparkSQL 使用SQLContext读取csv文件 分析数据 (含部分数据)
- javascript原生移动云编程9 - 如何使用云数据库读取和保存数据
- 如何使用ajax读取Json中的数据
- python使用padans,numpy库读取csv数据
- 对应诺言,写了篇文章,“如何使用Serialization 进行文件存储/读取数据 (上)”, 请大家评评。
- Python中使用 pandas 来读取csv数据
- FastReport 使用技巧——如何打印数据表数据
- 从CSV文件中读取数据,使用逗号','分割问题
- Deep Learning 4J 学习(四) 使用CSV文件来读取训练数据
- Python使用pandas & pymysql读取MySQL数据到csv文件中
- java读取csv文件,跳过第一行,将数据导入到数据库中,使用javacsv
- 如何读取CSV数据到DataTable中
- python 文件处理模块的使用,如何读取文件中数据
- Java使用poi读取excel数据(excel可能很大,先转换为csv再读取)
- 【python】如何批量读取文件夹的所有文件数据,os模块与open函数结合使用实例
- 如何读取CSV文件,格式化数据,统计生日出现的次数
- 如何用java读取csv文件指定行列的数据,并将csv中数据元素随机置零后保存到另一个csv文件中
- Jmeter使用CSV文件读取大量测试数据
- 如何使用JDBC+Struct2框架的poi读取Excel的数据然后插入Sql Server数据库中