pig实战 pig常用语法总结,教你快速入门——结构篇
2013-02-19 17:17
537 查看
任何一种语言的学习掌握都离不开结构和算法的思想,本文将从结构方面剖析Pig常用操作后的结构,总结了其中的一些容易犯错的地方。
详细语法介绍请参考http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#Casting+Relations+to+Scalars;个人的总结请参考下一篇pig常用语法总结,教你快速入门——算法篇
结构:
LOAD 后的数据结构为:
A: {col1: int,col2: int,col3: int,col4: double,col5: double}
GROUP BY 后的数据结构为:
B: {group:tuple(col1:int,col2:int),B:bag{:tuple(col1:int,col2:int,col3:int,col4:int)}
GENERATE group后数据结构为
C: {group:tuple(col1: int,col2: int,col3: int),double,double}
GROUP A all后的数据结构为:
B: {group: chararray,A: {(col1: int,col2: int,col3: int,col4: int)}}
DISTINCT后的结构是:
C: {group:tuple(col1:int, col2:int), long};}
对A FILTER操作B = FILTER A BY A.col3 >2;后结构为
B: {col1: int,col2: int,col3: int,col4: int}
而对B进行分组操作后,结构为
C: {group:tuple(col1: int,col2: int),B:bag{(col1: int,col2: int,col3: int,col4: int)}}
当引用的列为bag中的field时,要带上bag名,即B.col3;
对两个文件按一个字段JOIN后结构为:
C: {A::col1: int,A::col2: int,A::col3: int,A::col4: double,A::col5: double,B::col6: int,B::col7: int,B::col8: int,B::col9: int}
对field的引用方法为A::coln
UNION 两个文件后的结构是:
C: {col1: int,col2: int}
FILTER后,字段名没有改变,所以接下来group的时候不能带关系名称,对于这点,当出现““scalar has more than one row in the output”错误时,先describe上个操作结果结构,如果是C: {group: (col1: int,col2: int),B: {(col1: int,col2: int,col3: int,col4: int)}}这个结构,则下部操作要带B关系名,如果是"C: {A::col1: int,A::col2: int,A::col3: int,A::col4: double,A::col5: double,B::col6: int,B::col7: int,B::col8: int,B::col9: int}"则要把X.col3换成X::col3;如果是A:{(col1: int,col2: int,col3: int,col4: int)},则不能带A这个关系,因此当操作的是一个bag时,要带上这个bag的标识,如在group by后要带上bag引用,而简单的FLTER不能带上关系名。
同时,在FOREACH时,每个元素都是一个bag,这时对bag的字段操作要带上操作引用如B.c。
详细语法介绍请参考http://pig.apache.org/docs/r0.8.1/piglatin_ref2.html#Casting+Relations+to+Scalars;个人的总结请参考下一篇pig常用语法总结,教你快速入门——算法篇
结构:
LOAD 后的数据结构为:
A: {col1: int,col2: int,col3: int,col4: double,col5: double}
GROUP BY 后的数据结构为:
B: {group:tuple(col1:int,col2:int),B:bag{:tuple(col1:int,col2:int,col3:int,col4:int)}
GENERATE group后数据结构为
C: {group:tuple(col1: int,col2: int,col3: int),double,double}
GROUP A all后的数据结构为:
B: {group: chararray,A: {(col1: int,col2: int,col3: int,col4: int)}}
DISTINCT后的结构是:
C: {group:tuple(col1:int, col2:int), long};}
对A FILTER操作B = FILTER A BY A.col3 >2;后结构为
B: {col1: int,col2: int,col3: int,col4: int}
而对B进行分组操作后,结构为
C: {group:tuple(col1: int,col2: int),B:bag{(col1: int,col2: int,col3: int,col4: int)}}
当引用的列为bag中的field时,要带上bag名,即B.col3;
对两个文件按一个字段JOIN后结构为:
C: {A::col1: int,A::col2: int,A::col3: int,A::col4: double,A::col5: double,B::col6: int,B::col7: int,B::col8: int,B::col9: int}
对field的引用方法为A::coln
UNION 两个文件后的结构是:
C: {col1: int,col2: int}
FILTER后,字段名没有改变,所以接下来group的时候不能带关系名称,对于这点,当出现““scalar has more than one row in the output”错误时,先describe上个操作结果结构,如果是C: {group: (col1: int,col2: int),B: {(col1: int,col2: int,col3: int,col4: int)}}这个结构,则下部操作要带B关系名,如果是"C: {A::col1: int,A::col2: int,A::col3: int,A::col4: double,A::col5: double,B::col6: int,B::col7: int,B::col8: int,B::col9: int}"则要把X.col3换成X::col3;如果是A:{(col1: int,col2: int,col3: int,col4: int)},则不能带A这个关系,因此当操作的是一个bag时,要带上这个bag的标识,如在group by后要带上bag引用,而简单的FLTER不能带上关系名。
同时,在FOREACH时,每个元素都是一个bag,这时对bag的字段操作要带上操作引用如B.c。
相关文章推荐
- pig实战 pig常用语法总结,教你快速入门——算法篇
- pig实战 pig常用语法总结,教你快速入门——算法篇
- 总结安卓开发中常用几种布局的属性(初学者快速布局入门)
- Markdown常用语法快速入门
- db2入门常用语法(自己整理总结的希望对大家有用)
- python入门: 快速python语法总结
- redis常用语法总结-入门篇
- Git常用命令集教程指南-快速入门
- Java redis 新手入门常用语法demo2
- 黑马程序员_java学习第三课中的循环结构实战总结
- bootstrap常用功能快速入门以及常见问题解决方案
- H.264句法和语法总结(一)句法元素的分层结构
- ES6中的常用语法总结
- Docker学习总结(2)——Docker实战之入门以及Dockerfile(二)
- 数据结构与算法(Python)-Python快速入门篇3
- MySQL 常用语法总结
- Git快速入门——Git安装、创建版本库以及常用命令
- Go语言语法快速入门(1)
- ElasticSearch38:初识搜索引擎_上机动手实战常用的各种query搜索语法
- maven知识快速入门,了解开发中maven常用知识