您的位置:首页 > 其它

Pig sample用法举例

2015-06-07 22:37 274 查看
some = sample data 0.1

遍历整个数据集,获取指定比例的行数的数据,获取的数据不确定,条数也不准确。

内部重写为filter data by random() <= 0.1

抽取100行数据

data = load 'data';
grpd = group data all;
sums = foreach grpd generate COUNT(data) as c;
some = sample data 100/(double)sums.c;


  
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: