您的位置:首页 > 大数据

数据迁移测试

2018-01-14 18:22 106 查看
此次测试为性能测试。



​开始测试
 

移除点击此处添加图片说明文字
控制在一个场站的一个月,开始测试。准备截图。

 

移除点击此处添加图片说明文字
果然是要报错的,因为s3的目录太奇怪了,哎,我删除目录吧,妈的。目录真恶心啊

​后来发现了,原来是因为队列切割有换行符,我控制了一下可以了

 

移除点击此处添加图片说明文字
​可以看到是可以了的。

 

移除点击此处添加图片说明文字
​嗯,可以看到,s3上面已经开始干了。

 

移除点击此处添加图片说明文字
​嗯,很牛逼,很牛逼,30天的数据,就看看要多久了。

 

移除点击此处添加图片说明文字
​数据也很吊很吊,哈哈,就等结果了。等搞完了,我们再来看看这30天有没有合格的数据吧,我们弄得场站是:WF0033

记录一下

后续我觉得控制台报错太多了,我想,能否每一天弄一个日志文件,这个等后面,我来做一下,每一天弄一个日志文件,可以看某一天的报错原因。

来看看集群利用率

 

移除点击此处添加图片说明文字
​脚本启动5个命令的,看看效果了。

不知道哪个是我们的,都粘贴吧。

 

移除点击此处添加图片说明文字
​此时再来看看s3效果。

 

移除点击此处添加图片说明文字


已经完成了11天了,这次测试是30天,我们接着看下去。要多久,目前是15分钟过去了。

下面比较重要,我们不要浪费时间了,来看看已经搬运成功的,天数是否对应上吧。首先,我们看看,

WF0033/20170713

s3的数据是:

 

移除点击此处添加图片说明文字
​服务器为

 

移除点击此处添加图片说明文字
​都是11个,并且文件大小目前来说也是对的。没有毛病。

来看20号的吧。挑一下。

 

移除点击此处添加图片说明文字
​服务器为

 

移除点击此处添加图片说明文字
​这个也对应上了,那么我们可以认为是成功了。

要不就再来一天看看吧!

来看看33分厂,24号数据是否对应上:

 

移除点击此处添加图片说明文字
​服务器

 

移除点击此处添加图片说明文字
​所以,也对应上了,接下来,我们就等待了,等待最后的时间,30天数据了

我们随机抽查了7月13号,20号,24号,数据都是对应上的,
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息