您的位置：首页 > 运维架构 > Shell

elasticsearch bulk批量导入 大文件拆分

2017-07-25 00:00 211 查看
命令如下：

curl -s -XPOST http://localhost:9200/_bulk --data-binary @data.json

如果上传的data.json文件较大，可以将其切分为多个小文件，在批量上传，shell脚本如下：

#!/bin/bash

split -l 100000 -a 10 data.json ./tmp/carrier_bulk

BULK_FILES=./tmp/carrier_bulk*
for f in $BULK_FILES; do
curl -s -XPOST http://localhost:9200/_bulk --data-binary @$f >> /dev/null
echo $f >> ./import.log
done


/dev/null不将输出打印到终端

每次循环输出到日志中，可以查看命令是否执行成功，也可以看命令执行的进度。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签：  elasticsearch bulk curl shell脚本
相关文章推荐
新的分享
章节导航