ubuntu使用命令mongoimport插入大批量json数据到mongodb时,遇到转义字符出错解决办法
2016-08-27 13:42
615 查看
插入过程出错了,遇到转义字符就中断插入,转义字符有\r \t \b
我用python写了一个脚本来删除,替换转义字符 文件名是delch.py
然后使用命令将多个文件重定向到ok.json文件
然后使用命令插入ok.json文件
我用python写了一个脚本来删除,替换转义字符 文件名是delch.py
import sys infile = sys.argv[1] def delete_char(s, c): parts = s.split(c) return ''.join(parts) with open(infile) as f: for line in f: line = delete_char(line, "\x08") #退格键 backspace #line = line.replace("\\", "/") #替换\\成/ sys.stdout.write(line)
然后使用命令将多个文件重定向到ok.json文件
#!/bin/bash dir="/mnt/disk1/sftp/inman/upload/myjson" for f in `ls ${dir}`;do [[ $f =~ "ysf_auction_platform" ]] && echo $f python delch.py $f >> ok.json done
然后使用命令插入ok.json文件
mongoimport --db sharkCloud_57bc39d80cf24fe9a53e989f --collection crm_plt_taobao_product --file /mnt/disk1/sftp/inman/upload/ok.json --host 10.170.159.142:3717 --authenticationDatabase=cloudUsers -u inman -p urNz8LD0
相关文章推荐
- [笔记]--Ubuntu使用遇到的问题及解决办法
- 接口返回的 json数据中含有双引号 或其他非法字符的解决办法
- 使用Maven编译项目遇到——“maven编码gbk的不可映射字符”解决办法
- 『PHP』UTF8编码页面存入GBK数据时使用iconv遇到无法转码的字符时中断内容丢失及解决方法
- 使用adb push命令遇到的“read only”或者“out of memory"的解决办法
- Ubuntu7.04使用中遇到的问题及从网上搜集的解决办法(截止2007-11-3日)
- 【解决办法】使用Cocos Code IDE 导出 Android 工程「执行命令出错,返回值:2。」
- 使用hibernate与mysql时数据不能插入的原因及解决办法
- 使用Maven编译项目遇到——“maven编码gbk的不可映射字符”解决办法
- AJAX 跨域请求的解决办法:使用 JSONP获取JSON数据
- 使用Ubuntu遇到的问题及解决办法
- 在使用SQLite插入数据时出现乱码的解决办法
- boost使用property_tree/json_parser处理包含中文字符的UTF8时异常的解决办法
- linux下使用mount命令挂载windows共享目录出错的解决办法
- [解决办法]Python中使用json.loads解码字符串时出错:ValueError: Expecting property name: line 1 column 2 (char 1)
- Caffe搭建:常见问题解决办法和ubuntu使用中遇到问题解决方法(持续更新)
- maven 使用Maven编译项目遇到——“maven编码gbk的不可映射字符”解决办法