python读取json文件并将数据插入到mongodb的方法
2019-03-22 10:46
771 查看
#coding=utf-8 import sunburnt import urllib from pymongo import Connection from bson.objectid import ObjectId import logging from datetime import datetime import json from time import mktime from feedparser import _parse_date as parse_date import time import sys import getopt import ConfigParser args = sys.argv[1:] optlist, args = getopt.getopt(args, 'c:') cmd_opt = {} for opt in optlist: cmd_opt[opt[0]] = opt[1] conf_file = cmd_opt['-c'] config = ConfigParser.ConfigParser() config.read(conf_file) hostname = config.get("mongodb", "hostname") port_num = int(config.get("mongodb", "port_num")) db_name = config.get("mongodb", "db") connection = Connection(hostname, port_num) db = connection[db_name] courseTable = db.course lecTable = db.lecture try: f = file("json1-14/14.json") s = json.load(f) courseData = s["results"]["course"] lecDataArr = s["results"]["lecture"] f.close print "get file content successfully!" #insert course courseId = courseTable.save(courseData) courseId = str(courseId) print "courseId: "+courseId print "lec length: "+str(len(lecDataArr)) #insert lecture lecIdArr = [] for lecData in lecDataArr: lecData["course_id"] = courseId lecId = lecTable.save(lecData) lecIdArr.append(str(lecId)) # update course courseTable.update({'_id':ObjectId(courseId)}, {"$set":{"lectures.lecture_id_list":lecIdArr}}, upsert=True, multi=True); print 'insert successfully!' except Exception, e: print e
相关文章推荐
- python读取json文件并将数据插入到mongodb的方法
- python读取json文件,并将数据插入到mongodb
- Python txt文件读取写入字典的方法(json、eval)
- python数据存储系列教程——python对象与json字符串的相互转化,json文件的存储与读取
- 在bean类和Json格式不一样情况下,用Gson解析Json文件,并同时把数据插入MongoDb
- 解决python2.X从json文件中读取数据进行unicode转码情况
- mongodb命令批量插入json文件数据
- Python从数据库读取大量数据批量写入文件的方法
- 使用getJSON方法读取json文件数据并处理
- Python导出数据到Excel可读取的CSV文件的方法
- POI读取excel2007文件的数据,插入数据库的使用方法【经验之谈】
- Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
- Python读取txt文件数据的方法(用于接口自动化参数化数据)
- python读取各种文件数据方法解析
- MongoDB导入大的json、csv数据文件,导入不完全的解决方法
- Spark1.6.2 java实现读取json数据文件插入MySql数据库
- Python操作Mongodb插入数据的两种方法:insert_one()与insert_many()
- python-从文件读取json数据写到数据库
- Python导出数据到Excel可读取的CSV文件的方法
- Vue2.5通过json文件读取数据的方法