python读取json文件,并将数据插入到mongodb
2014-04-18 17:42
946 查看
#coding=utf-8 import sunburnt import urllib from pymongo import Connection from bson.objectid import ObjectId import logging from datetime import datetime import json from time import mktime from feedparser import _parse_date as parse_date import time import sys import getopt import ConfigParser args = sys.argv[1:] optlist, args = getopt.getopt(args, 'c:') cmd_opt = {} for opt in optlist: cmd_opt[opt[0]] = opt[1] conf_file = cmd_opt['-c'] config = ConfigParser.ConfigParser() config.read(conf_file) hostname = config.get("mongodb", "hostname") port_num = int(config.get("mongodb", "port_num")) db_name = config.get("mongodb", "db") connection = Connection(hostname, port_num) db = connection[db_name] courseTable = db.course lecTable = db.lecture try: f = file("json1-14/14.json") s = json.load(f) courseData = s["results"]["course"] lecDataArr = s["results"]["lecture"] f.close print "get file content successfully!" #insert course courseId = courseTable.save(courseData) courseId = str(courseId) print "courseId: "+courseId print "lec length: "+str(len(lecDataArr)) #insert lecture lecIdArr = [] for lecData in lecDataArr: lecData["course_id"] = courseId lecId = lecTable.save(lecData) lecIdArr.append(str(lecId)) # update course courseTable.update({'_id':ObjectId(courseId)}, {"$set":{"lectures.lecture_id_list":lecIdArr}}, upsert=True, multi=True); print 'insert successfully!' except Exception, e: print e
相关文章推荐
- python读取json文件并将数据插入到mongodb的方法
- 在bean类和Json格式不一样情况下,用Gson解析Json文件,并同时把数据插入MongoDb
- python数据存储系列教程——python对象与json字符串的相互转化,json文件的存储与读取
- Spark1.6.2 java实现读取json数据文件插入MySql数据库
- python 读取单所有json数据写入mongodb(单个)
- python-从文件读取json数据写到数据库
- 解决python2.X从json文件中读取数据进行unicode转码情况
- mongodb命令批量插入json文件数据
- python3将本地JSON数据文件(大文件)写入MySQL数据库
- Python 文件数据批量录入数据库(MongoDB)
- python 读取文件与数据
- [置顶] python结合mongodb处理阿里大数据文件
- php读取txt文件并将数据插入到数据库
- 利用Python在一个文件的头部插入数据
- php读取txt文件并将数据插入到数据库
- 读书笔记--python数据可视化--002_读取Excel文件数据
- 读书笔记--python数据可视化--004_读取JSON数据
- 使用python读取csv文件快速插入数据库
- PHP读取目录下所有文件,并通过ajax返回json格式的数据
- Python 操作TXT、json文件数据