使用django的数据库接口导入csdn数据库
2012-01-20 12:03
218 查看
没什么技术含量,直接贴代码:
发现了一个很严重的问题,内存占用一直很高,而且不断在长,应该怎样及时释放内存呢?
暂时想不到好的办法,先改成下面这样,然后设定处理数量,分段进行。
#coding = utf8 from csdn.models import csdnuser #except: # print u'没有开启django shell' def d(): source = open('E:\\sync\\docments\\csdn.sql','r') i = 0 while True: all_temp = source.readline() if len(all_temp) == 0: break try: temp = all_temp.replace("'","''").decode('gb18030').split() user_temp = csdnuser(username = temp[0], userpass = temp[2], useremail = temp[4]) except: user_temp = csdnuser(username = u'qtsharp',userpass = u' ',useremail = u'qtsharp@qq.com') print 'wrong: %s\n' %i print all_temp user_temp.save() n = i + 1 if n>=10000 and n%10000==0: print u'已导入%s万个' % (n/10000) i += 1 print u'导入完成,共导入%s个。' %n source.close()
发现了一个很严重的问题,内存占用一直很高,而且不断在长,应该怎样及时释放内存呢?
暂时想不到好的办法,先改成下面这样,然后设定处理数量,分段进行。
#coding = utf8 try: from csdn.models import csdnuser except: print u'没有开启django shell' file_path = 'E:\\sync\\docments\\csdn.sql' #跳过num行 def pass_lines(num,source): for n in range(num): source.readline() #主函数 def d(begin_num,limit_num): #设定参数 i = begin_num limit = limit_num #初始化 source = open(file_path,'r') length = len(source.readlines()) source.close() if limit > length: limit = length #开始读取 source = open(file_path,'r') pass_lines(i,source) #跳过i行 #数据写入循环 while i<limit: all_temp = source.readline() try: temp = all_temp.decode('gb18030').split() user_temp = csdnuser(username = temp[0], userpass = temp[2], useremail = temp[4]) except: user_temp = csdnuser(username = u'qtsharp',userpass = u' ',useremail = u'qtsharp@qq.com') print 'wrong: %s\n' %i print all_temp #提交修改 user_temp.save() #进度提示 n = i + 1 if n>=10000 and n%10000==0: print u'已导入%s万个' % (n/10000) i += 1 print u'导入完成,共导入%s个' %(limit_num-begin_num) source.close()
相关文章推荐
- 使用PLSQL导入导出数据库
- 使用sqluldr2实现将Oracle数据无落地快速导入Greenplum数据库
- oracle图形用户接口软件si object browser导入数据库的一些操作
- 在django项目外,使用django.db链接数据库(postgres)
- django 项目中使用多数据库 multiple databases
- 如何使用navicat for mysql连接本地数据库,并且导入数据文件
- django使用配置文件进行数据库连接
- 使用Navicat导出sql文件和导入数据库
- Ubuntu+Mysql之从格式化文件导入数据库——Load Data 命令使用及local-infile=1用法
- 如何在django中使用多个数据库 2014
- Thinkphp框架下使用Excel导入数据库
- SQL中使用xp_cmdshell将硬盘中文件内容导入数据库
- django 项目中使用多数据库 multiple databases - 真实的活
- Python系列视频教程: Django【13讲】第七讲 数据库使用1
- Oracle中使用pl/sql工具进行数据库的的导入导出
- 牛腩购物15:中国省市县数据库,DropDownList 绑定数据库 下拉选择省市,购物车的实现,使用sqlserver 2008 导入access数据库,不能在 DropDownList 中选择多个项
- Slatstack高级技巧(二) 使用django解析salt-api获取的信息插入数据库
- 使用Django从数据库中随机取N条记录的不同方法及其性能实测
- Django 中数据库模型的使用
- django基础4--数据库的使用