sqlite大量数据插入的优化

最近项目中实现一个日志系统需要用到sqlite,将所有的日志文件存放到本地后,由集群统一的日志管理中心收集处理.

之前是将日志记录到文件中,但提取不太方便,所以最后决定记录到sqlite中.由于要支持比较大的并发,所以在架构以及sqlite语句的处理方面都进行了比较大的优化,这里主要是针对大量数据记录到sqlite中的方法,语言是python.

大数据会首先记入到一个内存队列中,异步写进数据库.

写入的优化,主要如下:

insert_data = []
for temp in self.module[tmp]:
temp = self._entry_init(temp)
data = (temp.owner, temp.log_type, temp.log_mesg, temp.filename, temp.line, temp.time, temp.host)
insert_data.append(data)
self.module[tmp] = []
global_info.LOG_CONNS[tmp].insert_many(
"INSERT INTO services_log (owner, type, log_msg, filename, line, time, host)\
values(?,?,?,?,?,?,?)" , insert_data)
global_info.LOG_CONNS[tmp].commit()