您的位置：首页 > 其它

数据采集服务程序--ADO连续插入记录，2天后，插入速度明显变慢，求解原因？

2006-08-09 20:05 495 查看
Delphi7 + SQL2000 + CPU3.0G + 内存1.5G + 分区30G + Windows2003系统

SQL缓冲区200M, 插入控件ADOQuery, 直接插入，不用存储过程。

以单线程执行操作。
以每秒中插入200条记录的速度，连续插入。
每插入200条，Sleep10毫秒。

刚开始1天左右，插入的速度都很正常，可2天后，插入的速度就变的很慢了。

求高手给于帮助啊？
----------------------------------------------
-
作者：

iamdream (银河恒久远，梦想无止境！)		★☆☆☆☆-
盒子中级会员
2006-7-31 20:35:27
1楼：不知道原因（因为没试过），不过资料上说，对数据量大的用存储过程性能最好。
----------------------------------------------
-广袤璀璨的银河,永无止境的梦想(梦无止境游银河)
作者：

yuqunhua1982 (123)		▲△△△△-
普通会员
2006-8-1 19:53:57
2楼：数据量大，可能指的是 单条记录的信息包含量比较大吧。
而我这里的单条记录的信息包含量并不大。只是实时性比较高，1秒要插入200条左右的记录；而且持续时间比较长，程序可能要执行半年，或者1年。
考虑到上面的几个因素，所有我才不用存储过程，而用ADOQuery直接插入。
不知道这样考虑对不对啊？
----------------------------------------------
-
作者：

gbm_pgs (编程之道)		▲▲△△△-
盒子活跃会员
2006-8-1 20:13:08
3楼：用存储过程也是一样的,这跟你的程序使用多久无关吧!
----------------------------------------------
寂静的虚空里诞生了神秘的东西，这种东西恒久存在永不消失，它是所有程序的根源所在，我不知道怎么形容它，姑且称它为编程之道!
作者：

yuqunhua1982 (123)		▲△△△△-
普通会员
2006-8-2 10:22:18
4楼：那譬如说 2个字段的表格
Table_XXX( ID Int, Name Varchar(20))

每秒向这个表格中连续插入400条记录，是使用存储过程好呢，还是直接用AODQUERY插入比较好啊。

首先，在这种情况下，CPU的利用率会比较高，因为中间是连续插入的（虽然在插入一定的次数后用了SLEEP(10)语句）；再者，我发现用存储过程插入的速度竟然要比直接插入的速度慢，不解。

我的TADOQuery直接插入方式为
with ADOQry do
begin
Close;
SQL.Clear;
SQL.ADD('Insert...');
SQL.ExecSQL;
end;

我的存储过程方式为：
with self.ADOProc do
begin
Close;
ProcedureName := 'Proc_Insert_Last_Data_BatGroup_Vol_D';
Parameters.Refresh;
Parameters.ParamByName('xx').Value := xx;
...
ExecProc;
end;

还有，我发现用TADOTable来插入的话，数据量一大，肯定玩完。
with ADOTable do
begin
Open ;
Insert;
FieldByName(‘xx').AsInteger:= xx;
...
Post;
Close;
end;

请问这三种插入的方法的本质区别在哪里啊？
还有没有其他更好的插入方法啊？
----------------------------------------------
-
作者：

shuihan20e (shuihan)		▲▲△△△-
盒子活跃会员
2006-8-2 10:39:03
5楼：如此大的数据量我没试过，不过我感觉还是用SP要快，尤其是你的数据量非常大的时候，不只是指单条记录的数据量，还有表中数据量非常大的时候，如果真有如此大的数据量为什么不尝试下ORACLE
----------------------------------------------
If I could rearrange the alphabet, I would put U and I together！！！www.objectsoft.cn
作者：

yuqunhua1982 (123)		▲△△△△-
普通会员
2006-8-3 16:47:55
6楼：终于发现问题了。原来当数据库文件大于20G的时候，会发生SQL2000进程SPID堵塞的情况，导致SQL2000插不进记录的情况。
有没有办法不会发生堵塞啊？还有，怎么才能解除已经产生的堵塞情况啊？
还有，当要清空20G以上的数据库文件内的记录，用查询分析器的话，都要话上1个小时，有没有其他更好的方法啊？
----------------------------------------------
-
作者：

neoyao (neoyao)		▲▲△△△-
盒子活跃会员
2006-8-3 21:12:45
7楼：有办法：
1、使用sqlserver2005 enterprise；
2、是否你的sqlserver2000有问题？sp4打了没？或是装的有问题？
因为：
我的数据量比你的大得多，数据库文件180G，没有任何问题；以前用sqlserver2000没问题，后来升级到sqlserver2005，更没问题了，而且速度暴快，目前数据采集服务程序连续运行1个月了都没问题，sqlserver2005更是稳定，迄今半年没重启机了。
----------------------------------------------
-
作者：

neoyao (neoyao)		▲▲△△△-
盒子活跃会员
2006-8-3 21:14:30
8楼：另外问一下，我是做通信的，所以数据量大；你是做什么方面的系统？
----------------------------------------------
-
作者：

yuqunhua1982 (123)		▲△△△△-
普通会员
2006-8-4 12:05:25
9楼：我是电力方面的，采集的数据都是电压、电流之类的。

现在的问题是，当数据量大于50G的时候，仅仅删除记录是怎么处理的啊(在不动数据库表格的情况下)。

如果把删除记录的功能写成Delphi程序来删除的话，用ADOQuery，会不会出现异常啊(删除一个表格的记录可能要1小时啊)。

如果用SQL自带的查询分析器，这样
Use XXX
go

Delete From XXX1
go

Delete From XXX2
go

...

这样用SQL教本来执行的话，会死SQL的啊
----------------------------------------------
-
作者：

ls_d88 (拖鞋)		▲△△△△-
普通会员
2006-8-4 17:22:06
10楼：看你数据采集下来是怎么处理的了。
你可以做个程序每星期五对数据进行维护下。
----------------------------------------------
-
作者：

liangkan (小冰)		▲△△△△-
普通会员
2006-8-4 23:50:27
11楼：关注,请继续讨论
----------------------------------------------
难者不会，会者不难。
作者：

andyfurong (听说昵称最长二十个汉字或四十个英文，我就不信只能取这么长的昵称，帮我数数看有多少)		▲▲△△△-
盒子活跃会员
2006-8-6 15:25:13
12楼：以前看过一篇文章，数据量很大的表要删除的的话最好是分批删(Oracle)，速度提高N倍
----------------------------------------------

我想我是海论坛：编程技巧，聊天交友
http://andyfurong.9126.com
作者：

neoyao (neoyao)		▲▲△△△-
盒子活跃会员
2006-8-6 22:33:51
13楼：好吧，继续讨论：
删除也是非常简单的，我的做法是，由于数据入库都有时间标记，例如我的数据要保留3个月，所以每天凌晨删除3个月之前的，在作业里定义：Delete from xxx where DataTime（表里的时间字段）<=DATEADD(mm, -3, GETDATE());就行了。
----------------------------------------------
-
作者：

neoyao (neoyao)		▲▲△△△-
盒子活跃会员
2006-8-6 22:36:22
14楼：你的意思我没看懂，是清空表？所以delete from xxx1；delete from xxx2？那不直接用truncate table xxx1就完了吗？！
----------------------------------------------
-
作者：

yuqunhua1982 (123)		▲△△△△-
普通会员
2006-8-7 13:10:11
15楼：truncate 是把表格中的记录全部清空。我这个程序中有2个地方要涉及到数据记录的清除或者修改。

一。第一种情况，我要清除某个月以前的历史数据记录，但是还是要保存那个月的数据记录，譬如，当前的年月是2007年1月了，我要清除2007年1月以前的数据，所以要用neoyao所说的Delete from xxx where DataTime < xxxx这种方法，而不能用truncate。

二。第二种情况，（我用一个例子来说明：假设现在有个学生管理系统，里面总共有3个班级信息。现在我删除了里面某个班级的信息，当然我也要同时级联删除那个班级的所有学生的考试成绩信息。） 我现在所做的程序也是类似情况，不过就是‘那个班级的所有学生的考试成绩信息’都将近有10G左右的数据。

针对上面这2种情况。我想到的解决删除10G以上的数据库表格记录信息的方法：

一：直接在程序里面创建一个新线程，用ADOQuery.SQL.ADD('Delete from xxx where DataTime')来执行。不过这样，我担心的是由于超时（1小时以上的删除）会不会造成SQL SERVER2000‘没响应’的异常情况的产生。

二：自己做一个外部的数据库删除程序，在主程序执行删除操作时，调用这个数据库删除程序来删除级联信息。 这个数据库删除程序使用存储过程ADOStoredProc来执行。（其实就是用存储过程来解决）

三：调用SQL SERVER 2000自身附带的查询分析器工具来删除，还是用Delete from xxx where DataTime语句，一个表格一个表格的删除。不过，好像也会操作超时，导致SQL没相应。

四：索性不删除那些级联记录（这个是在万般无奈的情况下采取的措施。因为程序的稳定第一啊 ^_^ )

大家看看，哪种方法好一点啊。不知道还有没有其他更好的方法推荐啊？

－－－－－－－－－－
在这里对于大家的热情帮助，表示万分感谢！
----------------------------------------------
-
作者：

gbm_pgs (编程之道)		▲▲△△△-
盒子活跃会员
2006-8-8 14:12:09
16楼：给你一个建义,对你提高速度来说是有很大的帮助:
1:给所有要操作的表增加索引Create index...
2 对于数据量大的尽量用存储过程ADOCon.Execute('exec P_SProc');
3.做成永久性的SQL,执行时只传参数.执行前先 Prepare;以便加快速度!
4.清空表用 Truncate table .而不用delete ...(因为delete 是要记日志log的)
优化后相信你的速度会提高一倍!
----------------------------------------------
寂静的虚空里诞生了神秘的东西，这种东西恒久存在永不消失，它是所有程序的根源所在，我不知道怎么形容它，姑且称它为编程之道!
作者：

gbm_pgs (编程之道)		▲▲△△△-
盒子活跃会员
2006-8-8 14:18:00
17楼：还是,SQL2K单个文件的大小最大20G,20G之后一般都会崩溃,这是SQL的一个问题,如且大的数据每天最好要对数据库进行优化,DBCC ..,Dump log ...等操作,不过还是用2005算了，因为2005已支持超过20Ｇ了
----------------------------------------------
寂静的虚空里诞生了神秘的东西，这种东西恒久存在永不消失，它是所有程序的根源所在，我不知道怎么形容它，姑且称它为编程之道!
作者：

iwizard (lxy)		▲△△△△-
普通会员
2006-8-8 16:23:27
18楼：呵呵，我的建议关于索引部分正好和16楼相反，插入数据表不应该有任何索引。只有对其进行查询处理时才应该建立索引，而且如果是集群索引，随着数据量的增加，只能使插入操作越来越慢。可以看看李维的《delphi高效率数据库开发》最后几节有讲和楼主类似的情形。

具体的我没有做过，只是建议。
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 点击这里给我发消息
标签： 
相关文章推荐
新的分享
章节导航