使用SSIS过程中碰到的问题
2008-11-06 14:28
656 查看
最近做的这个项目,由于表数据量都很大,碰到不少疑难杂症,今天暂时总结几个。
1。使用SSIS新建包的过程中,拖了一个数据源到数据流面板,在数据源里面指定一条sql语句来取数(select distinct * from publishbill),而这张表的数据量非常大的时候,那么这个时候就很容易假死。我等了几个小时都不动,只有把VS关掉,重新来。我找到的解决方法是,另外建一个和这个数据源库结构一样的数据库,把数据源连接暂时指向这个,那么包就可以建起来了,然后使用包配置,包做好以后,使用执行包工具来执行包,指定配置文件,在配置文件里面指向正确的数据库连接,这样就可以了。但是问题是这样很难调试。
2。在使用渐变维度的过程中,维度表非常大,千万级别的数据,也出现同样的问题,假死,解决方法同上。
3。在一张很大的数据表的时候,我看数据都已经导完了,但是差不多还等了一天,还是没有完成,于是我就做了一个非常错误的决定,把导入中止了。这下惨了,数据库表也打不开,删也删不掉,后来经过咨询,得知这是数据在回滚,表不能做任何操作,只得等。郁闷,等了足足一天,它才回滚完毕。以后各位朋友碰到这个问题可要小心处理了,不要随便中止导入,那样会很惨的。
4。在SSIS转换数据的时候,SSIS会把从数据源取得的数据缓存到临时数据库里面去,这样会导致临时数据库会变的越来越打,可怜我原来数据库是装在C盘的,这下又死的很惨了,导了好几天的数据,眼看就要完了,磁盘空间不足,又郁闷了半天,只得停掉,把数据库撞到D盘,继续导入。
1。使用SSIS新建包的过程中,拖了一个数据源到数据流面板,在数据源里面指定一条sql语句来取数(select distinct * from publishbill),而这张表的数据量非常大的时候,那么这个时候就很容易假死。我等了几个小时都不动,只有把VS关掉,重新来。我找到的解决方法是,另外建一个和这个数据源库结构一样的数据库,把数据源连接暂时指向这个,那么包就可以建起来了,然后使用包配置,包做好以后,使用执行包工具来执行包,指定配置文件,在配置文件里面指向正确的数据库连接,这样就可以了。但是问题是这样很难调试。
2。在使用渐变维度的过程中,维度表非常大,千万级别的数据,也出现同样的问题,假死,解决方法同上。
3。在一张很大的数据表的时候,我看数据都已经导完了,但是差不多还等了一天,还是没有完成,于是我就做了一个非常错误的决定,把导入中止了。这下惨了,数据库表也打不开,删也删不掉,后来经过咨询,得知这是数据在回滚,表不能做任何操作,只得等。郁闷,等了足足一天,它才回滚完毕。以后各位朋友碰到这个问题可要小心处理了,不要随便中止导入,那样会很惨的。
4。在SSIS转换数据的时候,SSIS会把从数据源取得的数据缓存到临时数据库里面去,这样会导致临时数据库会变的越来越打,可怜我原来数据库是装在C盘的,这下又死的很惨了,导了好几天的数据,眼看就要完了,磁盘空间不足,又郁闷了半天,只得停掉,把数据库撞到D盘,继续导入。
相关文章推荐
- 总结svn使用过程中可能会碰到的问题
- ServiceStack.Redis 使用过程中碰到的问题
- Aurora一些使用过程中碰到的问题
- Odps使用过程中碰到的问题。
- RVM的安装和使用过程中碰到的问题
- 全程记录:今天尝试安装SharePoint Server 2007过程 ,安装成功了,但是开始使用碰到权限问题,应该算是BUg吧
- Android Studio使用过程中碰到问题及解决方案整理
- selenium RC 使用过程中碰到的小问题
- Android Studio使用过程中碰到问题及解决方案整理
- 使用Retrofit过程中碰到的一些问题(持续更新。。。。)
- VS2010 使用过程中碰到的一个DLL导入失败的问题
- 数据库的使用过程中由于程序方面的问题有时候会碰到重复数据,重复数据导致了数据库部分设置不能正确设置……
- mysql使用过程中碰到的问题
- appium使用过程碰到的问题(一)
- ffmpeg 音频视频 使用过程中碰到的问题记录
- CSP编程基础--CryptAPI使用过程中碰到的问题
- InstallShield 工程类型MSI 使用过程中碰到的问题及解决方法。
- CSP编程基础--CryptAPI使用过程中碰到的问题
- 使用CMAKE过程中碰到的栈溢出问题总结
- VS2010 使用过程中碰到的一个DLL导入失败的问题