KETTLE——Weka处理大数据量内存溢出问题
2010-04-14 21:42
537 查看
现在做的一个项目ETL采用KETTLE,通过Perl脚本进行分天表、月表及年表的创建,并修改KETTLE创建的抽取任务模板。即使这样在处理天表表近百万数据量时,Kettle也会有时发生内存溢出现象,导致抽取任务失败。今天发现了一哥们BLOG中的解决办法,特分享。
以Spoon.bat为例,其他组件和.sh操作类似
用文本编辑器打开Spoon.bat找到:
REM ******************************************************************
REM ** Set java runtime options **
REM ** Change 256m to higher values in case you run out of memory. **
REM ******************************************************************
set OPT=-Xmx1444m -cp %CLASSPATH% -Djava.library.path=libswt\win32\ -DKETTLE_HOME="%KETTLE_HOME%" -DKETTLE_REPOSITORY="%KETTLE_REPOSITORY%" -DKETTLE_USER="%
KETTLE_USER%" -DKETTLE_PASSWORD="%KETTLE_PASSWORD%" -DKETTLE_PLUGIN_PACKAGES="%KETTLE_PLUGIN_PACKAGES%"
修改这里的数字...-Xmx1444m...
我装的是jdk-1_5_0_14这里的1444m是极限了.大家可以在自己的机器上试验不同的数值.
WEKA(感谢网友:comcome84)
用文本编辑器打开RunWeka.ini找到:
# placeholders ("#bla#" in command gets replaced with content of key "bla")
# Note: "#wekajar#" gets replaced by the launcher class, since that jar gets
# provided as parameter
maxheap=1444m
这里同样被我修改成1444m.
感谢本文方法来源:http://blog.csdn.net/senaku/archive/2008/07/03/2609021.aspx
以Spoon.bat为例,其他组件和.sh操作类似
用文本编辑器打开Spoon.bat找到:
REM ******************************************************************
REM ** Set java runtime options **
REM ** Change 256m to higher values in case you run out of memory. **
REM ******************************************************************
set OPT=-Xmx1444m -cp %CLASSPATH% -Djava.library.path=libswt\win32\ -DKETTLE_HOME="%KETTLE_HOME%" -DKETTLE_REPOSITORY="%KETTLE_REPOSITORY%" -DKETTLE_USER="%
KETTLE_USER%" -DKETTLE_PASSWORD="%KETTLE_PASSWORD%" -DKETTLE_PLUGIN_PACKAGES="%KETTLE_PLUGIN_PACKAGES%"
修改这里的数字...-Xmx1444m...
我装的是jdk-1_5_0_14这里的1444m是极限了.大家可以在自己的机器上试验不同的数值.
WEKA(感谢网友:comcome84)
用文本编辑器打开RunWeka.ini找到:
# placeholders ("#bla#" in command gets replaced with content of key "bla")
# Note: "#wekajar#" gets replaced by the launcher class, since that jar gets
# provided as parameter
maxheap=1444m
这里同样被我修改成1444m.
感谢本文方法来源:http://blog.csdn.net/senaku/archive/2008/07/03/2609021.aspx
相关文章推荐
- Android 异步获取网络图片并处理导致内存溢出问题解决方法
- 利用 HandlerThread 创建一个后台工作线程( AsyncTask 的缺点),处理图片缩放时内存溢出问题
- 安卓图片处理内存溢出问题
- 完美解决因数据库一次查询数据量过大导致的内存溢出问题
- 解决因数据库一次查询数据量过大导致的内存溢出问题
- Android 异步获取网络图片并处理图片Out Of Memory 内存溢出问题
- Android 异步获取网络图片并处理导致内存溢出问题解决方法
- Android 异步获取网络图片并处理导致内存溢出问题解决方法
- POI读写大数据量excel,解决超过几万行而导致内存溢出的问题
- Android 异步获取网络图片并处理图片Out Of Memory 内存溢出问题
- 【人工智能】软件使用--weka如何处理大数据量
- Android加载图片内存溢出问题解决方法
- weblogic内存溢出问题。
- wpf 中frame控件的使用内存溢出的处理方法
- tomcat 的jvm 内存溢出问题的解决及JVM性能调优
- 彻底解决Android 拍照 内存溢出 Out of Memory的问题
- Innodb存储引擎内存报警问题处理过程
- 一个内存增长问题的分析和处理(三)
- Android开发中大图片所引起的内存溢出问题