R语言用snow包并行计算代码记录(未完成)
2015-04-17 18:03
239 查看
library(snow) library(RMySQL) #read info from sql sql_data<-"select * from info_zx" conn<-dbConnect(MySQL(),user="",password="",dbname="",host="") #开启数据库连接 data_info<-dbGetQuery(conn,sql_data) #获得原始数据 dbDisconnect(conn) #关闭数据库连接 #提取zx的mpid mp_id <- data_info[,1] #打开20个线程 cl <- makeSOCKcluster(rep('localhost',20)) #library clusterEvalQ(cl,source('./library.R')) clusterEvalQ(cl,source('./trainAndtest.R')) timeInfo <- system.time( clusterApplyLB(cl,mp_id,trainAndtest(mp_id)) ) #有的数据有错运行会出错统计哪些没有计算(未完成) files <- dir('./') files <- as.numeric(files)
运行时间
> timeInfo user system elapsed 0.052 0.056 25.596
相关文章推荐
- 【学习】R语言中的并行计算:foreach,iterators, doParallel包
- 用R语言实现向量化与并行计算
- R语言中的并行计算——二、搭建R的集群
- R语言中的并行计算——二、搭建R的集群
- 用R语言实现向量化与并行计算
- R语言并行运算(snow包)
- 关于高性能计算(并行计算)的知识记录汇总(OpenMP、OpenCL、CUDA、TBB)
- Python 多核并行计算的示例代码
- R安装并行计算工具包snowfall实现并行运算资源
- 基于redis和R语言构建并行计算平台(yiyou)
- 利用VS的代码优化和openmp并行计算提高程序运行速度
- 一周乱弹(1,HttpReques 获取请求地址2,去掉字符串中首尾空格及换行符、回车符等3,计算代码运行时间4,StringEscapeUtils对字符串进行各种转义与反转义5,分表查询记录总数)
- R语言并行计算(1)
- 转置矩阵的分块并行乘法(C语言实现),计算矩阵C[rawn][rawn]=A[rawm][rawn]'*B[rawm][rawn],子块大小为S*T,其算法实现原理参加本代码的附件。
- [每日一答] [20151025] R语言并行计算的原理和案例
- git是一种分布式代码管理工具,git通过树的形式记录文件的更改历史,比如: base'<--base<--A<--A' ^ | --- B<--B' 小米工程师常常需要寻找两个分支最近的分割点,即base.假设git 树是多叉树,请实现一个算法,计算git树上任意两点的最近分割点。 (假设git树节点数为n,用邻接矩阵的形式表示git树:字符串数组matrix包含n个字符串,每个字符串由字符'0
- 记录快速傅里叶变换计算相关面并附tensorflow相应层代码
- Hadoop学习记录---MapReduce并行计算模型之介绍
- Matlab高性能编程——代码优化和并行计算
- r语言并行计算(2)----foreach函数