ForkJoinPool的使用
2017-03-17 17:59
429 查看
我在工作中遇到过这样一个问题,是给网站用户发送营销短信。我记得我们网站会员大约有7万个,要给这7万个用户发送营销短信。而短信运营商那边要求每次发送的手机号码最好要少于3000。
那时候的我,没有什么经验,不会使用多线程,将整个程序顺序写下来,大体思路如下:
这样做的后果,整个完成7万条短信的发送,需要10多分钟。最要命的是,当时我们使用nignx,或许是没配置好的原因,当一个程序执行超过6分钟没有完成时,则会自动重新执行。所以很悲剧的是我们给每个会员都发送了两条一模一样的短信。有的会员还好心的告诉我们客服,说是短信发重复了。感觉那段时间压力很大,没法跟公司老总交代了。老总还比较好,念在我是新员工的份上,没有追究责任。
然后怎么办?改呗,通过这件事,我第一次自己使用了多线程,以前只是听说,并没有真正用到,甚至都没有考虑过什么时候用它。
思路很简单,也是将list,3000条分一次,只不过不用主程序去发送短信,而是new Thread()去发送短信。在后来的优化中,又将new Thread()优化成了线程池。
每次公司发送营销短信的时候,我都提心吊胆的。生怕某个线程执行的时候出现什么问题。
后来即使换了公司,我还时常想起这件事情,总是想我的代码还可以在优化。偶然的机会,我接触了ForkJoinPool。若是我还在以前的公司,我一定要用ForkJoinPool去试一下,可不可以。
使用接口:
RecursiveAction:没有返回值,只是执行任务
RecursiveTask:有返回值,小任务结束后,返回结果。大任务可将小任务返回结果进行整合
用ForkJoinPool完成上述发送短信功能
我又在网上找了一个有累加结果的示例,如下所示:
//继承RecursiveTask来实现”可分解”的任务
我现在并不知道ForkJoinPool具体的实现思路及它是怎么执行我拆分的小任务,但它内部讲究的是线程之间的整体协作。当内部线程A空闲时,它会拿线程B的任务去执行。线程B也会执行自己的任务,只不过两个线程是从任务队列的两端执行,尽量减少冲突。
只有不断的学习,才会有提高,才会变得更加强大。希望过段时间我会发现更好的实现方式。
那时候的我,没有什么经验,不会使用多线程,将整个程序顺序写下来,大体思路如下:
这样做的后果,整个完成7万条短信的发送,需要10多分钟。最要命的是,当时我们使用nignx,或许是没配置好的原因,当一个程序执行超过6分钟没有完成时,则会自动重新执行。所以很悲剧的是我们给每个会员都发送了两条一模一样的短信。有的会员还好心的告诉我们客服,说是短信发重复了。感觉那段时间压力很大,没法跟公司老总交代了。老总还比较好,念在我是新员工的份上,没有追究责任。
然后怎么办?改呗,通过这件事,我第一次自己使用了多线程,以前只是听说,并没有真正用到,甚至都没有考虑过什么时候用它。
思路很简单,也是将list,3000条分一次,只不过不用主程序去发送短信,而是new Thread()去发送短信。在后来的优化中,又将new Thread()优化成了线程池。
每次公司发送营销短信的时候,我都提心吊胆的。生怕某个线程执行的时候出现什么问题。
后来即使换了公司,我还时常想起这件事情,总是想我的代码还可以在优化。偶然的机会,我接触了ForkJoinPool。若是我还在以前的公司,我一定要用ForkJoinPool去试一下,可不可以。
ForkJoinPool
ForkJoinPool线程池思想:将大任务分解成若干个小任务,当小任务均执行结束后,将任务做一个整合,在网上盗了一张图使用接口:
RecursiveAction:没有返回值,只是执行任务
RecursiveTask:有返回值,小任务结束后,返回结果。大任务可将小任务返回结果进行整合
用ForkJoinPool完成上述发送短信功能
import java.util.ArrayList; import java.util.List; import java.util.concurrent.ForkJoinPool; import java.util.concurrent.RecursiveAction; import java.util.concurrent.TimeUnit; public class SendMessageTask extends RecursiveAction{ // 每个“小任务”只最多只给10名用户发送短信 private static final int THRESHOLD = 10; private int start; private int end; List<String> list = null; // 从start到end的任务 public SendMessageTask(int start, int end,List<String> list) { this.start = start; this.end = end; this.list = list; } @Override protected void compute() { // TODO Auto-generated method stub if(end - start < THRESHOLD){ String mobileno=""; for (int i = start ; i < end ; i++ ) { //此处做手机号码累加,用于发送给短信运营商 mobileno+=list.get(i)+"," } System.out.println("给手机号码=="+mobileno+"的用户发送手机短信"); }else{ // 如果当end与start之间的差大于THRESHOLD时,即要发送的数超过10个 // 将大任务分解成两个小任务。 int middle = (start + end) /2; SendMessageTask left = new SendMessageTask(start, middle,list); SendMessageTask right = new SendMessageTask(middle, end,list); // 并行执行两个“小任务” left.fork(); right.fork(); } } public static void main(String[] args) throws InterruptedException { List<String> list = new ArrayList<String>(); for(int i=1;i<=380;i++){ list.add("i------"+i);//假设此处为手机号码--项目中从数据库中获取 } ForkJoinPool pool = new ForkJoinPool(); // 提交可分解的PrintTask任务 pool.submit(new SendMessageTask(0 , list.size(),list)); //线程阻塞,等待所有任务完成 pool.awaitTermination(10, TimeUnit.SECONDS); // 关闭线程池 pool.shutdown(); } }
我又在网上找了一个有累加结果的示例,如下所示:
//继承RecursiveTask来实现”可分解”的任务
class CalTask extends RecursiveTask<Integer> { // 每个“小任务”只最多只累加20个数 private static final int THRESHOLD = 20; private int arr[]; private int start; private int end; // 累加从start到end的数组元素 public CalTask(int[] arr , int start, int end) { this.arr = arr; this.start = start; this.end = end; } @Override protected Integer compute() { int sum = 0; // 当end与start之间的差小于THRESHOLD时,开始进行实际累加 if(end - start < THRESHOLD) { for (int i = start ; i < end ; i++ ) { sum += arr[i]; } return sum; } else { // 如果当end与start之间的差大于THRESHOLD时,即要打印的数超过20个 // 将大任务分解成两个小任务。 int middle = (start + end) /2; CalTask left = new CalTask(arr , start, middle); CalTask right = new CalTask(arr , middle, end); // 并行执行两个“小任务” left.fork(); right.fork(); // 把两个“小任务”累加的结果合并起来 return left.join() + right.join(); } } } public class Sum { public static void main(String[] args) throws Exception { int[] arr = new int[100]; Random rand = new Random(); int total = 0; // 初始化100个数字元素 for (int i = 0 , len = arr.length; i < len ; i++ ) { int tmp = rand.nextInt(20); // 对数组元素赋值,并将数组元素的值添加到total总和中。 total += (arr[i] = tmp); } System.out.println(total); ForkJoinPool pool = new ForkJoinPool(); // 提交可分解的CalTask任务 Future<Integer> future = pool.submit(new CalTask(arr , 0 , arr.length)); System.out.println(future.get()); // 关闭线程池 pool.shutdown(); } }
我现在并不知道ForkJoinPool具体的实现思路及它是怎么执行我拆分的小任务,但它内部讲究的是线程之间的整体协作。当内部线程A空闲时,它会拿线程B的任务去执行。线程B也会执行自己的任务,只不过两个线程是从任务队列的两端执行,尽量减少冲突。
只有不断的学习,才会有提高,才会变得更加强大。希望过段时间我会发现更好的实现方式。
相关文章推荐
- 使用阻塞队列批量导入与使用forkjoinPool框架的导入对比
- 线程池ThreadPoolExecutor 和 ForkJoinPool 的分析使用
- Java多线程之ForkJoinTask,ForkJoinPool介绍及使用
- ForkJoinPool 使用的错误写法
- java并行计算Fork和Join的使用
- Java并发包:Java Fork and Join using ForkJoinPool
- 关于jdk7的forkjoinpool
- 非主流并发工具之 ForkJoinPool
- Java并发编程--Fork/Join框架使用
- 0041 Java学习笔记-多线程-线程池、ForkJoinPool、ThreadLocal
- 混合使用ForkJoin+Actor+Future实现一千万个不重复整数的排序(Scala示例)
- 使用Fork/Join框架在任务中抛出异常
- Java多线程 -- JUC包源码分析19 -- ForkJoinPool/ForkJoinTask
- JBPM具体应用之fork,join,state节点的使用
- 使用Fork/Join实现WordCount例子
- Java使用Fork/Join框架来并行执行任务
- Java7之线程池ForkJoinPool
- Fork/Join框架使用
- ForkJoinPool
- Fork/join框架之ForkJoinPool