Java ThreadPoolExecutor 线程池 tips 1:单线程吞吐量来估计系统的线程数目
2013-01-15 21:05
274 查看
问题:我们需要多大的线程池
java中的线程池想必都用过,最简单的是通过Executors工厂方法得到线程池,比如固定池大小,task缓冲为无限大小的队列[java]
view plaincopy
ExecutorService pool = Executors.newFixedThreadPool(poolSize);
...
pool.execute(new Handler(serverSocket.accept()));
实际应用中使用线程池时,第一个问题是:我们需要多大的线程池?
根据单线程的吞吐量来估计线程池的大小
假如我们有一些批处理任务需要完成,根据每个任务的处理时间和需要处理的任务数目(单位时间)很容易计算出需要的线程数目。Task1 | Task2 | |
---|---|---|
每秒需要处理的任务数目 | 5 task/s | 10 task/s |
每个任务的处理时间 | 3 s | 2.4 s |
每个任务的处理速度 | 0.3 task/s | 0.416 task/s |
线程数目 | 5 /0.3 = 15 | 10/0.416 = 24 |
问题:并发编程中,单CPU最佳线程数是多少?
在考虑最佳线程数时,网络上的建议往往是从任务的类型来决定单CPU的最佳线程。如果任务是CPU密集型或者说是计算密集型的,那么单个线程/CPU让系统满负荷。反之,如果任务是IO-bound,则需要多个线程来避免CPU因为等待IO而闲置。
个人觉得这里的IO-Bound理解为non-cpu bound更为贴切,可能在实际系统中,IO (disk, network)往往是系统的主要瓶颈,所以人们往往使用IO-bound来和CPU-bound进行比较。
淘宝开发人员蒋江伟(小邪)在<服务器端性能优化>中给过一个计算公式
最佳线程数量=((线程等待时间+线程cpu时间)/线程cpu时间) * cpu数量
这个公式实际上是cpu时间和非cpu时间之间的一个比例。
在slides中小邪提了一个观点是
如果要提升服务器端的响应时间RT,采用减少IO的时间能达到最佳效果,比如合并多个IO请求
如果要提升QPS,采用优化CPU的时间能达到最佳效果。比如响应时间(任务处理时间)是90ms,其中IO为80ms,cpu为10ms,如果将cpu缩减为5ms,则系统的吞吐量可以提高一倍。根据公式 QPS = 1/RT,上述结论当然不正确。其给出的解释是,cpu缩减为5ms后,线程数可以增加一倍,线程的增加导致了系统的吞吐量的大幅提高。
流水线中的吞吐量公式比较, pipeline throughtput = 1 instr / Max (stage time),流水线中的最耗时部分决定了流水线的吞吐量。
而上面的公式是系统的最快的部分(cpu)决定了系统的吞吐量,是不是矛盾?
麦当劳的例子:假如点餐需要30 seconds,处理单子需要6 seconds,30/6=5个窗口
如果将处理单子速度提供一倍,3秒钟响应一个,则可以开30/3=10个窗口,系统的吞吐量加倍。
系统的最快部分(CPU)定义了系统的边界,这个边界形成一个理论上本文开始提到的每秒需要处理的任务数目。
而系统中的等待时间(非CPU)近似为系统的response time/latency(假定非cpu时间占大头),同边界时间之比,即为系统所需要的并发数。
又假定并发数越多,系统的吞吐量越大,所以优化cpu时间能导致QPS的大幅提升。
上述公式的本质如下图:增加系统中耗时部分(IO)的并发数,使系统的吞吐量和系统中最快部分(cpu)的速度一致。如果是多核,相当于最快部分(cpu)增加了并发,相应的耗时部分并发数乘上相应的系数(cpu数量).
实际情况是:我们是增加相应的线程(并发任务数),而并不是增加了系统的IO设备。
相关文章推荐
- Java ThreadPoolExecutor 线程池 tips 1:单线程吞吐量来估计系统的线程数目
- Java ThreadPoolExecutor 线程池 tips 2:偷借线程
- Java ThreadPoolExecutor 线程池 tips 2:偷借线程
- java 线程之executors线程池
- Java5中线程池与线程结果返回
- 通过实验研究“线程池中线程数目的变化规律” --- 下有不错的线程池使用 原理 总结
- Java线程(三):JUC包原子性操作类与线程池的简单运用
- Java线程(六):线程池
- Java线程(六):线程池
- java多线程之线程组与线程池
- java线程的通信和线程池
- 三个Java线程(使用线程池)交替打印1到75个数的两种解法
- Java线程(4)线程池
- java线程及操作实例,线程池简单例子
- 重新系统学习Java收获的小tips
- java ee wildfly spring 在线程池的线程中注入
- java售票系统(涉及线程和xml)
- jps查看java进程中哪个线程在消耗系统资源
- Java线程池及Future、Callable获得线程返回结果【Java线程池系列2】
- Java线程(六)----线程池