c++程序大数据量处理性能优化
2012-11-17 00:20
323 查看
1. 现在处理的程序为每秒钟处理20w条数据,甚至更多,加快处理速度,总结了一些经验,记录下来
程序的数据结构里面尽量避免string,map这样的数据结构,因为string虽然不用自己管理指针,但是在构造和析构的时候很费资源,还有在执行c_str()的时候要new出一块内存来,这样的频繁执行的程序块中,会非常费时间。map在插入的时候,因为要保持rbtree的平衡结构,要进行self_balance,每次调整很费时间,如果数据不是特别多的时候,建议不要用map,如果能够用hash_map尽量用它,因为在大数据处理时候,hash_map的效率还是挺高的。
2. 尽量用采用空间换时间策略,例如通过'a' 'b' 'c'分别找到1, 2, 3就不用放到一个字符数组里面char sz[] = {'a, 'b', 'c''};然后写函数遍历它找了。直接申请255个char空间,像这样
char szBuffer[255];
memset(szBuffer, 0, sizeof szBuffer);
szBuffer['a'] = 1;
szBuffer['b'] = 2;
szBuffer['c'] = 3;
这样直接通过整数形式的索引形式,直接索引找到,加快了查找速度
程序的数据结构里面尽量避免string,map这样的数据结构,因为string虽然不用自己管理指针,但是在构造和析构的时候很费资源,还有在执行c_str()的时候要new出一块内存来,这样的频繁执行的程序块中,会非常费时间。map在插入的时候,因为要保持rbtree的平衡结构,要进行self_balance,每次调整很费时间,如果数据不是特别多的时候,建议不要用map,如果能够用hash_map尽量用它,因为在大数据处理时候,hash_map的效率还是挺高的。
2. 尽量用采用空间换时间策略,例如通过'a' 'b' 'c'分别找到1, 2, 3就不用放到一个字符数组里面char sz[] = {'a, 'b', 'c''};然后写函数遍历它找了。直接申请255个char空间,像这样
char szBuffer[255];
memset(szBuffer, 0, sizeof szBuffer);
szBuffer['a'] = 1;
szBuffer['b'] = 2;
szBuffer['c'] = 3;
这样直接通过整数形式的索引形式,直接索引找到,加快了查找速度
相关文章推荐
- [C++应用程序性能优化]内存分配失败处理
- c++程序性能优化学习
- oracle性能优化----处理大数据量数据
- 用 PGO 对C++程序执行性能进行优化
- 分享WebService大数据量处理的优化性能进行网络传输
- 程序性能的初步优化与分析(以 C++ 为例)
- 第116课: Spark Streaming性能优化:如何在毫秒内处理处理大吞吐量的和数据波动比较大 的程序
- 优化较大数据量的处理效率的收获(sql性能优化)
- [C++应用程序性能优化]程序使用内存区
- c++程序性能的初步优化与分析
- 读了两本关于C++程序性能优化的书
- 程序性能优化技巧
- mysql处理大数据量的查询速度究竟有多快和能优化到什么程度
- ABAP程序性能优化
- 我搞得大数据量处理程序(几千万数据同时处理不会超时)
- 高级教程- 用C++写一个信号处理的程序
- Hibernate程序性能优化的考虑要点
- 程序性能优化方案
- 优化程序性能
- SAP程序性能优化