慎用ArrayList的contains方法,使用HashSet的contains方法代替
2016-06-03 13:45
417 查看
在启动一个应用的时候,发现其中有一处数据加载要数分钟,刚开始以为是需要load的数据比较多的缘故,查了一下数据库有6条左右,但是单独写了一个数据读取的方法,将这6万多条全部读过来,却只需要不到10秒钟,就觉得这里面肯定有问题,于是仔细看其中的逻辑,其中有一段数据去重的逻辑,就是记录中存在某几个字段相同的,就认为是重复数据,就需要将重复数据给过滤掉。这里就用到了一个List来存放这几个字段所组成的主键,如果发现相同的就不处理,代码无非就是下面这样:
[java] view
plain copy
List<string> uniqueKeyList = new ArrayList<string>();
//......
if (uniqueKeyList.contains(uniqueKey)) {
continue;
}
</string></string>
根据键去查找是不是已经存在了,来判断是否重复数据。经过分析,这一块耗费了非常多的时候,于是就去查看ArrayList的contains方法的源码,发现其最终会调用他本身的indexOf方法:
[java] view
plain copy
public int indexOf(Object elem) {
if (elem == null) {
for (int i = 0; i < size; i++)
if (elementData[i]==null)
return i;
} else {
for (int i = 0; i < size; i++)
if (elem.equals(elementData[i]))
return i;
}
return -1;
}
原来在这里他做的是遍历整个list进行查找,最多可能对一个键的查找会达到6万多次,也就是会扫描整个List,验怪会这么慢了。
于是将原来的List替换为Set:
[java] view
plain copy
Set<string> uniqueKeySet = new HashSet<string>();
//......
if (uniqueKeySet.contains(uniqueKey)) {
continue;
}
速度一下就上去了,在去重这一块最多花费了一秒钟,为什么HashSet的速度一下就上去了,那是因为其内部使用的是Hashtable,这是HashSet的contains的源码:
[java] view
plain copy
public boolean contains(Object o) {
return map.containsKey(o);
}
如果不知道为什么使用Hash就变快了,可以看一下我的另外一篇文章:Java中hashCode的作用
[java] view
plain copy
List<string> uniqueKeyList = new ArrayList<string>();
//......
if (uniqueKeyList.contains(uniqueKey)) {
continue;
}
</string></string>
根据键去查找是不是已经存在了,来判断是否重复数据。经过分析,这一块耗费了非常多的时候,于是就去查看ArrayList的contains方法的源码,发现其最终会调用他本身的indexOf方法:
[java] view
plain copy
public int indexOf(Object elem) {
if (elem == null) {
for (int i = 0; i < size; i++)
if (elementData[i]==null)
return i;
} else {
for (int i = 0; i < size; i++)
if (elem.equals(elementData[i]))
return i;
}
return -1;
}
原来在这里他做的是遍历整个list进行查找,最多可能对一个键的查找会达到6万多次,也就是会扫描整个List,验怪会这么慢了。
于是将原来的List替换为Set:
[java] view
plain copy
Set<string> uniqueKeySet = new HashSet<string>();
//......
if (uniqueKeySet.contains(uniqueKey)) {
continue;
}
速度一下就上去了,在去重这一块最多花费了一秒钟,为什么HashSet的速度一下就上去了,那是因为其内部使用的是Hashtable,这是HashSet的contains的源码:
[java] view
plain copy
public boolean contains(Object o) {
return map.containsKey(o);
}
如果不知道为什么使用Hash就变快了,可以看一下我的另外一篇文章:Java中hashCode的作用
相关文章推荐
- C#.Net ArrayList的使用方法
- VBS ArrayList Class vbs中的数组类
- C#中Arraylist的sort函数用法实例分析
- C#中ArrayList的使用方法
- C#中Array与ArrayList用法及转换的方法
- jQuery使用contains过滤器实现精确匹配方法详解
- javascript contains和compareDocumentPosition 方法来确定是否HTML节点间的关系
- contains和compareDocumentPosition 方法来确定是否HTML节点间的关系
- C#生成随机ArrayList的方法
- c# ArrayList的使用方法小总结
- PHP实现C#山寨ArrayList的方法
- PowerShell中使用ArrayList实现数组插入、删除、添加例子
- 在JavaScript中构建ArrayList示例代码
- js实现ArrayList功能附实例代码
- 2种Java删除ArrayList中的重复元素的方法
- java arrayList遍历的四种方法及Java中ArrayList类的用法
- Java ArrayList.toArray(T[]) 方法的参数类型是 T 而不是 E的原因分析
- 分析Java中ArrayList与LinkedList列表结构的源码
- 由ArrayList来深入理解Java中的fail-fast机制
- Java中ArrayList类的用法与源码完全解析