LBS中从数据库查询某经纬度2KM范围内的数据 - 针对大数据量的性能优化
2016-01-13 17:24
537 查看
之前很啥很天真地以为无非就是逐个计算距离,然后比较出来就行了,然后当碰到访问用户很多,而且数据库中经纬度信息很多的时候,计算量的迅速增长,能让服务器完全傻逼掉,还是老前辈的经验比我们丰富,给了我很大的启示。
MySQL性能调优
– 使用更为快速的算法进行距离计算
最近遇到了一个问题,通过不断的尝试最终将某句原本占据近1秒的查询优化到了0.01秒,效率提高了100倍.问题是这样的,有一张存放用户居住地点经纬度信息的MySQL数据表,表结构可以简化 为:id(int),longitude(long),latitude()long.
而业务系统中有一个功能是查找离某个用户最近的其余数个用户,通过代码分析,可以确定原先的做法基本是这样的:
//需要查询的用户的坐标
$lat=20; $lon=20;//执行查询,算出该用户与所有其他用户的距离,取出最近的10个 $sql='select * from users_location order by ACOS(SIN(('.$lat.' * 3.1415) / 180 ) *SIN((latitude * 3.1415) / 180 ) +COS(('.$lat.' * 3.1415) / 180 ) * COS((latitude * 3.1415) / 180 ) *COS(('.$lon.' * 3.1415) / 180 - (longitude * 3.1415) / 180 ) ) * 6380 asc limit 10';
而这条sql执行的速度却非常缓慢,用了近1秒的时间才返回结果,应该是因为order里的子语句用了太多的数学计算公式,导致整体的运算速度下降.
而在实际的使用中,不太可能会发生需要计算该用户与所有其他用户的距离,然后再排序的情况,当用户数量达到一个级别时,就可以在一个较小的范围里进行搜索,而非在所有用户中进行搜索.
所以对于这个例子,我增加了4个where条件,只对于经度和纬度大于或小于该用户1度(111公里)范围内的用户进行距离计算,同时对数据表中的经度和纬度两个列增加了索引来优化where语句执行时的速度.
最终的sql语句如下
$sql='select * from users_location where latitude > '.$lat.'-1 and latitude < '.$lat.'+1 and longitude > '.$lon.'-1 and longitude < '.$lon.'+1 order by ACOS(SIN(('.$lat.' * 3.1415) / 180 ) *SIN((latitude * 3.1415) / 180 ) +COS(('.$lat.' * 3.1415) / 180 ) * COS((latitude * 3.1415) / 180 ) *COS(('.$lon.'* 3.1415) / 180 - (longitude * 3.1415) / 180 ) ) * 6380 asc limit 10';
经过优化的sql大大提高了运行速度,在某些情况下甚至有100倍的提升.这种从业务角度出发,缩小sql查询范围的方法也可以适用在其他地方.
原文地址: http://www.scourgen.com/mysql_performance_optimize-using_a_better_way_to_compute_users_distinct
正确的计算距离公式是这样的:
public static double getDistance(double lat1, double lon1, double lat2, double lon2){
double radLat1 = lat1 * Math.PI / 180;
double radLat2 = lat2 * Math.PI / 180;
double a = radLat1 - radLat2;
double b = lon1 * Math.PI / 180 - lon2 * Math.PI / 180;
double s = 2 * Math.asin(Math.sqrt(Math.pow(Math.sin(a / 2), 2)
+ Math.cos(radLat1) * Math.cos(radLat2)
* Math.pow(Math.sin(b / 2), 2)));
s = s * 6378137.0;// 取WGS84标准参考椭球中的地球长半径(单位:m)
s = Math.round(s * 10000) / 10000;
return s;
}
相关文章推荐
- 【pymongo】连接认证 auth failed解决方法
- JAR export finished with warnings. See details for additional information
- ALOHA simulaiton仿真结果及分析
- [Machine Learning]朴素贝叶斯(NaiveBayes)
- Codeforces Educational Codeforces Round 5 E. Sum of Remainders 数学
- 2015人工智能重大突破
- Mina 中遇到SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder"
- Educational Codeforces Round 5 E. Sum of Remainders(数学)
- Could not find a storyboard named 'Main' in bundle NSBundle
- Educational Codeforces Round 5 E. Sum of Remainders 数论
- 一篇文章带你看懂云计算的前世今生与未来
- find . -name file -exec echo abc > {} \; fail
- 较大数据文件的读取优化过程
- 移动大数据平台的架构、实践与数据增值(1)
- 大数据领域常见算法-求topN
- 台电(Teclast)X98 Air Ⅱ 双系统版 初体验
- JDWP Transport dt_socket failed to initialize, TRANSPORT_INIT(510)异常
- 大数据计算模式以及对应的典型系统
- 飞思卡尔推厚度0.34mm物联网芯片
- rails 数据验证