現在很多手機軟件都用附近搜索功能,但具體是怎么實現的呢》
在網上查了很多資料,mysql空間數據庫、矩形算法、geohash我都用過了,當數據上了百萬之后mysql空間數據庫方法是最強最精確的(查詢前100條數據只需5秒左右)。
接下來推出一個原創計算方法,查詢速度是mysql空間數據庫算法的2倍
$lng是你的經度,$lat是你的緯度
SELECT lng,lat, (POWER(MOD(ABS(lng - $lng),360),2) + POWER(ABS(lat - $lat),2)) AS distance FROM `user_location` ORDER BY distance LIMIT 100
經測試,在100萬數據中取前100條數據只需2.5秒左右。
###########################################
另外的幾種算法還是在這里展示一下:
ps:赤道半徑 6378.137km
平均地球半徑 6371.004km
一、距形算法
1 define(EARTH_RADIUS, 6371);//地球半徑,平均半徑為6371km 2 /** 3 *計算某個經緯度的周圍某段距離的正方形的四個點 4 * 5 *@param lng float 經度 6 *@param lat float 緯度 7 *@param distance float 該點所在圓的半徑,該圓與此正方形內切,默認值為0.5千米 8 *@return array 正方形的四個點的經緯度坐標 9 */ 10 function returnSquarePoint($lng, $lat,$distance = 0.5){ 11 12 $dlng = 2 * asin(sin($distance / (2 * EARTH_RADIUS)) / cos(deg2rad($lat))); 13 $dlng = rad2deg($dlng); 14 15 $dlat = $distance/EARTH_RADIUS; 16 $dlat = rad2deg($dlat); 17 18 return array( 19 'left-top'=>array('lat'=>$lat + $dlat,'lng'=>$lng-$dlng), 20 'right-top'=>array('lat'=>$lat + $dlat, 'lng'=>$lng + $dlng), 21 'left-bottom'=>array('lat'=>$lat - $dlat, 'lng'=>$lng - $dlng), 22 'right-bottom'=>array('lat'=>$lat - $dlat, 'lng'=>$lng + $dlng) 23 ); 24 } 25 //使用此函數計算得到結果后,帶入sql查詢。 26 $squares = returnSquarePoint($lng, $lat); 27 $info_sql = "select id,locateinfo,lat,lng from `lbs_info` where lat<>0 and lat>{$squares['right-bottom']['lat']} and lat<{$squares['left-top']['lat']} and lng>{$squares['left-top']['lng']} and lng<{$squares['right-bottom']['lng']} ";
java代碼如下:
1 /** 2 * 默認地球半徑 3 */ 4 private static double EARTH_RADIUS = 6371; 5 6 /** 7 * 計算經緯度點對應正方形4個點的坐標 8 * 9 * @param longitude 10 * @param latitude 11 * @param distance 12 * @return 13 */ 14 public static Map<String, double[]> returnLLSquarePoint(double longitude, 15 double latitude, double distance) { 16 Map<String, double[]> squareMap = new HashMap<String, double[]>(); 17 // 計算經度弧度,從弧度轉換為角度 18 double dLongitude = 2 * (Math.asin(Math.sin(distance 19 / (2 * EARTH_RADIUS)) 20 / Math.cos(Math.toRadians(latitude)))); 21 dLongitude = Math.toDegrees(dLongitude); 22 // 計算緯度角度 23 double dLatitude = distance / EARTH_RADIUS; 24 dLatitude = Math.toDegrees(dLatitude); 25 // 正方形 26 double[] leftTopPoint = { latitude + dLatitude, longitude - dLongitude }; 27 double[] rightTopPoint = { latitude + dLatitude, longitude + dLongitude }; 28 double[] leftBottomPoint = { latitude - dLatitude, 29 longitude - dLongitude }; 30 double[] rightBottomPoint = { latitude - dLatitude, 31 longitude + dLongitude }; 32 squareMap.put("leftTopPoint", leftTopPoint); 33 squareMap.put("rightTopPoint", rightTopPoint); 34 squareMap.put("leftBottomPoint", leftBottomPoint); 35 squareMap.put("rightBottomPoint", rightBottomPoint); 36 return squareMap; 37 }
二、 空間數據庫算法
以下location字段是跟據經緯度來生成的空間數據,如:
location字段的type設為point
"update feed set location=GEOMFROMTEXT('point({$lat} {$lng})') where id='{$id}'"
mysql空間數據查詢
1 SET @center = GEOMFROMTEXT('POINT(35.801559 -10.501577)'); 2 SET @radius = 4000; 3 SET @bbox = CONCAT('POLYGON((', 4 X(@center) - @radius, ' ', Y(@center) - @radius, ',', 5 X(@center) + @radius, ' ', Y(@center) - @radius, ',', 6 X(@center) + @radius, ' ', Y(@center) + @radius, ',', 7 X(@center) - @radius, ' ', Y(@center) + @radius, ',', 8 X(@center) - @radius, ' ', Y(@center) - @radius, '))' 9 ); 10 SELECT id,lng,lat, 11 SQRT(POW( ABS( X(location) - X(@center)), 2) + POW( ABS(Y(location) - Y(@center)), 2 )) AS distance 12 FROM `user_location` WHERE 1=1 13 AND INTERSECTS( location, GEOMFROMTEXT(@bbox) ) 14 AND SQRT(POW( ABS( X(location) - X(@center)), 2) + POW( ABS(Y(location) - Y(@center)), 2 )) < @radius 15 ORDER BY distance LIMIT 20
三、geo算法
參考文檔:
http://blog.csdn.net/wangxiafghj/article/details/9014363geohash 算法原理及實現方式
http://blog.charlee.li/geohash-intro/ geohash:用字符串實現附近地點搜索
http://blog.sina.com.cn/s/blog_7c05385f0101eofb.html 查找附近點--Geohash方案討論
http://www.wubiao.info/372 查找附近的xxx 球面距離以及Geohash方案探討
http://en.wikipedia.org/wiki/Haversine_formula Haversine formula球面距離公式
http://www.codecodex.com/wiki/Calculate_Distance_Between_Two_Points_on_a_Globe 球面距離公式代碼實現
http://developer.baidu.com/map/jsdemo.htm#a6_1 球面距離公式驗證
http://www.wubiao.info/470 Mysql or Mongodb LBS快速實現方案
geohash有以下幾個特點:
首先,geohash用一個字符串表示經度和緯度兩個坐標。某些情況下無法在兩列上同時應用索引 (例如MySQL 4之前的版本,Google App Engine的數據層等),利用geohash,只需在一列上應用索引即可。
其次,geohash表示的並不是一個點,而是一個矩形區域。比如編碼wx4g0ec19,它表示的是一個矩形區域。 使用者可以發布地址編碼,既能表明自己位於北海公園附近,又不至於暴露自己的精確坐標,有助於隱私保護。
第三,編碼的前綴可以表示更大的區域。例如wx4g0ec1,它的前綴wx4g0e表示包含編碼wx4g0ec1在內的更大范圍。 這個特性可以用於附近地點搜索。首先根據用戶當前坐標計算geohash(例如wx4g0ec1)然后取其前綴進行查詢 (SELECT * FROM place WHERE geohash LIKE 'wx4g0e%'),即可查詢附近的所有地點。
查找附近網點geohash算法及實現 (Java版本),geohashjava
Geohash比直接用經緯度的高效很多。
Geohash算法實現(Java版本)
1 package com.DistTest; 2 import java.util.BitSet; 3 import java.util.HashMap; 4 5 public class Geohash { 6 7 private static int numbits = 6 * 5; 8 final static char[] digits = { '0', '1', '2', '3', '4', '5', '6', '7', '8', 9 '9', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'j', 'k', 'm', 'n', 'p', 10 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z' }; 11 12 final static HashMap<Character, Integer> lookup = new HashMap<Character, Integer>(); 13 static { 14 int i = 0; 15 for (char c : digits) 16 lookup.put(c, i++); 17 } 18 19 public double[] decode(String geohash) { 20 StringBuilder buffer = new StringBuilder(); 21 for (char c : geohash.toCharArray()) { 22 23 int i = lookup.get(c) + 32; 24 buffer.append( Integer.toString(i, 2).substring(1) ); 25 } 26 27 BitSet lonset = new BitSet(); 28 BitSet latset = new BitSet(); 29 30 //even bits 31 int j =0; 32 for (int i=0; i< numbits*2;i+=2) { 33 boolean isSet = false; 34 if ( i < buffer.length() ) 35 isSet = buffer.charAt(i) == '1'; 36 lonset.set(j++, isSet); 37 } 38 39 //odd bits 40 j=0; 41 for (int i=1; i< numbits*2;i+=2) { 42 boolean isSet = false; 43 if ( i < buffer.length() ) 44 isSet = buffer.charAt(i) == '1'; 45 latset.set(j++, isSet); 46 } 47 //中國地理坐標:東經73°至東經135°,北緯4°至北緯53° 48 double lon = decode(lonset, 70, 140); 49 double lat = decode(latset, 0, 60); 50 51 return new double[] {lat, lon}; 52 } 53 54 private double decode(BitSet bs, double floor, double ceiling) { 55 double mid = 0; 56 for (int i=0; i<bs.length(); i++) { 57 mid = (floor + ceiling) / 2; 58 if (bs.get(i)) 59 floor = mid; 60 else 61 ceiling = mid; 62 } 63 return mid; 64 } 65 66 67 public String encode(double lat, double lon) { 68 BitSet latbits = getBits(lat, 0, 60); 69 BitSet lonbits = getBits(lon, 70, 140); 70 StringBuilder buffer = new StringBuilder(); 71 for (int i = 0; i < numbits; i++) { 72 buffer.append( (lonbits.get(i))?'1':'0'); 73 buffer.append( (latbits.get(i))?'1':'0'); 74 } 75 return base32(Long.parseLong(buffer.toString(), 2)); 76 } 77 78 private BitSet getBits(double lat, double floor, double ceiling) { 79 BitSet buffer = new BitSet(numbits); 80 for (int i = 0; i < numbits; i++) { 81 double mid = (floor + ceiling) / 2; 82 if (lat >= mid) { 83 buffer.set(i); 84 floor = mid; 85 } else { 86 ceiling = mid; 87 } 88 } 89 return buffer; 90 } 91 92 public static String base32(long i) { 93 char[] buf = new char[65]; 94 int charPos = 64; 95 boolean negative = (i < 0); 96 if (!negative) 97 i = -i; 98 while (i <= -32) { 99 buf[charPos--] = digits[(int) (-(i % 32))]; 100 i /= 32; 101 } 102 buf[charPos] = digits[(int) (-i)]; 103 104 if (negative) 105 buf[--charPos] = '-'; 106 return new String(buf, charPos, (65 - charPos)); 107 } 108 109 }
球面距離公式:(個人喜歡這個算法)
1 /** 2 * @method 以下用於計算兩個經緯度之間的距離 3 * */ 4 private double EARTH_RADIUS = 6378.137;//地球半徑 5 private static double rad(double d) 6 { 7 return d * Math.PI / 180.0; 8 } 9 10 public double GetDistance(double lat1, double lng1, double lat2, double lng2) 11 { 12 double radLat1 = rad(lat1); 13 double radLat2 = rad(lat2); 14 double a = radLat1 - radLat2; 15 double b = rad(lng1) - rad(lng2); 16 17 double s = 2 * Math.asin(Math.sqrt(Math.pow(Math.sin(a/2),2) + 18 Math.cos(radLat1)*Math.cos(radLat2)*Math.pow(Math.sin(b/2),2))); 19 s = s * EARTH_RADIUS; 20 s = Math.round(s * 100) / 100.0; 21 return s; 22 }
附近網點距離排序
1 package com.DistTest; 2 3 import java.sql.DriverManager; 4 import java.sql.ResultSet; 5 import java.sql.SQLException; 6 import java.sql.Connection; 7 import java.sql.Statement; 8 9 10 public class sqlTest { 11 12 public static void main(String[] args) throws Exception { 13 Connection conn = null; 14 String sql; 15 String url = "jdbc:mysql://132.97.**.**/test?" 16 + "user=***&password=****&useUnicode=true&characterEncoding=UTF8"; 17 18 try { 19 Class.forName("com.mysql.jdbc.Driver");// 動態加載mysql驅動 20 // System.out.println("成功加載MySQL驅動程序"); 21 // 一個Connection代表一個數據庫連接 22 conn = DriverManager.getConnection(url); 23 // Statement里面帶有很多方法,比如executeUpdate可以實現插入,更新和刪除等 24 Statement stmt = conn.createStatement(); 25 sql = "select * from retailersinfotable limit 1,10"; 26 ResultSet rs = stmt.executeQuery(sql);// executeQuery會返回結果的集合,否則返回空值 27 double lon1=109.0145193757; 28 double lat1=34.236080797698; 29 System.out.println("當前位置:"); 30 int i=0; 31 String[][] array = new String[10][3]; 32 while (rs.next()){ 33 //從數據庫取出地理坐標 34 double lon2=Double.parseDouble(rs.getString("Longitude")); 35 double lat2=Double.parseDouble(rs.getString("Latitude")); 36 37 //根據地理坐標,生成geohash編碼 38 Geohash geohash = new Geohash(); 39 String geocode=geohash.encode(lat2, lon2).substring(0, 9); 40 41 //計算兩點間的距離 42 int dist=(int) Test.GetDistance(lon1, lat1, lon2, lat2); 43 44 array[i][0]=String.valueOf(i); 45 array[i][1]=geocode; 46 array[i][2]=Integer.toString(dist); 47 48 i++; 49 50 // System.out.println(lon2+"---"+lat2+"---"+geocode+"---"+dist); 51 } 52 53 array=sqlTest.getOrder(array); //二維數組排序 54 sqlTest.showArray(array); //打印數組 55 56 57 58 59 } catch (SQLException e) { 60 System.out.println("MySQL操作錯誤"); 61 e.printStackTrace(); 62 } finally { 63 conn.close(); 64 } 65 66 } 67 /* 68 * 二維數組排序,比較array[][2]的值,返回二維數組 69 * */ 70 public static String[][] getOrder(String[][] array){ 71 for (int j = 0; j < array.length ; j++) { 72 for (int bb = 0; bb < array.length - 1; bb++) { 73 String[] ss; 74 int a1=Integer.valueOf(array[bb][2]); //轉化成int型比較大小 75 int a2=Integer.valueOf(array[bb+1][2]); 76 if (a1>a2) { 77 ss = array[bb]; 78 array[bb] = array[bb + 1]; 79 array[bb + 1] = ss; 80 81 } 82 } 83 } 84 return array; 85 } 86 87 /*打印數組*/ 88 public static void showArray(String[][] array){ 89 for(int a=0;a<array.length;a++){ 90 for(int j=0;j<array[0].length;j++) 91 System.out.print(array[a][j]+" "); 92 System.out.println(); 93 } 94 } 95 96 }
一直在琢磨LBS,期待可以發現更好的方案。現在糾結了。
簡單列舉一下已經了解到的方案:
1.sphinx geo索引
2.mongodb geo索引
3.mysql sql查詢
4.mysql+geohash
5.redis+geohash
然后列舉一下需求:
1.實時性要高,有頻繁的更新和讀取
2.可按距離排序支持分頁
3.支持多條件篩選(一個經緯度數據還包含其他屬性,比如社交系統的性別、年齡)
方案簡單介紹:
1.sphinx geo索引
支持按照距離排序,並支持分頁。但是嘗試mva+geo失敗,還在找原因。
無法滿足高實時性需求。(可能是不了解實時增量索引配置有誤)
資源占用小,速度快
2.mongodb geo索引
支持按照距離排序,並支持分頁。支持多條件篩選。
可滿足實時性需求。
資源占用大,數據量達到百萬級請流量在10w左右查詢速度明顯下降。
3.mysql+geohash/ mysql sql查詢
不支持按照距離排序(代價太大)。支持分頁。支持多條件篩選。
可滿足實時性需求。
資源占用中等,查詢速度不及mongodb。
且geohash按照區塊將球面轉化平面並切割。暫時沒有找到跨區塊查詢方法(不太了解)。
4.redis+geohash
geohash缺點不再贅述
不支持距離排序。支持分頁查詢。不支持多條件篩選。
可滿足實時性需求。
資源占用最小。查詢速度很快。
------update
補充一下測試機配置:
1TB SATA硬盤。8GB RAM。I3 2350 雙核四線程
轉自http://www.open-open.com/lib/view/open1421650750328.html
一、距形算法
