ClickHouse空間分析運用

ClickHouse

ClickHouse是一個用於聯機分析(OLAP)的列式數據庫管理系統(DBMS)。

OLAP場景的關鍵特征

絕大多數是讀請求

數據以相當大的批次(> 1000行)更新，而不是單行更新;或者根本沒有更新。

已添加到數據庫的數據不能修改。

對於讀取，從數據庫中提取相當多的行，但只提取列的一小部分。

寬表，即每個表包含着大量的列

查詢相對較少(通常每台服務器每秒查詢數百次或更少)

對於簡單查詢，允許延遲大約50毫秒

列中的數據相對較小：數字和短字符串(例如，每個URL 60個字節)

處理單個查詢時需要高吞吐量(每台服務器每秒可達數十億行)

事務不是必須的

對數據一致性要求低

每個查詢有一個大表。除了他意以外，其他的都很小。

查詢結果明顯小於源數據。換句話說，數據經過過濾或聚合，因此結果適合於單個服務器的RAM中

很容易可以看出，OLAP場景與其他通常業務場景(例如,OLTP或K/V)有很大的不同， 因此想要使用OLTP或Key-Value數據庫去高效的處理分析查詢場景，並不是非常完美的適用方案。例如，使用OLAP數據庫去處理分析請求通常要優於使用MongoDB或Redis去處理分析請求。

ClickHouse安裝和啟動

sudo apt-get install apt-transport-https ca-certificates dirmngr
sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv E0C56BD4
echo "deb https://repo.clickhouse.tech/deb/stable/ main/" | sudo tee \
    /etc/apt/sources.list.d/clickhouse.list
sudo apt-get update
sudo apt-get install -y clickhouse-server clickhouse-client
sudo service clickhouse-server start
clickhouse-client

sudo apt-get update如果更新不了可以修改下源，然后修改source.list，clickhouse.list

新建表導入所需要的數據(120038310條經緯度)

create table pnts (Lon  Float64, Lat Float64) engine = MergeTree() order by (Lon, Lat);
time clickhouse-client --query="INSERT INTO pnts FORMAT CSVWithNames" < test_data.csv

ClickHouse空間分析運用

計算最大小經緯度

select min(Lon), max(Lon),min(Lat), max(Lat)FROM pnts

select geohashesInBox(-150.0565255, 24.5449115001 , -66.950609997, 65.1341342731, 4)

面篩選

SELECT count(1) FROM pnts WHERE -122.1603396012797162<=Lon and -122.1414371044578786>=Lon and 37.7842593304459271  <=Lat and 37.7965938218938646  >=Lat  and pointInPolygon((Lon, Lat), [( -122.158001836655117, 37.796593821893865 ), ( -122.151099864906271, 37.793632653369357 ), ( -122.146446600082044, 37.792029614769625 ), ( -122.141437104457879, 37.789224297220095 ), ( -122.143485431557536, 37.788534100045212 ), ( -122.14290655650764, 37.786641623920524 ), ( -122.143797133507491, 37.786196335420598 ), ( -122.147648879031848, 37.784437445845896 ), ( -122.14862851373168, 37.784259330445927 ), ( -122.15312592758093, 37.788734479870179 ), ( -122.154728966180656, 37.789736378995009 ), ( -122.156443326905375, 37.788801273145168 ), ( -122.160094692604758, 37.789335619345074 ), ( -122.15915958675491, 37.792185465744602 ), ( -122.160339601279716, 37.793788504344327 ), ( -122.159293173304889, 37.795369278519068 ), ( -122.159048264629931, 37.795525129494038 ), ( -122.159048264629931, 37.795525129494038 ), ( -122.158001836655117, 37.796593821893865 )]) = 1

緩沖區計算

SELECT count(1) from pnts WHERE greatCircleDistance(Lon, Lat, -122.158001836655117, 37.796593821893865 )<=2000

select geoToH3(Lon, Lat, 3),count(1) FROM pnts group by geoToH3(Lon, Lat, 3)

geohash聚合

SELECT geohashEncode(Lon, Lat, 5),count(1) FROM pnts group by geohashEncode(Lon, Lat, 5)

參考資料：

https://clickhouse.tech/docs/zh/

https://www.osgeo.cn/qgis-tutorial/docs/3/importing_spreadsheets_csv.html

https://mirror.tuna.tsinghua.edu.cn/help/clickhouse/

https://blog.csdn.net/BigData_Mining/article/details/87867979

http://cncc.bingj.com/cache.aspx?q=clickhouse+anzhuang&d=4519770289931770&mkt=zh-CN&setlang=zh-CN&w=J6QG46UMC2AHWpTGJHFimsC7lpDNMJO-

https://github.com/ClickHouse/ClickHouse/issues/9002

https://www.bookstack.cn/read/clickhouse-20.10-en/bccae583b76cdb17.md

https://blog.csdn.net/jimo_lonely/article/details/107498806

https://github.com/ClickHouse/ClickHouse/issues/17081