geotrellis使用（三十）使用geotrellis讀取PostGIS空間數據

前言

最近事情很多，各種你想不到的事情——such as singing and dancing——再加上最近又研究docker上癮，所以geotrellis看上去似乎沒有關注，其實我一直在腦中思考着geotrellis。之前看geotrellis源碼看到有關geotrellis.slick的相關部分，僅大概瀏覽了一番，知道是用於讀取PostGIS數據庫的，未做深入研究，又恰巧前幾日有老外在gitter上問了如何讀取PostGIS數據庫，我當時回答他可以用傳統的JDBC方式或者使用geotrellis.slick。JDBC方式我是親自測試過的，在geotrellis使用（十一）實現空間數據庫柵格化以及根據屬性字段進行賦值一文中，我詳細講述了如何從PostGIS中讀取空間數據並進行柵格化操作；然而我也有極度強迫症，一個事物不知道還着罷了，一旦讓我知道我是一定要拿來試試的，尤其在新技術方面，所以這兩天就研究了一下，基本調通。現總結如下，以待查用。

一、geotrellis.slick 簡介

geotrellis.slick是geotrellis的一個模塊，它是對slick的封裝。當然如果你要問我什么是geotrellis，請你先從底部的系列鏈接中看看前面的博客，大致能對其有個了解。

先介紹一下slick，它是一款開源的scala語言數據庫處理框架，官網http://slick.lightbend.com/。官網介紹如下：

Slick is a modern database query and access library for Scala. It allows you to work with stored data almost as if you were using Scala collections while at the same time giving you full control over when a database access happens and which data is transferred. You can write your database queries in Scala instead of SQL, thus profiting from the static checking, compile-time safety and compositionality of Scala. Slick features an extensible query compiler which can generate code for different backends.

大概是說Slick使得我們能像處理普通Scala集合那樣處理多種數據庫，並能對數據庫進行控制，相當於一個ORM框架。它支持以下幾種數據庫：

• SQLServer 2008, 2012, 2014
• Oracle 11g
• DB2 10.5
• MySQL
• PostgreSQL
• SQLite
• Derby/JavaDB
• HSQLDB/HyperSQL
• H2

geotrellis.slick對其進行了封裝，支持PostGIS數據庫並能夠簡單的進行空間數據的讀寫。

二、geotrllis.slick 使用

2.1 引用

話不多說，直接進入干貨。首先是對geotrllis.slick的引用，在build.sbt中的libraryDependencies添加如下項：

"org.locationtech.geotrellis" %% "geotrellis-slick" % 1.1.1

2.2 創建數據庫連接類

與普通JDBC方式連接基本相同，創建一個連接對象即可。代碼如下：

object ConnDatabase {
  def newInstance(pghost: String, pgdb: String, pguser: String, pgpass: String) = {
    val s = s"jdbc:postgresql://$pghost/$pgdb"
    Database.forURL(
      s,
      driver="org.postgresql.Driver",
      user=pguser,
      password=pgpass
    )
  }
}

trait ConnDatabase {
  protected var db: Database = null

  def connectDb(pghost: String, pgdb: String, pguser: String, pgpass: String) {
    db = ConnDatabase.newInstance(pghost, pgdb, pguser, pgpass)
  }
}

創建了一個特質（trait）ConnDatabase，其中包含了db對象，此對象即為數據庫連接，后續都要基於此對象進行操作。

2.3 創建數據庫表與實體類映射

首先要在PostGIS中創建一個數據庫（此處假設為test），此數據庫要選擇空間模板以使該數據庫支持空間操作。

在創建映射之前，需要先創建一個類使得程序能夠正確識別此類映射並加入相應PostGIS擴展。代碼如下：

object driver extends PostgresDriver with PostGisSupport {
  override val api = new API with PostGISAssistants with PostGISImplicits
}

此類中的api對象需要被實體類和操作類引用，具體在下面講述。

我們以城市這個實體為例，假設僅僅關注城市名稱以及經緯度坐標，考慮到數據庫操作則需要再加一ID項。那么城市實體的定義如下：

import driver.api._

class City(tag: Tag) extends Table[(Int, String, Point)](tag, "cities") {
  def id = column[Int]("id", O.PrimaryKey, O.AutoInc)

  def name = column[String]("name")

  def geom = column[Point]("geom")

  def * = (id, name, geom)
}

直觀上說這段代碼很容易理解，City實體對應與cities表；id字段對應表中id字段，並為主鍵及自動增長，類型為Int；name對應表中name字段，類型為String；geom對應空間字段geom，類型為Point（空間字段類型可以直接設置為Geometry）；def * 表示三個字段的組合。當然此處也可以設置字段可空，只需要將類型使用Option包裹並且上下對應即可，如需要設置geom可空，則整個類修改如下：

class City(tag: Tag) extends Table[(Int, String, Option[Point])](tag, "cities") {
    def id = column[Int]("id", O.PrimaryKey, O.AutoInc)

    def name = column[String]("name")

    def geom = column[Option[Point]]("geom")

    def * = (id, name, geom)
}

所以在定義實體類與數據庫表映射的時候，首先引入上面driver中定義的api，之后定義實體類繼承自Table對象，其泛型即為def *中組合類型，並且二者順序必須完全一致。這樣就定義好了二者映射。

2.4 操作類

上文講到slick的優勢就在於我們可以像使用scala集合那樣讀取數據庫中信息，並能夠對數據庫進行操作。首先定義一個CityOperate類，在其中完成對City的操作，有點dal或者bll的感覺。

import geotrellis.postgis.model.City
import org.scalatest.concurrent.ScalaFutures
import geotrellis.vector._

object CityOperate extends ConnDatabase with ScalaFutures {
  import driver.api._
  implicit override val patienceConfig = PatienceConfig(timeout = Span(5, Seconds))
  val pguser = "******"
  val pgpass = "******"
  val pgdb = "test"
  val pghost = "127.0.0.1:5432"
  connectDb(pghost, pgdb, pguser, pgpass)
  val CityTable = TableQuery[City]
}

該類繼承自ConnDatabase和ScalaFutures。

其中ConnDatabase是上文我們寫好的數據庫連接類，主要目的在於得到其中的db對象，所以必須先執行connectDb函數，傳入數據庫參數。

ScalaFutures主要是獲取查詢等的Future操作的結果值。

引入上面driver中定義的api，並重寫patienceConfig加大超時時間，防止下面的future執行超時。

CityTable很明顯是City的映射對象，主要基於此對象對數據庫進行操作。

2.4.1 創建表

我們可以無需創建表cities而由slick完成，只需要在上述類中添加如下方法：

def createSchema {
    try {
      db.run(CityTable.schema.create).futureValue
    } catch {
      case _: Throwable =>
    }
}

該函數實現的功能就是創建cities表。從這段代碼大致能看出slick的整個操作模式，其所有操作都要執行db.run函數，傳入的是進行的操作，無論是增刪改查還是創建、刪除表等。此函數的結果需要進行futureValue操作，來獲取真正的結果，如果不加此項則不會進行操作。CityTable.schema.create表示進行的是創建schema操作。

可以通過CityTable.schema.create.statements來查看創建表的SQL語句。

2.4.2 刪除表

有了創建表操作，刪除操作就很容易了，代碼如下：

def dropSchema {
    try {
      db.run(CityTable.schema.drop).futureValue
    } catch {
      case _: Throwable =>
    }
  }

很簡單，只需要在db.run函數中傳入CityTable.schema.drop。

可以通過CityTable.schema.drop.statements來查看創建表的SQL語句。

2.4.3 增

進入數據庫操作以及碼農的最最最常規操作。增加數據代碼如下：

def insertData(data: Array[(String, Point)]) {
    db.run(CityTable.map(c => (c.name, c.geom)) ++= data.map { d => (d._1, d._2) })
}

函數接受(String, Point)類型的數組，表示名稱和位置。插入操作也很容易，直接像db.run函數傳入CityTable.map(c => (c.name, c.geom)) ++= data.map { d => (d._1, d._2) }，++=正是一個插入操作的action，前面表示的是要插入的字段名稱，后面則是對應的數據，此處表示插入name和geom字段，后面為數據。

當然如果在實體映射中某個字段按照上述方式設置可空，那么在insert以及下面的update操作的時候此字段的類型都要為Option，即有值的地方使用Some包裹，無值的地方設置為None。

可以通過

(CityTable.map(c => (c.name, c.geom)) ++= data.map { d => (d._1, d._2) }).statements

來查看插入的SQL語句，其實到這里大家應該能總結出來規律，只要對傳入db.run函數的參數執行statements操作就能查看此操作的SQL語句，以下同，不再贅述。

2.4.4 刪

刪除數據分為刪除全部和有條件刪除。

• 刪除全部數據：

def deleteAllData {
    val q = for { c <- CityTable } yield c
    db.run(q.delete).futureValue
}

從這段代碼能看出slick對數據操作的基本流程，首先使用for循環生成想要處理的數據的集合，而后使用db.run對此集合執行相應的操作。

上述代碼中q表示的是全部數據，db.run傳入的也是q.delete，則表中所有數據都會被刪除。

• 刪除部分數據：

def bboxBuffer(x: Double, y: Double, d: Double) =
    Polygon(Line(
      (x - d, y - d),
      (x - d, y + d),
      (x + d, y + d),
      (x + d, y - d),
      (x - d, y - d)
    ))
    
def deleteDataByBufer {
    val bbox = bboxBuffer(78.32, 40.30, 0.01)
    val q = for(c <- CityTable if c.geom @&& bbox) yield c
    db.run(q.delete).futureValue
}

其中bboxBuffer函數表示給定一個點和距離創建其緩沖區。

在deleteDataByBufer函數中，我們先創建了一個bbox緩沖區，該函數的目的是刪除所有坐標在給定緩沖區內的城市。可以看出此處q的值在獲取的時候稍有變化，加了一個c.geom @&& bbox的條件，@&&是geotrellis寫好的空間支持函數，該函數表示前面的空間是否在緩沖區（Polygon）中。將q.delete傳入db.run即可實現刪除部分數據的目的，當然按照其他條件刪除則同理。

2.4.5 改

def updateData(name: String) {
    val bbox = bboxBuffer(78.32, 40.30, 0.01)
    val q = for (c <- CityTable if c.geom @&& bbox) yield c.name
    db.run(q.update(name)).futureValue
}

此函數實現的功能是將詞緩沖區內城市名稱全部改為傳入的name參數。區別只是在於將q.update(name)傳入db.run函數。

2.4.6 查

同樣查也分為查詢全部數據和查詢部分數據，其實基本與上述相同。

• 查詢全部數據：

def getData = {
    val q = for { c <- CityTable } yield (c.name, c.geom)
    db.run(q.result).futureValue.toList
}

q獲取到的是城市名稱和位置信息，則最后查詢的結果就是所有城市的名稱和位置信息，不包含id。將q.result傳入db.run函數即可獲取到最終結果。

• 查詢部分數據：

def getDataByBuffer = {
    val bbox = bboxBuffer(78.32, 40.30, 0.01)
    val q = for(c <- CityTable if c.geom @&& bbox) yield c
    db.run(q.result).futureValue.toList
}

該函數實現的功能是查詢緩沖區內的城市信息，此處q直接獲取到的是緩沖區內的城市所有信息，所以將q.result傳入db.run后就能獲取到緩沖區內的城市的所有信息。

• 對數據進行空間操作：

geotrelis.slick支持將scala的空間操作轉換為PostGIS的空間函數，如下：

def getGeomWKTData {
    val q = for {
        c <- CityTable
    } yield c.geom.asEWKT

    println(q.result.statements)
    db.run(q.result).futureValue.toList
}

上述函數中直接對geom對象進行asEWKT操作，將Point轉化為WKT語言，並輸出查詢結果。執行上面的函數會打印出如下信息：

List(select ST_AsEWKT("geom") from "cities")

表明geotrellis.slick確實將asEWKT操作轉換為PostGIS中的ST_AsEWKT函數。

三、總結

本文嘗試了geotrliis.slick的相關功能和用法，由於剛接觸可能有理解不透徹的地方，歡迎留言指正，不甚感激！

Geotrellis系列文章鏈接地址http://www.cnblogs.com/shoufengwei/p/5619419.html