geotrellis使用（五）使用scala操作Accumulo

    要想搞明白Geotrellis的數據處理情況，首先要弄清楚數據的存放，Geotrellis將數據存放在Accumulo中。

    Accumulo是一個分布式的Key Value型NOSQL數據庫，官網為（https://accumulo.apache.org/），在使用Ambari安裝hadoop集群一文中已經介紹了如何安裝Hadoop集群以及Accumulo。

    Accumulo以表來分區存放數據，結構為Key Value，其中Key又包含RowID和Column，Column又包含Family、Qualifier、Visibility。

    閑話莫談，首先介紹一下如何在accumulo shell中操作Accumulo。

    1、進入accumulo shell控制台

    accumulo shell -u [username]          

    username就是具有操作accumulo的用戶

    2、查看所有表

    tables

    3、創建表

    createtable mytable

    4、刪除表

    deletetable mytable

    5、掃描表，查看數據

    scan

    6、插入數據 插入數據的時候要在當前表的工作域中

    insert row1 colf colq value1

    只要rowID family qualifier有一個不重復即可，如果重復會覆蓋掉原來的value。

    7、切換表

    table mytable

　

    下面介紹一下如何使用Scala語言操作Accumulo，也比較簡單，先貼出全部代碼

object Main {

  val token = new PasswordToken("pass")
  val user = "root"
  val instanceName = "hdp-accumulo-instance"
  val zooServers = "zooserver"
  val table = "table"

  def main(args: Array[String]) {
//    write
    read
  }

  def read = {
    val conn = getConn
    val auths = Authorizations.EMPTY// new Authorizations("Valid")
    val scanner = conn.createScanner(table, auths)

    val range = new org.apache.accumulo.core.data.Range("row1", "row2") // start row --- end row  即row ID
    scanner.setRange(range)
//    scanner.fetchColumnFamily()
    //    println(scanner.iterator().next().getKey)
    val iter = scanner.iterator()
    while (iter.hasNext){
      var item = iter.next()
      //Accumulo中數據存放在table中，分為Key Value，其中Key又包含RowID和Column，Column包含Family Qualifier Visibility
      println(s"key  row:${item.getKey.getRow} fam:${item.getKey.getColumnFamily} qua:${item.getKey.getColumnQualifier} value:${item.getValue}")
    }
//    for(entry <- scanner) {
//      println(entry.getKey + " is " + entry.getValue)
//    }
  }

  def write {
    val mutation = createMutation
    val writer = getWriter
    writer.addMutation(mutation)
//    writer.flush()
    writer.close
  }

  def createMutation = {
    val rowID = new Text("row2")
    val colFam = new Text("myColFam")
    val colQual = new Text("myColQual")
    //  val colVis = new ColumnVisibility("public")  //不需要加入可見性
    var timstamp = System.currentTimeMillis
    val value = new Value("myValue".getBytes)
    val mutation = new Mutation(rowID)
    mutation.put(colFam, colQual, timstamp, value)
    mutation
  }

  def getConn = {
    val inst = new ZooKeeperInstance(instanceName, zooServers)
    val conn = inst.getConnector("root", token)
    conn
  }

  def getWriter() = {
    val conn = getConn
    val config = new BatchWriterConfig
    config.setMaxMemory(10000000L)
    val writer: BatchWriter = conn.createBatchWriter(table, config)
    writer
  }
}

      以上代碼主要實現了Accumulo的讀寫操作，其中zooServers是安裝的zookeeper的主節點地址。instanceName是accumulo的實例名稱。read的Range實現了范圍內查找，但是此處的范圍需要輸入的是RowID的起始值，由於Accumulo是自動排序的，所以此處輸入范圍會將該范圍內的數據全部返回。其他代碼均通俗易懂（自認為，哈哈），所以不在這里贅述。

     本文簡單介紹了Accumulo的操作，僅是為了方便理解Geotrellis的工作原理以及閱讀Geotrellis的源代碼做准備，若是有人恰好需要將數據存放到集群中，不妨可以試一下存入到Accumulo中。

    

 

     參考鏈接

一、 geotrellis使用初探
二、 geotrellis使用（二）geotrellis-chatta-demo以及geotrellis框架數據讀取方式初探
三、 geotrellis使用（三）geotrellis數據處理過程分析
四、 geotrellis使用（四）geotrellis數據處理部分細節

五、 geotrellis使用（五）使用scala操作Accumulo