ElasticSearch 數據的批量索引


  ElasticSearch 一般用於檢索百萬級別以上的數據,因此建立索引都是批量建立的,當然也支持單量索引。

  ElasticSearch 以json數據格式作為數據插入格式,而Solr是以文檔形式作為基本格式,因此在建立索引之前,首先得把數據封裝成我們需要的格式:

  可以用字符串,然后轉成json:

String json = "{" +
         "\"poi_index\":\"1\"," +
         "\"poi_title\":\"XXXX大學\"," +
         "\"poi_address\":\"XX省XX市XX區XX號\"," +
         "\"poi_lng\":\"126.545454\"," +
         "\"poi_lat\":\"23.121212\"," +
         "\"poi_phone\":\"15988888888\"," +
         "\"poi_tags\":\"學校,教育\"" +
    "}";
JSONObject json2 = JSONObject.fromObject(json);

  可以用JsonObject:

                jsonObject = new JSONObject();
                jsonObject.put("poi_index","23");
                jsonObject.put("poi_title", "xx大學");
                jsonObject.put("poi_address","xx路xx號");
                jsonObject.put("poi_lng", "123.321");
                jsonObject.put("poi_lat", ".23.32");
                jsonObject.put("poi_phone", "123456768");
                jsonObject.put("poi_tags", "學校");

  也可以使用ElasicSearch附帶的幫助類:

import static org.elasticsearch.common.xcontent.XContentFactory.*;

XContentBuilder builder = jsonBuilder()
    .startObject()
        .field("user", "kimchy")
        .field("postDate", new Date())
        .field("message", "trying out Elasticsearch")
    .endObject()

 String json = builder.string();

 

  通過BulkRequestBuilder,將批量數據添加到request協議棧緩沖區:

BulkRequestBuilder bulkRequest = client.prepareBulk();
bulkRequest.add(client.prepareIndex("pois", "cxyword")
                        .setSource(jsonObject));

  執行 get() 就能將數據插入創建的索引庫,最后用BulkResponse判斷是否插入失敗:

            BulkResponse bulkResponse = bulkRequest.get();
            if (bulkResponse.hasFailures())
            {
                       System.out.println("failed")
            }   

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM