SpringBoot 整合 Elasticsearch深度分頁查詢

es 查詢共有4種查詢類型

QUERY_AND_FETCH: 

 　　主節點將查詢請求分發到所有的分片中，各個分片按照自己的查詢規則即詞頻文檔頻率進行打分排序，然后將結果返回給主節點，主節點對所有數據進行匯總排序然后再返回給客戶端，此種方式只需要和es交互一次。

      這種查詢方式存在數據量和排序問題，主節點會匯總所有分片返回的數據這樣數據量會比較大，二是各個分片上的規則可能不一致。

QUERY_THEN_FETCH: 

主節點將請求分發給所有分片，各個分片打分排序后將數據的id和分值返回給主節點，主節點收到后進行匯總排序再根據排序后的id到對應的節點讀取對應的數據再返回給客戶端，此種方式需要和es交互兩次。

      這種方式解決了數據量問題但是排序問題依然存在而且是es的默認查詢方式

DEF_QUERY_AND_FETCH 和 DFS_QUERY_THEN_FETCH: 

　　將各個分片的規則統一起來進行打分。解決了排序問題但是DFS_QUERY_AND_FETCH仍然存在數據量問題，DFS_QUERY_THEN_FETCH兩種噢乖你問題都解決但是效率是最差的。

 

Maven依賴：

    <dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
　　　 <version>2.0.5.RELEASE</version>　
    </dependency>

 

yml配置：

spring:
    data:
        elasticsearch:
             cluster-name: elasticsearch
             cluster-nodes: 127.0.0.1:9300

 

測試代碼：

/**
 * @author 宮新程
 * @since 2018/10/24 12:29
 */
@RunWith(SpringRunner.class)
@SpringBootTest
@Slf4j
public class GoodsItemLaunchEsTest {

  // 查詢條件
  private static final String ES_SEARCH_ITEM_NAME = "itemName";
  private static final String ES_SEARCH_ITEM_MODEL = "itemModel";
  private static final String ES_SEARCH_PRODUCT_CODE = "productCode";
  private static final String ES_SEARCH_OPER_FLAG = "oper_flag";

  @Resource private ElasticsearchTemplate elasticsearchTemplate;
  @Resource private EsManager esManager;

  /** ES創建基礎表 */
  @Test
  public void createIndex() {
    elasticsearchTemplate.createIndex(EsGoodsItemLaunchDto.class);
    elasticsearchTemplate.putMapping(EsGoodsItemLaunchDto.class);
  }

  /** ES刪除表 */
  @Test
  public void deleteIndex() {
    this.elasticsearchTemplate.deleteIndex(EsGoodsItemLaunchDto.class);
  }

  /** 插入測試數據 */
  @Test
  public void insertData() {

    List<IndexQuery> queryList = new ArrayList<>();

    for (int i = 0; i < 10000; i++) {
      EsGoodsItemLaunchDto dto = new EsGoodsItemLaunchDto();
      dto.setId(i);
      dto.setItemId(i);
      dto.setItemSkuId(i);
      dto.setItemName(i % 2 == 0 ? "洗衣機" + i : "空調" + i);
      dto.setCustomerSellerCode("CustomerSellerCode" + i);
      dto.setCustomerName("CustomerName" + i);
      dto.setMemberSellerCode("MemberSellerCode" + i);
      dto.setMemberName("MemberName" + i);
      dto.setProductCode("ProductCode" + i);
      dto.setItemModel("ItemModel" + i);
      dto.setProductGroupName("ProductGroupName" + i);
      dto.setProductGroupCode("ProductGroupCode" + i);
      dto.setBrandId(i * 2);
      dto.setBrandName("BrandName" + i);
      dto.setGmCode(((int) Math.random() * 10000) + "");
      dto.setUpdateTime(new Date());
      dto.setMemberId(i * 5);
      dto.setCustomerId(i * 6);

      IndexQuery indexQuery =
          new IndexQueryBuilder()
              .withId(String.valueOf(dto.getId()))
              .withObject(dto)
              .withIndexName(esManager.index4r(EsGoodsItemLaunchDto.class))
              .build();

      queryList.add(indexQuery);

      if (queryList.size() == 1000) {
        this.elasticsearchTemplate.bulkIndex(queryList);
        queryList.clear();
      }
    }

    // 必須加if判斷否則報異常：
    // org.elasticsearch.action.ActionRequestValidationException:
    // Validation Failed: 1:no requests added;
    if (queryList.size() > 0) {
      // 保存剩余數據 (沒被1000整除)
      elasticsearchTemplate.bulkIndex(queryList);
    }
  }

  @Test
  public void search() {
    int pageNum = 2;
    int pageSize = 5;

    BoolQueryBuilder filter = QueryBuilders.boolQuery();
    // 注意一定要小寫處理 toLowerCase()
    String codeOrName = "ProductCode100".toLowerCase();
    BoolQueryBuilder boolQueryLike = QueryBuilders.boolQuery();
    // 分詞查詢 商品名稱
    MultiMatchQueryBuilder queryBuilder =
        QueryBuilders.multiMatchQuery(codeOrName, ES_SEARCH_ITEM_NAME);
    // 商品型號
    QueryBuilder itemModel =
        QueryBuilders.wildcardQuery(ES_SEARCH_ITEM_MODEL, "*" + codeOrName + "*");
    // 產品編碼
    QueryBuilder productCode =
        QueryBuilders.wildcardQuery(ES_SEARCH_PRODUCT_CODE, "*" + codeOrName + "*");
    boolQueryLike.should(queryBuilder);
    boolQueryLike.should(itemModel);
    boolQueryLike.should(productCode);
    filter.must(boolQueryLike);

    // 判斷ES表的 oper_flag 不等於 D
    filter.mustNot(QueryBuilders.termQuery(ES_SEARCH_OPER_FLAG, "D"));

    SearchQuery searchQuery = new NativeSearchQuery(filter);
    searchQuery.addIndices(esManager.index4r(EsGoodsItemLaunchDto.class));
    Pageable pageable = PageRequest.of(pageNum - 1, pageSize);
    searchQuery.setPageable(pageable);

    // 深度查詢分頁
    Page<EsGoodsItemLaunchDto> result =
        this.elasticsearchTemplate.startScroll(5000, searchQuery, EsGoodsItemLaunchDto.class);

    for (int i = 0; i < pageNum - 1; i++) {
      elasticsearchTemplate.continueScroll(
          ((ScrolledPage) result).getScrollId(), 5000, EsGoodsItemLaunchDto.class);
    }

    log.info("=====================================");
    result
        .getContent()
        .forEach(
            (dto) -> {
              log.info("ItemName：{}", dto.getItemName());
            });
    log.info("總記錄數：{}", result.getTotalElements());
    log.info("當前頁碼數：{}", pageNum);
    log.info("每頁顯示條數：{}", pageSize);
    log.info("=====================================");
  }
}
/* 輸出結果：
<============================>
<ItemName：空調1001>
<ItemName：洗衣機1004>
<ItemName：洗衣機1006>
<ItemName：空調1007>
<ItemName：洗衣機1008>
<總記錄數：11>
<當前頁碼數：2>
<每頁顯示條數：5>
<============================>
*/