ES模糊查詢wildcard的替代方案，nGram + match_phrase

背景

1.ES模糊查詢wildcard查詢極耗機器CPU資源，查詢耗時高，當並發量高時影響ES其它進程。
2.用戶實際的模糊查詢需求大多是左右模糊匹配。

可行性分析

match_phrase能夠實現詞組查詢。

比如brown fox會返回匹配…brown fox…的結果，此結果與wildcard查詢傳入brown fox的查詢結果一致。相當於我們通過match_phrase實現wildcard查詢效果，但此時只滿足一些特許的模糊查詢需求。
那如何對match_phrase的功能進行增強，讓其能夠滿足所有條件？
從上面的查詢示例可以看出，brown fox會返回匹配…brown fox…的結果，其根本原因在於索引時ES將…brown fox…分詞成了brown，fox等單詞。所以只要我們能夠控制ES分詞效果，將會最終滿足我們的需求。而ES提供了豐富的分詞功能。

nGram分詞能夠實現按指定長度對文本進行分詞。

nGram可以指定min_gram，max_gram參數實現不同的分詞效果。
例如：min_gram，max_gram配置為5時，quick.brown.fox分詞后會產生quick，uick.，ick.b，ck.br，k.bro，.brow，brown，rown.，own.f，wn.fo，n.fox。
這時match_phrase會達到什么效果了？
a.用戶輸入quick，brown，k.bro等都能夠返回quick.brown.fox。
b.用戶輸入brown.fox，brown.fox會被分詞成brown，rown.，own.f等，此時同樣會返回quick.brown.fox。
c.用戶輸入fox(長度小於nGram分詞配置的分詞長度時），不會返回任何結果。

如何正確返回查詢條件長度小於5時的結果

利用nGram分詞 + term查詢可以實現所需查詢效果。
nGram分詞配置：min_gram配置為1，max_gram配置為4。例如quick將會被分詞為q，u，i，… quic，uick。
term查詢會對用戶輸入的條件進行精確匹配，比如輸入uic，會返回quick。

方案

查詢條件長度小於5時：使用nGram分詞 + term查詢
查詢條件長度大於等於5時：使用nGram分詞 + match_phrase查詢

實施

創建索引

PUT index_text_1
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ngram_analyzer_short": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_short"
        },
        "ngram_analyzer_long": {
          "filter": "lowercase",
          "tokenizer": "ngram_tokenizer_long"
        }
      },
      "tokenizer": {
        "ngram_tokenizer_short": {
          "type": "nGram",
          "min_gram": "1",
          "max_gram": "4"
        },
        "ngram_tokenizer_long": {
          "type": "nGram",
          "min_gram": "5",
          "max_gram": "5"
        }
      }
    }
  },
  "mappings": {
    "title": {
      "properties": {
        "char": {
          "type": "keyword",
          "fields": {
            "long_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_long"
            },
            "short_char": {
              "type": "text",
              "analyzer": "ngram_analyzer_short"
            }
          }
        }
      }
    }
  }
}

新增數據

POST /index_text_1/_doc/_bulk
{"index":{"_id":1}}  
{"char":"nHRSPkkXLGm6UsmRbRBFQYRCRXpp6CXrnBiqSR"} 
{"index":{"_id":2}}
{"char":"quick.brown.fox"}
{"index":{"_id":3}}
{"char":"elasticsearch"}

查詢語句

查詢條件長度大於等於5時

GET index_text_1/_search
{
    "query": {
        "match_phrase": {
            "char.long_char": {
                "query": "UsmRbRBFQY"
            }
        }
    }
}

 

 查詢條件長度小於5時

GET index_text_1/_search
{
    "query": {
        "term": {
            "char.short_char": {
                "value": "fox"
            }
        }
    }
}

 

 

參考網址：

https://blog.csdn.net/weixin_43828710/article/details/122684156

https://cloud.tencent.com/developer/article/1061587?from=article.detail.1782572

https://cloud.tencent.com/developer/article/1782572