碼上快樂

相關內容    簡體    繁體

Elasticsearch 技術分析（二）： 索引映射Mapping問題

本文轉載自   查看原文   2018-12-18 21:51   3766    Elasticsearch/ 原創/ [06].搜索引擎/ 搜索引擎

數據庫建表的時候，我們的DDL語句一般都會指定每個字段的存儲類型，例如：varchar，int，datetime等等，目的很明確，就是更精確的存儲數據，防止數據類型格式混亂。

CREATE TABLE `shop_` (
  `id_` varchar(36) NOT NULL COMMENT 'id',
  `shop_name_` varchar(50) DEFAULT NULL COMMENT '商品名稱',
  `shop_integral_` int(11) DEFAULT NULL COMMENT '兌換所需積分',
  `shop_money_` decimal(10,0) DEFAULT NULL COMMENT '劵面金額',
  `start_time_` datetime DEFAULT NULL COMMENT '有效開始時間',
  `end_time_` datetime DEFAULT NULL COMMENT '有效結束時間',
  `is_delete_` int(1) DEFAULT '1' COMMENT '是否刪除-1：有效，0：刪除',
  PRIMARY KEY (`id_`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC;

在 Elasticsearch中也是這樣，創建索引的時候一般也需要指定索引的字段類型，這種方式成為映射(Mapping)。

字段類型

映射(Mapping)針對的是文檔的字段，數據庫中有varchar，int，datetime等數據類型，那么我們ElasticSearch中又有哪些字段類型，每個字段類型都代表什么意思呢？

ElasticSearch更新頻繁，以下內容是針對6.x版本的，對於5.x版本以及之前的版本可能有所不同，未來7.x版本也許也會有所改變，本篇不能做到面面俱到，所以大家可以針對自己的版本查閱官方文檔。

Elasticsearch支持文檔字段的多種不同數據類型，根據官方文檔的分類，可以划分為以下幾個類別：
核心數據類型，復雜數據類型，Geo(地理)數據類型，專用數據類型和多字段。

核心數據類型

  • 字符串類型
    主要包括：text 和 keyword。
  • 數字類型
    主要包括：long, integer, short, byte, double, float, half_float, scaled_float
  • 日期類型
  • 布爾類型
  • 二進制類型
  • 范圍數據類型
    integer_range, float_range, long_range, double_range, date_range

這里我們重點介紹下 text 和 keyword 的區別:

text 用於索引全文值的字段，例如電子郵件正文或產品說明。這些字段是analyzed，它們通過分詞器傳遞 ，以在被索引之前將字符串轉換為單個術語的列表。分析過程允許Elasticsearch搜索單個單詞中 每個完整的文本字段。文本字段不用於排序，很少用於聚合（盡管 重要的文本聚合 是一個值得注意的例外）。

keyword 用於索引結構化內容的字段，例如電子郵件地址，主機名，狀態代碼，郵政編碼或標簽。它們通常用於過濾，排序，和聚合。keyword字段只能按其確切值進行搜索。如果您需要索引電子郵件正文或產品說明等全文內容，則可能應該使用text字段。

有時候一個字段同時擁有全文類型（text）和關鍵字類型（keyword）是有用的：一個用於全文搜索，另一個用於聚合和排序。這可以通過多字段類型來實現。

復雜數據類型

Geo數據類型

專用數據類型

多字段

有時候單純的一個字段類型滿足不了我們復雜的需求，為了不同的目的，以不同的方式索引同一個字段通常很有用。多字段也是ES的一種數據類型，只不過結合了更多的功能。

例如，對於字符串字段，我們既可以將它映射為text類型用於全文搜索，亦可以將它映射為keyword類型用於排序或聚合，或者，還可以使用標准分詞器、英語分詞器和其他語言分詞器索引文本字段。

大多數數據類型都通過fields參數支持多字段。例如對於城市名稱的多字段映射，可以這樣寫：

PUT my_index
{
  "mappings": {
    "_doc": {
      "properties": {
        "cityName": {
          "type": "text",
          "fields": {
            "raw": { 
              "type":  "keyword"
            }
          }
        }
      }
    }
  }
}

Elasticsearch的字段類型講解完了，我們接下來正式介紹 ES的映射，ES是如何將索引文檔和數據類型進行關聯的，創建索引前是否必須制定索引文檔的數據類型呢？

映射

映射是定義一個文檔及其包含的字段如何存儲和索引的過程。例如，使用映射來定義：

  • 應將哪些字符串字段視為全文字段。
  • 哪些字段包含數字，日期或地理位置。
  • 是否應將文檔中所有字段的值索引到catch-all _all字段中。
  • 日期值的格式。
  • 自定義規則以控制動態添加字段的映射。

其實在 ElasticSearch中可以不需要事先定義映射（Mapping），文檔寫入ElasticSearch時，會根據文檔字段自動識別類型，但是通過這種自動識別的字段不是很精確，對於一些復雜的需要分詞的就不適合了。

根據是否自動識別映射類型，我們可以將映射分為動態映射和靜態映射。

動態映射，即不事先指定映射類型(Mapping)，文檔寫入ElasticSearch時，ES會根據文檔字段自動識別類型，這種機制稱之為動態映射。

靜態映射，即人為事先定義好映射，包含文檔的各個字段及其類型等，這種方式稱之為靜態映射，亦可稱為顯式映射。

動態映射

Elasticsearch最重要的功能之一是它試圖擺脫你的方式，讓你盡快開始探索你的數據。Elasticsearch試圖讓你成功安裝環境之后就可以直接使用。要索引文檔，您不必首先創建索引、定義映射類型和定義字段，其實您只需索引一個文檔數據，然后索引、類型和字段將自動生效。

索引一個圖書的文檔：

PUT /library/book/1
{
  "bookId":1,
  "bookName":"Java核心技術 卷I",
  "publishDate":"2014-03-12"
}

返回結果如下，表示成功

{
  "_index": "library",
  "_type": "book",
  "_id": "1",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 1,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 1
}

我們看下mapping映射信息

GET library/_mapping

得到如下映射信息，重點關注mapping節點的內容

{
  "library": {
    "mappings": {
      "book": {
        "properties": {
          "bookId": {
            "type": "long"
          },
          "bookName": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          },
          "publishDate": {
            "type": "date"
          }
        }
      }
    }
  }
}

可以看到，我們並沒有創建索引映射，Elasticsearch自動根據文檔數據為我們映射了字段類型，bookId的映射類型為long，bookName的映射類型為多字段的即為text，同時也為keyword，publishDate的映射類型為date。可以看到ES的動態映射功能還是蠻強大的。

默認情況下，當在文檔中找到以前未見過的字段時，Elasticsearch會自動將這個新字段添加到類型映射中。我們可以在文檔和object級別禁用這項功能，具體操作方式就是通過將dynamic參數設置為false或strict，設為false是忽略新字段，而設為strict是如果遇到未知字段，就拋出異常。

假設啟用了動態字段映射功能，則使用一些簡單的規則來確定字段應具有的數據類型：

JSON datatype Elasticsearch datatype
null 沒有字段添加
true or false boolean
integer long
object object
array 依賴於數組中首個非空值
string 可以是日期字段、double或long字段，也可以是帶有關鍵字子字段的文本字段。

上面這些是可以動態檢測到的字段數據類型，而其他的以外的字段必須要顯式映射數據類型了。

對於string字符串字段，動態映射的結果會有多種，可能映射為日期類型，也可能映射為double或long類型，也可能映射為帶有關鍵字的text類型，具體結果要看配置的檢測類型，是日期檢測還是數字檢測。

日期檢測
如果date_detection啟用（默認），則檢查新字符串字段以查看其內容是否與dynamic_date_formats指定的任何日期模式匹配 。如果找到匹配項，那么則添加為具有對應格式的date新字段。

默認值為

dynamic_date_formats：[ "strict_date_optional_time"，"yyyy/MM/dd HH:mm:ss Z||yyyy/MM/dd Z"]

例如：

PUT my_index/_doc/1
{
  "create_date": "2015/09/02"
}

通過GET my_index/_mapping得到的結果為：

{
  "my_index": {
    "mappings": {
      "_doc": {
        "properties": {
          "city": {
            "type": "text",
            "fields": {
              "raw": {
                "type": "keyword"
              }
            }
          },
          "create_date": {
            "type": "date",
            "format": "yyyy/MM/dd HH:mm:ss||yyyy/MM/dd||epoch_millis"
          }
        }
      }
    }
  }
}

動態日期檢測可以通過設置date_detection為false來禁用:

PUT my_index
{
  "mappings": {
    "_doc": {
      "date_detection": false
    }
  }
}

PUT my_index/_doc/1 
{
  "create": "2015/09/02"
}

禁用之后，重新獲取映射類型，得到如下結果：

{
  "my_index": {
    "mappings": {
      "_doc": {
        "date_detection": false,
        "properties": {
          "create": {
            "type": "text",
            "fields": {
              "keyword": {
                "type": "keyword",
                "ignore_above": 256
              }
            }
          }
        }
      }
    }
  }
}

這時，create_date字段已被添加為文本字段。我們也可以自定義檢測到的日期格式，通過dynamic_date_formats可以自定義以支持您自己的日期格式:

PUT my_index 
{ 
  "mappings"：{ 
    "_ doc"：{ 
      "dynamic_date_formats"：["MM / dd / yyyy"] 
    } 
  } 
}

數字檢測
雖然JSON支持本機浮點和整數數據類型，但某些應用程序或語言有時可能將數字呈現為字符串。通常，正確的解決方案是顯式映射這些字段，但可以啟用數字檢測（默認情況下禁用）以自動執行此操作：

PUT my_index 
{ 
  "mappings"：{ 
    "_ doc"：{ 
      "numeric_detection"：true 
    } 
  } 
} 

PUT my_index / _doc / 1 
{ 
  "my_float"："1.0"，
  "my_integer"："1" 
}

其中my_float字段將添加為float字段，my_integer字段將添加為long字段。

除了上面列出的選項外，還可以進一步自定義動態字段映射規則dynamic_templates，動態模板允許您定義可應用於動態添加字段的自定義映射，具體取決於：

  • Elasticsearch檢測到 的數據類型match_mapping_type。
  • 字段的名稱，帶match和unmatch或match_pattern。
  • 字段的完整虛線路徑，帶path_match和path_unmatch。

更多具體內容可參考官方文檔，Dynamic templates一章這里就不多敘述了。

靜態映射(顯式映射)

動態映射的自動類型推測功能並不是100%正確的，這就需要靜態映射機制。靜態映射與關系數據庫中創建表語句類型，需要事先指定字段類型。相對於動態映射，靜態映射可以添加更加詳細字段類型、更精准的配置信息等。

既然可以自定義映射字段類型，那么那些復雜的字段類型和分詞器我們都可以根據自己需求添加了，以提供了字段映射使用的各種映射參數的詳細說明，這些映射參數對於某些或所有字段數據類型是通用的，內容太多，這里感興趣的讀者可以點擊具體鏈接閱讀。

映射參數 說明
analyzer 分析器
normalizer 在 Elasticsearch 中處理字符串類型的數據時，如果我們想把整個字符串作為一個完整的 term 存儲，我們通常會將其類型 type 設定為 keyword。但有時這種設定又會給我們帶來麻煩，比如同一個數據再寫入時由於沒有做好清洗，導致大小寫不一致，比如 apple、Apple兩個實際都是 apple，但當我們去搜索 apple時卻無法返回 Apple的文檔。要解決這個問題，就需要 Normalizer出場了。
boost 單個字段可以自動提升以計數更多的相關性得分
coerce 強制嘗試清除臟值以適合字段的數據類型。數據並不總是干凈的，根據它的生成方式，數字可能會在JSON正文中呈現為真正的JSON數字，例如5，但它也可能呈現為字符串，例如"5"。或者，應該是整數的數字可以替代地呈現為浮點，例如5.0，或甚至 "5.0"。
copy_to copy_to參數允許您創建自定義 _all字段，可以將多個字段的值復制到組字段中，然后可以將其作為單個字段進行查詢。
doc_values
dynamic 設置動態映射
enabled enabled設置只能應用於映射類型和 object字段，導致Elasticsearch完全跳過對字段內容的解析
fielddata
eager_global_ordinals
format 格式化日期
ignore_above
ignore_malformed
index_options
index
fields
norms
null_value 當字段設置為null，（或空數組或null值數組）時，它被視為該字段沒有值。不能被索引或搜索
position_increment_gap
properties
search_analyzer
similarity
store
term_vector


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 Elasticsearch 技術分析（三）： 索引別名Aliases問題 Elasticsearch 技術分析（八）：剖析 Elasticsearch 的索引原理 更改elasticsearch中索引的mapping elasticsearch移除映射類型(mapping type) elasticsearch 的 reindex 將一個索引的數據復制到另一個已存在的索引，但是並不會復制原索引的mapping（映射）、shard（分片）、replicas（副本）等配置信息。 elasticsearch 索引和mapping導入導出命令 elasticsearch更改mapping(不停服務重建索引) elasticsearch 口水篇（6） Mapping 定義索引 Elasticsearch 技術分析（九）：全文搜索引擎Elasticsearch，這篇文章給講透了！ ES 12 - 如何配置使用Elasticsearch的動態映射 (dynamic mapping)
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM