而 elasticsearch 可以很好的支持各種語言的全文檢索,但我們暫時又不想切換到 elasticsearch 作為后端數據庫。
當然,可以在 web 應用中存儲數據的時候,再主動寫一份到 elasticsearch,但這無疑污染了原有的業務邏輯。
在 IT 行業,只要有需求的地方,必然早已有了一堆好用或者不好用的開源輪子。
幸運地是,現在已經有了一些轉換方案,可以將 mongodb 中的數據自動導入到 elasticsearch 中,讓 elasticsearch 提供中文智能檢索。
轉換方案主要包括 river 和 mongo-connector。前者已經不再維護了,后者則得到了 mongo 官方的支持,因此選用它作為轉換方案。
mongo-connector
基於 python 編寫,安裝和使用都十分簡單。
$ pip install mongo-connector
$ mongo-connector --auto-commit-interval=0 -m mongo:27017 -t elasticsearch:9200 -d elastic_doc_manager
auto-commit-interval 是提交延遲,0 表示即時寫入,-m 和 -t 分別指定 mongo 和 elasticsearch 地址即可。
需要注意的是,mongo 需要配置為 cluster 模式。
配置環境
用戶可以自行配置 mongo 和 elasticsearch 環境,並通過 mongo-connector 連接起來。
這里已經提供好了 docker-compose 模板,可以使用 docker 容器一鍵創建包括 mongo、mongo-connector、elasticserach 的環境。需要提前安裝 Docker 和 docker-compose 環境。
$ git clone https://github.com/yeasy/docker-compose-files.git
$ cd mongo-elasticsearch; docker-compose up
通過 docker inspect container_id |grep Addr
可以查看容器的 IP 地址。
測試
在 mongo 容器中寫入數據
> use test
> db.col.insert({name:"王曉明", birth:"1980-01-01"}) > db.col.insert({name:"王東東", birth:"1981-01-01"}) > db.col.insert({name:"張麗敏", birth:"1982-01-01"})
通過 elasticsearch 容器進行檢索
curl -XGET -H 'charset=UTF-8' elasticsearch:9200/test/col/_search -d '{ "query" : { "match" : { "name" : "王" } } }' {"took":74,"timed_out":false,"_shards":{"total":5,"successful":5,"failed":0},"hits":{"total":2,"max_score":0.5,"hits":[{"_index":"test","_type":"col","_id":"55d6d4640e247e587cfc73ca","_score":0.5,"_source":{"name": "\u738b\u4e1c\u4e1c", "birth": "1981-01-01"}},{"_index":"test","_type":"col","_id":"55d6d45d0e247e587cfc73c9","_score":0.15342641,"_source":{"name": "\u738b\u6653\u660e", "birth": "1980-01-01"}}]}}