es簡單打造站內搜索

最近挺忙的，在外出差，又同時干兩個項目。白天一個晚上一個，特別是白天做的項目，馬上就要上線了，在客戶這里 三天兩頭開會，問題很多真的很想好好靜下來懟代碼，半夜做夢都能fix bugs~ 和客戶交流真的是門技術，一不小心你就會掉坑里，慢慢來吧~ 

站內搜素其實也是老生常談，估計很多程序員門都做過或者接觸過，記得大三那會 那是比較常見的解決方案就是lucene.net 和盤古分詞，后來又用jieba分詞，

首先就是和數據庫同步，我們把數據扔給lucene.net  ，lucene.net 拿到數據 進行分詞，然后保存在索引庫中，當用戶搜索的時候，就從索引庫中進行搜索。lucene.net 對中文分詞不是太優化，所以常用的就是盤古分詞  庖丁解牛  jieba分詞，這種方式適合個人站點 數據量不是太大的情況下，目前很少有采用這種解決方案的，看官們感興趣的可以百度了解一波，實現起來也不難。 

前端時間elastc上市，市值50億美金，剛開始我還嚇一大跳~ 接觸es是去年， 項目做日志統計使用exceptionless，所以也就初步了解了elasticsearch  也逐步了解logstash kibana   速度是真的快，吊打sqlserver啊! 哈哈 畢竟不是一系列的東西=

今天簡單實現的站內搜索采用的就是 elasticsearch，數據源就是這段時間每天爬取博客園獲取到的將近6000篇文章，放到sqlserver了，后續會共享

起初 想要搞sqlserver 和 es的數據同步，我寫的這個服務每小時就會爬取博客園一次 獲取最新50條數據，重復的就不算了。數據同步可以采用logstash，首先就是全量同步，再次就是增量同步，可能是因為版本原因吧，都是采用的最新版本，采用logstash進行數據同步 老是失敗，有待探索，索性就用ef 先做個全量同步，再靠這個定時服務做以后的增量，數據本身就是經過去重處理的，況且也不存在修改 刪除的情況

 

首先就是配置java環境變量  然后部署 elk 官網地址是 : https://www.elastic.co/cn/

下載好三件套之后 我們可以把es部署成windows服務  在bin目錄下 運行elasticsearch-service.bat

服務開啟后，es默認http地址是 http://localhost:9200/

 

es啟動成功后  啟動kibana 服務  同樣也是在bin目錄下執行kibana.bat，kibana對es來說 真的是一個神器，

可以在上面操作dsl  做數據分析等待  默認地址是http://localhost:5601

 

然后就是安裝ik了，ik是中文分詞插件，github地址是：https://github.com/medcl/elasticsearch-analysis-ik

從releases下載 我下載的最新版 6.4.2 下載后復制到es的plugins 目錄下，解壓就行了。然后去kibana檢查是否安裝成功，具體操作見github 

ik分詞策略有ik_max_word 和 ik_smart   ik_max_word會將文本做最細粒度的拆分，例如「中華人民共和國國歌」會被拆分為「中華人民共和國、中華人民、中華、華人、人民共和國、人民、人、民、共和國、共和、和、國國、國歌」，會窮盡各種可能的組合；

ik_smart會將文本做最粗粒度的拆分，例如「中華人民共和國國歌」會被拆分為「中華人民共和國、國歌」；

 

ik安裝后之后 就是在kibana創建index  和mapping了

es和我們常用的sqlserver等關系型數據庫對比如下：

DB:DataBases=>Tables=>Rows=>Columns

ES:Indices=>Types=>Documents=>Fields

創建Index

在kibana Dev Tools 操作dsl    

 

PUT /cnblogdb  (注意 必須為小寫)

POST /cnblogdb/articles/_mapping
{
        "properties": {
            "content": {
                "type": "text",
                "analyzer": "ik_smart",
                "search_analyzer": "ik_smart"
            },
            "title":{
              "type":"text",
                "analyzer": "ik_smart",
                "search_analyzer": "ik_smart"
            },
            "summary":{
            "type":"text",
              "analyzer": "ik_smart",
                "search_analyzer": "ik_smart"
              
              },
              "author":{
                "type":"text",
                "analyzer": "ik_smart",
                "search_analyzer": "ik_smart",
                "fielddata": true,
                "fields": {
                  "raw":{
                    "type":"keyword"
                  }
                }
              }
        }
}

 

可以看到 在_mapping 的時候 author字段 加了fielddata 屬性  和fields   

關於fielddata 詳細介紹可移步 https://www.elastic.co/guide/cn/elasticsearch/guide/current/preload-fielddata.html

在這里設置fielddata為true是因為 后續的根據author字段進行聚合檢索 es在默認情況下對text類型的字段是不可聚合的

 

設置 fields :{raw:{type:keyword }} 是因為我們在對author字段進行聚合的時候，因為上面的ik分詞策略，所以我們聚合到的結果是分詞后的結果，

比如author為 張教主  聚合結果就成了張，教主 這樣的結果，設置他就類似有了個別名。

 

 

c#中操作es 使用Nest 

github地址是 https://github.com/elastic/elasticsearch-net

 數據源地址是:  http://zycoder.oss-cn-qingdao.aliyuncs.com/ali/blog.sql

這個數據是sqlserver的腳本數據 整到es也是很簡單的

創建esclient   es多見於分布式  多節點 我們搞着學習就不必要了

 

var node = new Uri("http://localshot:9200");
var settings = new ConnectionSettings(node);
var client = new ElasticClient(settings);

看項目 界面截圖 就是一個簡單的多字段匹配檢索 和 聚合 

創建Model 此model是與type相對應的

[ElasticsearchType(Name ="articles")]  
    public partial class Articles
    {
        public int Id { get; set; }

        [Text(Analyzer = "ik_smart")]  
        public string Title { get; set; }

        public string ItemUrl { get; set; }
        [Text(Analyzer = "ik_smart")]
        public string Sumary { get; set; }
        [Text(Analyzer = "ik_smart", Fielddata = true)]
        public string Author { get; set; }

        public string PubDate { get; set; }
        [Text(Analyzer = "ik_smart")]
        public string Content { get; set; }
    }

首先就是首頁的高亮檢索了  代碼如下：

       public ActionResult GetArticles()
        {
            Stopwatch sw = new Stopwatch();
            sw.Start();
            string keyWords = Request.Params["keyWords"];
            string author = Request.Params["author"];
            int.TryParse(Request.Params["page"], out int page);
            page = page <= 1 ? 1 : page;
            int start = (page - 1) * 10;

            var query = new SearchDescriptor<Articles>();
            if (!string.IsNullOrWhiteSpace(author))
            {
                query= query.Query(q => q.Match(m => m.Field("author").Query(author)));
            }
            else
            {
                query = query.Query(q => q.MultiMatch(m => m.Fields(
                        fd => fd.Fields("title", "sumary", "author")
                        ).Query(keyWords)
                        ));
            }
            query = query.Highlight(h => h
               .PreTags(@"<span style='color:red'>")
                  .PostTags("</span>")
                  .Fields(
                      f => f.Field(obj => obj.Title),
                      f => f.Field(obj => obj.Sumary),
                      f => f.Field(obj => obj.Author)
                   )
            ).Sort(c => c.Field("_score", SortOrder.Descending).Field("id", SortOrder.Descending))
                         .From(start).Size(10);
            

            var response = _client.Search<Articles>(query);

            var list = response.Hits.Select(c => new Articles
            {
                Id = c.Source.Id,
                Title = c.Highlights == null ? c.Source.Title : c.Highlights.Keys.Contains("title") ? string.Join("",
          c.Highlights["title"].Highlights) : c.Source.Title,
                Author = c.Highlights == null ? c.Source.Author : c.Highlights.Keys.Contains("author") ? string.Join("",
          c.Highlights["author"].Highlights) : c.Source.Author,
                Sumary = c.Highlights == null ? c.Source.Sumary : c.Highlights.Keys.Contains("sumary") ? string.Join("",
          c.Highlights["sumary"].Highlights) : c.Source.Sumary,
                PubDate = c.Source.PubDate
            });
            sw.Stop();
            ViewBag.Times = sw.ElapsedMilliseconds;
            ViewBag.PageIndx = page;
            ViewData["list"] = list.ToList();
            return View();
        }

在Sort(c => c.Field("_score", SortOrder.Descending).Field("id", SortOrder.Descending)) 這里我們可以多留意一下，在匹配搜索的時候，
默認排序是根據匹配得分進行排序的，所以我們想要獲取最新最匹配的數據，首先就是根據匹配得分進行排序 在根據時間

面板結果如下：

 

Nest進行搜索 語法不做過多討論 谷歌 百度

然后就是根據author進行聚合 類似數據庫語法就是 select author,count(author) from article group by author 

dsl 結果如下所示：

size就是最靠前的10位了  小魚兒同志貢獻最多  我所提供的數據源里有56篇文章~

代碼如下：

     public ActionResult HomeRight()
        {
            var response= _client.Search<Articles>(s => s.Aggregations(aggs => aggs.Terms(
                  "aggs", t => t.Field("author.raw").Size(20).CollectMode(TermsAggregationCollectMode.BreadthFirst)
                  )).Size(0));
            var buckets= response.Aggregations.Terms("aggs").Buckets;
            var authorGroups= buckets.Select(q => new AuthorGroup
            {
                AuthorName = q.Key,
                Count = (int)q.DocCount
            }).ToList();
            ViewData["list"] = authorGroups;
            return View();
        }

在c#中 我們就是把dsl 改為lambda去查詢 

在聚合的時候 最后 Size(0); 不是取0條數據 而是在聚合搜索的時候 默認也會獲取documents 默認為10條 但是我們只是聚合並不需要搜索文檔 所以就設置為0 

也減小了內存開銷，增加查詢速度。

更多資料就是看官方文檔了，提供的很全面。

Share End！