haystack 的 安裝使用


1.什么是Haystack

  Haystack是django的開源全文搜索框架(全文檢索不同於特定字段的模糊查詢,使用全文檢索的效率更高 ),該框架支持**Solr**,**Elasticsearch**,**Whoosh**, ***Xapian*搜索引擎它是一個可插拔的后端(很像Django的數據庫層),所以幾乎你所有寫的代碼都可以在不同搜索引擎之間便捷切換。
  
  全文檢索不同於特定字段的模糊查詢,使用全文檢索的效率更高,並且能夠對於中文進行分詞處理。
  haystack:django的一個包,可以方便地對model里面的內容進行索引、搜索,設計為支持whoosh,solr,Xapian,Elasticsearc四種全文檢索引擎后端,屬於一種全文檢索的框架。
  whoosh:純Python編寫的全文搜索引擎,雖然性能比不上sphinx、xapian、Elasticsearc等,但是無二進制包,程序不會莫名其妙的崩潰,對於小型的站點,whoosh已經足夠使用。
  jieba:一款免費的中文分詞包,如果覺得不好用可以使用一些收費產品。

 

2.安裝

pip install django-haystack      # 全文檢索框架
pip install whoosh               # 全文檢索引擎
pip install jieba                # 分詞工具包

 

3.配置
  ###添加Haystack到`INSTALLED_APPS

跟大多數Django的應用一樣,你應該在你的設置文件(通常是`settings.py`)添加Haystack到`INSTALLED_APPS`. 示例:


INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.sites',

    # 添加
    'haystack',

    # 你的app
    'blog',
]

 

4.修改settings.py

在你的`settings.py`中,你需要添加一個設置來指示站點配置文件正在使用的后端,以及其它的后端設置。  
`HAYSTACK——CONNECTIONS`是必需的設置,並且應該至少是以下的一種:
 
        

 

Solr示例:

HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.solr_backend.SolrEngine',
        'URL': 'http://127.0.0.1:8983/solr'
        # ...or for multicore...
        # 'URL': 'http://127.0.0.1:8983/solr/mysite',
    },
}

Elasticsearch示例

HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
        'URL': 'http://127.0.0.1:9200/',
        'INDEX_NAME': 'haystack',
    },
}

Whoosh示例

#需要設置PATH到你的Whoosh索引的文件系統位置
import os
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
        'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
    },
}

# 自動更新索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

Xapian示例

#首先安裝Xapian后端(http://github.com/notanumber/xapian-haystack/tree/master)
#需要設置PATH到你的Xapian索引的文件系統位置。
import os
HAYSTACK_CONNECTIONS = {
    'default': {
        'ENGINE': 'xapian_backend.XapianEngine',
        'PATH': os.path.join(os.path.dirname(__file__), 'xapian_index'),
    },
}

 

5.處理數據

創建索引 :
  如果你想針對某個app例如blog做全文檢索,則必須在blog的目錄下面建立`search_indexes.py`文件,必須是這個文件名,文件名不能修改 

from haystack import indexes
from app01.models import Article
# 類名為表模型加上Index,固定寫法
class ArticleIndex(indexes.SearchIndex, indexes.Indexable):
    #類名必須為需要檢索的Model_name+Index,這里需要檢索Article,所以創建ArticleIndex
    text = indexes.CharField(document=True, use_template=True)#創建一個text字段,同樣需要命名為該字段  
    #其它字段
    desc = indexes.CharField(model_attr='desc')
    content = indexes.CharField(model_attr='content')

    def get_model(self):#重寫get_model方法,必須要有!
        return Article

    def index_queryset(self, using=None):  # 同樣需要重寫
        return self.get_model().objects.all()


  為什么要創建索引?索引就像是一本書的目錄,可以為讀者提供更快速的導航與查找。在這里也是同樣的道理,當數據量非常大的時候,若要從這些數據里找出所有的滿足搜索條件的幾乎是不太可能的,將會給服務器帶來極大的負擔。所以我們需要為指定的數據添加一個索引(目錄),在這里是為Note創建一個索引,索引的實現細節是我們不需要關心的,至於為它的哪些字段創建索引,怎么指定 ,下面開始講解:
每個索引里面必須有且只能有一個字段為 document=True,這代表haystack 和搜索引擎將使用此字段的內容作為索引進行檢索(primary field)。其他的字段只是附屬的屬性,方便調用,並不作為檢索數據.

注意:如果使用一個字段設置了document=True,則一般約定此字段名為text,這是在ArticleIndex類里面一貫的命名,以防止后台混亂,當然名字你也可以隨便改,不過不建議改。

  另外,我們在`text`字段上提供了`use_template=True`。這允許我們使用一個數據模板(而不是容易出錯的級聯)來構建文檔搜索引擎索引。你應該在模板目錄下建立新的模板`search/indexes/blog/article_text.txt`,並將下面內容放在里面。 


  #在目錄“templates/search/indexes/應用名稱/”下創建“模型類名稱_text.txt”文件
{{ object.title }}
{{ object.desc }}
{{ object.content }}

這個數據模板的作用是對`Note.title`, `Note.user.get_full_name`,`Note.body`這三個字段建立索引,當檢索的時候會對這三個字段做全文檢索匹配 

 

6.設置視圖:
添加`SearchView`到你的`URLconf` 

在你的`URLconf`中添加下面一行:

url(r'^search/', include('haystack.urls')),

這會拉取Haystack的默認URLconf,它由單獨指向`SearchView`實例的URLconf組成。你可以通過傳遞幾個關鍵參數或者完全重新它來改變這個類的行為。

 

7.搜索模板

你的搜索模板(默認在`search/search.html`)將可能非常簡單。下面的足夠讓你的搜索運行(你的`template/block`應該會不同).


  <!DOCTYPE html>
<html>
<head>
    <title></title>
    <style>
        span.highlighted {
            color: red;
        }
    </style>
</head>
<body>
{% load highlight %}
{% if query %}
    <h3>搜索結果如下:</h3>
    {% for result in page.object_list %}
{#        <a href="/{{ result.object.id }}/">{{ result.object.title }}</a><br/>#}
        <a href="/{{ result.object.id }}/">{%   highlight result.object.title with query max_length 2%}</a><br/>
        <p>{{ result.object.content|safe }}</p>
        <p>{% highlight result.object.content with query %}</p>
    {% empty %}
        <p>啥也沒找到</p>
    {% endfor %}

    {% if page.has_previous or page.has_next %}
        <div>
            {% if page.has_previous %}
                <a href="?q={{ query }}&amp;page={{ page.previous_page_number }}">{% endif %}&laquo; 上一頁
            {% if page.has_previous %}</a>{% endif %}
            |
            {% if page.has_next %}<a href="?q={{ query }}&amp;page={{ page.next_page_number }}">{% endif %}下一頁 &raquo;
            {% if page.has_next %}</a>{% endif %}
        </div>
    {% endif %}
{% endif %}
</body>
</html>


需要注意的是`page.object_list`實際上是`SearchResult`對象的列表。這些對象返回索引的所有數據。它們可以通過`{{result.object}}`來訪問。所以`{{ result.object.title}}`實際使用的是數據庫中Article對象來訪問`title`字段的。 

 

注意:可能會報錯:

Error fetching command 'build_solr_schema': The 'solr' backend requires the installation of 'pysolr'. Please refer to the documentation. Command 'build_solr_schema' skipped

解決:pip insatll pysolr

 

 

8.重建索引

現在你已經配置好了所有的事情,是時候把數據庫中的數據放入索引了。Haystack附帶的一個命令行管理工具使它變得很容易。

簡單的運行`./manage.py rebuild_index`。你會得到有多少模型進行了處理並放進索引的統計。

 

9.使用jieba分詞

#建立ChineseAnalyzer.py文件
#保存在haystack的安裝文件夾下,路徑如“D:\python3\Lib\site-packages\haystack\backends”  這一步是改變源代碼,使其能夠實現對中文分詞。

import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=False, removestops=True,
                 start_pos=0, start_char=0, mode='', **kwargs):
        t = Token(positions, chars, removestops=removestops, mode=mode,
                  **kwargs)
        seglist = jieba.cut(value, cut_all=True)
        for w in seglist:
            t.original = t.text = w
            t.boost = 1.0
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t


def ChineseAnalyzer():
    return ChineseTokenizer()
#復制whoosh_backend.py文件,改名為whoosh_cn_backend.py
#注意:復制出來的文件名,末尾會有一個空格,記得要刪除這個空格
from .ChineseAnalyzer import ChineseAnalyzer 
查找
analyzer=StemmingAnalyzer()
改為
analyzer=ChineseAnalyzer()

 

10..在模版中創建搜索欄

<form method='get' action="/search/" target="_blank">
    <input type="text" name="q">
    <input type="submit" value="查詢">
</form>

 

 

其他配置:

增加更多變量:
  from haystack.views import SearchView  
from .models import *  
      
class MySeachView(SearchView):  
     def extra_context(self):       #重載extra_context來添加額外的context內容  
         context = super(MySeachView,self).extra_context()  
         side_list = Topic.objects.filter(kind='major').order_by('add_date')[:8]  
         context['side_list'] = side_list  
         return context  

        
#路由修改
url(r'^search/', search_views.MySeachView(), name='haystack_search'),  

 

高亮顯示:

{% highlight result.summary with query %}  # 這里可以限制最終{{ result.summary }}被高亮處理后的長度  {% highlight result.summary with query max_length 40 %}  ​#html中    <style>        span.highlighted {            color: red;        }    </style>

 

 

上述是針對於前后端不分離的,對於分離,參考下面:

https://www.cnblogs.com/guanchao/p/11305314.html

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM