1.什么是Haystack Haystack是django的開源全文搜索框架(全文檢索不同於特定字段的模糊查詢,使用全文檢索的效率更高 ),該框架支持**Solr**,**Elasticsearch**,**Whoosh**, ***Xapian*搜索引擎它是一個可插拔的后端(很像Django的數據庫層),所以幾乎你所有寫的代碼都可以在不同搜索引擎之間便捷切換。 全文檢索不同於特定字段的模糊查詢,使用全文檢索的效率更高,並且能夠對於中文進行分詞處理。 haystack:django的一個包,可以方便地對model里面的內容進行索引、搜索,設計為支持whoosh,solr,Xapian,Elasticsearc四種全文檢索引擎后端,屬於一種全文檢索的框架。 whoosh:純Python編寫的全文搜索引擎,雖然性能比不上sphinx、xapian、Elasticsearc等,但是無二進制包,程序不會莫名其妙的崩潰,對於小型的站點,whoosh已經足夠使用。 jieba:一款免費的中文分詞包,如果覺得不好用可以使用一些收費產品。
2.安裝 pip install django-haystack # 全文檢索框架 pip install whoosh # 全文檢索引擎 pip install jieba # 分詞工具包
3.配置 ###添加Haystack到`INSTALLED_APPS 跟大多數Django的應用一樣,你應該在你的設置文件(通常是`settings.py`)添加Haystack到`INSTALLED_APPS`. 示例: INSTALLED_APPS = [ 'django.contrib.admin', 'django.contrib.auth', 'django.contrib.contenttypes', 'django.contrib.sessions', 'django.contrib.sites', # 添加 'haystack', # 你的app 'blog', ]
4.修改settings.py
在你的`settings.py`中,你需要添加一個設置來指示站點配置文件正在使用的后端,以及其它的后端設置。
`HAYSTACK——CONNECTIONS`是必需的設置,並且應該至少是以下的一種:
HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.solr_backend.SolrEngine', 'URL': 'http://127.0.0.1:8983/solr' # ...or for multicore... # 'URL': 'http://127.0.0.1:8983/solr/mysite', }, }
HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine', 'URL': 'http://127.0.0.1:9200/', 'INDEX_NAME': 'haystack', }, }
#需要設置PATH到你的Whoosh索引的文件系統位置 import os HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine', 'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'), }, } # 自動更新索引 HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
#首先安裝Xapian后端(http://github.com/notanumber/xapian-haystack/tree/master) #需要設置PATH到你的Xapian索引的文件系統位置。 import os HAYSTACK_CONNECTIONS = { 'default': { 'ENGINE': 'xapian_backend.XapianEngine', 'PATH': os.path.join(os.path.dirname(__file__), 'xapian_index'), }, }
5.處理數據 創建索引 : 如果你想針對某個app例如blog做全文檢索,則必須在blog的目錄下面建立`search_indexes.py`文件,必須是這個文件名,文件名不能修改 from haystack import indexes from app01.models import Article # 類名為表模型加上Index,固定寫法 class ArticleIndex(indexes.SearchIndex, indexes.Indexable): #類名必須為需要檢索的Model_name+Index,這里需要檢索Article,所以創建ArticleIndex text = indexes.CharField(document=True, use_template=True)#創建一個text字段,同樣需要命名為該字段 #其它字段 desc = indexes.CharField(model_attr='desc') content = indexes.CharField(model_attr='content') def get_model(self):#重寫get_model方法,必須要有! return Article def index_queryset(self, using=None): # 同樣需要重寫 return self.get_model().objects.all() 為什么要創建索引?索引就像是一本書的目錄,可以為讀者提供更快速的導航與查找。在這里也是同樣的道理,當數據量非常大的時候,若要從這些數據里找出所有的滿足搜索條件的幾乎是不太可能的,將會給服務器帶來極大的負擔。所以我們需要為指定的數據添加一個索引(目錄),在這里是為Note創建一個索引,索引的實現細節是我們不需要關心的,至於為它的哪些字段創建索引,怎么指定 ,下面開始講解: 每個索引里面必須有且只能有一個字段為 document=True,這代表haystack 和搜索引擎將使用此字段的內容作為索引進行檢索(primary field)。其他的字段只是附屬的屬性,方便調用,並不作為檢索數據. 注意:如果使用一個字段設置了document=True,則一般約定此字段名為text,這是在ArticleIndex類里面一貫的命名,以防止后台混亂,當然名字你也可以隨便改,不過不建議改。 另外,我們在`text`字段上提供了`use_template=True`。這允許我們使用一個數據模板(而不是容易出錯的級聯)來構建文檔搜索引擎索引。你應該在模板目錄下建立新的模板`search/indexes/blog/article_text.txt`,並將下面內容放在里面。 #在目錄“templates/search/indexes/應用名稱/”下創建“模型類名稱_text.txt”文件 {{ object.title }} {{ object.desc }} {{ object.content }} 這個數據模板的作用是對`Note.title`, `Note.user.get_full_name`,`Note.body`這三個字段建立索引,當檢索的時候會對這三個字段做全文檢索匹配
6.設置視圖: 添加`SearchView`到你的`URLconf` 在你的`URLconf`中添加下面一行: url(r'^search/', include('haystack.urls')), 這會拉取Haystack的默認URLconf,它由單獨指向`SearchView`實例的URLconf組成。你可以通過傳遞幾個關鍵參數或者完全重新它來改變這個類的行為。
7.搜索模板 你的搜索模板(默認在`search/search.html`)將可能非常簡單。下面的足夠讓你的搜索運行(你的`template/block`應該會不同). <!DOCTYPE html> <html> <head> <title></title> <style> span.highlighted { color: red; } </style> </head> <body> {% load highlight %} {% if query %} <h3>搜索結果如下:</h3> {% for result in page.object_list %} {# <a href="/{{ result.object.id }}/">{{ result.object.title }}</a><br/>#} <a href="/{{ result.object.id }}/">{% highlight result.object.title with query max_length 2%}</a><br/> <p>{{ result.object.content|safe }}</p> <p>{% highlight result.object.content with query %}</p> {% empty %} <p>啥也沒找到</p> {% endfor %} {% if page.has_previous or page.has_next %} <div> {% if page.has_previous %} <a href="?q={{ query }}&page={{ page.previous_page_number }}">{% endif %}« 上一頁 {% if page.has_previous %}</a>{% endif %} | {% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}">{% endif %}下一頁 » {% if page.has_next %}</a>{% endif %} </div> {% endif %} {% endif %} </body> </html> 需要注意的是`page.object_list`實際上是`SearchResult`對象的列表。這些對象返回索引的所有數據。它們可以通過`{{result.object}}`來訪問。所以`{{ result.object.title}}`實際使用的是數據庫中Article對象來訪問`title`字段的。
注意:可能會報錯:
8.重建索引
現在你已經配置好了所有的事情,是時候把數據庫中的數據放入索引了。Haystack附帶的一個命令行管理工具使它變得很容易。
簡單的運行`./manage.py rebuild_index`。你會得到有多少模型進行了處理並放進索引的統計。
9.使用jieba分詞 #建立ChineseAnalyzer.py文件 #保存在haystack的安裝文件夾下,路徑如“D:\python3\Lib\site-packages\haystack\backends” 這一步是改變源代碼,使其能夠實現對中文分詞。 import jieba from whoosh.analysis import Tokenizer, Token class ChineseTokenizer(Tokenizer): def __call__(self, value, positions=False, chars=False, keeporiginal=False, removestops=True, start_pos=0, start_char=0, mode='', **kwargs): t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs) seglist = jieba.cut(value, cut_all=True) for w in seglist: t.original = t.text = w t.boost = 1.0 if positions: t.pos = start_pos + value.find(w) if chars: t.startchar = start_char + value.find(w) t.endchar = start_char + value.find(w) + len(w) yield t def ChineseAnalyzer(): return ChineseTokenizer()
#復制whoosh_backend.py文件,改名為whoosh_cn_backend.py #注意:復制出來的文件名,末尾會有一個空格,記得要刪除這個空格 from .ChineseAnalyzer import ChineseAnalyzer 查找 analyzer=StemmingAnalyzer() 改為 analyzer=ChineseAnalyzer()
10..在模版中創建搜索欄 <form method='get' action="/search/" target="_blank"> <input type="text" name="q"> <input type="submit" value="查詢"> </form>
其他配置:
增加更多變量: from haystack.views import SearchView from .models import * class MySeachView(SearchView): def extra_context(self): #重載extra_context來添加額外的context內容 context = super(MySeachView,self).extra_context() side_list = Topic.objects.filter(kind='major').order_by('add_date')[:8] context['side_list'] = side_list return context #路由修改 url(r'^search/', search_views.MySeachView(), name='haystack_search'),
高亮顯示:
{% highlight result.summary with query %} # 這里可以限制最終{{ result.summary }}被高亮處理后的長度 {% highlight result.summary with query max_length 40 %} #html中 <style> span.highlighted { color: red; } </style>
上述是針對於前后端不分離的,對於分離,參考下面:
https://www.cnblogs.com/guanchao/p/11305314.html