Haystack
1.什么是Haystack
Haystack是django的開源全文搜索框架(全文檢索不同於特定字段的模糊查詢，使用全文檢索的效率更高 )，該框架支持Solr,Elasticsearch,Whoosh, **Xapian搜索引擎它是一個可插拔的后端（很像Django的數據庫層），所以幾乎你所有寫的代碼都可以在不同搜索引擎之間便捷切換
- 全文檢索不同於特定字段的模糊查詢，使用全文檢索的效率更高，並且能夠對於中文進行分詞處理
- haystack：django的一個包，可以方便地對model里面的內容進行索引、搜索，設計為支持whoosh,solr,Xapian,Elasticsearc四種全文檢索引擎后端，屬於一種全文檢索的框架
- whoosh：純Python編寫的全文搜索引擎，雖然性能比不上sphinx、xapian、Elasticsearc等，但是無二進制包，程序不會莫名其妙的崩潰，對於小型的站點，whoosh已經足夠使用
- jieba：一款免費的中文分詞包，如果覺得不好用可以使用一些收費產品
2.安裝
pip install django-haystack
pip install whoosh
pip install jieba
3.配置
添加Haystack到INSTALLED_APPS
跟大多數Django的應用一樣，你應該在你的設置文件(通常是settings.py)添加Haystack到INSTALLED_APPS. 示例：
INSTALLED_APPS = [
'django.contrib.admin',
'django.contrib.auth',
'django.contrib.contenttypes',
'django.contrib.sessions',
'django.contrib.sites',
# 添加
'haystack',
# 你的app
'blog',
]
修改settings.py
在你的settings.py中，你需要添加一個設置來指示站點配置文件正在使用的后端，以及其它的后端設置。 HAYSTACK——CONNECTIONS是必需的設置，並且應該至少是以下的一種：
Solr示例
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.solr_backend.SolrEngine',
'URL': 'http://127.0.0.1:8983/solr'
# ...or for multicore...
# 'URL': 'http://127.0.0.1:8983/solr/mysite',
},
}
Elasticsearch示例
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.elasticsearch_backend.ElasticsearchSearchEngine',
'URL': 'http://127.0.0.1:9200/',
'INDEX_NAME': 'haystack',
},
}
Whoosh示例
#需要設置PATH到你的Whoosh索引的文件系統位置
import os
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
'PATH': os.path.join(os.path.dirname(__file__), 'whoosh_index'),
},
}
# 自動更新索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
Xapian示例
#首先安裝Xapian后端（http://github.com/notanumber/xapian-haystack/tree/master）
#需要設置PATH到你的Xapian索引的文件系統位置。
import os
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'xapian_backend.XapianEngine',
'PATH': os.path.join(os.path.dirname(__file__), 'xapian_index'),
},
}
4.處理數據
創建索引
如果你想針對某個app例如blog做全文檢索，則必須在blog的目錄下面建立search_indexes.py文件，文件名不能修改
from haystack import indexes
from app01.models import Article
class ArticleIndex(indexes.SearchIndex, indexes.Indexable):
#類名必須為需要檢索的Model_name+Index，這里需要檢索Article，所以創建ArticleIndex
text = indexes.CharField(document=True, use_template=True)#創建一個text字段
#其它字段
desc = indexes.CharField(model_attr='desc')
content = indexes.CharField(model_attr='content')
def get_model(self):#重載get_model方法，必須要有！
return Article
def index_queryset(self, using=None):
return self.get_model().objects.all()
為什么要創建索引？索引就像是一本書的目錄，可以為讀者提供更快速的導航與查找。在這里也是同樣的道理，當數據量非常大的時候，若要從這些數據里找出所有的滿足搜索條件的幾乎是不太可能的，將會給服務器帶來極大的負擔。所以我們需要為指定的數據添加一個索引（目錄），在這里是為Note創建一個索引，索引的實現細節是我們不需要關心的，至於為它的哪些字段創建索引，怎么指定 ,下面開始講解
每個索引里面必須有且只能有一個字段為 document=True，這代表haystack 和搜索引擎將使用此字段的內容作為索引進行檢索(primary field)。其他的字段只是附屬的屬性，方便調用，並不作為檢索數據
注意：如果使用一個字段設置了document=True，則一般約定此字段名為text，這是在ArticleIndex類里面一貫的命名，以防止后台混亂，當然名字你也可以隨便改，不過不建議改。
另外，我們在text字段上提供了use_template=True。這允許我們使用一個數據模板（而不是容易出錯的級聯）來構建文檔搜索引擎索引。你應該在模板目錄下建立新的模板search/indexes/blog/article_text.txt，並將下面內容放在里面。
#在目錄“templates/search/indexes/應用名稱/”下創建“模型類名稱_text.txt”文件
{{ object.title }}
{{ object.desc }}
{{ object.content }}
這個數據模板的作用是對Note.title, Note.user.get_full_name,Note.body這三個字段建立索引，當檢索的時候會對這三個字段做全文檢索匹配
5.設置視圖
添加SearchView到你的URLconf
在你的URLconf中添加下面一行：
(r'^search/', include('haystack.urls')),
這會拉取Haystack的默認URLconf，它由單獨指向SearchView實例的URLconf組成。你可以通過傳遞幾個關鍵參數或者完全重新它來改變這個類的行為。
搜索模板
你的搜索模板(默認在search/search.html)將可能非常簡單。下面的足夠讓你的搜索運行(你的template/block應該會不同)
<!DOCTYPE html>
<html>
<head>
<title></title>
<style>
span.highlighted {
color: red;
}
</style>
</head>
<body>
{% load highlight %}
{% if query %}
<h3>搜索結果如下：</h3>
{% for result in page.object_list %}
{# <a href="/{{ result.object.id }}/">{{ result.object.title }}</a><br/>#}
<a href="/{{ result.object.id }}/">{% highlight result.object.title with query max_length 2%}</a><br/>
<p>{{ result.object.content|safe }}</p>
<p>{% highlight result.content with query %}</p>
{% empty %}
<p>啥也沒找到</p>
{% endfor %}
{% if page.has_previous or page.has_next %}
<div>
{% if page.has_previous %}
<a href="?q={{ query }}&page={{ page.previous_page_number }}">{% endif %}« 上一頁
{% if page.has_previous %}</a>{% endif %}
|
{% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}">{% endif %}下一頁 »
{% if page.has_next %}</a>{% endif %}
</div>
{% endif %}
{% endif %}
</body>
</html>
需要注意的是page.object_list實際上是SearchResult對象的列表。這些對象返回索引的所有數據。它們可以通過{{result.object}}來訪問。所以{{ result.object.title}}實際使用的是數據庫中Article對象來訪問title字段的。
重建索引
現在你已經配置好了所有的事情，是時候把數據庫中的數據放入索引了。Haystack附帶的一個命令行管理工具使它變得很容易。
簡單的運行./manage.py rebuild_index。你會得到有多少模型進行了處理並放進索引的統計。
6.使用jieba分詞
#建立ChineseAnalyzer.py文件
#保存在haystack的安裝文件夾下，路徑如“D:\python3\Lib\site-packages\haystack\backends”
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode,
**kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def ChineseAnalyzer():
return ChineseTokenizer()
#復制whoosh_backend.py文件，改名為whoosh_cn_backend.py
#注意：復制出來的文件名，末尾會有一個空格，記得要刪除這個空格
from .ChineseAnalyzer import ChineseAnalyzer
查找
analyzer=StemmingAnalyzer()
改為
analyzer=ChineseAnalyzer()
7.在模版中創建搜索欄
<form method='get' action="/search/" target="_blank">
<input type="text" name="q">
<input type="submit" value="查詢">
</form>
8.其它配置
增加更多變量
from haystack.views import SearchView
from .models import *
class MySeachView(SearchView):
def extra_context(self): #重載extra_context來添加額外的context內容
context = super(MySeachView,self).extra_context()
side_list = Topic.objects.filter(kind='major').order_by('add_date')[:8]
context['side_list'] = side_list
return context
#路由修改
url(r'^search/', search_views.MySeachView(), name='haystack_search'),
高亮顯示
{% highlight result.summary with query %}
# 這里可以限制最終{{ result.summary }}被高亮處理后的長度
{% highlight result.summary with query max_length 40 %}
#html中
<style>
span.highlighted {
color: red;
}
</style>