使用haystack实现django全文检索搜索引擎功能
前言
django是python语言的一个web框架，功能强大。配合一些插件可为web网站很方便地添加搜索功能。
搜索引擎使用whoosh，是一个纯python实现的全文搜索引擎，小巧简单。
中文搜索需要进行中文分词，使用jieba。
直接在django项目中使用whoosh需要关注一些基础细节问题，而通过haystack这一搜索框架，可以方便地在django中直接添加搜索功能，无需关注索引建立、搜索解析等细节问题。
haystack支持多种搜索引擎，不仅仅是whoosh，使用solr、elastic search等搜索，也可通过haystack，而且直接切换引擎即可，甚至无需修改搜索代码。
配置搜索
1.安装相关包
pip install django-haystack
pip install whoosh
pip install jieba
2.配置django的settings
修改settings.py文件，添加haystack应用：
INSTALLED_APPS = (
...
'haystack', #将haystack放在最后
)
在settings中追加haystack的相关配置：
HAYSTACK_CONNECTIONS = {
'default': {
'ENGINE': 'haystack.backends.whoosh_cn_backend.WhooshEngine',
'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
}
}
# 添加此项，当数据库改变时，会自动更新索引，非常方便
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
3.添加url
在整个项目的urls.py中，配置搜索功能的url路径：
urlpatterns = [
...
url(r'^search/', include('haystack.urls')),
]
4.在应用目录下，添加一个索引
在子应用的目录下，创建一个名为 search_indexes.py 的文件。
from haystack import indexes
# 修改此处，为你自己的model
from models import GoodsInfo
# 修改此处，类名为模型类的名称+Index，比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex
class GoodsInfoIndex(indexes.SearchIndex, indexes.Indexable):
text = indexes.CharField(document=True, use_template=True)
def get_model(self):
# 修改此处，为你自己的model
return GoodsInfo
def index_queryset(self, using=None):
return self.get_model().objects.all()
说明：
1）修改上文中三处注释即可
2）此文件指定如何通过已有数据来建立索引。get_model处，直接将django中的model放过来，便可以直接完成索引啦，无需关注数据库读取、索引建立等细节。
3）text=indexes.CharField一句，指定了将模型类中的哪些字段建立索引，而use_template=True说明后续我们还要指定一个模板文件，告知具体是哪些字段
5.指定索引模板文件
在项目的“templates/search/indexes/应用名称/”下创建“模型类名称_text.txt”文件。
例如，上面的模型类名称为GoodsInfo,则创建goodsinfo_text.txt（全小写即可），此文件指定将模型中的哪些字段建立索引，写入如下内容：（只修改中文，不要改掉object）
{{ object.字段1 }}
{{ object.字段2 }}
{{ object.字段3 }}
6.指定搜索结果页面
在templates/search/下面，建立一个search.html页面。
<!DOCTYPE html>
<html>
<head>
<title></title>
</head>
<body>
{% if query %}
<h3>搜索结果如下：</h3>
{% for result in page.object_list %}
<a href="/{{ result.object.id }}/">{{ result.object.gName }}</a><br/>
{% empty %}
<p>啥也没找到</p>
{% endfor %}
{% if page.has_previous or page.has_next %}
<div>
{% if page.has_previous %}<a href="?q={{ query }}&page={{ page.previous_page_number }}">{% endif %}« 上一页{% if page.has_previous %}</a>{% endif %}
|
{% if page.has_next %}<a href="?q={{ query }}&page={{ page.next_page_number }}">{% endif %}下一页 »{% if page.has_next %}</a>{% endif %}
</div>
{% endif %}
{% endif %}
</body>
</html>
7.使用jieba中文分词器
在haystack的安装文件夹下，路径如“/home/python/.virtualenvs/django_py2/lib/python2.7/site-packages/haystack/backends”，建立一个名为ChineseAnalyzer.py的文件，写入如下内容：
import jieba
from whoosh.analysis import Tokenizer, Token
class ChineseTokenizer(Tokenizer):
def __call__(self, value, positions=False, chars=False,
keeporiginal=False, removestops=True,
start_pos=0, start_char=0, mode='', **kwargs):
t = Token(positions, chars, removestops=removestops, mode=mode,
**kwargs)
seglist = jieba.cut(value, cut_all=True)
for w in seglist:
t.original = t.text = w
t.boost = 1.0
if positions:
t.pos = start_pos + value.find(w)
if chars:
t.startchar = start_char + value.find(w)
t.endchar = start_char + value.find(w) + len(w)
yield t
def ChineseAnalyzer():
return ChineseTokenizer()
8.切换whoosh后端为中文分词
将上面backends目录中的whoosh_backend.py文件，复制一份，名为whoosh_cn_backend.py，然后打开此文件，进行替换：
# 顶部引入刚才添加的中文分词
from .ChineseAnalyzer import ChineseAnalyzer
# 在整个py文件中，查找
analyzer=StemmingAnalyzer()
全部改为改为
analyzer=ChineseAnalyzer()
总共大概有两三处吧
9.生成索引
手动生成一次索引：
python manage.py rebuild_index
10.实现搜索入口
在网页中加入搜索框：
<form method='get' action="/search/" target="_blank">
<input type="text" name="q">
<input type="submit" value="查询">
</form>
丰富的自定义
上面只是快速完成一个基本的搜索引擎，haystack还有更多可自定义，来实现个性化的需求。
参考官方文档：http://django-haystack.readthedocs.io/en/master/
自定义搜索view
上面的配置中，搜索相关的请求被导入到haystack.urls中，如果想自定义搜索的view，实现更多功能，可以修改。
haystack.urls中内容其实很简单，
from django.conf.urls import url
from haystack.views import SearchView
urlpatterns = [
url(r'^$', SearchView(), name='haystack_search'),
]
那么，我们写一个view，继承自SearchView，即可将搜索的url导入到自定义view中处理啦。
class MySearchView(SearchView):
# 重写相关的变量或方法
template = 'search_result.html'
查看SearchView的源码或文档，了解每个方法是做什么的，便可有针对性地进行修改。
比如，上面重写了template变量，修改了搜索结果页面模板的位置。
高亮
在搜索结果页的模板中，可以使用highlight标签（需要先load一下）
{% highlight <text_block> with <query> [css_class "class_name"] [html_tag "span"] [max_length 200] %}
text_block即为全部文字，query为高亮关键字，后面可选参数，可以定义高亮关键字的html标签、css类名，以及整个高亮部分的最长长度。
高亮部分的源码位于 haystack/templatetags/lighlight.py 和 haystack/utils/lighlighting.py文件中，可复制进行修改，实现自定义高亮功能。
ref.
http://django-haystack.readthedocs.io/en/master/
http://blog.csdn.net/ac_hell/article/details/52875927
在Python的Flask框架中实现全文搜索功能
灰常不幸的是，关系型数据库对全文检索的支持没有被标准化。不同的数据库通过它们自己的方式来实现全文检索，而且SQLAlchemy在全文检索上也没有提供一个好的抽象。
我们现在使用SQLite作为我们的数据库，所以我们可以绕开SQLAlchemy而使用SQLite提供的工具来创建一个全文检索索引。但这么做不怎么好，因为如果有一天我们换用别的数据库，那么我们就得重写另一个数据库的全文检索方法。
所以我们的方案是，我们将让我们现有的数据库处理常规数据，然后我们创建一个专门的数据库来解决全文检索。
只有很少的开源的全文检索引擎。据我说知只有一个Whoosh提供了Flask的扩展，它是用Python语言写的全文检索引擎。使用纯Python引擎的优点是它可以运行在任何有Python解释器的地方。缺点就是它的搜索性能没有达到用C或者C++写的搜索引擎那么好。在我的脑子里理想的解决方案是有一个搜索引擎，它提供了Flask的扩展，能连接大多数数据库，而且还要像Flask-SQLAlchemy那样提供一个能自由使用大多数数据库的方法，但现在貌似木有这样的全文检索引擎。Django的开发者有一个非常棒的，支持大多数全文检索引擎的扩展，叫django-haystack。希望有一天某个家伙能为Flask提供一个相似的扩展。
但现在，我们将通过Whoosh实现我们自己的全文检索。我们将使用Flask-WhooshAlchemy扩展，该扩展使得Whoosh数据库和Flask-SQLAlchemy模块结合起来。
如果你还没在你的虚拟环境中安装Flask-WhooshAlchemy扩展，马上安装它。
Windows用户用以下命令安装:
flask\Scripts\pip install Flask-WhooshAlchemy
其他用户用以下命令安装:
flask/bin/pip install Flask-WhooshAlchemy
配置
配置Flask-WhooshAlchemy灰常简单。我们只需要告诉扩展全文检索数据库的名字即可(fileconfig.py):
WHOOSH_BASE = os.path.join(basedir, 'search.db')
修改模块
在将Flask-WhooshAlchemy和Flask-SQLAlchemy结合起来时，我们需要在合适的模块类(fileapp/models.py)指定哪些数据时需要被索引的：
from app import app
import flask.ext.whooshalchemy as whooshalchemy
class Post(db.Model):
__searchable__ = ['body']
id = db.Column(db.Integer, primary_key = True)
body = db.Column(db.String(140))
timestamp = db.Column(db.DateTime)
user_id = db.Column(db.Integer, db.ForeignKey('user.id'))
def __repr__(self):
return '<Post %r>' % (self.text)
whooshalchemy.whoosh_index(app, Post)
这个模块有一个新的__searchable__字段，它是一个列表，包括了所有可以被当做搜索索引的数据库字段。在我们的项目里我们只需要所有文章帖子的body字段。
在这个模块中，我们也必须通过调用whoosh_index这个方法来初始化全文索引。
这不是一个能影响我们关系型数据库的改变，所以我们没必要换新的数据库。
不幸的是所有的博客文章在添加全文检索引擎之前就已经存在于数据库中了，而且没有被索引。为了保持数据库和全文检索引擎的同步，我们将在数据库中删除所有已经存在的博客文章，然后重新开始。首先我们打开Python解释器。Windows用户为以下内容：
flask\Scripts\python
其它操作系统用户:
flask/bin/python
然后在Python命令提示符中删除所有博客文章:
>>> from app.models import Post
>>> from app import db
>>> for post in Post.query.all():
... db.session.delete(post)
>>> db.session.commit()
搜索
现在我们开始做搜索。首先，让我们添加几篇博客文章到数据库。我们有两种方法做这个事。我们可以像普通用户一样通过网页打开应用程序添加文章，或者直接在Python命令行里添加。
用一下方法从命令行添加：
>>> from app.models import User, Post
>>> from app import db
>>> import datetime
>>> u = User.query.get(1)
>>> p = Post(body='my first post', timestamp=datetime.datetime.utcnow(), author=u)
>>> db.session.add(p)
>>> p = Post(body='my second post', timestamp=datetime.datetime.utcnow(), author=u)
>>> db.session.add(p)
>>> p = Post(body='my third and last post', timestamp=datetime.datetime.utcnow(), author=u)
>>> db.session.add(p)
>>> db.session.commit()
Flask-WhooshAlchemy这个扩展非常不错，因为它能连接Flask-SQLAlchemy然后自动提交。我们不需要维护全文索引，因为它已经很明显的帮我们做了这件事。
现在我们已经在全文索引中有了一些文章，我们可以搜搜看了：
>>> Post.query.whoosh_search('post').all()
[<Post u'my second post'>, <Post u'my first post'>, <Post u'my third and last post'>]
>>> Post.query.whoosh_search('second').all()
[<Post u'my second post'>]
>>> Post.query.whoosh_search('second OR last').all()
[<Post u'my second post'>, <Post u'my third and last post'>]
上面的例子可以看出，查询不需要限制为一个单词。实际上，Whoosh提供了一个漂亮又强大的搜索查询语言(search query language)。
整合全文检索到应用程序
为了让我们应用程序的用户能用上搜索功能，我们还需要增加一点小小的改变。
配置
就配置而言，我们仅仅需要指定最大的搜索结果返回数(fileconfig.py)：
MAX_SEARCH_RESULTS = 50
搜索表单
我们需要在页面顶部的导航栏中增加一个搜索框。把搜索框放到顶部是极好的，因为这样所有页面就都有搜索框了(注：所有页面公用导航栏)。
首先我们增加一个搜索表单类(fileapp/forms.py)：
class SearchForm(Form):
search = TextField('search', validators = [Required()])
然后我们需要增加一个搜索表单对象，而且要让它对所有模板可用，这么做是因为我们要将搜索表单放到所有页面的共同的导航栏。完成这个最简单的方法是在before_request handler上创建一个form，然后将它传到Flask的全局变量g(fileapp/views.py)：
@app.before_request
def before_request():
g.user = current_user
if g.user.is_authenticated():
g.user.last_seen = datetime.utcnow()
db.session.add(g.user)
db.session.commit()
g.search_form = SearchForm()
然后我们添加form到我们的模板(fileapp/templates/base.html)：
<div>Microblog:
<a href="{{ url_for('index') }}">Home</a>
{% if g.user.is_authenticated() %}
| <a href="{{ url_for('user', nickname = g.user.nickname) }}">Your Profile</a>
| <form style="display: inline;" action="{{url_for('search')}}" method="post" name="search">{{g.search_form.hidden_tag()}}{{g.search_form.search(size=20)}}<input type="submit" value="Search"></form>
| <a href="{{ url_for('logout') }}">Logout</a>
{% endif %}
</div>
注意，我们只是当有用户登录时才会显示这个搜索框。同样的，before_request handler只有在有用户登录时才会创建form，这是因为我们的应用程序不会展示任何内容给没有经过认证的用户。
搜索显示方法(search view funciton)
上面我们已经设置了form的action字段，它会发送所有的搜索请求到search view方法。这就是我们要执行全文检索查询的地方(fileapp/views.py)：
@app.route('/search', methods = ['POST'])
@login_required
def search():
if not g.search_form.validate_on_submit():
return redirect(url_for('index'))
return redirect(url_for('search_results', query = g.search_form.search.data))
这个方法干的事也不是很多，它只是从表单收集了搜索查询的字段，然后把这些字段作为参数传给查询方法，最后重定向到另一个页面。不在这儿直接做查询的原因是如果一个用户点击了刷新按钮，那么浏览器就会弹出“表单数据将被重新提交”的警告窗口。所以当一个POST请求的响应结果为重定向的时候，这种警告提示就被避免了，因为重定向之后浏览器的刷新按钮将会在重定向的页面被重新载入。
搜索结果页面
一旦一个查询字段被接受，form POST handler就会通过页面重定向把它发送到search_result handler(fileapp/views.py)：
@app.route('/search_results/<query>')
@login_required
def search_results(query):
results = Post.query.whoosh_search(query, MAX_SEARCH_RESULTS).all()
return render_template('search_results.html',
query = query,
results = results)
然后搜索结果显示方法会发送这个查询到Whoosh，参数是最大的搜索结果数目，因为我们不想呈现一个很大数目的结果页面，所以我们只显示前50条数据。
最后一部分需要完成的是搜索结果的模板(fileapp/templates/search_results.html)：
<!-- extend base layout -->
{% extends "base.html" %}
{% block content %}
<h1>Search results for "{{query}}":</h1>
{% for post in results %}
{% include 'post.html' %}
{% endfor %}
{% endblock %}
这儿，我们又可以重新使用我们的post.html页面，所以我们不用担心替换一个新的页面或者其他格式的页面元素，因为所有这些在sub-template中都是通用的方法。