Solr 查詢中fq參數的解析原理


原文:http://www.30lost.com/archives/22

首先看Lucene進行索引查詢的一個核心方法:IndexSearcher.java

public void search(Weight weight, Filter filter, Collector collector)

其中Weight是用來計算查詢的權重並生成Scorer(這是一個集合迭代器),它一般由頂層的Query對象使用一個Seacher對象來創建(Query.createWeight(Searcher)),
Filter的作用是得到一個文檔集,只有在這個集合內的文檔才會返回,
Collector是原始查詢結果的收集器。
Solr的查詢就是基於Lucene的查詢方式的,因此進行一次查詢時就需要的對象與上面列出的相同。
核心的查詢對象由Solr擴展為SolrIndexSearcher,但最終查詢依然是調用IndexSearcher的search方法。

1、fq參數解析


QueryComponent.java的prepare方法中對參數進行解析

String[] fqs = req.getParams().getParams(CommonParams.FQ);
if (fqs!=null && fqs.length!=0) {
List filters = rb.getFilters();
if (filters==null) {
filters = new ArrayList();
rb.setFilters( filters );
}
for (String fq : fqs) {
if (fq != null && fq.trim().length()!=0) {
QParser fqp = QParser.getParser(fq, null, req);
filters.add(fqp.getQuery());
}
}
}

2、獲取解析對象


由上面的代碼可以看到filters這個集合中存放着所有fq參數解析得到的Query對象,哪一種QParser由fq的具體內容決定
QParserPlugin.java中可以看到所有的

public static final Object[] standardPlugins = {
LuceneQParserPlugin.NAME, LuceneQParserPlugin.class,
OldLuceneQParserPlugin.NAME, OldLuceneQParserPlugin.class,
FunctionQParserPlugin.NAME, FunctionQParserPlugin.class,
PrefixQParserPlugin.NAME, PrefixQParserPlugin.class,
BoostQParserPlugin.NAME, BoostQParserPlugin.class,
DisMaxQParserPlugin.NAME, DisMaxQParserPlugin.class,
ExtendedDismaxQParserPlugin.NAME, ExtendedDismaxQParserPlugin.class,
FieldQParserPlugin.NAME, FieldQParserPlugin.class,
RawQParserPlugin.NAME, RawQParserPlugin.class,
NestedQParserPlugin.NAME, NestedQParserPlugin.class,
FunctionRangeQParserPlugin.NAME, FunctionRangeQParserPlugin.class,
};

這里fq中使用frange本地參數的情況由FunctionRangeQParserPlugin來進行解析,在這個類中可以看到:

public QParser createParser(String qstr, SolrParams localParams, SolrParams params, SolrQueryRequest req) {
return new QParser(qstr, localParams, params, req) {
ValueSource vs;
String funcStr;
public Query parse() throws ParseException {
funcStr = localParams.get(QueryParsing.V, null);
Query funcQ = subQuery(funcStr, FunctionQParserPlugin.NAME).parse();
if (funcQ instanceof FunctionQuery) {
vs = ((FunctionQuery)funcQ).getValueSource();
} else {
vs = new QueryValueSource(funcQ, 0.0f);
}

String l = localParams.get("l");
String u = localParams.get("u");
boolean includeLower = localParams.getBool("incl",true);
boolean includeUpper = localParams.getBool("incu",true);

// TODO: add a score=val option to allow score to be the value
ValueSourceRangeFilter rf = new ValueSourceRangeFilter(vs, l, u, includeLower, includeUpper);
SolrConstantScoreQuery csq = new SolrConstantScoreQuery(rf);
return csq;
}
};

由此可以知道使用fq進行范圍查詢時所得到具體Query對象是SolrConstantScoreQuery的對象。
SolrConstantScoreQuery類相關問題,創建Scorer對象:
public Scorer scorer(IndexReader reader, boolean scoreDocsInOrder, boolean topScorer) throws IOException {
return new ConstantScorer(similarity, reader, this);
}


其中ConstantScorer是內部類
ConstantScorer的迭代基礎:
在其構造函數中:
DocIdSet docIdSet = filter instanceof SolrFilter ?
((SolrFilter)filter).getDocIdSet(w.context, reader) :
filter.getDocIdSet(reader);
if (docIdSet == null) {
docIdSetIterator = DocIdSet.EMPTY_DOCIDSET.iterator();
} else {
DocIdSetIterator iter = docIdSet.iterator();
if (iter == null) {
docIdSetIterator = DocIdSet.EMPTY_DOCIDSET.iterator();
} else {
docIdSetIterator = iter;
}
}

由此可以ConstantScorer的迭代器起始就是這里的docIdSet的迭代器
docIdSet的迭代器有SolrFilter進行獲取,之前已經看到這個SolrFilter起始就是ValueSourceRangeFilter
它的方法:

public DocIdSet getDocIdSet(final Map context, final IndexReader reader) throws IOException {
return new DocIdSet() {
public DocIdSetIterator iterator() throws IOException {
return valueSource.getValues(context, reader).getRangeScorer(reader, lowerVal, upperVal, includeLower, includeUpper);
}
};
}

實際的Scorer由DocValues來創建:
public ValueSourceScorer getRangeScorer(IndexReader reader, String
lowerVal, String upperVal, boolean includeLower, boolean includeUpper)

它實際返回的是重寫了matchesValue方法的ValueSourceScorer的一子類:

return new ValueSourceScorer(reader, this) {
@Override
public boolean matchesValue(int doc) {
float docVal = floatVal(doc);
System.out.println("Document id '" + doc + "' score = " + docVal);
return docVal >= l && docVal <= u;
}
};


回到ValueSourceScorer,我們可以發現這個迭代器是如何工作的:
private int doc = -1;
protected final int maxDoc;
public int nextDoc() throws IOException {
for (; ;)
{
doc++;
if (doc >= maxDoc) return doc = NO_MORE_DOCS;
if (matches(doc)) return doc;
}
}

也就是這個迭代器默認是匹配所有文檔的,只是由重寫它的部分方法來實現文檔過濾。

3、使用解析到的Query對象

具體的查詢時在SolrIndexSearcher中進行的,由以下方法開始:
public QueryResult search(QueryResult qr, QueryCommand cmd)
其中QueryResult和QueryCommand都是SolrIndexSearcher的內部類,分別包裝了查詢結果和查詢條件相關內容。
fq解析得到的Query對象的List在QueryCommand中作為filterList成員變量來保存:
private List filterList;

具體到實際查詢時(如果結果緩存中沒有),Solr會先根據filter或filterList(filter和filterList不能同時都存在,否則報錯)來先查詢到一個文檔集合作為過濾器:
DocSet filter = cmd.getFilter()!=null ? cmd.getFilter() : getDocSet(cmd.getFilterList());
其中getDocSet()方法負責根據fq的查詢條件來查詢到一個文檔集,查詢方式與普通的查詢類似

該過濾器如果存在,那么就能到一個Lucene可用的Filter對象:
final Filter luceneFilter = filter==null ? null : filter.getTopFilter();

最后使用這個對象來進行查詢:
super.search(query, luceneFilter, collector);
這個里面的query是查詢參數中q以及其他相關參數(不包括fq)解析得到的Query對象

處理collector收集到的文檔:
TopDocs topDocs = topCollector.topDocs(0, len);
maxScore = totalHits>0 ? topDocs.getMaxScore() : 0.0f;
nDocsReturned = topDocs.scoreDocs.length;

ids = new int[nDocsReturned];
scores = (cmd.getFlags()&GET_SCORES)!=0 ? new float[nDocsReturned] : null;
for (int i=0; i
ScoreDoc scoreDoc = topDocs.scoreDocs[i];
ids[i] = scoreDoc.doc;
if (scores != null) scores[i] = scoreDoc.score;
}


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM