摘要: 关于过滤方面的知识，也就是Filter，如果了解Solr的朋友们，肯定都会知道Solr里面fq这个参数，这个参数的作用其实就是lucene里面的过滤，对一些q参数查询的结果集，做过滤或者限制返回一些我们需要的内容，可以理解成缩小搜索空间的一种策略。
先介绍下查询与过滤的区别和联系，其实查询(各种Query)和过滤(各种Filter)之间非常相似，可以这样说只要用Query能完成的事，用过滤也都可以完成，它们之间可以相互转换，最大的区别就是使用过滤返回的结果集不带评分操作，而使用Query返回的结果都是带相关性评分的，所以当我们如果有一些跟评分操作没有关系的业务，优先使用Filter操作，将会获取更好的性能，其实这也是Solr里面的q参数跟fq参数的区别。
下面，开始进入正题，在这之前，老生常谈的先来了解一下Lucene里面有关于Filter的整体知识
下面，我们来看下具体的在代码里怎么实现，先来看下我们的测试数据
id score bookname ename type price date
1 1 飘渺之旅 pmzl 小说 52.23 201005
2 1 三国演义 sgyy 小说 36.13 201207
3 1 数据库实战 sjksz 技术 77.13 200811
4 1 编程宝典 bcbd 技术 100.3 200501
5 1 职场关系论 zcgxl 职场 36.59 200501
6 1 健康生活 jksh 生活 20.47 200008
7 1 看清本质 kqbz 社会 10.37 201004
8 1 编程,编程 bcbc 社会 10.37 201004
核心代码
//使用过滤器 最后一个为true时包含边界部分，为false时不包含边界部分 //倒数第二个为true时，包含查询边界，为false时不包含 TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true); TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
6 1 健康生活 jksh 生活 20.47 200008 7 1 看清本质 kqbz 社会 10.37 201004
核心代码
NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);
TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
2 1 三国演义 sgyy 小说 36.13 201207 5 1 职场关系论 zcgxl 职场 36.59 200501 6 1 健康生活 jksh 生活 20.47 200008 7 1 看清本质 kqbz 社会 10.37 201004 8 1 编程,编程 bcbc 社会 10.37 201004
核心代码
//使用缓存过滤 Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true); TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
2 1 三国演义 sgyy 小说 36.13 201207 5 1 职场关系论 zcgxl 职场 36.59 200501 6 1 健康生活 jksh 生活 20.47 200008
核心代码
// 缓存域过滤特定的类别 Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"}); TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
3 1 数据库实战 sjksz 技术 77.13 200811 4 1 编程宝典 bcbd 技术 100.3 200501 7 1 看清本质 kqbz 社会 10.37 201004 8 1 编程,编程 bcbc 社会 10.37 201004
核心代码
//使用QueryWrapperFilter类包装一个Query QueryWrapperFilter filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术"))); TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
输出结果
//使用QueryWrapperFilter类包装一个Query QueryWrapperFilter filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术"))); TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式
最后我来看下，如何继承Filter基类，来定制我们自己的filter,自定义的Filter，虽然某些时候，功能很强大灵活，但是有几个缺点，我们的了解1，保证是内容不重复的字段，例如主键，如果重复，默认返回第一个作为结果集显示2，保证不能被分词的内容，如果是分词的字段，则可能会出现一些不正确的结果。
自定义Filter类
package com.sanjiesanxian.test; import java.io.IOException; import java.util.BitSet; import org.apache.lucene.analysis.tokenattributes.CharTermAttribute; import org.apache.lucene.index.AtomicReaderContext; import org.apache.lucene.index.DocsEnum; import org.apache.lucene.index.Term; import org.apache.lucene.search.DocIdSet; import org.apache.lucene.search.Filter; import org.apache.lucene.util.AttributeSource; import org.apache.lucene.util.Bits; import org.apache.lucene.util.DocIdBitSet; import org.apache.lucene.util.FixedBitSet; import org.apache.lucene.util.OpenBitSet; /*** *^_^ ^_^ ^_^ * QQ交流探讨群:324714439 * 自定义过滤器 * @author 三劫散仙 * */ public class MyCustomFilter extends Filter{ public MyCustomFilter() { // TODO Auto-generated constructor stub } private String[] terms;//限制返回的数据字典 public MyCustomFilter(String ...terms) { // TODO Auto-generated constructor stub this.terms=terms; } @Override public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1) throws IOException { FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc()) ;//获取没有所有的docid包括未删除的 int base=arg0.docBase;//段的相对基数，保证多个段时相对位置正确 //int limit=base+arg0.reader().maxDoc();//计算最大限制值 for(String s:terms){ DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));//必须是唯一的不重复 //保证是单个不重复的term,如果重复的话，默认会取第一个作为返回结果集,分词后的term也不适用自定义term if(doc.nextDoc()!=-1){ bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面 } } return bits; } }
测试查询代码
MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项 TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);
输出结果
2 1 三国演义 sgyy 小说 36.13 201207 3 1 数据库实战 sjksz 技术 77.13 200811 5 1 职场关系论 zcgxl 职场 36.59 200501
自定义过滤器虽然有缺点，但是某些场景下却能发挥很灵活的作用，特别是对没有分词的字段进行过滤操作。