转载地址：http://blog.csdn.net/xuezhongsong/article/details/4388241
在建立索引前，先了解下lucene中的一些与索引相关的重要类。
为了对文档进行索引，Lucene 提供了五个基础的类，他们分别是 Document, Field, IndexWriter, Analyzer, Directory。下面我们分别介绍一下这五个类的用途：
Document
Document 是用来描述文档的，这里的文档可以指一个 HTML 页面，一封电子邮件，或者是一个文本文件。一个 Document 对象由多个 Field 对象组成的。可以把一个 Document 对象想象成数据库中的一个记录，而每个 Field 对象就是记录的一个字段。在建立索引的时候，也就是实例化一个索引器IndexWriter的之前，必须通过已经建立好的Document逻辑文件，将 Document的对象添加到IndexWriter实例中，才能算是建立索引。
Field
Field 对象是用来描述一个文档的某个属性的，比如一封电子邮件的标题和内容可以用两个 Field 对象分别描述。
Document汇集数据源，这个数据源是通过Field来构造的。构造好Field之后，将每个Field对象加入到Document之中，可以通过Document来管理Field，然后将聚集的Document加入到IndexWriter中，建立索引，写入指定的Directory，为检索做准备。
Analyzer
在一个文档被索引之前，首先需要对文档内容进行分词处理，这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类，它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer。Analyzer 把分词后的内容交给 IndexWriter 来建立索引。
IndexWriter
IndexWriter 是 Lucene 用来创建索引的一个核心的类，他的作用是把一个个的 Document 对象加到索引中来。建立索引必须从它开始。而且，从它的构造函数开始。
Directory
这个类代表了 Lucene 的索引的存储的位置，这是一个抽象类，它目前有两个实现，第一个是 FSDirectory，它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory，它表示一个存储在内存当中的索引的位置
Field函数：public Field(string name, string value_Renamed, Field.Store store, Field.Index index)
Field函数 第一个参数是字段名称，第二个参数是字段内容，第三个参数是存储类型，第四个参数是索引类型
Field.Store: 有三个属性：
Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。
Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。
Field.Store.COMPRESS 压缩存储；
Field.Index:有四个属性：
Field.Index.TOKENIZED：分词索引
Field.Index.UN_TOKENIZED：进行索引，但不对其进行分词，如作者名，日期等，Rod Johnson本身为一单词，不再需要分词。
Field.Index.NO 和 Field.Index.NO_NORMS：
不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。
/*
* 建立一个Form，命名为DemoIndex，添加四个控件：
* Button按钮命名button1，添加单击事件
* RichTextBox控件，命名richTextBox1
* StatusBar，命名statusBar1
* FolderBrowserDialog，命名folderBrowserDialog1
* 分词类使用中文分词类库ChineseAnalyzer，也可以使用Lucene自带的类库
*/
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using Lucene.Net.Documents;
using Lucene.Net.Index;
using Lucene.Net.QueryParsers;
using Lucene.Net.Analysis.Cn;
using System.IO;
namespace WebCheck
{
public partial class DemoIndex : Form
{
public DemoIndex()
{
InitializeComponent();
}
const string INDEX_STORE_PATH = "index";
DateTime start = DateTime.Now;
private void button1_Click(object sender, EventArgs e)
{
DialogResult result = folderBrowserDialog1.ShowDialog();
if (result == DialogResult.OK)
{
IndexWriter writer = null;
try
{
///INDEX_STORE_PATH索引所在目录，ChineseAnalyzer()分词类，true是新建索引，flase追加索引。
writer = new IndexWriter(INDEX_STORE_PATH, new ChineseAnalyzer(), true);
writer.SetMaxFieldLength(250000);//设置建立索引的长度，就是对数据的前多少条建立索引
writer.SetMaxBufferedDocs(100);//控制写入一个新的segment前内存中保存的document的数目,设置较大的数目可以加快建索引速度
writer.SetMaxMergeDocs(100);// 控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度
writer.SetMergeFactor(100);// 控制多个segment合并的频率,值较大时建立索引速度较快,默认是10
output("开始建立索引..../n");
start = DateTime.Now;
#region 同步索引
//IndexDirectory(writer,new FileInfo(this.folderBrowserDialog1.SelectedPath));
//如果是同步索引的话，调用优化索引的函数可以对索引优化，如果是异步就不行了。
//异步的话，最好把writer也当做参数传递给回调函数里，在回调函数里优化，这里
//传递了一个时间参数进去，你可以传递一个包含start和writer的自定义对象进去。
//为了让示例简单我没有这个做。
//writer.Optimize();
//writer.Close();
#endregion
#region 异步索引
// BeginInvoke 方法可启动异步调用。
//它与您需要异步执行的方法具有相同的参数，另外它还有两个可选参数。
//第一个参数是一个 AsyncCallback 委托，该委托引用在异步调用完成时要调用的方法。
//第二个参数是一个用户定义的对象，该对象可向回调方法传递信息。
//BeginInvoke 立即返回，不等待异步调用完成。BeginInvoke 会返回 IAsyncResult，这个结果可用于监视异步调用进度。
//结果对象IAsyncResult是从开始操作返回的，并且可用于获取有关异步开始操作是否已完成的状态。
//结果对象被传递到结束操作，该操作返回调用的最终返回值。
//在开始操作中可以提供可选的回调。如果提供回调，在调用结束后，将调用该回调；并且回调中的代码可以调用结束操作。
CheckForIllegalCrossThreadCalls = false;
AsyncIndexDirectoryCaller caller = new AsyncIndexDirectoryCaller(IndexDirectory);
IAsyncResult ar = caller.BeginInvoke(writer, new FileInfo(this.folderBrowserDialog1.SelectedPath), new AsyncCallback(searchCallback), writer);
caller.EndInvoke(ar);
this.statusBar1.Text = "准备";
#endregion
}
catch (Exception ex)
{
output(ex.Message);
}
}
}
delegate void AsyncIndexDirectoryCaller(IndexWriter writer, FileInfo file);//委托
public void IndexDirectory(IndexWriter writer, FileInfo file)
{
if (Directory.Exists(file.FullName))//如果file是一个目录(该目录下面可能有文件、目录文件、空文件三种情况)
{
String[] files = Directory.GetFileSystemEntries(file.FullName);//获取此目录下子目录和文件集合
if (files != null)
{
for (int i = 0; i < files.Length; i++)
{
IndexDirectory(writer, new FileInfo(files[i])); //这里是一个递归
}
}
}
else // 到达叶节点时，说明是一个File，而不是目录，则建立索引
{
if (file.Extension == ".txt" || file.Extension == ".htm" || file.Extension == ".html")//指定为特定的页面建立索引
{
IndexFile(file, writer);
}
}
}
private void IndexFile(FileInfo file, IndexWriter writer)
{
try
{
Document doc = new Document();
output("正在建立索引" + file.FullName);
//Field函数 第一个参数是字段名称，第二个参数是字段内容，第三个参数是存储类型，第四个参数是索引类型
//Field.Store: 有三个属性：
//Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。
//Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。
//Field.Store.COMPRESS 压缩存储；
//Field.Index:有四个属性：
//Field.Index.TOKENIZED：分词索引
//Field.Index.UN_TOKENIZED：不分词进行索引，如作者名，日期等，Rod Johnson本身为一单词，不再需要分词。
//Field.Index.NO 和 Field.Index.NO_NORMS：
//不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。
doc.Add(new Field("filename", file.FullName, Field.Store.YES, Field.Index.NO_NORMS));
//这里一定要设置响应的编码格式，否则建立索引的时候不能正确读取内容并分词
doc.Add(new Field("contents", GetContent(file), Field.Store.NO, Field.Index.UN_TOKENIZED));
writer.AddDocument(doc);
}
catch (FileNotFoundException fnfe)
{
output(fnfe.Message);
}
}
/// <summary>
///
/// </summary>
/// <param name="file"></param>
/// <returns></returns>
private string GetContent(FileInfo file)
{
string content = "";
StreamReader filestream = new StreamReader(file.FullName, System.Text.Encoding.Default);
content = filestream.ReadToEnd();
filestream.Close();
if (file.Extension == ".htm" || file.Extension == ".html")
{
content = parseHtml(content);
}
return content;
}
/// <summary>
/// 出去网页中的html字符
/// </summary>
/// <param name="html"></param>
/// <returns></returns>
private string parseHtml(string html)
{
string temp = System.Text.RegularExpressions.Regex.Replace(html, "<[^>]*>", "");
return temp.Replace(" ", " ");
}
void searchCallback(IAsyncResult ar)
{
IndexWriter writer = (IndexWriter)ar.AsyncState;
writer.Optimize();//Optimize()方法是对索引进行优化
writer.Close();
TimeSpan s = DateTime.Now - start;
output("索引完成,共用时" + s.Milliseconds + "毫秒");
MessageBox.Show("索引完成,共用时" + s.Milliseconds + "毫秒", "提示");
}
void output(string s)
{
richTextBox1.AppendText(s + "/n");
this.statusBar1.Text = s;
}
}
}