(转)lucene.net，包括对htm,word,doc,pdf,等等式进行parse解析，取得内容

本文转载自：http://blog.csdn.net/hehui21/article/details/2873933

这几天完成一个相关lucene.net 索引，特此写上来供大爱评论！

建立全文索引，主要有两步，一，建立索引，二，查找，那么我先来讲一下怎么新建索引！
引用类：

  1. Imports System.Data
  2. Imports System.IO
  3. Imports System.Net
  4. Imports System.Text
  5. Imports System.Data.SqlClient
  6. Imports System.Data.Sql
  7. Imports System.Text.RegularExpressions
  8. Imports System.Web
  9. Imports System.Threading
  11. Imports Microsoft.Office
  12. Imports Lucene.Net.Documents
  13. Imports Lucene.Net.Index
  14. Imports Lucene.Net.Search
  15. Imports Lucene.Net.QueryParsers
  16. Imports Lucene.Net.Analysis.Cn
  17. Imports Lucene.Net
  18. Imports System.Data.OleDb


我这里是把它做成一个类的，它是一个form程式，里面有一个按钮，一个rechibox,一个timer然后在这个类里定义一些私有变量：
-

  1.    Private Delegate Sub indexfile_delegate()
  2.     Private _dir As String = "D:/idx"'存放索引位置
  3.     Private _display_index_Name As String = "XYPart_index"
  4.     'Private display_index_directory As String = _dir
  5.     Private _Analysis As New Lucene.Net.Analysis.Cn.ChineseAnalyzer
  6.     Private _writer As IndexWriter '新建一个索引
  7.     Private startTime As DateTime'定义程式开始运行时间，主要是记录索引时间用
  9.     Private _conn As New System.Data.SqlClient.SqlConnection("server=你的数据库地址;database=databasename;User Id = 用户名称;Password =密码;")

  1.  '解读出数据里的数据
  2.     Public Function F_getDataFromTable() As SqlDataReader
  3.         'connection
  4.          _conn.Open()
  5.         Dim query As String = ”sql语句“
  6.          Dim mycom As SqlCommand
  7.         mycom = New SqlCommand(query, _conn)
  8.         Dim myrea As SqlDataReader
  9.          myrea = mycom.ExecuteReader
  10.          Return myrea
  11.     End Function


解读出附件里的文件内容：

  1.     Public Function FileParse(ByVal file As String) As String
  2.         Dim result As String = ""
  3.         '  For j As Integer = 0 To file.Length - 1
  4.         Dim T_str As String = Path.GetExtension(file).ToLower
  5.         Select Case T_str
  6.             Case ".txt"
  7.                 result = TxtParse(file)
  8.             Case ".htm"
  9.                 result = htmParse(file)
  10.             Case ".html"
  11.                 result = htmParse(file)
  12.             Case ".pdf"
  13.                 result = PDFParse(file)
  14.             Case ".docx"
  15.                 result = WordParse(file)
  16.             Case ".doc"
  17.                 result = WordParse(file)
  18.             Case ".ppt"
  19.                 result = PPTParse(file)
  20.             Case ".pptx"
  21.                 result = PPTParse(file)
  22.             Case ".xlsx"
  23.                 result = ExcelParse(file)
  24.             Case ".xls"
  25.                 result = ExcelParse(file)
  26.         End Select
  27.         '  Next
  28.         Return result
  29.     End Function
  30.     Public Function htmParse(ByVal path As String) As String
  31.         Dim sr As New StreamReader(path, System.Text.Encoding.Default)
  32.         Dim file_html As String
  33.         file_html = sr.ReadToEnd
  35.         Dim Htmlstring As String = System.Text.RegularExpressions.Regex.Replace(file_html, "<[^>]*>", "")
  37.         'remove script 
  38.         Htmlstring = Regex.Replace(Htmlstring, "<script[^>]*?>.*?</script>", "", RegexOptions.IgnoreCase)
  39.         'remove html
  40.         Htmlstring = Regex.Replace(Htmlstring, "<(.[^>]*)>", "", RegexOptions.IgnoreCase)
  41.         Htmlstring = Regex.Replace(Htmlstring, "([/r/n])[/s]+", "", RegexOptions.IgnoreCase)
  42.         Htmlstring = Regex.Replace(Htmlstring, "-->", "", RegexOptions.IgnoreCase)
  43.         Htmlstring = Regex.Replace(Htmlstring, "<!--.*", "", RegexOptions.IgnoreCase)
  44.         Htmlstring = Regex.Replace(Htmlstring, "&(quot|#34);", "/", RegexOptions.IgnoreCase)
  45.         Htmlstring = Regex.Replace(Htmlstring, "&(amp|#38);", "&", RegexOptions.IgnoreCase)
  46.         Htmlstring = Regex.Replace(Htmlstring, "&(lt|#60);", "<", RegexOptions.IgnoreCase)
  47.         Htmlstring = Regex.Replace(Htmlstring, "&(gt|#62);", ">", RegexOptions.IgnoreCase)
  48.         Htmlstring = Regex.Replace(Htmlstring, "&(nbsp|#160);", " ", RegexOptions.IgnoreCase)
  49.         Htmlstring = Regex.Replace(Htmlstring, "&(iexcl|#161);", "/xa1", RegexOptions.IgnoreCase)
  50.         Htmlstring = Regex.Replace(Htmlstring, "&(cent|#162);", "/xa2", RegexOptions.IgnoreCase)
  51.         Htmlstring = Regex.Replace(Htmlstring, "&(pound|#163);", "/xa3", RegexOptions.IgnoreCase)
  52.         Htmlstring = Regex.Replace(Htmlstring, "&(copy|#169);", "/xa9", RegexOptions.IgnoreCase)
  53.         Htmlstring = Regex.Replace(Htmlstring, "&#(/d+);", "", RegexOptions.IgnoreCase)
  54.         Htmlstring.Replace("<", "")
  55.         Htmlstring.Replace(">", "")
  56.         Htmlstring.Replace("/r/n", "")
  57.         'Htmlstring = System.Web.HttpContext.Current.Server.HtmlEncode(Htmlstring).Trim()
  59.         Return Htmlstring.Replace(" ", " ")
  60.     End Function
  61.     Public Function TxtParse(ByVal Path_str As String) As String
  62.         Dim sr As New StreamReader(Path_str, System.Text.Encoding.Default)
  63.         Dim str As String = sr.ReadToEnd
  64.         Return str
  65.     End Function
  66.     Public Function PDFParse(ByVal path_str As String) As String
  67.         Dim Path_str_totxt As String = path_str.Substring(0, path_str.LastIndexOf(".")) + ".txt"
  68.         Dim str As String = ""
  69.         Try
  72.             Shell(_datadir + "TextMiningTool/minetext.exe" + " " + path_str + " " + Path_str_totxt)
  73.             str = TxtParse(Path_str_totxt)
  75.             Shell("del /q /f " + Path_str_totxt)
  77.         Catch ex As Exception
  78.             MsgBox("this pdf    " + path_str + "  is not parsed ,the programme is continuing")
  80.         End Try
  81.         Return str
  82.     End Function
  83.     Public Function WordParse(ByVal path_str As String) As String
  84.         Dim missing = System.Reflection.Missing.Value
  85.         Dim isReadOnly As Boolean = False
  86.         Dim isVisible As Boolean = True
  88.         Dim openword As New Microsoft.Office.Interop.Word.Application
  89.         Dim word_doc As Microsoft.Office.Interop.Word.Document
  91.         word_doc = openword.Documents.Open(path_str, missing, missing, missing, missing, missing, missing, missing, missing, missing, missing, isVisible, missing, missing, missing, missing)
  92.         word_doc.Activate()
  93.         openword.Visible = False
  95.         Dim str As String
  96.         str = word_doc.Content.Text
  97.         openword.Quit(missing, missing, missing)
  98.         word_doc.Close()
  99.         Return str
  100.     End Function
  101.     Public Function ExcelParse(ByVal path_str As String) As String
  102.         Dim dbfconn As OleDb.OleDbConnection = New OleDb.OleDbConnection
  103.         Dim conn_excel As String
  104.         Dim FileExname As String = System.IO.Path.GetExtension(path_str).ToUpper
  105.         If FileExname <> ".XLSX" Then
  106.             conn_excel = "Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + path_str + ";Extended Properties='Excel 8.0;HDR=NO;IMEX=1';"
  107.         Else
  108.             conn_excel = "Provider=Microsoft.ACE.OLEDB.12.0;Data Source=" + path_str + ";Extended Properties='Excel 12.0;HDR=NO;IMEX=1';"
  109.         End If
  110.         Dim str As String = ""
  111.         dbfconn.ConnectionString = conn_excel
  112.         dbfconn.Open()
  113.         Dim tablename As String
  114.         Dim dt As DataTable = dbfconn.GetOleDbSchemaTable(OleDbSchemaGuid.Tables, Nothing)
  115.         For i As Integer = 0 To dt.Rows.Count - 1
  116.             tablename = dt.Rows(i)(2).ToString().Trim()
  117.             Dim strSQL As String = "Select * from [" + tablename + "]"
  118.             Dim objDA As System.Data.OleDb.OleDbDataAdapter = New System.Data.OleDb.OleDbDataAdapter(strSQL, conn_excel)
  119.             Dim objDS As New DataSet()
  120.             objDA.Fill(objDS)
  122.             For j As Integer = 0 To objDS.Tables(0).Rows.Count - 1
  123.                 For x As Integer = 0 To objDS.Tables(0).Columns.Count - 1
  124.                     str = str + " " + objDS.Tables(0).Rows(j)(x).ToString
  125.                 Next
  126.             Next
  127.         Next
  128.         dbfconn.Close()
  129.         Return str
  130.     End Function
  131.     Public Function PPTParse(ByVal file As String) As String
  132.         Dim targetFile As String = file
  133.         Dim str As String = ""
  135.         Dim ppApp As New Microsoft.Office.Interop.PowerPoint.Application
  137.         Dim prsPres As Microsoft.Office.Interop.PowerPoint.Presentation = ppApp.Presentations.Open(targetFile, True, False, False)
  140.         For Each slide As Microsoft.Office.Interop.PowerPoint.Slide In prsPres.Slides
  141.             For Each shape As Microsoft.Office.Interop.PowerPoint.Shape In slide.Shapes
  142.                 If shape.TextFrame.HasText = Microsoft.Office.Core.MsoTriState.msoTrue Then
  143.                     str = str + shape.TextFrame.TextRange.Text
  144.                 End If
  146.             Next
  147.         Next
  150.         prsPres.Close()
  151.         ppApp.Quit()
  153.         Return str
  155.     End Function

建立索引：

  1. Private Sub indexfile()
  3.         Dim myrea As SqlDataReader
  4.         myrea = F_getDataFromTable()
  6.         'built field
  7.         Dim Field_contents_str As String = "" 'save the  contents from table ,
  8.         Dim Field_id As String = "" 'save the Requistion_no   id,
  9.         Dim Field_Datafile As String
  10.         Dim Field_file_Catagory As String
  12.         display_indexinfo("start")
  15.         ' Try
  17.         While (myrea.Read())
  18.             Dim doc As New Lucene.Net.Documents.Document
  19.             ' If myrea("file_category").ToString <> "" Then
  22.             Field_contents_str = myrea("Customer_Name").ToString + " " + myrea("Customer_Id").ToString + " " + myrea("Reject_Reason").ToString + " " + myrea("Remark").ToString + " " + myrea("Category").ToString
  23.             Field_contents_str = Field_contents_str + " " + myrea("AACATI_SO_No").ToString + " " + myrea("Vendor_Part_No").ToString + " " + myrea("Description").ToString + " " + myrea("AASC_Part_No").ToString + " " + myrea("Brand_Name").ToString
  26.             Field_id = myrea("requisition_no").ToString
  28.             'save the contents from various file
  29.             Dim fullpath As String = ""
  30.             fullpath = "../Utilities/Files/" + myrea("filefullname")
  31.             If File.Exists(fullpath) Then
  32.                 Field_Datafile = FileParse(fullpath)
  33.             Else
  34.                 Field_Datafile = ""
  35.             End If
  36.             '  fullpath = datadir + "word.doc"
  37.             Field_file_Catagory = myrea("file_category").ToString
  38.             doc.Add(New Lucene.Net.Documents.Field("Table_contents", Field_contents_str, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
  39.             doc.Add(New Lucene.Net.Documents.Field("File_contents", Field_Datafile, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
  40.             doc.Add(New Lucene.Net.Documents.Field("Requisition_no_id", Field_id, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.UN_TOKENIZED))
  41.             doc.Add(New Lucene.Net.Documents.Field("FullContents", Field_contents_str + Field_Datafile, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
  42.             doc.Add(New Lucene.Net.Documents.Field("FileCatagory", Field_file_Catagory, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
  43.             _writer.AddDocument(doc)
  44.             '  End If
  46.         End While
  48.         ' Catch ex As Exception
  49.         '  MsgBox("index is not success")
  50.         'End Try
  52.         display_indexinfo("finished")
  55.         myrea.Close()
  57.     End Sub

显示索引中相关信息，比如文件名称，路径，等等，

  1.  Private Sub display_indexinfo(ByVal status As String)
  2.         '
  3.         Dim display_index_Time As Date
  4.         Dim _fi As New FileInfo("D:/idx/segments")
  5.         display_index_Time = _fi.LastAccessTime
  6.         Dim display_index_status As String = "Finished"
  9.         If Not File.Exists("D:/idx/segments") Then
  10.             DataList.AppendText("Sorry ,it is not built index!!")
  11.         ElseIf status.ToLower = "start" Then
  12.             DataList.Clear()
  13.           
  14.             startTime = Date.Now
  15.             DataList.AppendText("Index Name :     " + _display_index_Name + vbCrLf + vbCrLf)
  16.             DataList.AppendText("Index Directory:     " + _dir + vbCrLf + vbCrLf)
  17.             display_index_status = "in process"
  19.             DataList.AppendText("index  Status   :     " + display_index_status + vbCrLf)
  20.             DataList.AppendText("Start Time :     " + startTime.ToString + vbCrLf + vbCrLf)
  21.         ElseIf status.ToLower = "finished" Then
  22.        
  23.             Dim Endtime As DateTime = Date.Now
  24.             Dim timespan As TimeSpan = Endtime - startTime
  25.             '  doc.Add(New Lucene.Net.Documents.Field("Build_Time", timespan.ToString, Lucene.Net.Documents.Field.Store.YES, Lucene.Net.Documents.Field.Index.TOKENIZED))
  26.             ' _writer.AddDocument(doc)
  27.             DataList.AppendText("End Time :     " + Endtime.ToString + vbCrLf + vbCrLf)
  28.             DataList.AppendText("Span Time :     " + timespan.ToString + vbCrLf + vbCrLf)
  29.             DataList.AppendText(" Finished :")
  30.         Else
  31.             DataList.AppendText("Index Name :     " + _display_index_Name + vbCrLf + vbCrLf)
  32.             DataList.AppendText("Index Directory:     " + _dir + vbCrLf + vbCrLf)
  33.             DataList.AppendText("Index  Time:     " + display_index_Time + vbCrLf + vbCrLf)
  34.             DataList.AppendText("index  Status   :     " + display_index_status + vbCrLf)
  35.         End If
  39.         DataList.Refresh()
  40.     End Sub

优化索引：

  1.     Public Sub optimize_index(ByVal ar As IAsyncResult)
  2.         Dim writer As IndexWriter = ar.AsyncState
  3.         'optimize index
  4.         writer.SetMergeFactor(100) 'set document number,if your memory is bigger,please set bigger,exm:100 or 1000,defult is 10
  5.         writer.SetMaxMergeDocs(999999999)
  6.         'MinMergeDocs(use it to control the memory)  and MergeFactory(control amalgamation  times and the size of amalgamation ),they have more affect to build the index,
  7.         'but  Number of Mergefactory is not bigger and better,because when the document Number of segment is bigger,the efficiency is lower,so set a right value please,
  8.         'If your memory is bigger,you can set the MinMergedocs bigger
  9.         writer.SetMaxFieldLength(100000) 'set char lenth,defult is 10 000
  12.         writer.Optimize()
  13.         writer.Close()
  14.         _conn.Close()
  15.     End Sub

单击button，开始建立索引：

    1.   Private Sub btn_Builtindex_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles btn_Builtindex.Click
    2.         Timer1.Stop()
    3.         _writer = New IndexWriter(_dir, _Analysis, True)
    4.         Control.CheckForIllegalCrossThreadCalls = False
    5.         Dim CallbackOptimize As AsyncCallback = AddressOf optimize_index
    7.         Dim indexfile_gelegate_btn As New indexfile_delegate(AddressOf indexfile)
    8.         indexfile_gelegate_btn.BeginInvoke(CallbackOptimize, _writer)
    10.     End Sub
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/wpcnblog/p/2383559.html