mysql全文本搜索

理解全文本搜索

并非所有引擎都支持全文本搜索:MySQL最常用的引擎MyISAMInnoDB,前者支持全文本索引,后者不支持。

  • LIKE关键字利用通配操作符匹配文本(和部分文本),能够查找包含特殊值或部分值的行
  • 正则表达式,可以编写查找所需行的非常复杂的匹配模式

虽然以上搜索机制非常有用,但存在几个重要的限制。

  • 性能——通配符和正则表达式匹配通常要求MySQL尝试匹配表中所有行(而且这些搜索极少使用表索引)。因此,由于被搜索行数不断增加,这些搜索可能非常耗时。
  • 明确控制——使用通配符和正则表达式匹配,很难(而且并不总是能)明确地控制匹配什么和不匹配什么。例如,指定一个词必须匹配,一个词必须不匹配,而一个词仅在第一个词确实匹配的情况下,才可以匹配或者才可以不匹配。
  • 智能化的结果——虽然基于通配符和正则表达式的搜索提供了非常灵活的搜索,但他们都不能提供一种智能化选择结果的方法。

使用全文本搜索

为了进行全文本搜索,必须索引被搜索的列,而且要随着数据的改变不断地重新索引,在对表列进行适当设计后,MySQL会自动进行所有的索引和重新索引。

在索引之后,SELECT可与Match()Against()一起使用以实际执行搜索。

启用全文本搜索支持

一般在创建表时启用全文本搜索。CREATE TABLE语句接受FULLTEXT子句,它给出一个被索引列的一个逗号分隔的列表

CREATE TABLE productnotes
(
	note_id int NOT NULL AUTO_INCREMENT,
    prod_id char(10) NOT NULL,
    note_date datetime NOT NULL,
    note_text text NULL,
    PRIMARY KEY(note_id),
    FULLTEXT(note_text)
) ENGINE=MyISAM;

这里FULLTEXT索引单个列,如果需要也可以指定多个列。

在定义之后,MySQL自动维护该索引。在增加、更新或删除行时,索引随之自动更新。

可以在创建表时指定FULLTEXT,或者在稍后指定(在这种情况下所有已有数据必须立即索引)

进行全文本搜索

在索引之后,使用两个函数Match()Against()执行全文本搜索,其中Match()指定被搜索的列,Against()指定要使用的搜索表达式。

SELECT note_text FROM productnotes WHERE Match(note_text) Against('rabbit');

注意:

  • 传递给Match()的值必须与FULLTEXT()定义中的相同。如果指定多个列,则必须列出它们(而且次序正确)。

  • 除非使用BINARY方式,否则全文本搜索不区分大小写。

上述语句也可以用LIKE完成:

SELECT note_text FROM productnotes WHERE note_text LIKE '%rabbit%';

上述两条SELECT语句都不包含ORDER BY子句,后者(使用LIKE)以不特别有用的顺序返回。前者(使用全文本搜索)返回以文本匹配的良好程度排序的数据。两行都包含rabbit,但包含词rabbit作为第三个词的行的等级比作为第20个词的行高。

使用查询扩展

查询扩展用来设法放宽所返回的全文本搜索结果的范围。考虑下面的情况,想找出所有提到anvils的注释。只有一个注释包含词anvils,但你还想找出可能与你的搜索有关的所有其他行,即使它们不包含词anvils

在使用查询扩展时,MySQL对数据和索引进行两遍扫描来完成搜索

  • 首先,进行一个基本的全文本搜索,找出与搜索条件匹配的所有行
  • 其次,MySQL检查这些匹配行并选择所有有用的词
  • 再其次,MySQL再次进行全文本搜索,这次不仅使用原来的条件,而且还使用所有有用的词。

注意:只用于MySQL 4.1.1或更高的版本

例:

  • 一个简单的全文本搜索

    SELECT note_text FROM productnotes WHERE Match(note_text) Against('anvils');

  • 相同的搜索,这次使用查询扩展

    SELECT note_text FROM productnotes WHERE Match(note_text) Against ('anvils' WITH QUERY EXPANSION);

    查询扩展极大地增加了返回的行数,但这样做也增加了实际上并不想要的行的数目。

布尔文本搜索

MySQL支持全文本搜索的另外一种形势,成为布尔方式。以布尔方式,可以提供关于如下内容的细节:

  • 要匹配的词;
  • 要排斥的词
  • 排列提示
  • 表达式分组
  • 另外一些内容

布尔方式即使没有定义FULLTEXT索引,也可以使用,但这是一种非常缓慢的操作(其性能将随数据量的增加而降低)

SELECT note_text FROM productnotes WHERE Match(note_text) Against('heavy' IN BOOLEAN MODE);

分析:此全文搜索检索包含词heavy的所有行(有两行)。其中使用了关键字IN BOOLEAN MODE,但实际上没有指定布尔操作符,因此,其结果与没有指定布尔方式的结果相同。

匹配包含heavy但不包含任意以rope开始的词的行

SELECT note_text FROM productnotes WHERE Match(note_text) Against('heavy -rope*' IN BOOLEAN MODE);

这次只返回一行。这一次仍然匹配词heavy,但-rope*明确地指示MySQL排除包含rope*(任何以rope开始的词,包括ropes)的行,这就是为什么上一个例子中的第一行被排除的原因。

附:如果使用的是MySQL 4.x则上面的例子可能不返回任何行。在MySQL 4.x使用这个例子,使用-ropes而不是-rope*(排除ropes而不是排除任何以rope开始的词)。

布尔操作符 说明
+ 包含,词必须存在
- 排除,词必须不出现
> 包含,而且增加等级值
< 包含,且减少等级值
() 把词组成子表达式(允许这些子表达式作为一个组被包含、排除、排列等)
~ 取消一个词的排序值
* 词尾的通配符
"" 定义一个短语(与单词的列表不一样,它匹配整个短语以便包含或排除这个短语)

下面举例说明操作符如何使用

  • SELECT note_text FROM productnotes WHERE Match(note_text) Against('+rabbit +bait' IN BOOLEAN MODE);

    搜索匹配包含词rabbit和bait的行

  • SELECT note_text FROM productnotes WHERE Match(note_text) Against('rabbit bait' IN BOOLEAN MODE);

    没有指定操作符,这个搜索匹配包含rabbit和bait中至少一个词的行

  • SELECT note_text FROM productnotes WHERE Match(note_text) Against('"rabbit bait"' IN BOOLEAN MODE);

    搜索匹配短语rabbit bait 而不是匹配两个词

  • SELECT note_text FROM productnotes WHERE Match(note_text) Against('>rabbit <carrot' IN BOOLEAN MODE);

    匹配rabbit和carrot,增加前者的等级,降低后者的等级。

  • SELECT note_text FROM productnotes WHERE Match(note_text) Against('+safe +(<combination)' IN BOOLEAN MODE);

    搜索匹配词safe和combination,降低后者的等级

全文本搜索的使用说明

  • 在索引全文本数据时,短词被忽略且从索引中排除。短语定义为那些具有3个或3个一下字符的词(如果需要,这个数目可以更改)。
  • MySQL带有一个内建的非用词(stopword)列表,这些词在索引全文本数据时总是被忽略。如果需要,可以覆盖这个列表
  • 许多词出现的频率很高,搜索它们没有用处(返回太多的结果)。因此,MySQL规定了一条50%规则,如果一个词出现在50%以上的行中,则将它作为一个非用词忽略。50%规则不用于IN BOOLEAN MODE
  • 如果表中的行数少于3行,则全文本搜索不返回结果(因为每个词或者不出现,或者至少出现在50%的行中)
  • 忽略词中的单引号,例如,don't索引为dont
  • 不具有词分隔符(包括日语和汉语)的语言不能恰当地返回全文本搜索结果
  • 仅在MyISAM数据库引擎中支持全文本搜索。
原文地址:https://www.cnblogs.com/ZSMblog/p/12068710.html