上一章看了代码实现,算是搞明白了各参数的意义,现在开始测试,为方便以ik分词示例(对elasticsearch支持较好,测试操作简单)
首先建index,自定义 analysis
ik分词用 ik_smart 添加length filter(分词后,只要词长度3个以上的词,这个后面会说明),添加min_hash(采用默认配置),注意filter顺序.
PUT http://localhost:9200/mytest
{ "settings": { "analysis": { "filter": { "mymin": { "type":"min_hash", "bucket_count": 512 }, "mylength":{ "type":"length", "min":3 } }, "analyzer": { "minhashtest": { "tokenizer": "ik_smart", "filter": [ "mylength","mymin" ] } } } }, "mappings": { "test": { "properties": { "desc": { "type": "text", "analyzer": "minhashtest" } } } } }
分析测试 512个"乱码"
其实看到这里就明白为什么先择持minhash,尚不支持simhash了.minhash原文本索引内容,查询内容,都被构造成minhash值,minhashes的打分匹配,与其他方式完全兼容.但若要支持simhash,simhash计算相对很简单,filter转成一个二进制数据即可,但是查询时,距离,便宜数,打分,这要实现另一套逻辑,工作量相对大很多,若minhash满足需要,并没有支持simhash的紧迫性.
查看匹配详情
POST http://localhost:9200/mytest/test/_search?explain
{ "query": { "match":{ "desc":"腾讯财经 作者 李伟8月25日，海里捞被媒体卧底后厨曝出卫生状况堪忧，当天下午海底捞针此事作出反应，称问题属实、十分愧疚，已经部署全部门店的整改计划。法制晚报卧底两家北京海底捞后厨近4个月，公布了部分图片，称老鼠在后厨地上乱窜、打扫卫生的簸箕和餐具同池混洗、用顾客使用的火锅漏勺掏下水道。涉事的是海底捞劲松店和太阳宫店。下午，海底捞方面表示，卫生问题是他们最关注的，每个月也会处理类似卫生安全事件。本次事件反应了公司管理存在问题，愿意承担经济及法律责任。1994年，创始人张勇的第一家店面开张，店内只能容纳四张餐桌。而如今，海底捞已经成为最具影响力的火锅店、最大亮点是贴心服务，包括为食客免费美甲、不限量水果等，也曾被美国哈佛商学院作为个案研究。在中国60个城市以及海外多个城市共开设了196间分店。公开资料显示，张勇拥有68%四川海底捞餐饮有限公司的股份，63%海底捞控股的股份，以及36%颐海国际控股有限公司的股份。颐海控股是海底捞火锅底料供应商，去年在香港上市。今年4月26日，张勇接受彭博访问时称，今年将可能再开新店80间，预计今年营收可达100亿元人民币，暂无意上巿；颐海国际预计今年会有20%增长。" } } }
结果(实际desc:这样的块,有512条,和bucket_count数量一致,我都删掉了没贴出来)
{ "_shard": "[cdp_test][4]", "_node": "71S4CkW-Qxy_8ftGX5Xc7g", "_index": "cdp_test", "_type": "test", "_id": "AV4Y-Ws2YLxRSBHq7xfS", "_score": 0.6328895, "_source": { "desc": "腾讯财经 作者 李伟8月25日，海里捞被媒体卧底后厨曝出卫生状况堪忧，当天下午海底捞针此事作出反应，称问题属实、十分愧疚，已经部署全部门店的整改计划。法制晚报卧底两家北京海底捞后厨近4个月，公布了部分图片，称老鼠在后厨地上乱窜、打扫卫生的簸箕和餐具同池混洗、用顾客使用的火锅漏勺掏下水道。涉事的是海底捞劲松店和太阳宫店。下午，海底捞方面表示，卫生问题是他们最关注的，每个月也会处理类似卫生安全事件。本次事件反应了公司管理存在问题，愿意承担经济及法律责任。1994年，创始人张勇的第一家店面开张，店内只能容纳四张餐桌。而如今，海底捞已经成为最具影响力的火锅店、最大亮点是贴心服务，包括为食客免费美甲、不限量水果等，也曾被美国哈佛商学院作为个案研究。在中国60个城市以及海外多个城市共开设了196间分店。公开资料显示，张勇拥有68%四川海底捞餐饮有限公司的股份，63%海底捞控股的股份，以及36%颐海国际控股有限公司的股份。颐海控股是海底捞火锅底料供应商，去年在香港上市。今年4月26日，张勇接受彭博访问时称，今年将可能再开新店80间，预计今年营收可达100亿元人民币，暂无意上巿；颐海国际预计今年会有20%增长。" }, "_explanation": { "value": 0.63288957, "description": "weight(Synonym(desc:翗뒭朅䓰㧾筳熆 desc:翗뒭朅䓰㧾筳熆 desc:翗뒭朅䓰㧾筳熆 desc:翗뒭朅䓰㧾筳熆 desc:䢵㴿ﴃ羆膀䱇 desc:䢵㴿ﴃ羆膀䱇 desc:䢵㴿ﴃ羆膀䱇 desc:䢵㴿ﴃ羆膀䱇 desc:䢵㴿ﴃ羆膀䱇) in 0) [PerFieldSimilarity], result of:", "details": [ { "value": 0.63288957, "description": "score(doc=0,freq=17192.0 = termFreq=17192.0 ), product of:", "details": [ { "value": 0.2876821, "description": "idf, computed as log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5)) from:", "details": [ { "value": 1, "description": "docFreq", "details": [] }, { "value": 1, "description": "docCount", "details": [] } ] }, { "value": 2.1999617, "description": "tfNorm, computed as (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength)) from:", "details": [ { "value": 17192, "description": "termFreq=17192.0", "details": [] }, { "value": 1.2, "description": "parameter k1", "details": [] }, { "value": 0.75, "description": "parameter b", "details": [] }, { "value": 512, "description": "avgFieldLength", "details": [] }, { "value": 1, "description": "fieldLength", "details": [] } ] } ] } ] } }
几种优化策略
minhash需要大量的运算
计算次数=词的个数*hash_count
内存占用=bucket_count
1 适当设置bucket_count,hash_count,bucket_count越大越准确,但这需要根据场景测试调整,如果都是短句,像微博内容 bucket_count过大也无意义,一条语句平均10个词(minhash,simhash都对短文本匹配不友好),hash_count过大,提升的效果有限,既浪费内存又浪费cpu.
2 词的个数也可以调整若是对长文本算模糊匹配,单个字完全可以忽略,之上示例加了length filter 便是为此,只保留length>3的词作minhash,无意义的词最好也都过滤掉
3 短词合并,保证单词顺序的前提下,几个短的词,合并成一个长的词,也减少了词的数量,英文推荐 shingle-tokenfilter 中文还未测试https://www.elastic.co/guide/en/elasticsearch/reference/5.5/analysis-shingle-tokenfilter.html
4另外 像 keyword tokenfilter ,unique tokenfilter会丢掉部分信息,可以根据情景是否采用.
5最后minhash相比simhash缺少了权重的信息,但我们可以从另一个角度来添加权重,例,对所有词统计次数,按次数排序,只对前几条作minhash.
以上部分只是思路,对不同的场景适用性不同,具体的情况还需进一步测试验证
部分功能官方filter即支持,这样最好,若官方不支持,则要自已写filter插件了