mysql – levenshtein替代方案

前端之家收集整理的这篇文章主要介绍了mysql – levenshtein替代方案前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。

我有一大堆查询并使用levenshtein计算拼写错误,现在levenshtein导致mysql占用完整的cpu时间.
我的查询是UNION语句中的全文搜索levenshtein.
sql1是我当前的查询,sql2只是全文搜索,这是快速的,并没有使用太多的cpu时间,最后一个leventhein一个将达到峰值!

你们中的任何人都有另一种方式来获取拼写错误吗?
请不要回答规范化数据,我已经想到了,但不适用于我的数据,因为我不能预先进行匹配/计算并创建一个带索引的单独表.

            $sql1 = "(SELECT * FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='' AND MATCH(prop_value) AGAINST ('+usama bin laden' IN BOOLEAN MODE)) UNION (SELECT s.* FROM (SELECT levenshtein(prop_value,'usama bin laden') AS dist,sanction_id,prop_type,prop_value FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='') s WHERE dist < 3) ORDER BY sanction_id";

        $sql2 = "SELECT * FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='' AND MATCH(prop_value) AGAINST ('+usama bin laden' IN BOOLEAN MODE) ORDER BY sanction_id";

        $sql3 = "SELECT s.* FROM (SELECT levenshtein(prop_value,prop_value FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='') s WHERE dist < 3";
最佳答案
如果你只与MysqL绑在一起,那就没有一个简单的解决方案.

通常使用专门的ngram索引进行快速候选查找过滤,然后仅在10-50个候选者上计算levensthein,这比计算所有对的levensthein更快.

像Solr / Lucene这样的专业全文搜索引擎内置了这个.

Postgresql有一个pg_trgm contrib模块(http://www.postgresql.org/docs/9.0/static/pgtrgm.html),就像一个魅力.

您甚至可以使用全文索引在MysqL中模拟这一点,但您必须从所有文档中收集单词,将它们转换为ngrams,在它们上创建全文索引,并将它们全部破解以便快速查找.这带来了各种麻烦,冗余,同步……不值得你花时间.

原文链接:https://www.f2er.com/mysql/433941.html

猜你在找的MySQL相关文章