我有一大堆查询并使用levenshtein计算拼写错误,现在levenshtein导致mysql占用完整的cpu时间.
我的查询是UNION语句中的全文搜索levenshtein.
sql1是我当前的查询,sql2只是全文搜索,这是快速的,并没有使用太多的cpu时间,最后一个leventhein一个将达到峰值!
你们中的任何人都有另一种方式来获取拼写错误吗?
请不要回答规范化数据,我已经想到了,但不适用于我的数据,因为我不能预先进行匹配/计算并创建一个带索引的单独表.
$sql1 = "(SELECT * FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='' AND MATCH(prop_value) AGAINST ('+usama bin laden' IN BOOLEAN MODE)) UNION (SELECT s.* FROM (SELECT levenshtein(prop_value,'usama bin laden') AS dist,sanction_id,prop_type,prop_value FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='') s WHERE dist < 3) ORDER BY sanction_id";
$sql2 = "SELECT * FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='' AND MATCH(prop_value) AGAINST ('+usama bin laden' IN BOOLEAN MODE) ORDER BY sanction_id";
$sql3 = "SELECT s.* FROM (SELECT levenshtein(prop_value,prop_value FROM ci_sanctions_properties WHERE prop_type='LASTNAME' AND prop_value!='') s WHERE dist < 3";
最佳答案
如果你只与MysqL绑在一起,那就没有一个简单的解决方案.
通常使用专门的ngram索引进行快速候选查找过滤,然后仅在10-50个候选者上计算levensthein,这比计算所有对的levensthein更快.
像Solr / Lucene这样的专业全文搜索引擎内置了这个.
Postgresql有一个pg_trgm contrib模块(http://www.postgresql.org/docs/9.0/static/pgtrgm.html),就像一个魅力.
您甚至可以使用全文索引在MysqL中模拟这一点,但您必须从所有文档中收集单词,将它们转换为ngrams,在它们上创建全文索引,并将它们全部破解以便快速查找.这带来了各种麻烦,冗余,同步……不值得你花时间.