SQL分别存储文档中每个单词的最有效方法

前端之家收集整理的这篇文章主要介绍了SQL分别存储文档中每个单词的最有效方法前端之家小编觉得挺不错的,现在分享给大家,也给大家做个参考。
这是我的情况(或者见底部的TLDR):我正在尝试建立一个系统,通过几个文档搜索用户输入的单词并返回包含这些单词的文档.用户搜索数千个文档,每个文档长度为10-100页,并存储在网络服务器上.

我现在的解决方案是将每个唯一的单词存储在一个带有ID的表中(英语中只有120 000个相关单词),然后在一个单独的表中存储单词id,它所在的文档,以及它出现在该文档中的次数.

例如:文件foo的文字

abc abc def

和文档栏的文本是

abc def ghi

文件表将有

id |名称

1 'foo'
2 'bar'

单词表:

id |字

1 'abc'
2 'def'
3 'ghi'

Word文档表:

字ID | doc id |事件

1        1        2
1        2        1
2        1        1
2        2        1
3        2        1

正如您所看到的,当您拥有数千个文档并且每个文档都有数千个独特的单词时,Word文档表会非常快速地爆炸并且需要很长时间才能进行搜索.

TL; DR我的问题是:

如何在sql数据库中存储来自大型文档的可搜索数据,同时保留使用我自己的搜索算法的能力(我知道sql有.docs和pdf内置的一个)基于@R_301_451@因素(如出现,以及其他)没有一个完全庞大的表,用于将每个单词链接到文档中的所有条目及其在该文档中的属性

很抱歉长时间阅读并感谢您的帮助!

解决方法

您是否考虑过使用lucene搜索API的C#.net实现,而不是使用sql Server构建自己的搜索引擎?看看 https://github.com/apache/lucene.net

猜你在找的MsSQL相关文章