是否有一种快速简便的方法可以从Lucene索引中获取术语频率,而无需通过TermVectorFrequencies类进行,因为这需要花费大量时间来处理大型集合?
我的意思是,是否有类似TermEnum的东西,它不仅有文档频率,还有术语频率?
更新:
使用TermDocs太慢了.
解决方法
使用
TermDocs
获取给定文档的术语频率.与文档频率一样,您可以使用感兴趣的术语从IndexReader获取术语文档.
在不失一些普遍性的情况下,您将找不到比TermDoc更快的方法. TermDocs直接从索引段中的“.frq”文件中读取,其中每个术语频率按文档顺序列出.
如果这“太慢”,请确保您已优化索引以将多个段合并为一个段.按顺序迭代文档(跳过正常,但不能有效地在文档列表中来回跳转).
您的下一步可能是进行额外处理,以创建更加专业化的文件结构,从而省略SkipData.我个人会寻找一个更好的算法来实现我的目标,或提供更好的硬件 – 大量的内存,要么持有RAMDirectory,要么提供给操作系统在自己的文件缓存系统上使用.