解决方法
词频的泛化是语言模型,例如单数(=单字频率),双克(=单词对的频率),三克(=世界三倍的频率),…,一般来说：n克
您应该寻找一个现有的语言模型工具包 – 不是在这里重新发明轮子的好主意.
有几个标准工具包可用,例如从CMU狮身人面像团队,还有HTK.
这些工具包通常以C(为了速度!!)编写,因为您必须处理巨大的语料库)并生成标准输出格式ARPA n-gram文件(通常是文本格式)
检查以下线程,其中包含更多的细节和链接：
Building openears compatible language model
一旦您使用这些工具包生成了语言模型,您将需要一个Ruby Gem,使Ruby可以访问该语言模型,或者您需要将ARPA格式转换为您自己的格式.
adi92的帖子列出了一些更多的Ruby NLP资源.
您还可以使用Google的“ARPA语言模型”获取更多信息
最后检查Google的N-gram工具在线：http://ngrams.googlelabs.com/很快移动到：http://books.google.com/ngrams
他们根据他们数字化的书籍制作了n克 – 也可以用法语和其他语言！