我正在寻找为我的大学项目下载完整的维基百科文本.我必须写我自己的蜘蛛才能下载这个或者是否有在线的维基百科公共数据集？
为了给你一些我的项目的概述,我想找出我感兴趣的几篇文章的有趣的话,但是要找到这些有趣的话,我打算用tf / idf来计算每个单词的词频,高频率的.但是要计算tf,我需要知道整个维基百科的总发生情况.
如何才能做到这一点？
解决方法
从维基百科：
http://en.wikipedia.org/wiki/Wikipedia_database
维基百科向感兴趣的用户提供所有可用内容的免费副本.这些数据库可用于镜像,个人使用,非正式备份,离线使用或数据库查询(例如维基百科：维护).所有文本内容都是根据知识共享署名 – 相同方式共享3.0许可证(CC-BY-SA)和GNU免费文档许可证(GFDL)进行多项许可的.图像和其他文件可在不同的条款下获得,详细描述在其描述页面上.有关遵守这些许可证的建议,请参阅维基百科：版权.
似乎你也是幸运的.从转储部分：
截至2010年3月12日,最新的英文维基百科的完整转储可以在http://download.wikimedia.org/enwiki/20100130/找到这是自2008年以来第一次完成英语维基百科的转储.
请注意,最近的转储(如20100312转储)不完整.
所以数据只有9天以上:)
