简短的问题：
有没有人有任何C#代码来解析robots.txt,然后针对它评估URLS,所以看看它们是否会被排除.
长问题：
我一直在为一个尚未发布到谷歌的新网站创建一个站点地图.站点地图有两种模式,一种是用户模式(如传统的站点地图)和一种“管理”模式.
管理员模式将显示网站上所有可能的URL,包括特定外部合作伙伴的自定义条目URL或URL,例如example.com/oprah,适用于在Oprah上查看我们网站的任何人.我想跟踪Excel电子表格以外的其他地方发布的链接.
我不得不假设有人可能会在他们的博客或某个地方发布/ oprah链接.我们实际上并不希望将这个“迷你oprah网站”编入索引,因为这会导致非oprah观众能够找到特殊的Oprah优惠.
所以在我创建站点地图的同时,我还添加了诸如/ oprah之类的URL,以便从我们的robots.txt文件中排除.
然后(这是实际问题)我认为“能够在站点地图上显示文件是否被索引并且对机器人可见”不是很好.这很简单 – 只需解析robots.txt然后评估一个链接.
然而,这是一个“奖励功能”,我当然没有时间去写它(甚至认为它可能不那么复杂) – 所以我想知道是否有人已经编写任何代码来解析robots.txt？
解决方法
讨厌说,但只是谷歌“C#robots.txt解析器”,然后点击第一个命中.它是一个
CodeProject article about a simple search engine implemented in C# called “Searcharoo”,它包含一个类Searcharoo.Indexer.RobotsTxt,描述为：
- Check for,and if present,download and parse the robots.txt file on the site
- Provide an interface for the Spider to check each Url against the robots.txt rules
