在 robots.txt 中,我可以为站点地图文件编写以下相对 URL 吗?
sitemap: /sitemap.ashx
还是我必须使用站点地图文件的完整(绝对)URL,例如:
sitemap: http://subdomain.domain.com/sitemap.ashx
为什么我想知道:
在 blog.domain.com 我放了 robots.txt 让搜索引擎找到站点地图。但是,由于通配符,所有用户帐户共享同一个 robots.txt 文件。这就是为什么我不能使用第二种选择。现在我不能对 txt 文件使用 url 重写。(我猜更高版本的 IIS 可以处理这个问题?)
根据sitemaps.org 上的官方文档,它需要是一个完整的 URL:
您可以使用 robots.txt 文件指定站点地图的位置。为此,只需添加以下行,包括站点地图 的完整 URL : Sitemap: http://www.example.com/sitemap.xml
您可以使用 robots.txt 文件指定站点地图的位置。为此,只需添加以下行,包括站点地图 的完整 URL :
Sitemap: http://www.example.com/sitemap.xml