通过搜索引擎的提交界面提交
在网站 robots.txt 文件中指定位置
发送 HTTP 请求
然后,搜索引擎就可以检索您的 Sitemap 并将网址提供给抓取工具抓取。
通过搜索引擎的提交界面提交 Sitemap
要直接将 Sitemap 提交到搜索引擎以便接受状态信息与任何处理错误,请参阅每个搜索引擎的文档。
在 robots.txt 文件中指定 Sitemap 的位置。
您可以使用 robots.txt 文件指定 Sitemap 的位置。为此,只需添加下列行:
Sitemap: http://www.example.com/sitemap.xml此指令不受 user-agent 行的影响,因此可放在文件中的任意位置。如果您有 Sitemap 索引文件,可在其中加入该文件的位置。您不必在索引文件中列出每个单独的 Sitemap。
在每个 robots.txt 文件中可以指定多个 Sitemap 文件。
Sitemap: http://www.example.com/sitemap-host1.xml
Sitemap: http://www.example.com/sitemap-host2.xml通过 HTTP 请求提交 Sitemap
要使用 HTTP 请求提交 Sitemap(使用搜索引擎提供的网址替换 <searchengine_URL>),请将请求发送到下列网址:
<searchengine_URL>/ping?sitemap=sitemap_url例如,如果 Sitemap 位于http://www.example.com/sitemap.gz,则网址将变为:
<searchengine_URL>/ping?sitemap=http://www.example.com/sitemap.gz网址编码 /ping?sitemap=: 之后的所有内容
<searchengine_URL>/ping?sitemap=http%3A%2F%2Fwww.yoursite.com%2Fsitemap.gz您可以使用 wget、curl 或其他您选择的机制发出 HTTP 请求。请求成功的话会返回 HTTP 200 回应代码;如果收到其他回应,则应重新提交请求。HTTP 200 回应代码仅表示搜索引擎已收到您的 Sitemap,并不表示 Sitemap 本身或其中包含的网址有效。完成此操作的简单方法是设置自动执行的任务,定期生成并提交 Sitemap。
注意:如果要提供 Sitemap 索引文件,则只需发出一个包含 Sitemap 索引文件位置的 HTTP 请求即可,而无须为索引中列出的每个 Sitemap 发出单独的请求。
排除内容
Sitemap 协议可让您告知搜索引擎您希望将那些内容编入索引。要告知搜索引擎您要编入索引的内容,请使用 robots.txt 文件或 robots 元标记。有关如何从搜索引擎中排除内容的详情,请参阅 robotstxt.org。