知识库首页 seo-llm 资料 noindex meta robots 标签.md

noindex meta robots 标签

本地来源:seo-llm/SEO实战密码-markdown/第04章 网站结构优化/禁止抓取、索引机制/noindex meta robots 标签.md

noindex meta robots 标签

noindex 是页面 head 部分meta robots 标签的一种,用于指令搜索引擎禁止索引本页内容,因而也就不会出现在搜索结果页面中。

最简单的 meta robots 标签格式为:

上面标签的意义是禁止所有搜索引擎索引本页面,禁止跟踪本页面上的链接。

Google、Bing 都支持的 meta robots 标签如下。

  • NOINDEX:告诉搜索引擎不要索引本页面。
  • NOFOLLOW:告诉蜘蛛不要跟踪本页面上的链接。
  • NOSNIPPET:告诉搜索引擎不要在搜索结果页面中显示摘要文字。
  • NOARCHIVE:告诉搜索引擎不要显示快照。

百度的官方说法是目前只支持 NOFOLLOW 和 NOARCHIVE 两种标签。

meta robots 标签内容可以写在一起,以逗号间隔,中间可以有空格,也可以没有。多个 meta robots 内容也可以写成不同标签。

与下面这个是一样的:

meta robots 标签不区分大小写。

只有禁止索引时,使用 meta robots 标签才有意义。以下这个标签:

会被搜索引擎忽略。普通需要被收录、索引,链接需要被跟踪的页面,不用写 meta robots 标签。

这个标签有时会用到:

其效果是禁止索引本页面,但允许蜘蛛跟踪页面上的链接,也可以传递权重。

meta noindex 只是禁止索引,没有禁止抓取,和 robots 文件正相反。实际上,noindex要起作用,这个 URL 是必须先被抓取的,不能用 robots 文件禁止抓取,不然搜索引擎看不到 HTML 代码中有 noindex 标签。

页面有 noindex 标签只是页面被抓取后不被索引的原因之一。页面不被索引还有可能是因为其内容是抄袭、转载、低质量的,搜索引擎虽然进行了抓取,索引过程中检测出这些内容问题,所以被丢弃,没有被索引。页面没有被收录,通常要先检查原始日志,查看是否被抓取过,如果被抓取过,最大的可能是内容质量问题(也可能是误加 noindex),如果根本没被抓取,建议先查看网站结构是否有问题。

本文档为站内渲染。原始文件本地路径:saas/source/seo-llm/SEO实战密码-markdown-第04章-网站结构优化-禁止抓取-索引机制-noindex-meta-robots-标-2c3e81.md(仅本地保留,不入库不部署)