知识库首页 seo-llm 资料 收录数据.md

收录数据

本地来源:seo-llm/SEO实战密码-markdown/第08章 SEO 效果监测及策略修改/非流量数据监测/收录数据.md

收录数据

收录是网站排名和流量的基础。尤其是大中型网站,优化不好时,经常收录不充分。 SEO 团队要解决的一个重大问题就是,使尽量多的有价值页面被搜索引擎收录。下面几个收录数据需要记录跟踪。

  • 总收录数

传统基本做法是使用 site:指令查询搜索引擎对某个网站的总收录页面数,再加上站长自己知道的网站实际页面数,就可以计算出收录率。小网站收录率应该达到 90%以上,大中型网站(几十万个页面以上)若优化得当,页面收录率可以达到百分之七八十。

百度 site:指令相对准确,Google 的 site:指令结果往往不太准确。但 site:指令的好处是可以查看竞争对手网站页面收录数。

为了得到比较准确的收录数,可以尝试使用 site:domain.com,加上网站每个页面都会出现、同时是网站独有的词或句子,比如网站名称、出现在页面顶部的口号、电话号码、地址、备案号等。

需要注意的是,出现在 HTML 底部的文字有可能并没有被搜索引擎索引。有的页面文件太大,搜索引擎虽然抓取了整个页面 HTML 代码,但不一定把页面上所有文字进行索引,而只是索引前半部分。所以如果页面文件比较大,需要搜索页面上靠前的独特文字,才能得出较准确的收录数字,通常位于底部的备案号可能不适合。

查询总收录数最准确的是搜索引擎的站长平台。百度资源平台和 Google Search Console 还显示历史收录数据及变化曲线、各类页面索引错误的数据和 URL 示例,详见第 12 章。

  • 特征页面收录

除了网站首页,还要再从分类页面中选一部分有特征的或典型的页面,以及产品或文章页面中的一部分典型页面,查看这些典型页面是否被收录。大中型网站可能需要记录上万个特征页面。在选择典型产品页面时,既要兼顾到尽量多的分类,也要兼顾到不同时间发布的产品,既要有最早发布的、因此已被推到离首页比较远的页面,也要有比较新的、离首页比较近的页面。

查询特征页面收录与否,只要在搜索引擎输入这个页面的完整 URL,没有结果就是没有收录。

检查特征页面收录情况,经常能快速、直观地判断出网站内部链接结构是否有问题。

  • 各分类收录数

每个分类下的产品页面收录数是多少?记录这个数据有助于了解哪些分类收录完整,哪些分类由于内部链接结构、缺少外部链接或内容质量问题等原因而收录不充分,并采 取对应措施。

各分类下的页面标题标签和 URL 格式比较规范时,SEO 人员可以灵活运用 site:指

令及 intitle:、inurl:等组合,得到各分类的收录数。例如,如果页面标题是 5.1.5 节推荐的标准格式:

产品名称/文章标题–子分类名称–分类名称–网站名称使用指令:

site:www.domain.com intitle:分类名称就可以得到这个分类的页面收录数。

如果页面 URL 比较规则,分类首页 URL 为:

http://www.domain.com/catA/sub-cat-1/

产品页面 URL 为: http://www.domain.com/catA/sub-cat-1/page-1.html产品页面都处于本分类目录下,使用指令: site:www.domain.com/catA/sub-cat-1/

或:

site:www.domain.com inurl:/catA/sub-cat-1/

就可以得到子分类 1 的页面收录数。

如在我的博客里,在 Matt Cutts 语录这个分类下有 19 篇帖子,如图 8-1 所示。百度收录 Matt Cutts 语录页面为 24 页,如图 8-2 所示。

img_0183.pngimg_0184.png

图 8-1 Matt Cutts 语录分类下 图 8-2 百度收录 Matt Cutts 语录页数为 24 页实际帖子数为 19 篇

Google 收录Matt Cutts 语录页面恰巧也是 24 页,如图 8-3 所示。

img_0185.png

图 8-3 Google 收录 Matt Cutts 语录页数为 24 页

收录页面包括分类页面首页及翻页等,所以超过实际帖子数。大致可以判断,Matt Cutts 语录这个分类的帖子收录情况不错。

如果各分类下页面标题、URL 等都不规范(这可能说明网站结构规划有问题,本应该尽量避免),可以采取抽样统计方法,选取每个分类下一定比例的页面,检查收录与否,进而计算出这个分类下页面的收录比例。这可以与统计特征页面结合起来做。

百度资源平台页面索引量查询功能支持定制规则,也可以用于统计特定目录/分类下的收录量。

如果网站不同分类提交了不同的Sitemap.xml 文件,在百度资源平台和 Google Search Console 可以看到更详细的每个 Sitemap.xml 文件,也就是每个分类的收录数据。

从前面几章的讨论可以看出,网站收录不充分,经常是出于下面几个原因。

  • robots 文件、noindex 标签禁止抓取或索引。
  • 域名权重不够高,很多内页权重降到收录最低标准之下。
  • 网站结构有问题,使搜索引擎无法顺利爬行、抓取。
  • 抓取了过多无意义的页面,挤占了需要收录的页面的份额。
  • 内部链接分布不均匀,使某些分类权重不够高,这个分类下的大量页面不能被收录。
  • 搜索引擎不友好的因素,如 JavaScript 链接、框架结构、太复杂的动态 URL 等。
  • 网站内容原创度不够,存在大量转载和抄袭内容,使搜索引擎认为没有必要收录。跟踪、记录网站页面收录情况,能够使 SEO 人员知道网站结构在调整后,是否达到

了提高收录率的目的,如果没有,应该仔细检查是否出现了上述几方面的问题。

  • 有效收录数

收录数据的局限在于,收录数高并不一定意味着流量高(虽然大部分情况下是如此)。有的页面即使被收录,由于权重太低或页面优化不好,也没有任何排名,带不来流量。为了校正这个偏差,SEO 人员也可以记录网站有效收录页面数,也就是某一段时间,如过去 3 个月内,带来过至少一个搜索流量的页面数。

不同流量统计服务查看方法不同,以 Google Analytics(谷歌分析,GA)为例,打开菜单“行为–网站内容–着陆页”,点击右上角的“添加细分”按钮,选择流量细分中的搜索流量,如图 8-4 所示。

GA 将列出所有带来过搜索流量的着陆页,右下角显示这种页面的总数,也就是有效收录数,如图 8-5 所示。

img_0186.png

图 8-4 选择来自搜索流量的着陆页

img_0187.png

图 8-5 有效收录页数

其他页面即使已被收录,却没能带来哪怕一个搜索流量,可以在一定程度上理解为是无效收录。GA 显示的数字来源于真实流量,不依赖于 site:之类指令的算法可靠性,所以数字是比较准确的。

大部分情况下,有效收录数才是真正与自然搜索流量成正比的。跟踪有效收录变化情况,检查哪些分类的有效收录比例偏低并优化这些分类,经常能收获很好的效果。

竞争对手的有效收录数是没办法获知的。

本文档为站内渲染。原始文件本地路径:saas/source/seo-llm/SEO实战密码-markdown-第08章-SEO-效果监测及策略修改-非流量数据监测-收录数据-a5fb18.md(仅本地保留,不入库不部署)