网站抓取、索引监控
本地来源：seo-llm/SEO实战密码-markdown/第04章 网站结构优化/大型网站抓取份额管理/网站抓取、索引监控.md
网站抓取、索引监控
抓取监控最可靠的是原始日志，以下问题都会在日志中显示出来。
- 服务器报错（5xx 错误）上升，可能性能需要提升了。
- 搜索引擎抓取量明显下降，可能内容质量下降？生成了大量无意义页面？
- 某些目录完全没有抓取，检查 robots 文件是否存在错误禁止。
- 重要页面或更新频繁的页面并没有被及时抓取，检查内链结构是否合理。
百度资源平台和 Google Search Console 也都有抓取监控工具。如图 4-12 所示是百度资源平台显示的“SEO 每天一贴”这种小网站级别的数据，页面抓取频次和抓取时间没有什么大关系，说明没有用完抓取份额，不用担心。
图 4-12 小网站百度抓取频次和抓取时间
有的时候，抓取频次和抓取时间是存在时间对应关系的，如图 4-13 所示为规模大一些的网站，文件抓取时间下降（减小页面尺寸、提高服务器速度、优化数据库），明显导
致抓取频次上升，抓取页面数提高，遍历网站更快速。这种情况说明这个网站的抓取份额已经接近上限，不提高下载速度，已经很难提高抓取页面数了。
图 4-13 文件抓取时间下降，抓取页面数提高
如图 4-14 所示是 Google Search Console 里更大型网站的抓取量与抓取时间。
图 4-14 大型网站抓取量与抓取时间
最上面的是抓取页面数，中间的是抓取数据量，除非服务器出错，这两个曲线应该是一致的。最下面的是页面下载时间。可以看到，只要页面下载速度够快，每天抓取上百万页是没有问题的，抓取量明显上升，并且没有明显拖慢服务器。
如图 4-15 所示是大型网站服务器速度出现问题导致 Google 蜘蛛抓取骤降及恢复的过程。蓝色曲线是抓取量，黄色是服务器反应时间（Google 以收到首字节时间判断）。可以看到，当抓取量和流量等原因导致服务器速度变慢时，Google 蜘蛛认为抓取超出了服务器性能可以承受的范围，因此大幅降低抓取量，直到服务器反应时间下降到可接受水平且经过测试后，才恢复抓取量。
图 4-15 服务器速度变慢导致搜索引擎抓取下降
第 5 章
本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第04章-网站结构优化-大型网站抓取份额管理-网站抓取-索引监控-c73d88.md（仅本地保留，不入库不部署）