大型网站抓取份额管理
搜索引擎的存储、计算、带宽等资源都不是无限的，所以它们肯定不能抓取、索引所有页面，只能抓取、索引其中的一小部分。2023 年美国司法部与 Google 的反垄断官司听证会上，Google 员工提到，2020 年以来，Google 的索引库仅维护 4 千亿个文件，只占 Google 发现的 URL 的不到 4%。搜索引擎要索引新的高质量页面，就需要删除索引库里已有的低质量页面，这对很多网站的索引是限制和挑战。
对一个给定网站，搜索引擎有一个相对固定的抓取上限。对大中型网站来说，这是个颇为重要的 SEO 问题，有时候会成为网站获取自然流量的瓶颈。
本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第04章-网站结构优化-大型网站抓取份额管理-_index-6fa47c.md（仅本地保留，不入库不部署）