抓取份额是什么

抓取份额是什么

抓取份额（crawl budget）是指搜索引擎蜘蛛分配给一个网站的页面抓取总时间。对于每一个网站，搜索引擎蜘蛛花费在这个网站上的总时间是相对固定的，不会无限制地抓取网站的所有页面。

抓取份额是由抓取需求和抓取性能限制两个因素决定的。

• 抓取需求

抓取需求（crawl demand），指的是搜索引擎“想”抓取网站多少页面。影响抓取需求的因素包括：

• 搜索引擎蜘蛛发现了多少页面。网站规模大，内部链接结构良好，提交准确

sitemap.xml 文件，都将提高搜索引擎发现的页面数，提高抓取需求。

• 页面质量。搜索引擎蜘蛛会先尝试抓取尽量多的页面，如果发现大量页面质量较低，如重复内容、已删除内容，抓取需求将被调低。
• 页面权重。权重高的页面需要经常抓取以保持更新。
• 更新度。页面更新频繁，搜索引擎蜘蛛就需要频繁抓取才能返回最新内容。 一般来说，搜索引擎还是希望索引尽量多有用内容，所以只要网站内容质量高，无

论有多少内容，都不是问题，搜索引擎并不限制一个网站能抓取、索引多少页面。

• 抓取性能限制

抓取性能限制指的是搜索引擎“能”抓取的页面数。

虽然搜索引擎想抓取更多的高质量页面，但还是会受限于性能和技术限制。抓取性能限制最主要取决于网站速度，如果随着搜索引擎蜘蛛抓取，网站速度下降或开始出现报错，说明服务器无法承受，搜索引擎只能降低蜘蛛并发数量，延长抓取间隔。如果蜘蛛抓取对网站速度没影响，搜索引擎可能进一步提高上限。简单说，搜索引擎不想因为抓取而拖慢网站服务器。

当然，抓取性能限制也受搜索引擎当前能调度的资源影响，不过通常这不是造成网站抓取问题的原因，没几个网站能让搜索引擎资源不够用。

抓取份额是考虑抓取需求和抓取性能限制两者之后的结果，也就是搜索引擎“想”抓，同时又“能”抓的页面数。网站权重高，页面内容质量高，页面够多，服务器速度够快，抓取份额就大。

本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第04章-网站结构优化-大型网站抓取份额管理-抓取份额是什么-662a88.md（仅本地保留，不入库不部署）