禁止抓取、索引机制
阅读 SEO 相关博客和论坛时能感觉到，很多 SEO 人员并没有理解爬行、抓取、索引、收录这些概念到底指的是什么、区别在哪，以及 noindex、nofollow、robots 文件的实质功能又是什么。对这些概念没有精准理解，处理大型网站结构，决定什么页面需要被抓取，什么页面需要被索引，哪些页面需要禁止抓取、索引等情况时，就很难明白 SEO该怎么做。所以，这里先来弄清楚这些概念的意义。
本文档为站内渲染。原始文件本地路径：saas/source/seo-llm/SEO实战密码-markdown-第04章-网站结构优化-禁止抓取-索引机制-_index-8346c7.md（仅本地保留，不入库不部署）