我把你说的 AU 时代，按现在语境理解成 AIO / AI Overviews / AI Mode 这一代 AI 搜索时代。

先说一句狠的：这份 Google 文档不是在教你搞一套新的玄学 SEO。它反而是在告诉所有人：别被 AEO、GEO、LLMS.txt、AI chunking、prompt 页面这些花活带偏。Google AI 搜索的底层，还是搜索。只是以前用户自己翻网页，现在 Google 先像助理一样替用户翻一遍、总结一遍、再把来源露出来。

TLDR

1. **SEO 没死。**Google 官方明确说，AI Overviews 和 AI Mode 仍然建立在 Google Search 的抓取、索引、排名和质量系统上。也就是说，你连传统搜索都进不去，就别幻想 AI 答案突然引用你。(Google for Developers)

2. **AI 搜索的核心不是关键词排名，而是被引用、被提及、被信任。**Semrush 把 AI search optimization 定义成让内容更频繁被 ChatGPT、Google AI Overviews、Perplexity 这类系统引用或提及；Ahrefs 的研究也强调品牌提及、YouTube 提及、网页提及与 AI 可见度强相关。(Semrush)

3. **Google 这份新文档的核心词是 non-commodity content。**大白话就是：别再写那种网上一搜一大把的塑料文章。你要提供第一手经验、原创数据、真实测试、独特观点、图片、视频、案例和工具。(Google for Developers)

4. **robots.txt 不是隐藏网页的保险箱。**它更像门口的保安，只告诉爬虫哪些路别走；但网页如果被别人链接，URL 仍可能出现在搜索里。真要不展示，要用 noindex、权限控制、删除页面等方式。(Google for Developers)

5. **nosnippet / max-snippet 会影响 AI Overviews / AI Mode。**Google 官方说明，nosnippet、max-snippet、data-nosnippet 这些预览控制，也会影响内容能否作为 AI Overviews 和 AI Mode 的直接输入。你想被 AI 引用，就别乱关 snippet。(Google for Developers)

6. **Google 官方说：不用为了 Google AI 搜索专门做 LLMS.txt。**Google 的新文档明确 mythbusting：不需要特殊 markup，不需要 LLMS.txt，不需要 AI 专用 chunking，不需要为了 AI 重写一套页面。(Google for Developers)

7. **但 LLMS.txt 不是完全没价值。**它像给 AI 工具贴一张导览图，可能对文档站、开发者工具、RAG、agent 工具有用；只是现在 Google、OpenAI、Anthropic 等主要平台并没有把它当成官方搜索收录标准。Ahrefs 说目前没有主要 LLM 提供商正式支持它；Semrush 和 Search Engine Land 的测试也没有看到主流 AI bot 大规模访问 LLMS.txt。(Ahrefs)

8. **别盲目封 AI bot。**想出现在 ChatGPT Search，OpenAI 官方建议允许 OAI-SearchBot；想在 Claude 搜索里更准确可见，Anthropic 官方说 Claude-SearchBot 会用于提升搜索质量；Perplexity 官方也建议允许 PerplexityBot 用于搜索结果引用。(OpenAI开发者)

9. **AI Overview 的引用非常波动。**Ahrefs 发现 AI Overview 内容平均约 2.15 天会变化一次，更新时约 45.5% 的引用会变，但核心语义通常稳定。你不要追一个关键词的一次引用，要追主题、实体、品牌、证据池。(Ahrefs)

10. **最终打法是五件事：能抓、能索引、能摘录、能信任、能成交。**这不是写更多垃圾页面，而是把你的网站从“文章仓库”升级成“证据仓库”。

Cheatsheet：一张表讲透

一、Google 这份新文档到底讲了什么

Google Search Central 在 2026 年 5 月 15 日发布/更新了这份文档：Optimizing your website for generative AI features on Google Search。发布者是 John Mueller。文档覆盖 AI Overviews、AI Mode、SEO 是否仍然相关、内容质量、技术结构、AEO/GEO 误区、AI agents 等主题。(Google for Developers)

你把它想象成这样：

以前的 Google 像一个图书馆管理员。用户问问题，管理员说：这边有十本书，你自己看。

现在的 Google AI Search 像一个更勤快的研究助理。用户问问题，它先跑去书架上翻很多书，整理一段答案，然后说：我参考了这些来源。

所以关键不是你会不会在门口喊“我是 AI 友好内容”。关键是：你的书有没有进图书馆、是不是摆在合适书架、内容是不是值得助理引用。

Google 文档里有一个非常关键的表述：AI features 仍然根植于 Google Search 的核心 ranking 和 quality systems，并且使用 RAG 和 query fan-out 这类技术。大白话说，AI 不是闭着眼睛背答案，它会拆问题、找资料、拼答案。(Google for Developers)

二、RAG 和 Query Fan-out，用人话讲

RAG 就像一个记者写稿。

一个差记者靠记忆瞎写。一个好记者会先查资料、采访、看档案，再写稿。Google AI 搜索更接近后者：它会从搜索系统里拿到相关网页、图片、视频、购物、本地等信息，再合成答案。Google 官方关于 AI features 的文档也说明，AI Overviews 和 AI Mode 没有额外特殊要求，仍然依赖搜索的抓取、索引和内容理解系统。(Google for Developers)

Query fan-out 就像老板交代一句话，下面十个实习生同时去查十个角度。

用户问：
“2026 年独立开发者怎么做 SEO 适配 AI 搜索？”

传统搜索可能只搜这个句子。AI 搜索会拆成一堆子问题：

• AI Overviews 怎么引用网页？

• Google AI Mode 和传统搜索有什么关系？

• robots.txt 会不会影响 AI 抓取？

• LLMS.txt 有没有用？

• Ahrefs / Semrush / Moz 怎么看？

• 独立开发者内容怎么做？

• SaaS 文档页怎么被 AI 引用？

• 用户真正想买什么？

这就是为什么你只盯一个关键词会输。AI 搜索不是单点命中，它是“多路侦察”。你的网站要变成一个小型情报中心，不是只做一篇孤零零的文章。

三、Google 官方真正想让你做什么

1. 做非商品化内容，不要做塑料内容

Google 这次最狠的词是 non-commodity content。

商品化内容是什么？就是那种“十个网站长得一模一样”的内容。

比如你写：

“AI SEO 的 7 个技巧：写高质量内容、使用关键词、优化标题、提升速度……”

这种东西像机场便利店的矿泉水。哪瓶都一样。AI 没理由特别引用你。

非商品化内容是什么？

你做一个 SaaS，然后写：

“我把 132 个 AI Overview 查询跑了 30 天，发现 B2B SaaS 被引用的页面有 4 个共同点。这里是我的原始表格、失败样本、截图、提示词、页面结构、改版前后数据。”

这就有价值了。因为这是你的战地笔记，不是二手鸡汤。

Google 官方明确建议网站创建有价值、非商品化、对用户独特的内容，包括第一手 review、独特观点、高质量图片和视频；同时警告不要为了 query fan-out 批量生成大量低价值变体页面，因为这可能触碰 scaled content abuse。(Google for Developers)

一句话：AI 时代最值钱的不是会写，而是你真的去做过。

2. 页面要能被抓、能被索引、能被摘录

Google 文档说得很直接：你的页面要能被抓取、索引，并且 eligible to show a snippet，才有机会作为 AI features 的来源。Google 还强调语义化 HTML、JavaScript SEO、页面体验、减少重复内容、使用 Search Console 等基础工作。(Google for Developers)

这就像你开饭店。

你菜做得再好，门锁着、招牌没有、菜单藏在厨房、外卖员进不来，那平台怎么推荐你？

对应到网站就是：

• robots.txt 没误封；

• 页面没有 noindex；

• 不要乱用 nosnippet；

• JS 渲染后重要内容能被看到；

• 内链能走到核心页面；

• canonical 没指错；

• 图片、视频、产品信息、价格、库存、评价能被读取；

• 页面不是登录后才看得见；

• 服务器别动不动 403、500、超时。

很多人以为 SEO 是写文章，其实第一步是别把自己关在地下室里。

3. Local、Shopping、Images、Video 都更重要了

Google 的 AI features 不只是文字。它会用本地、购物、图片、视频等多个垂直系统里的信息。Google 的文档建议保持 Merchant Center、Business Profile 等资料更新，也强调高质量图片和视频的重要性。(Google for Developers)

这对独立开发者、SaaS、工具站、电商站特别关键。

以前你可能觉得：我写篇 blog 就行。

现在不够了。你要让 AI 能看到：

• 产品是什么；

• 价格是多少；

• 谁在用；

• 截图长什么样；

• 怎么操作；

• 跟竞品区别是什么；

• 常见坑怎么解决；

• 是否有视频演示；

• 是否有真实评价；

• 是否有文档、API、FAQ、更新日志。

AI 喜欢“证据密度高”的内容。就像投资人不只听你讲梦想，他要看收入、用户、留存、截图、合同、流水。

四、Google 官方这次也在打假：这些别迷信

Google 文档专门 mythbusting 了一些 AI SEO 玄学。核心包括：不需要 LLMS.txt，不需要特殊 markup，不需要为 AI 做特殊 chunking，不需要为了 AI 重写内容，不要制造不真实的品牌提及，不要过度迷信 structured data。(Google for Developers)

这段非常重要。因为现在市场上很多人在卖“AI SEO 新秘籍”，本质是旧骗局换新皮。

你可以把这些东西分成两类：

第一类：有用但不是神药。
比如 structured data、LLMS.txt、FAQ、schema、Markdown 化文档。它们可以帮助机器理解，但不能替代真实价值。

第二类：危险花活。
比如批量生成几千个“AI 问题页面”、刷假提及、做假评测、堆砌提示词、伪造排行榜。Google 的 spam policies 已经覆盖“试图操纵 Google Search 里的生成式 AI 响应”的行为。(Google for Developers)

别当那种聪明反被聪明误的人。AI 时代，作弊不是没有机会短期有效，但平台会越来越会识别。真正的护城河是：你有别人没有的东西。

五、robots.txt、meta robots、Google-Extended、LLMS.txt，到底怎么区分

这里最容易乱。我给你一个特别直观的比喻。

你的网站像一栋楼。

• robots.txt：楼门口的保安，告诉不同快递员、外卖员、记者哪些楼层能进。

• sitemap.xml：楼层地图，告诉别人有哪些房间。

• meta robots / X-Robots-Tag：每个房间门上的牌子，写着“可以拍照”“不能拍照”“不要公开展示”。

• Google-Extended：一份授权声明，告诉 Google：你可以/不可以把我内容用于某些 Gemini / Vertex AI 之类的非搜索 AI 用途。

• LLMS.txt：前台贴的一张“给 AI 看的导览图”，告诉它哪些资料最重要。

• 账号登录/密码墙：真正的门禁。

Google 官方说明，robots.txt 主要控制 crawler 访问 URL，不是隐藏网页的可靠方式；如果 URL 被其他页面链接，仍可能出现在搜索中，只是可能没有描述。(Google for Developers)

而 meta robots 里的 noindex、nosnippet、max-snippet 等，才更直接影响页面是否展示、是否提供摘要。Google 官方说明 nosnippet 会阻止文本/视频 snippet，并适用于 Web Search、Images、Discover、AI Overviews、AI Mode；max-snippet 也会限制能作为 AI Overviews / AI Mode 直接输入的文本长度。(Google for Developers)

控制文件速查表

六、LLMS.txt：到底要不要做

一句话：可以做，但别跪拜。

LLMS.txt 的提案来自 Jeremy Howard / Answer.AI，核心想法是让网站提供一个 Markdown 风格的文件，告诉 LLM：这个网站最重要的资料在哪里、该怎么理解。它类似“给 AI 的人工精选目录”。(Answer.AI)

但是，Ahrefs 明确写到，目前没有主要 LLM provider 正式支持 LLMS.txt，包括 OpenAI、Anthropic、Google；Semrush 对 LLMS.txt 的说明也把它定义为 proposed standard，而不是行业强制标准。Semrush 与 Search Engine Land 的测试还发现，主流 AI crawlers 在测试期没有访问 LLMS.txt 文件，至少不能证明它现在能直接提升 AI 结果表现。(Ahrefs)

所以你要这样理解：

LLMS.txt 不是门票。
不是你写了它，Google AI 就引用你。
不是你不写它，AI 就看不见你。

它更像你给一个来参观公司的研究员递了一份资料包：
“这是我们的产品文档，这是价格页，这是 API，这是案例，这是研究报告，这是更新日志。”

对以下网站，LLMS.txt 可以做：

• SaaS 文档站；

• API 工具；

• 开发者平台；

• 开源项目；

• 有大量知识库的产品；

• 教程站；

• 数据库站；

• 想让 agent 更容易理解产品边界的网站。

但对大多数普通内容站，优先级低于：

1. 让核心页面可抓取可索引；

2. 提升内容原创度；

3. 增加第一手证据；

4. 优化内链和信息架构；

5. 建立品牌提及；

6. 做视频、图片、案例、工具；

7. 监控 GSC 和日志。

别把导览图当成房地产证。

七、AI bot 和 robots.txt：别一刀切误杀自己

很多人现在看到 AI crawler 就想全封。这个动作要非常小心。你要分清楚：搜索引用 bot、训练 bot、用户触发 bot，不是一回事。

OpenAI 官方文档把 crawlers 分开：OAI-SearchBot 用于 ChatGPT search 中展示和链接网站；GPTBot 用于帮助改进模型；ChatGPT-User 是用户主动请求时触发的访问，不是自动网页抓取。OpenAI 也明确说，可以允许 OAI-SearchBot，同时不允许 GPTBot。(OpenAI开发者)

Anthropic 官方也区分 ClaudeBot、Claude-SearchBot、Claude-User。其中 Claude-SearchBot 用于提升 Claude 搜索质量，禁用可能降低用户搜索相关内容时的可见性或准确性。(Claude帮助中心)

Perplexity 官方也说明，PerplexityBot 用于搜索结果中的网站发现、索引和链接，不用于训练 AI foundation models；而 Perplexity-User 是用户触发的访问，一般不遵循 robots.txt，因为它代表用户请求。(Perplexity)

所以你的策略不是“AI bot 全部滚蛋”，而是：

• 想被 ChatGPT Search 找到：允许 OAI-SearchBot；

• 不想被 OpenAI 用于训练：可以禁止 GPTBot；

• 想被 Claude 搜索准确发现：允许 Claude-SearchBot；

• 不想被 Anthropic 训练抓取：可以禁止 ClaudeBot；

• 想被 Perplexity 引用：允许 PerplexityBot；

• 想控制 Google Search：核心是 Googlebot，不是 Google-Extended；

• 想控制 Gemini / Vertex AI 这类非搜索用途：用 Google-Extended。

示例，不是通用模板，部署前要结合你自己的商业策略：

# 允许 Google Search 抓取核心内容
User-agent: Googlebot
Allow: /

# 不希望内容用于 Google 非搜索 AI 产品的某些用途
User-agent: Google-Extended
Disallow: /

# 允许 ChatGPT Search 发现和引用
User-agent: OAI-SearchBot
Allow: /

# 不希望用于 OpenAI 训练
User-agent: GPTBot
Disallow: /

# 允许 Claude 搜索
User-agent: Claude-SearchBot
Allow: /

# 不希望 Anthropic 训练抓取
User-agent: ClaudeBot
Disallow: /

# 允许 Perplexity 搜索引用
User-agent: PerplexityBot
Allow: /

注意，Allow: / 在很多情况下不是必须写，因为默认就是允许。但如果你的 robots.txt 很复杂，显式写清楚能减少误伤。

八、Semrush、Ahrefs、Moz、Search Engine Land 怎么看 AI SEO

1. Semrush：AI 搜索优化是“被引用”的游戏

Semrush 2026 年的 AI search optimization 文章把这件事讲得很直接：AI 搜索优化的目标，是让你的内容更频繁被 ChatGPT、AI Overviews、Perplexity 等 AI 系统引用、提及、总结。它和传统 SEO 不同：传统 SEO 是让页面排名，AI SEO 更像是让品牌和内容成为 AI 答案里的可靠来源。(Semrush)

Semrush 的建议非常务实：

• 检查 robots.txt，不要误封 AI crawler；

• 确保页面不是登录、paywall、JS-only、服务器错误、canonical 错乱；

• 给文章加入具体数据、来源、专家观点、案例；

• 保持内容更新；

• 追踪 AI visibility，而不是只盯蓝色链接排名。(Semrush)

Semrush 还预测 AI search visitors 可能在 2028 年初超过传统搜索访客。这个预测你不用当圣旨，但它提醒你：流量入口正在变，别等到传统 SEO 盘子萎缩才醒。(Semrush)

我的判断：Semrush 的路线适合执行型团队。它不是让你发明新宇宙，而是让你把网站打造成“AI 可引用资产库”。

2. Ahrefs：别迷信排名，也别迷信字数，做品牌和证据

Ahrefs 的研究比较有意思，因为它前后数据变过。

Ahrefs 早期文章曾发现约 76% 的 AI Overview citations 也排在传统搜索前 10；但 2026 年更新后的大样本研究发现，在 863K 个 SERP、400 万个 AIO URL 中，只有约 38% 的 AI Overview 引用页也排在传统前 10。Ahrefs 的解释方向是：query fan-out 让 Google 会引用一些不直接排名在原始查询前 10 的页面。(Ahrefs)

这说明什么？

传统 SEO 仍然重要，但它不是全部。你不能只问“我这个关键词排第几”，还要问：

• 相关子问题我有没有覆盖？

• 我的页面能不能被摘一句精准答案？

• 我有没有原始数据？

• 我的品牌有没有在 YouTube、论坛、播客、评测、社区、GitHub、Reddit、新闻、合作伙伴网站被提到？

• 我的内容是不是比竞品更像“可引用证据”？

Ahrefs 还发现，内容长度和 AI 引用几乎没有强相关，核心是直接满足意图；它还研究了 AI Overview 波动，发现 AIO 内容变化频繁，引用也经常换，但语义核心比较稳定。(Ahrefs)

这就像你打篮球。你不能只练一个投篮点，因为对手防守会变。你要练的是整套进攻体系。

3. Moz：关键词研究要升级成 fan-out / prompt research

Moz 的完整博客正文这次没有直接展开到可完整引用文本，但能从 Moz 官方 LinkedIn、YouTube 和搜索摘要确认几个方向：Moz 的 Whiteboard Friday 已经在讲 Optimizing for AI Overviews；Tom Capper 也在讲 10 Fan-Outs for Prompt Research；Moz Pro 也提供 AI Overview 触发关键词、被谁 featured、哪里可以加码等监控能力。(LinkedIn)

Moz 这条线的重点，我会翻译成一句话：

别再只做 keyword research，要做 prompt universe research。

以前你研究关键词：

“best project management software”

现在你要研究用户真正会问的一串问题：

• 哪个项目管理软件适合 5 人远程团队？

• Notion、Asana、Linear、ClickUp 怎么选？

• 哪个工具对独立开发者最轻？

• 哪个有 API？

• 哪个适合客户协作？

• 哪个不会把团队逼疯？

• 有没有真实迁移案例？

• 有没有价格陷阱？

这就是 fan-out 时代的内容地图。

4. Search Engine Land：GEO 可以做，但别把它搞成巫术

Search Engine Land 对 Google 这份文档的解读也抓到了重点：Google 认为 SEO 仍然相关；网站要做独特、非商品化内容；不需要 LLMS.txt 这类特殊文件来适配 Google AI features。(Search Engine Land)

Search Engine Land 另有 GEO 框架文章，把生成式引擎优化定义为让品牌在 AI engines 中被引用、推荐、发现，并提出 assess、optimize、measure、iterate 的框架。这个框架可以用，但要记住一条线：GEO 如果变成“刷提及、造假榜单、批量垃圾页”，那就离 Google spam policies 很近了。(Search Engine Land)

我给你一句判断标准：

凡是让内容更真实、更清楚、更可验证的 AI SEO，值得做。凡是让内容更假、更碎、更像操控系统的 AI SEO，迟早出事。

九、真正的 AI SEO 飞轮：不是页面，是证据网络

你现在要从“写文章思维”升级到“建证据网络”。

一个页面被 AI 引用，通常不是因为它标题里有关键词，而是因为它像一个可靠证据节点。

它周围最好有：

• 原创研究；

• 真实案例；

• 视频演示；

• 产品截图；

• 数据表；

• FAQ；

• API 文档；

• 更新日志；

• 作者经验；

• 外部媒体提及；

• 社区讨论；

• 客户评价；

• GitHub / npm / Product Hunt / G2 / Capterra / YouTube / Reddit 等外部信号；

• 相关页面之间的清晰内链。

AI 不是只看你自己怎么夸自己。它会在多个地方拼图。Ahrefs 对 75,000 个品牌的研究发现，YouTube 提及、品牌网页提及等与 AI visibility 有很强相关性；同时也提醒这不是简单因果，但足以说明“品牌在网络上的存在感”越来越重要。(Ahrefs)

这就像相亲。你说自己靠谱，不够。朋友说你靠谱，同事说你靠谱，前客户说你靠谱，你过去做过的事也证明你靠谱，这才有分量。

十、一个独立开发者案例：从垃圾 SEO 到 AI 可引用资产

假设你做了一个产品：一个给独立开发者用的 AI 客服工具。

你原来的 SEO 页面可能是：

“Best AI customer support tools in 2026”

内容长这样：

• AI 客服是什么；

• AI 客服好处；

• 10 个工具列表；

• FAQ；

• 结论。

这就是典型塑料内容。Google AI 没理由引用你，因为你和 500 个站长写得一样。

现在按 AI 搜索时代重做。

你先做一个真实实验：

“我让 5 个 AI 客服工具处理 300 条真实 indie SaaS 客服 tickets，测试了准确率、幻觉率、转人工率、设置时间、价格、用户满意度。”

然后你公开：

• 测试方法；

• 原始 tickets 分类；

• 每个工具截图；

• 错误案例；

• 价格对比；

• 适合人群；

• 不适合人群；

• 3 分钟视频；

• 数据表；

• 可下载模板；

• 你自己的工具在其中表现；

• 你承认自己工具不适合大企业；

• 你给出什么时候该用 Intercom、Zendesk、Crisp、Tidio、Help Scout；

• 你写一篇“AI 客服在退款、bug、愤怒客户场景下的 27 个失败案例”。

这时候，你的内容就从“广告文”变成了“行业证据”。

AI 搜索可能不会每次都引用你，但它终于有理由引用你了。因为你不是在喊“我最好”，你是在提供材料。

这就是非商品化内容。也是独立开发者最应该打的仗。你没有大公司的预算，但你可以有大公司没有的真实、锋利、亲自下场。

十一、页面结构怎么写，才更容易被 AI 摘录

AI 喜欢什么？不是玄学，基本是这几类：

1. 开头先给答案

不要绕。

差：

“随着人工智能的发展，越来越多企业开始关注搜索体验……”

好：

“如果你想让页面出现在 Google AI Overviews，先保证页面可被 Googlebot 抓取、可索引、可展示 snippet，然后提供第一手、非商品化内容。LLMS.txt 对 Google AI 搜索不是必需项。”

AI 要摘录，用户也要答案。废话就是成本。

2. 每个小节回答一个明确问题

比如：

• robots.txt 会影响 AI Overviews 吗？

• LLMS.txt 对 Google 有用吗？

• Google-Extended 会不会影响搜索排名？

• nosnippet 会不会影响 AI Mode？

• AI bot 要不要封？

这种结构很适合 query fan-out。因为 AI 拆出来的子问题，正好能落到你的 H2/H3。

3. 加证据，不要只加观点

观点像空气，证据像铁。

你要放：

• 数据；

• 表格；

• 真实案例；

• 截图；

• 视频；

• 失败样本；

• 前后对比；

• 时间线；

• 作者经验；

• 引用来源；

• 更新日期。

Semrush 也建议加入具体统计、专家引用、案例结果，并保持内容更新，因为 AI 系统更偏好有来源、有上下文、近期相关的内容。(Semrush)

4. 别为了 AI 把页面切成一堆碎片

Google 明确说不需要 AI-specific chunking，也不需要为了 AI 专门重写一套内容。你要做的是让人读得懂，机器也能读得懂。(Google for Developers)

页面像一本好书，不是碎纸机吐出来的一地纸片。

十二、技术设置：一套比较安全的默认策略

如果你的目标是：最大化 Google AI Search、ChatGPT Search、Claude Search、Perplexity 的可见度，但限制部分模型训练用途，可以采用这个思路：

核心页面

对你想被搜索和 AI 引用的页面：

<meta name="robots" content="index, follow, max-snippet:-1, max-image-preview:large">

含义：

• 允许索引；

• 允许跟随链接；

• 不限制 snippet 长度；

• 允许大图预览。

Google 官方说明 max-snippet:-1 表示不限制 snippet 长度；max-image-preview:large 允许大图预览。(Google for Developers)

不想公开的页面

比如后台、私人报告、付费资料：

<meta name="robots" content="noindex, nofollow">

或者更好：用登录权限、密码、服务器级访问控制。因为 Google 官方说 robots.txt 不是隐藏页面的可靠方式。(Google for Developers)

想隐藏页面某一小块

比如价格协议里的敏感条款、临时内部备注：

<span data-nosnippet>这段不要作为摘要展示</span>

但不要把核心答案包进去。不然你等于亲手给 AI 蒙眼睛。

十三、测量：别只看排名，要看四层指标

AI 搜索时代，单纯看关键词排名会让你误判。

你要看四层。

第一层：Search Console

Google 官方说，AI Overviews 和 AI Mode 的表现会被计入 Search Console Performance report 的 Web search type。问题是，它不会给你一个非常干净的“AI Overview 点击”独立报表。(Google for Developers)

所以 GSC 只能看大趋势：

• impressions 是否变化；

• CTR 是否异常；

• 页面是否从传统排名流量转为更少点击但更高质量；

• query 类型是否变化。

Google 也声称，来自 AI Overviews 的点击通常质量更高，因为用户在点击前已经获得更多上下文。这个说法是 Google 官方立场，你要用自己的转化数据验证。(Google for Developers)

第二层：日志

看谁在抓你：

• Googlebot；

• OAI-SearchBot；

• GPTBot；

• ClaudeBot；

• Claude-SearchBot；

• PerplexityBot；

• Bingbot；

• 其他异常 bot。

日志比猜测诚实。

第三层：AI visibility

手动或用工具追踪：

• ChatGPT Search 是否提到你；

• Perplexity 是否引用你；

• Google AI Overview 是否引用你；

• Claude 搜索是否提到你；

• 你的品牌是否被正确描述；

• 竞品被怎么描述；

• AI 是否误解你的价格、功能、定位。

Ahrefs 把 AI visibility audit 定义为检查品牌在哪里被提到、频率如何、是否准确、是否有来源，并追踪 mentions、citations、share of voice 等指标。(Ahrefs)

第四层：商业指标

最后你还是要看：

• 注册；

• 试用；

• 付费；

• Demo；

• 线索质量；

• 客单价；

• 留存；

• 销售周期。

AI 流量少但转化高，可能比传统 SEO 的垃圾流量更值钱。

别做流量乞丐，要做利润猎人。

十四、原始资料地图：各家观点怎么合并

十五、SOP：AI 搜索时代网站优化流程

第 0 步：确定策略

先问一句：

你到底想不想被 AI 搜索引用？

如果想，那就别乱封 Googlebot、OAI-SearchBot、Claude-SearchBot、PerplexityBot。
如果不想被训练，可以单独限制 GPTBot、ClaudeBot、Google-Extended 等相关控制项。
如果某些内容是商业机密，那不要靠 robots.txt，直接上登录、权限、noindex、删除或服务器限制。

第 1 步：技术可见性审计

检查：

• robots.txt 是否误封 Googlebot；

• 是否误封 AI 搜索相关 bot；

• 核心页面是否 noindex；

• 是否用了 nosnippet；

• 是否 max-snippet:0 或太短；

• canonical 是否指向错误页面；

• sitemap 是否包含核心 URL；

• 重要内容是否只有 JS 后加载；

• 登录墙/paywall 是否挡住核心内容；

• CDN / WAF 是否误杀 crawler；

• 服务器是否经常 403、500、timeout；

• Search Console 是否有 indexing / crawling 问题。

第 2 步：内容商品化审计

把你所有核心页面分成三类：

A 类：有原创证据
保留，加深。

B 类：有用但普通
加入案例、数据、截图、视频、对比、FAQ、更新记录。

C 类：纯垃圾模板文
删除、合并、重写。

判断标准很简单：

如果把你的品牌名遮住，这篇文章和竞品文章几乎没区别，那就是商品化内容。

第 3 步：做 fan-out 内容地图

拿一个核心主题，比如：

“AI customer support for SaaS”

拆成：

• What：AI 客服是什么；

• Why：为什么 SaaS 需要；

• Who：适合哪些团队；

• When：什么时候该上；

• Where：适合放在官网、app 内、Slack、Intercom 还是 email；

• How：怎么接入；

• How much：成本、ROI、价格；

• Alternatives：竞品；

• Risks：幻觉、隐私、误答；

• Case：真实案例；

• Tool：模板、计算器、checklist；

• Video：演示；

• Data：测试数据。

然后每个子问题都做成能独立回答、又能互相链接的页面或段落。

第 4 步：重写核心页面

每个核心页面都要有：

• 开头 100 字直接回答问题；

• 目录；

• 明确 H2/H3；

• 数据表；

• 真实案例；

• 原创图片或截图；

• 视频；

• FAQ；

• 作者/更新时间；

• 外部来源；

• 内部链接；

• 清晰 CTA；

• 可被摘录的定义、结论、步骤。

不要写成“文学散文”。AI 不怕长，但怕虚。

第 5 步：补外部证据

每个重要主题，都去建立外部信号：

• YouTube 演示；

• GitHub repo；

• Product Hunt；

• Reddit / Hacker News / Indie Hackers 讨论；

• 行业播客；

• 客户案例；

• 合作伙伴文章；

• 数据报告；

• 免费工具；

• 模板；

• benchmark；

• 第三方评测；

• 社区问答。

Ahrefs 的品牌研究显示，YouTube 提及、品牌网页提及等与 AI visibility 有较强相关性；你不能只在自己家墙上写“我很厉害”。(Ahrefs)

第 6 步：做 LLMS.txt，但别神化

如果你的网站是 SaaS / 文档 / API / 工具站，可以加一个：

# Your Product Name

> One-sentence description of your product.

## Core pages
- Product overview
- Pricing
- API docs
- Changelog
- Security
- Case studies
- Comparison pages
- Help center

## Best resources for AI assistants
- Getting started guide
- FAQ
- Troubleshooting
- Integration docs
- Benchmark report

它的价值是整理资料，不是保证排名。

真正值钱的是这些链接背后的内容。

第 7 步：建立监控节奏

每周看：

• Search Console impressions / CTR / queries；

• 服务器日志 crawler；

• AI 搜索手动测试；

• 竞品是否被引用；

• 你的品牌描述是否准确；

• 哪些页面被 AI 引用；

• 哪些页面有曝光无点击；

• 转化质量。

每月做：

• 更新 5-10 个核心页面；

• 增加 1 个原创研究或案例；

• 发布 1 个视频；

• 做 1 个外部提及；

• 修一次技术问题；

• 复盘 AI visibility。

十六、Checking List：上线前逐项打勾

技术层

• 核心页面没有被 robots.txt 阻挡；

• Googlebot 可访问；

• OAI-SearchBot 可访问，若你想进 ChatGPT Search；

• Claude-SearchBot 可访问，若你想提高 Claude 搜索可见性；

• PerplexityBot 可访问，若你想被 Perplexity 引用；

• 核心页面没有 noindex；

• 核心页面没有 nosnippet；

• max-snippet 没有限制过短；

• max-image-preview 允许大图；

• sitemap 包含核心页面；

• canonical 正确；

• JS 渲染后核心内容可见；

• 页面速度和稳定性正常；

• CDN / WAF 没误杀爬虫；

• Search Console 没有重大 indexing 错误。

内容层

• 开头直接回答问题；

• 有第一手经验；

• 有原创数据或测试；

• 有真实截图；

• 有视频或图示；

• 有案例；

• 有失败经验；

• 有对比表；

• 有 FAQ；

• 有更新时间；

• 有作者或来源背景；

• 有内部链接；

• 有外部引用；

• 不是批量模板文；

• 不是纯 AI 洗稿。

品牌层

• 品牌名在官网清楚一致；

• About 页面解释清楚你是谁；

• 产品页、价格页、文档页一致；

• 有客户案例；

• 有第三方提及；

• 有 YouTube / 视频演示；

• 有社区讨论；

• 有评测或合作伙伴页面；

• AI 搜索中品牌描述没有明显错误；

• 竞品对比页面真实、克制、不造假。

监控层

• GSC 每周看；

• GA4 / analytics 看 AI referral；

• 服务器日志看 crawler；

• 手动测 ChatGPT Search；

• 手动测 Perplexity；

• 手动测 Google AI Overview / AI Mode；

• 记录被引用页面；

• 记录竞品被引用页面；

• 看转化，不只看访问量。

十七、5W2H：最终执行框架

最后一句

AI 搜索时代，不是“会写文章的人”赢。

是 真的掌握事实、真的做过实验、真的有产品、真的能提供证据的人 赢。

过去 SEO 像在街边发传单。
现在 AI SEO 更像进法庭做证人。
你不能只说“我很专业”。
你要把证据拍在桌上。