知识库首页 seo-llm 资料 操作指引-索引预防SOP.md

操作指引 索引预防SOP

本地来源:seo-llm/skill/中文技能/站内文档技能/操作指引-索引预防SOP.md

技能:操作指引-索引预防SOP

类型:站内文档技能 用途:当任务需要直接复用或理解站内文档“索引预防SOP”时,先读这份技能卡。

使用方式

  • 先阅读源文件,再抽取核心结论、操作步骤、适用边界和反模式。
  • 如果任务是改站、写页面、做标题或做关键词布局,优先输出清单和可执行建议。
  • 如果任务是研究案例或模板,优先归纳可复用结构,不要只复述原文。

源文件

  • SEO/Guideline/INDEX-PREVENTION-SOP.md

资料摘录

最后更新: 2026-01-23 重要性: 🚨 极高 - 防止敏感页面、管理后台、草稿被搜索引擎索引


📋 目录

  1. 为什么需要防止意外索引
  2. 三层防护体系
  3. Robots.txt 配置详解
  4. Meta Robots 标签详解
  5. Sitemap 过滤详解
  6. 各类页面防护策略
  7. 验证和测试
  8. 常见错误和修复
  9. 紧急情况处理

为什么需要防止意外索引

风险场景

管理后台被索引 - 问题:/admin, /seo 等管理页面出现在搜索结果 - 后果:暴露后台入口,增加安全风险,泄露敏感信息 - 示例:Google 搜索 site:seedvr2.net/admin 返回结果

草稿文章被索引 - 问题:未完成的博客文章被搜索引擎抓取 - 后果:低质量内容影响网站权重,用户体验差 - 示例:半成品文章出现在搜索结果,点击率低,跳出率高

认证页面被索引 - 问题:/auth/login, /auth/register 等页面被索引 - 后果:浪费爬取配额,无 SEO 价值 - 示例:登录页面出现在搜索结果,用户点击后无法获取有价值信息

支付页面被索引 - 问题:/payment 支付流程页面被索引 - 后果:安全风险,用户误入支付页面 - 示例:支付页面直接出现在搜索结果,跳过正常购买流程

API 端点被索引 - 问题:/api/* 路由被搜索引擎抓取 - 后果:浪费服务器资源,可能触发 API 调用 - 示例:API 端点返回 JSON 数据被索引,无意义

正确的索引策略

应该被索引的页面(280 个 URL) - 核心页面:/, /pricing, /about, /blog - 工具页面:/tools/upscaler, /tools/video-upscaler - 模型页面:/models/flux2, /models/sora2 - 博客文章:/blog/tutorials/*(已发布) - 法律页面:/privacy, /terms, /refund

不应该被索引的页面(180+ URL) - 管理后台:/admin/*, /seo/* - 认证页面:/auth/* - 用户设置:/settings/* - 支付页面:/payment - 分享页面:/share/* - API 路由:/api/* - Next.js 内部:/_next/*


三层防护体系

我们使用三层防护确保敏感页面不被索引:

``` Layer 1: Robots.txt ← 告诉爬虫"不要来" ↓ Layer 2: Meta Robots 标签 ←

……(以下省略,使用时请回到源文件继续阅读)

本文档为站内渲染。原始文件本地路径:saas/source/seo-llm/skill-中文技能-站内文档技能-操作指引-索引预防SOP-dd1770.md(仅本地保留,不入库不部署)