如何阻止 AI 产出垃圾内容

如何阻止 AI 产出垃圾内容 July 14, 2026 · 4 min read · View source ↗ AI Advertising 大多数营销人从没听说过 evals。但 evals 正是防止 AI 产出垃圾内容的答案。 一个 eval（evaluation 的缩写）就是对 AI 工作成果打的一个分数。就这么简单。 软件工程师已经广泛采用了 evals。这主要是出于必要。除此之外，没有别的办法能在规模化场景下监控 AI 的输出。 Evals 甚至没那么复杂。事实上，一旦你看到它们有多简单，你就会纳闷自己过去那么久没有它们是怎么活过来的。 ## 给你的 AI 工作打分 现在，营销人把所有时间都花在喂给 AI 的输入上。一长段提示词、一个技能文件，或者如果你更进阶一点，一个装满上下文的代码仓库。 这些都很好。但 AI 可能是不可预测的。你要的是某种具体的东西。某种能让你感觉自己真正掌控 AI 输出质量的东西。你要的就是 evals。 ## 从 PASS/FAIL 开始 你可以用两种方式来做 evals。第一种是给输出打一个分（比如 1 到 10 分），另一种就是单纯的通过或失败。 我倾向于一开始用通过/失败。打分听起来很酷，但你很快会迷失在细节里。Evals 的全部意义在于给你的系统引入可预测性，所以评分越简单越好。 LLM 对 evals 非常熟悉，因为它们就是拿这些训练出来的。所以它们能帮你写出很棒的 evals。直接跟你的 AI 聊聊这事就行。 目标是把"什么决定一个 PASS 或 FAIL"这件事固化下来。 ## 对比人类评委与 LLM 评委 假设你为给钩子（hook）打分的评估建立了一套评分标准（rubric）。然后你生成一堆钩子，让 AI 基于你的评分标准充当评委。 然后，你自己也单独给它们打一遍分。 你会注意到，你和你的 AI 评委打出的分数并不完全一样。 你们俩意见一致的百分比，就是你的对齐分数（alignment score）。 ## 让 AI 改进评分标准 把这次打分的练习结果喂回给你的 AI。最好附上一些评论，特别是那些你和 AI 打分不一致的地方。解释一下你为什么那么打分。 然后让你的 AI 更新评分标准。你是在让 AI 自我改进，以符合你的判断标准。 继续分批进行。重复下去，直到你达到一个高对齐分数。现在，你对自己的 AI 系统就有了真正的信心。 ## 然后，把你的 eval 变成一道闸门 下面是我最喜欢的部分。一旦你有了一个高对齐分数的评分标准，你就可以把它当作你系统里的质量闸门。 告诉你的 AI：继续生成钩子，但把所有不通过 eval 的都丢弃。 现在，eval 不再只是一张成绩单了。你的 AI 可以尽情地生成输出，但它会扔掉任何通不过你 eval 的东西。 这让你能给 AI 更大的自由度，让它自行决定如何完成工作。只要它通过了你的 evals，你就满意。 随着你和 AI 的关系越来越成熟，你会开始花更少的时间去微观管理它怎么干活，而花更多的时间在对齐"什么才算好"上。 ## 降低做 evals 的摩擦 我们的 agent @runneth 拥有很大的自主权。它有自己的电脑，自主运营着自己的 X 账号。 我在 slack 里给它建了一个叫 #runneth-evals 的频道。每次它与某人互动时，它都会把这次互动发到那个频道里。我用 PASS 或 FAIL 给它打分，并附上一些评论。 Runneth 会把我的评分和它自己的评分做对比，不断地自我改进。 ## 任何事情都可以用 evals 你可以把 evals 用在任何事情上。给钩子打分、给视频广告做 QA、写简报，等等。 下次你想让 AI 做任何事情时，先从为这项工作建立 eval 评分标准开始。然后看看你对待 AI 的整个方式会发生怎样的改变！ ## Links - x.com/rezakhadjavi/status/2064716716588868086 Tags: # X # AI # Advertising # Guide Related articles How to create AI ads for apps that make $10,000/mo (EASY MODE) The AI revolution is here, and it has completely changed the way I grow apps. Mobile Apps Advertising AI Marketing