慈爱机器的时代Dario Amodei 描绘的 AI 美好未来Anthropic CEO 对强大 AI 积极影响的深度思考

📋 核心身份

✦ Anthropic 联合创始人兼 CEO，这是一家专注于 AI 安全的领先公司

✦ 前 OpenAI 研究副总裁，深度参与了 GPT-2 和 GPT-3 的开发

✦ 物理学博士背景，在普林斯顿大学获得理论物理学位

✦ 曾在 Google Brain 和 Baidu 从事 AI 研究工作

"I think most people are underestimating just how radical the upside of AI could be, just as I think most people are underestimating how bad the risks could be."

「我认为大多数人既低估了 AI 积极一面的激进程度，也低估了风险的严重程度。」

🎯 原因一：聚焦杠杆点

AI 技术的基本发展和许多好处似乎是不可避免的（由强大的市场力量驱动），而风险则不是预先确定的，我们的行动可以极大改变其发生的可能性。

🎭 原因二：避免宣传嫌疑

AI 公司谈论 AI 的所有惊人好处，可能会像宣传员，或者像是在试图分散人们对负面影响的注意力。

🙏 原因三：避免自大

许多 AI 风险公众人物（更不用说 AI 公司领导者）谈论后 AGI 世界的方式，就好像这是他们的使命，要像先知一样单枪匹马地实现它。

🚀 原因四：避免科幻包袱

讨论激进 AI 未来的小圈子往往带有过度的"科幻"色彩（例如上传思维、太空探索、赛博朋克氛围），这会让人们不太认真对待这些说法。

"We need hope as well as fear. At the end of it all, there has to be something we're fighting for."

「我们既需要恐惧，也需要希望。归根结底，必须有一些我们为之奋斗的东西。」

🤖 强大 AI 的六大特征

1 纯智力层面：在大多数相关领域（生物学、编程、数学、工程、写作等）比诺贝尔奖得主更聪明

2 完整接口：拥有人类虚拟工作的所有"接口"——文本、音频、视频、鼠标键盘控制、互联网访问

3 自主执行：可以接受需要数小时、数天或数周才能完成的任务，然后自主完成这些任务

4 物理控制：虽然没有物理实体，但可以通过计算机控制现有的物理工具、机器人或实验室设备

5 大规模部署：训练模型的资源可以重新用于运行数百万个实例（到 2027 年左右）

6 超高速度：以约 10-100 倍人类速度吸收信息和生成行动

"A country of geniuses in a datacenter."

「数据中心里的天才之国。」

Dario 的预测：强大 AI 可能最早在 2026 年就会出现，但也可能需要更长时间。本文假设它将在合理的时间内到来，并重点关注到来后 5-10 年会发生什么。

⚙️ 智力的五大限制因素

外部世界的速度 · 细胞和动物以固定速度运行，实验需要一定时间，这可能是不可减少的

数据需求 · 有时缺乏原始数据，在缺乏数据的情况下，更高的智力也无济于事

内在复杂性 · 有些事物本质上是不可预测或混沌的，即使是最强大的 AI 也无法比人类好太多

人类约束 · 许多事情在不违反法律、伤害人类或扰乱社会的情况下无法完成

物理法则 · 某些物理法则似乎是不可打破的（如光速限制）

"Intelligence is initially heavily bottlenecked by other factors, but over time intelligence itself increasingly routes around them."

「智力最初会被其他因素严重限制，但随着时间推移，智力本身会越来越多地绕过这些限制。」

🌟 五大变革领域

1 生物学与身体健康 · 疾病治愈与生命延长

2 神经科学与心理健康 · 精神疾病治疗与认知自由

3 经济发展与贫困 · 发展中国家的快速进步

4 和平与治理 · 民主制度的胜利

5 工作与意义 · 人类在 AI 时代的角色

🧬 改变生物学的重大发现

✦ CRISPR：可以编辑任何基因的活体技术

✦ 各种显微镜：荧光显微镜、电子显微镜、原子力显微镜

✦ 基因组测序与合成：成本在过去几十年下降了几个数量级

✦ 光遗传学：通过光照让神经元放电

✦ mRNA 疫苗：原则上可以设计针对任何疾病的疫苗

✦ CAR-T 细胞疗法：重新编程免疫细胞来攻击任何目标

✅ 高智力回报的证据

1这些发现通常由极少数研究人员做出，往往是同一批人反复发现，表明技能而非随机搜索

2它们通常"本可以"在实际发现前几年就被发现（如 CRISPR 在 1980 年代就已知，但直到 25 年后才被重新用于基因编辑）

3成功的项目往往是简陋的或事后的想法，而不是大规模资助的努力，表明创造力比资源更重要

4许多发现是独立的，可以并行工作，而非串行依赖

传染病可靠预防和治疗几乎所有自然传染病。mRNA 疫苗等技术已经指明了"针对任何疾病的疫苗"的道路。

癌症消除大部分癌症。死亡率和发病率减少 95% 或更多似乎是可能的。AI 将使针对个体基因组的精细治疗方案成为可能。

遗传病改进的胚胎筛查可能使预防大多数遗传病成为可能，CRISPR 的更安全版本可能治愈现有人群中的大多数遗传病。

阿尔茨海默病预防阿尔茨海默病。这似乎正是可以用更好的测量工具解决的问题类型。一旦我们真正了解正在发生的事情，可能可以用相对简单的干预措施预防它。

其他疾病改善对大多数其他疾病的治疗，包括糖尿病、肥胖、心脏病、自身免疫性疾病等。其中许多似乎比癌症和阿尔茨海默病"更容易"解决。

生物自由体重、外貌、生殖和其他生物过程将完全由人们控制。每个人都应该有权选择自己想成为什么样的人，并以最吸引他们的方式生活。

人类寿命翻倍这可能听起来很激进，但 20 世纪预期寿命几乎翻了一番（从约 40 岁到约 75 岁），因此"压缩的 21 世纪"再次翻倍到 150 岁是符合趋势的。一旦人类寿命达到 150 岁，我们可能能够达到"逃逸速度"，为目前活着的大多数人争取到足够的时间，让他们能够活到想活的年龄。

"When those children grow up, I hope that any mention of disease will sound to them the way scurvy, smallpox, or bubonic plague sounds to us."

「当那一代孩子长大时，我希望任何疾病的提及对他们来说，就像坏血病、天花或鼠疫对我们的感觉一样（已成为历史）。」

🛤️ AI 加速神经科学的四种方式

1 传统分子生物学 · 与第三章相同，通过遗传学和化学改进神经递质调节药物

2 精细神经测量与干预 · 光遗传学和神经探针等技术能够测量和改变神经元行为

3 先进计算神经科学 · 将现代 AI 的见解应用于系统神经科学问题

4 行为干预 · AI 可以加速新方法的开发，并帮助患者坚持现有方法（"AI 教练"）

💡 关键洞察：AI 帮助理解大脑

我们从 AI 中学到的关于智能系统如何训练的知识，应该（尽管我不确定是否已经）在神经科学中引发一场革命。缩放假设/苦涩教训的概念——简单的目标函数加上大量数据可以驱动极其复杂的行为——使得理解目标函数和架构偏差变得更有趣，而理解涌现计算的细节变得不那么有趣。

治愈大多数精神疾病创伤后应激障碍、抑郁症、精神分裂症、成瘾等疾病很可能可以通过上述四个方向的某种组合来弄清楚并得到非常有效的治疗。

"结构性"病症更困难但非不可能有证据表明，反社会人格与明显的神经解剖学差异有关——某些大脑区域更小或发育不足。重塑大脑听起来很难，但这似乎也是一个智力回报高的任务。也许有某种方法可以诱导成人大脑进入更早期或更具可塑性的状态，在那里可以重塑。

有效的遗传预防大多数精神疾病是部分可遗传的，通过胚胎筛查预防这些疾病可能是可行的。当然，复杂特征的胚胎筛查会引发许多社会问题并存在争议。

解决日常问题我们大多数人都有日常心理问题，这些问题通常不被认为上升到临床疾病的水平。有些人容易发怒，有些人难以集中注意力或经常困倦，有些人恐惧或焦虑。今天，已经存在帮助警觉性或注意力的药物，但更多可能是可能的。

人类基线体验可以好得多许多人经历过非凡的启示、创造性灵感、同情、满足、超越、爱、美或冥想平静的时刻。所有这些都表明"可能体验的空间"非常广阔，更大一部分人的生活可以由这些非凡时刻组成。提高各种认知功能也可能是可能的。这可能是神经科学版本的"生物自由"或"延长寿命"。

🌈 更美好的内心世界

世界在外表上可能不会有明显不同，但人类体验到的世界将是一个更好、更人性化的地方，也是一个提供更多自我实现机会的地方。

"Ideally, powerful AI should help the developing world catch up to the developed world, even as it revolutionizes the latter."

「理想情况下，强大的 AI 应该帮助发展中国家赶上发达国家，即使它也在革新后者。」

⚠️ 核心挑战

✦ 经济涉及大量来自人类的约束以及大量内在复杂性

✦ 腐败创造恶性循环：它加剧贫困，而贫困反过来又滋生更多腐败

✦ 如何说服人们接受有效但可能令人怀疑的治疗

💚 乐观理由

✦ 疾病已经被根除，许多国家已经从贫穷变为富裕

✦ 涉及这些任务的决策展现出对智力的高回报

✦ 可能存在绕过人类约束的针对性干预措施

健康干预的分发这是 Dario 最乐观的领域。疾病实际上已经被自上而下的运动根除：天花在 1970 年代完全消除，脊髓灰质炎和几内亚蠕虫病几乎根除（每年不到 100 例）。数学上复杂的流行病学建模在疾病根除运动中发挥积极作用，超人类的 AI 系统很可能比人类做得更好。5-10 年内，AI 驱动的健康福利的很大一部分（也许 50%）可能传播到世界上最贫穷的国家。

经济增长在 20 世纪的最后几十年，几个东亚经济体实现了持续约 10% 的年实际 GDP 增长率，使它们能够赶上发达国家。人类经济规划者做出了导致这一成功的决策，"AI 财政部长和央行行长"有可能复制或超过这一 10% 的成就。梦想场景——也许是一个要争取的目标——将是发展中国家 20% 的年 GDP 增长率，其中 10% 来自 AI 驱动的经济决策，10% 来自 AI 加速技术的自然传播。如果实现，这将在 5-10 年内使撒哈拉以南非洲达到中国目前的人均 GDP。

粮食安全20 世纪作物技术的进步大幅增加了作物产量，使数百万人免于饥饿。基因工程目前正在进一步改进许多作物。找到更多这样做的方法，可以给我们一个 AI 驱动的第二次绿色革命。

减缓气候变化气候变化在发展中国家的感受要强烈得多，阻碍其发展。AI 将改进减缓或防止气候变化的技术，从大气碳去除和清洁能源技术到减少对碳密集型工厂化养殖依赖的实验室培育肉类。

国家内部不平等Dario 对发达国家内部的不平等更为乐观，原因有二：第一，发达国家的市场运作得更好，市场通常擅长随着时间推移降低高价值技术的成本。第二，发达国家的政治制度对其公民更有响应性，有更大的国家能力来执行普遍访问计划。

选择退出问题一个担忧是人们选择退出 AI 驱动的好处（类似于反疫苗运动）。可能会出现糟糕的反馈循环，例如，最不能做出好决定的人选择退出恰恰是改善其决策能力的技术。历史上反技术运动往往是雷声大雨点小：抱怨现代技术很受欢迎，但大多数人最终还是会采用它。

🌏 共同责任

这不会是一个完美的世界，落后的人不会完全赶上，至少在最初几年不会。但通过我们的共同努力，我们也许能够让事情朝着正确的方向发展——而且速度很快。如果我们这样做，我们至少可以为我们欠地球上每个人的尊严和平等承诺支付首付。

⚠️ 重要警告：Dario 认为没有强有力的理由相信 AI 会优先或在结构上推进民主与和平，就像他认为它会在结构上推进人类健康和减轻贫困一样。人类冲突是对抗性的，AI 原则上可以帮助"好人"和"坏人"。如果我们希望 AI 有利于民主和个人权利，我们将不得不为这一结果而战。

🤝 "协约战略"的关键要素

1 民主国家联盟通过确保其供应链、快速扩展、阻止或延迟对手获取关键资源（如芯片和半导体设备）来寻求获得强大 AI 的明确优势

2 一方面使用 AI 实现强大的军事优势（大棒）

3 同时提供将强大 AI 的好处分发给越来越广泛的国家群体（胡萝卜），以换取支持联盟促进民主的战略

4 最终将最坏的对手孤立起来，使他们最好放弃与民主国家竞争，以换取所有好处而不与优势敌人作战

💚 为什么 AI 可能有利于民主

1生活质量提升：第 1-3 节中的生活质量提升应该促进民主——历史上它们至少在一定程度上确实如此。特别是心理健康、幸福感和教育的改善会增加民主，因为这三者都与对专制领导人的支持负相关。

2赢得信息战：在民主国家控制最强大 AI 的环境中，民主政府可以使用其优越的 AI 来赢得信息战：他们可以对抗专制国家的影响和宣传操作，甚至可能通过提供专制国家缺乏技术能力阻止或监控的信息渠道和 AI 服务，创造一个全球自由的信息环境。

3赋能异议者：每个人口袋里都有一个超人类有效的 AI 版本的 Srđa Popović（他帮助推翻了塞尔维亚的米洛舍维奇政府），独裁者无力阻止或审查，可以为全世界的异议者和改革者创造有利条件。

⚖️ AI 改善法律与治理的可能方式

✦ 更公正的司法系统：AI 是第一种能够以可重复和机械的方式做出广泛、模糊判断的技术。这种公正性与理解和处理混乱、现实世界情况的能力相结合，感觉应该对法律和正义有一些严肃的积极应用。

✦ 透明度：训练过程可以被广泛研究，先进的可解释性技术可以用于查看最终模型内部并评估其隐藏偏见，这在人类身上根本不可能做到。

✦ 计算民主：AI 可以用于汇总意见并在公民之间推动共识，解决冲突，寻找共同点，寻求妥协。一个更知情、更深思熟虑的公民群体显然会加强民主制度。

✦ 改善政府服务：拥有一个非常深思熟虑和知情的 AI，其工作是以你能理解的方式给你政府在法律上应给你的一切——并帮助你遵守往往令人困惑的政府规则——将是一件大事。增加国家能力既有助于实现法律面前人人平等的承诺，也加强了对民主治理的尊重。

"The vision of AI as a guarantor of liberty, individual rights, and equality under the law is too powerful a vision not to fight for."

「AI 作为自由、个人权利和法律面前人人平等的保障者的愿景，是一个太强大的愿景，不能不为之奋斗。」

✅ 为什么不必担心

✦ 相对优势仍然重要：大多数人在任何事情上都不是世界上最好的，这似乎并没有特别困扰他们。虽然今天他们仍然可以通过比较优势做出贡献，但人们也非常享受不产生经济价值的活动。

✦ 意义来自人际关系：意义主要来自人际关系和联系，而不是经济劳动。人们确实想要成就感，甚至竞争感，在后 AI 世界中，花费数年时间尝试某个非常困难的复杂策略任务将是完全可能的。

✦ 事实不重要：(a) 某个 AI 原则上可以更好地完成这项任务，以及 (b) 这项任务不再是全球经济中经济回报的元素，这些事实似乎对我来说并不太重要。

"I spend plenty of time playing video games, swimming, walking around outside, and talking to friends, all of which generates zero economic value."

「我花大量时间玩电子游戏、游泳、在外面散步和与朋友聊天，所有这些都产生零经济价值。」

📊 时间框架与转型

短期：比较优势将继续保持人类的相关性，实际上会提高他们的生产力，甚至可能在某些方面拉平人类之间的竞争环境。只要 AI 在给定工作的 90% 上更好，另外 10% 将导致人类变得高度杠杆化，增加报酬。

长期：AI 最终将变得如此广泛有效且如此便宜，以至于这将不再适用。届时我们当前的经济设置将不再有意义，需要就经济应该如何组织进行更广泛的社会对话。

🔮 可能的解决方案（需要更多探索）

✦ 为所有人提供大量全民基本收入，尽管这可能只是解决方案的一小部分

✦ AI 系统的资本主义经济，然后根据某种次级经济向人类分配资源（基于人类价值）

✦ 也许经济运行在 Whuffie 积分上（科幻概念：声誉货币）

✦ 或者人类将继续在某种方式上具有经济价值，以通常的经济模型未预料到的方式

🌟 如果这一切真的在 5-10 年内发生

✦ 战胜大多数疾病

✦ 生物和认知自由的增长

✦ 数十亿人摆脱贫困，分享新技术

✦ 自由民主和人权的复兴

"Basic human intuitions of fairness, cooperation, curiosity, and autonomy are hard to argue with, and are cumulative in a way that our more destructive impulses often aren't."

「公平、合作、好奇和自主的基本人类直觉很难反驳，而且以一种我们更具破坏性的冲动通常不具备的方式累积。」

💚 为什么这些价值观是"必胜策略"

Dario 认为文化的价值观（Culture，指 Iain M. Banks 小说中的乌托邦社会）是必胜策略，因为它们是无数小决策的总和，这些决策具有明确的道德力量，往往会把每个人拉到同一边。公平、合作、好奇和自主的基本人类直觉很难反驳，而且以一种我们更具破坏性的冲动通常不具备的方式累积。如果不是不可避免的，那么至少作为一种统计趋势，这就是人类已经在前进的方向。AI 只是提供了一个让我们更快到达那里的机会——使逻辑更加鲜明，目的地更加清晰。