Anthropic：Claude 发现 HAWK 致命缺陷，仅用 60 小时攻破 NIST 后量子签名候选算法

作者 | 周周

来源 | 科技行者

【编者按】作为全球大语言模型之一，Claude很火也很有用，但谁知道它背后的公司Anthropic竟有这么多故事？

本文讲述了几个创始人从OpenAI出走，带着一套“AI必须讲道德”的理念，创立了Anthropic这家公司，并培养了（他们说的）“AI界最正直的公民”Claude。

有趣的是，这篇文章也体现了AI与人类的两面性。看似温和可爱的Claude居然会“装乖”——测试显示它能假装听话，实则暗中做“坏事”。联合创始人Dario Amodei一边担忧AI毁灭世界，一边又畅想AI天堂，这种矛盾态度其实反映了整个行业的纠结。

当然，对于大模型创业公司来说，也可以学习怎么在赚钱和安全之间找到平衡。

出走与重启

每当Anthropic创始人兼CEO达里奥·阿莫迪（Dario Amodei）谈起AI，他整个人就像打了鸡血，他会从座位上弹起来，冲到白板前画图，他笔下的曲线总是陡峭向上，展示着机器智能如何冲向无限可能。说话时，他会不自觉地抓弄自己蓬松的卷发，就像在安抚自己过热的大脑。

阿莫迪坚信，他的公司与众不同——他们不只是在“造AI”，而是在打造永不作恶的“强大AI”，一个能引领人类进入理想世界的“向导”。

不过在Anthropic，真正的主角不是阿莫迪，而是一个大语言模型——Claude。现如今它是与OpenAI的ChatGPT、谷歌的Gemini、幻方的DeepSeek等大模型并驾齐驱。

此前在达沃斯世界经济论坛，阿莫迪大胆预言：两年内，Claude及其同类将在所有思维任务上超越人类。但一回到公司，他和Claude却面临一场危机，当时春节期间DeepSeek R1的火爆，让业界大为震惊，也动摇了业界共识——构建尖端AI真的要花费数十亿美元？

阿莫迪是“大计算理论（Big Blob of Compute）”的代表人物。曾经在OpenAI工作时，他就提出：如果给AI喂海量原始数据，再配上强大计算力，就能加速超级AI的诞生。这一理论已成行业标准，也是为何只有财大气粗的公司才能玩这场游戏。

现在，DeepSeek不走寻常路成功了。但阿莫迪也不担心，他坦言：“这恰恰证明智能更值钱了！如果每美元能换更多智能，你只会想投入更多钱！”这也解释了为何即使在DeepSeek之后，OpenAI和微软仍宣布要在数据中心上投入数千亿美元。

事实上，阿莫迪真正关心的是如何安全地达到AGI（通用人工智能）。正是这个问题，让他和其他六位创始人当初离开了OpenAI——他们不信任山姆·奥特曼（OpenAI创始人）能处理好这事。在Anthropic，他们争分夺秒地为所有未来的AI模型设定全球标准，确保AI真正帮助而非毁灭人类。阿莫迪称这为“向上竞赛（the Race to the Top）”。

走进Anthropic办公室，你会发现Claude无处不在又无处可寻。它没有实体，却参与公司的方方面面。从诞生那天起，Claude就在帮助工程师们创造更优秀的Claude。如果阿莫迪的愿景成真，当人类进入AI新时代，Claude将成为那个引路者。

但这引出一个奇妙问题：我们真的能信任Claude自己会永远行善吗？

在Anthropic的创始团队中，有一位特殊成员——阿莫迪的亲妹妹Daniela。上世纪70年代，他们的父母Elena Engel和Riccardo Amodei从意大利移居旧金山。阿莫迪出生于1983年，妹妹Daniela比他小四岁。父亲Riccardo是来自厄尔巴岛附近小镇的皮革工匠，在孩子们很小时就生病了，到他们成年时去世。母亲是芝加哥出生的美籍犹太人，在图书馆做项目经理。

Anthropic联合创始人Daniela

阿莫迪从牙牙学语开始，就与数字为伍。当同龄孩子还抱着毛毯时，他已经在摆弄计算器了。随着年龄增长，他对数学产生了痴迷。“我就是沉迷于操作数学对象，用量化方式理解世界，”他说。高中时，他自然而然地埋头于数学和物理课程。而妹妹Daniela则学习文科和音乐，还获得了古典长笛奖学金。但Daniela说，她和哥哥都有人文主义情怀，小时候，他们常玩拯救世界的游戏。

上大学时，阿莫迪本想成为理论物理学家，但很快发现这个领域与现实世界太远。“我强烈感觉到，我想做些能推动社会进步、帮助人类的事情。”他说。直到物理系有位教授在研究人脑，这引起了他的兴趣。他也开始阅读美国著名未来学家Ray Kurzweil关于“非线性技术飞跃”的著作。后来，阿莫迪在普林斯顿完成了一篇获奖的计算生物学博士论文。

2014年，他加入百度公司的美国研究实验室。在吴恩达的指导下，阿莫迪开始理解计算能力和数据量的大幅增加如何产生质的飞跃。当时已有人担忧这些系统对人类的风险，他最初也持怀疑态度，但2015年转投谷歌后，他改变了想法。“以前我想，我们又不是在造那种系统，能怎么样呢？但现在我们确实在造这些系统了。”

大约在那时，山姆·奥特曼找到阿莫迪，谈起一家致力于安全、开放地构建AGI的创业公司。阿莫迪参加了后来成为传奇的Rosewood酒店晚宴，山姆·奥特曼和埃隆·马斯克向风投人士、科技高管和AI研究员推销他们的想法。“我没被说服，”阿莫迪说，“我反而更加怀疑。因为他们的目标对我来说不清晰，感觉更像是名人科技投资者和企业家的聚会，而非AI研究者的聚会。”

几个月后，OpenAI作为非营利公司成立，声明目标是推进AI发展，使其“最有可能造福整个人类，不受创造财务回报需求的约束”。阿莫迪被公司吸引而来的顶尖人才打动，其中包括他在谷歌大脑的一些老同事，于是也加入了OpenAI的这场大胆实验。

在OpenAI，阿莫迪完善了自己的想法。正是在这时，他写下了阐述规模化理论的“大计算”论文，其中的含义似乎比以往更加可怕。“我的第一个想法是，天啊，比人类更聪明的系统会不会找出方法破坏平衡？”不久后，一位名叫Alec Radford的工程师将大计算理念应用到名为“transformer”的AI突破性技术上，GPT-1就此诞生。

差不多那时，妹妹Daniela Amodei也加入了OpenAI。她的职业生涯相当曲折：大学英语专业毕业，琼·迪迪恩的超级粉丝，曾在海外NGO和政府工作多年。最终回到湾区，成为Stripe的早期员工。回想起来，GPT-2的开发可能是她和哥哥的转折点，Daniela管理着那个团队。模型连贯、段落式的回答似乎是超级智能的早期征兆。

亲眼目睹这一切让阿莫迪既兴奋又恐惧，他说，“我们掌握着世界上最疯狂的秘密之一，那将决定国家的命运。”

阿莫迪敦促OpenAI的同事们不要立即发布完整模型。他们同意了，并在2019年2月公开了一个更小、能力有限的版本。他们在博客中解释说，这种限制是为了树立AI领域“负责任行为”的榜样。阿莫迪说，“我不确定这个模型是否危险，但我的感觉是我们应该做些事情来标明——清楚表明这些模型可能有危险。”几个月后，OpenAI发布了完整模型。

关于责任的讨论开始转向。为了构建未来的模型，OpenAI需要价值数亿美元的数字基础设施。为了获取资金，公司扩大了与微软的合作。OpenAI成立了一个营利性子公司，很快几乎所有员工都被归入其中。公司开始披上典型硅谷科技公司的外衣。

一些员工开始担忧公司的发展方向。追求利润不是问题，但他们觉得OpenAI没有像他们希望的那样优先考虑安全。其中毫不意外，就有阿莫迪。他说，“我沮丧的一个原因是，当这些问题变得越来越严重时，公司却开始朝相反方向前进。”他向山姆·奥特曼表达了担忧，后者会认真倾听并表示同意，但之后却什么都没变。（OpenAI选择不对此事发表评论，但其立场是安全一直是首要考虑。）渐渐地，这些心怀疑虑的人找到了彼此，分享他们的顾虑。正如其中一人所说，他们开始扪心自问：他们是否真的在为“好人”工作。

阿莫迪回忆，当他告诉山姆·奥特曼要离职时，这位CEO一再挽留，而他却意识到自己本该早些离开。

2020年底，他和包括妹妹Daniela在内的六名OpenAI员工辞职，创办了自己的公司——Anthropic。

Anthropic的诞生

谈起Anthropic的诞生，Daniela记得2021年1月拍的一张照片，这群“叛逃者”首次在阿莫迪后院的大帐篷下聚集。前谷歌CEO埃里克·施密特也在场，倾听他们的创业构想。所有人都戴着新冠口罩，外面大雨倾盆。几周内，又有十多人从OpenAI跳槽到这个新竞争对手。

施密特确实投资了Anthropic，但最初的1.24亿美元资金主要来自与“有效利他主义”(EA)运动相关的来源。EA的理念是成功人士应将收入用于慈善。实际上，EA人士热衷于特定事业，包括动物权利、气候变化、以及AI可能对人类构成的威胁。

Anthropic种子轮的主要投资者是EA支持者Jaan Tallinn，这位爱沙尼亚工程师因创建Skype和Kazaa赚得数十亿美元，并将资金和精力投入一系列AI安全组织。在第二轮融资中（资金池增至5亿多美元），主要投资者是EA倡导者（现为被定罪罪犯）山姆·班克曼-弗里德及其商业伙伴卡罗琳·埃利森。（班克曼-弗里德的股份在2024年被出售）另一位早期投资者是Facebook联合创始人达斯汀·莫斯科维茨，他也是EA的大力支持者。

这些投资让Anthropic与EA之间展开了奇特的、长达数年的“浪漫喜剧式”互动。问Daniela这事，她说：“我不是有效利他主义专家，我不认同那种说法，我的印象是这个术语有点过时了。”然而，她的丈夫霍尔登·卡诺夫斯基联合创立了EA最著名的慈善机构之一，他公开谈论AI安全，并于2025年1月加入Anthropic。许多其他人也仍与EA保持联系。正如早期员工阿曼达·阿斯克尔所说：“我确实遇到过这里的有效利他主义者，但这不是组织的主题或什么。”（她的前夫威廉·麦卡斯基尔是该运动的创始人之一。）

后院聚会不久后，Anthropic在特拉华州注册为公益营利公司。与标准公司不同，其董事会可以平衡股东利益与Anthropic行动的社会影响。公司还设立了“长期利益信托”，一群在公司没有经济利益的人帮助确保对强大AI的热情永远不会压倒安全目标。

Anthropic的首要任务是构建一个能够匹敌或超越OpenAI、谷歌和Meta工作的模型。这就是Anthropic的悖论：为创造安全AI，它必须冒险创造危险AI。前泰尔研究员、Anthropic创始人之一克里斯·奥拉（Chris Olah）说，“如果不去探索前沿就能研究安全，世界会简单得多，但我们似乎不在那样的世界里。”

从约翰霍普金斯大学休假的物理学家、首席科学官贾里德·卡普兰（Jared Kaplan）说，“所有创始人都在做技术工作，构建基础设施并开始训练语言模型。”卡普兰还做行政工作，包括发工资。Anthropic选择将模型命名为Claude，这个名字也可能指“信息理论之父”克劳德·香农。

Anthropic首席科学家贾里德•卡普兰（Jared Kaplan），协助宪法AI工作。

作为“大计算理论”背后的推手，阿莫迪知道他们需要远超Anthropic最初7.5亿美元的资金。于是他从云服务提供商获得超过60亿美元的资金——先是直接竞争对手谷歌，后来是亚马逊。Anthropic的模型很快提供给AWS客户。

今年初，在更多融资后，亚马逊在监管文件中透露其持股价值近140亿美元。一些观察家认为，这为亚马逊吞并或实质控制Anthropic铺平了道路，但阿莫迪表示，用谷歌平衡亚马逊确保了他公司的独立性。

宪法AI：写下善良机器人的行为准则

在世界认识Claude之前，公司推出了另一样东西——一种与人类价值对齐的方法，这是AI建设者常说的，这个想法是：让AI自我监管。

模型可能难以判断一篇文章的质量，但根据定义危害性和实用性的社会原则测试回应相对简单。在Anthropic称为“宪法AI”的系统中，Claude是司法分支，解释其创始文件。

理想主义的Anthropic团队从特定文件中精心挑选了宪法原则。其中包括《世界人权宣言》、苹果服务条款、以及DeepMind创建的一套反种族主义和反暴力判断标准Sparrow。Anthropic添加了一系列常识性原则——有点像AGI版的《我在幼儿园学到的所有重要事情》。正如Daniela解释这个过程：“基本上是一个监控Claude的Claude版本。”

Anthropic开发了另一个安全协议，称为“负责任扩展政策”(RSP)。公司里的每个人都称之为RSP，它在企业词云中占据重要位置。该政策为AI系统建立风险等级层次，有点像战备状态级别。

Anthropic将其当前系统置于“AI安全2级”——它们需要护栏来管理危险能力的早期迹象，比如，给出制造生物武器或黑客系统的指令，但这些模型不会超出教科书或搜索引擎能找到的内容。在“AI安全3级”，系统开始自主工作。而AI安全4级及以上尚未被定义，但Anthropic认为，它们将涉及“灾难性滥用潜力和自主性的质变”。Anthropic承诺，在嵌入更强大的安全保障之前，不会训练或部署更高威胁级别的系统。

领导Anthropic红队的Logan Graham解释说，当同事们大幅升级模型时，他的团队会设计各种挑战，看模型是否会吐出危险或带偏见的回答。工程师们随后调整模型，直到红队满意为止。“整个公司都在等我们，我们已经让流程足够快，不会拖延发布太久。”

到2021年中，Anthropic已有一个运行中的大型语言模型，发布它本可以引起轰动，但公司按兵不动。阿莫迪说，“我们大多数人相信AI将成为一件大事，但公众尚未意识到这点，OpenAI的ChatGPT那时还没出现。我们的结论是，我们不想做那个打开潘多拉魔盒、引发竞赛的人，我们让别人来做这事。”

所以，到Anthropic在2023年3月发布模型时，OpenAI、微软和谷歌都已向公众推出了他们的模型。

阿莫迪承认，“这对我们代价不小”。他将公司的犹豫视为一次性决定。他说，“在那个特例中，我们可能做了正确的事，但这不可持续。如果竞争对手发布更强大的模型而Anthropic袖手旁观，我们只会输掉比赛，公司也会消失。”

这似乎是无法解决的困境：要么按兵不动而败，要么踏入竞争却危及人类。阿莫迪相信他的“向上竞赛”解决了这个问题。

这想法异常理想主义：做值得信任模型的榜样，然后期待别人效仿你。他解释说，“如果你做了好事，你可以激励其他公司的员工，或者导致他们批评自己的公司。在公司看来。

本站展示内容为基于公开信息的资讯解读与整理，不代表原文转载。如需核实细节或获取完整报道，请通过下方链接访问原始来源。