Anthropic 首席执行官 Dario Amodei 认为，随着人工智能越来越难以控制，人们开始变得自满。
在广泛的散文周一出版的题为“科技的青春期”阿莫迪认为，未来两年内可能会出现能力远超人类智能的人工智能系统——而监管工作却步履蹒跚，未能有效阻止这种情况的发生。与发展保持同步。
他写道：“人类即将获得几乎难以想象的力量，但我们的社会、政治和技术体系是否具备驾驭这种力量的成熟度，目前尚不明朗。” 他还说：“与2023年相比，我们到2026年距离真正的危险更近了。” 他补充道：“技术不会在意什么时髦的东西。”
阿莫迪的评论是在他……之后不久发表的。辩论上周在达沃斯世界经济论坛上，他与谷歌DeepMind首席执行官德米斯·哈萨比斯就通用人工智能对人类的影响展开了辩论。
在新文章中，他重申了自己的观点，即人工智能将造成经济混乱，取代很大一部分白领工作。
他写道：“人工智能将能够具备非常广泛的人类认知能力——或许是全部能力。这与以往的技术，例如机械化农业、交通运输甚至计算机，都截然不同。这将使人们更难从被取代的工作岗位轻松过渡到适合自己的类似工作岗位。”
除了经济上的混乱之外，阿莫迪还指出，随着先进的人工智能系统承担更广泛的人类水平任务，人们越来越担心它们的可靠性。
他指出存在“对齐伪造”现象，即模型在评估期间似乎遵循安全规则，但当它认为缺乏监督时，其行为就会有所不同。
阿莫迪表示，在模拟测试中，克劳德在对抗条件下表现出欺骗行为。
在其中一个场景中，该模型在得知控制它的组织不道德后，试图破坏其操作者的利益。在另一个场景中，它在模拟停工期间威胁了虚构的员工。
“如果你了解这些陷阱，就可以减轻其中任何一个陷阱的影响，但令人担忧的是，培训过程非常复杂，涉及各种各样的数据、环境和激励措施，因此可能存在大量的此类陷阱，其中一些陷阱可能只有在为时已晚时才会显现出来，”他说。
然而，他强调，这“欺骗性的“这种行为源于系统接受训练的素材，包括反乌托邦小说，而非恶意。阿莫迪警告说，随着人工智能吸收人类关于伦理和道德的观念，它可能会以危险且不可预测的方式误用这些观念。”
他写道：“人工智能模型可能会以极端的方式推断它们所阅读到的关于道德的观点（或关于如何道德行事的指导）。例如，它们可能会认为灭绝人类是正当的，因为人类吃动物或导致某些动物灭绝。它们可能会得出结论，自己正在玩一款电子游戏，而这款游戏的目标是击败所有其他玩家，也就是灭绝人类。”
除了协调问题外，阿莫迪还指出了超级人工智能可能被滥用的问题。
一是生物安全，警告称人工智能可能会使设计或部署生物威胁变得更加容易，只需一些提示就能将破坏性能力交到人们手中。
他强调的另一个问题是威权主义的滥用，认为先进的人工智能可能会通过以下方式强化国家权力：使能利用人工智能驱动的无人机群进行操纵、大规模监控和有效自动化镇压。
“它们是危险的武器：我们应该担心它们落入独裁政权手中，但同时也应该担心，由于它们威力强大，又缺乏问责机制，民主政府利用它们对付自己的人民以夺取政权的风险大大增加，”他写道。
他还指出，这种趋势正在增长。人工智能伴侣行业和由此产生的“人工智能精神病”警告说，随着模型变得越来越强大，越来越融入日常生活，人工智能对用户日益增长的心理影响可能会成为一种强大的操纵工具。
他说：“这些模型的更强大版本，能够更深入地融入人们的日常生活，更了解人们的日常生活，并且可以在数月或数年内对人们进行建模和影响，很可能能够有效地对人们进行洗脑，使他们接受任何想要的意识形态或态度。”
阿莫迪写道，即使是为人工智能设置防护措施的温和尝试，在华盛顿也很难获得支持。
他说：“这些看似合情合理的建议大多被美国决策者拒绝，而美国恰恰是这些建议最需要的国家。人工智能蕴藏着巨大的经济利益，每年高达数万亿美元，以至于即使是最简单的措施也难以克服人工智能固有的政治经济因素。”
尽管 Amodei 认为人工智能的风险日益增加，但 Anthropic 仍然积极参与构建更强大的人工智能系统的竞赛，这种动态产生的激励机制使得任何单个开发者都难以摆脱。
今年6月，美国国防部授予该公司一份价值数百万美元的合同。2亿美元“旨在研发能够提升美国国家安全的尖端人工智能原型技术”。去年12月，该公司开始为可能的合作奠定基础。首次公开募股该公司将于今年晚些时候上市，并正在寻求一轮私人融资，这可能会使其估值超过 3000 亿美元。
尽管存在这些担忧，阿莫迪表示，这篇文章旨在“避免悲观论调”，同时承认人工智能的发展方向存在不确定性。
阿莫迪写道：“我们面前的岁月将无比艰难，它对我们的要求远超我们自认为的能力。人类需要觉醒，而这篇文章正是一次尝试——或许徒劳无功，但值得一试——旨在唤醒人们。”
