Anthropic 表示,AI 系统正变得更强,并越来越多地被用于构建下一版本的自己,因此公开三项度量指标,供公众追踪前沿实验室内部的 AI 发展速度:(1) 有多少 AI 研发由 AI 自身完成;(2) AI agent 的行为在多大程度上受到监督;(3) 算力如何分配。报告将递归自我改进(RSI)定义为"一个模型完全自主地构建其后继者"。
Anthropic 称给出了这三项指标在内部的快照,"任何前沿开发者都可以发布同样的指标,第三方也可以进行验证"。在世界考虑为前沿 AI 发展节奏设限(pacing the frontier)之际,应当尽一切可能缩小前沿实验室所知与公众所知之间的差距——更好地测量 AI 发展、公布发现,并给社会一个决定如何使用这些信息的机会。
Epoch AI 推出 Benchmark Reviews 新计划,首批审查 15 个 AI 基准:4 个通过验证(Verified),9 个存在缺陷(Flawed),2 个信息不足。"Verified"基准可被大致按描述解释,任何错误不会实质性影响结果。"Flawed"基准存在一个或多个实质性缺陷,用户需要了解这些缺陷才能准确解释结果,最常见的是超过 20% 的任务存在影响准确性的错误。为避免利益冲突,Epoch 不审查自己创建的基准,但欢迎外部审查。每次审查针对特定基准版本,如果基准更新修复错误,可能会审查新版本。Epoch AI 公告
前沿观点
Frontier Insights32 条
Ethan Mollick(Wharton 商学院教授)
在 BlueSky 上与"AI 不真实"的人互动——这种观点正在消退。取而代之的是"AI 在所有方面都是坏的"观点(包括真实和虚假的理由列表),这使得难以专注于以务实方式减轻危害的政策。原帖;补充"AI 可能有很多坏的方面!减少 AI 的危害(并鼓励积极用途)应该是优先事项,不仅仅是为了存在风险。但最糟糕的情况是,它变成了一种希望回滚 AI 使用甚至在当前能力(而非未来能力)的愿望,这是死胡同"。Source
Ethan Mollick(Wharton 商学院教授)
与非营利组织领导者交谈时,他们经常报告员工的广泛抵制,通常是因为环境反对意见(混合了真实问题和虚假问题)。这让他们感到沮丧,因为他们的资源都不足以完成使命,并将 AI 视为一种方式。Source
Gary Marcus(NYU 名誉教授)
AI 产业为什么要让你相信"流氓 agent",而我们实际上只是在谈论不负责任地开发的软件?引用 Neil Turkewitz 的理论:"'流氓 agent'比'疏忽开发的软件'要宽容得多"。Source