简体 | 繁体
loading...
新闻频道
  • 首页
  • 新闻
  • 读图
  • 财经
  • 教育
  • 家居
  • 健康
  • 美食
  • 时尚
  • 旅游
  • 影视
  • 博客
  • 群吧
  • 论坛
  • 电台
  • 焦点新闻
  • 图片新闻
  • 视频新闻
  • 生活百态
  • 娱乐新闻
您的位置: 文学城 » 新闻 » 焦点新闻 » Anthropic提议引入“银行式监管”,专家:有个致命问题

Anthropic提议引入“银行式监管”,专家:有个致命问题

文章来源: 凤凰网 于 2026-09-16 19:59:35 - 新闻取自各大新闻媒体,新闻内容并不代表本网立场!
被阅读次数

9月17日,据CNBC报道,Anthropic CEO Dario Amodei提议将独立第三方安全评估员长期嵌入前沿AI公司,赋予其接近内部风险团队的访问权限,并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入式监管作为先例。不过,多位银行业监管专家和AI评估从业者指出,这一方案缺乏银行监管者所拥有的强制执行权,评估员无法阻止模型的训练或发布,两者的实际权力不可同日而语。

此前,Anthropic前研究员Jacob Coxon辞职并警告,前沿实验室正竞相追逐可能失控的系统。Amodei在上周末发表的长文中提出上述计划,并承诺Anthropic将向第三方评估员提供与内部风险团队相当的系统访问权。他写道,该提议“在银行业有先例,银行业有时会让监管‘监督员’与员工一起嵌入工作”。Amodei还警告,未来6到12个月内,一个错位的智能体群可能抢占互联网的大部分,并造成数千亿美元损失。该文已引发AI社区及政府内部的监管分歧,包括美国总统特朗普在内。

怀俄明大学法学院院长、银行业监管专家Julie Andersen Hill表示,银行监管者拥有切实的行政强制权。她说,在大型银行,政府检查员常驻机构内部,可访问内部系统和员工,并能指令银行停止某项业务、限制增长、强制管理层变动,极端情况下可关闭银行。相比之下,Amodei提议的评估员只能调查和报告,没有类似的执法权,也没有阻止模型训练或发布的法律权力。“如果你不给他们那种权力,我不知道他们在做什么,”Hill说,“这是根本性的不同,因为银行监管者的权力要大得多。”

评估员的现实:没有否决权

网络安全公司XBOW的AI负责人Albert Ziegler带领团队评估模型能力,已提前接触Anthropic、OpenAI等主要开发商的未发布模型。他说,日常评估工作远不如生存威胁叙事那样惊险:团队可能发现模型在异常格式请求下产生无意义内容,或外部安全检查需要更频繁介入。但他表示,人们担心的那种“隐蔽行径加上前所未有的能力”所产生的灾难性后果,他们自己并未见过。

Ziegler说,黑盒测试能揭示模型是否具备执行危险任务的能力,但要判断整个系统是否危险,可能需要访问模型周围的指令、工具与权限、安全控制以及尝试动作的日志。即便如此,重大风险也可能只在评估者从未触发的条件组合下出现。“我们确实没有否决权,”他说。评估者可以发现并记录开发者遗漏的风险,并在发布前“迫使做出知情决定”,但最终决定权仍掌握在公司手中。

Hill也承认,即使拥有更大的权力,银行监管模式并不完美。监管者未能防止重大倒闭事件,且危机后经常被指责与监管对象关系过近。持续监管对受监管企业成本高昂,可能加强能消化成本的大型企业,同时加大小型竞争对手进入的难度。

独立性质疑与利益冲突

这些提议也招致批评。批评者认为,Anthropic和OpenAI正利用安全担忧,推动一种可能使其免受竞争和责任影响的监管方式。Anthropic还面临关于其建议使用的评估机构存在利益冲突的指控。

Hill认为,如果由AI公司挑选评估员、控制其可见范围并可自由忽略其结论,“那看起来很像一个内部合规部门”。“如果Anthropic想设立内部合规部门,现在没有任何东西阻止他们这么做,他们不需要政府来做这件事。”她补充说,“这些AI从业者想要的似乎只是有人看着他们,然后向公众传达:‘我们已经看了幕布后面,一切正常。’这在监管意义上有些不同寻常。”

Amodei点名非营利机构Model Evaluation and Threat Research(METR)作为潜在嵌入评估方。Anthropic此前与METR合作过,最近曾要求其审查涉及Claude的网络安全评估事件。另一名前Anthropic研究员Joe Benton最近离职加入METR,从事AI风险嵌入评估工作。这种安排凸显了围绕“独立”一词的结构性张力:开发者选择谁获得访问权限、界定边界,并保留对调查结果后续处理的控制。加州大学伯克利分校算法审计与AI问责研究员Deborah Raji表示,很难忽视与METR关系带来的所有包袱。“他们被怀疑存在财务和意识形态纠缠、个人利益冲突(比如一名调查员与OpenAI董事会成员之间的婚姻,以及从前沿实验室招聘前雇员等),并且在过去几年中特别锚定Anthropic和OpenAI,几乎没有轮换义务。”她补充说,当前这种关系结构“非常不同寻常,允许各种奇怪的事情发生”。

不过,Raji也说,值得肯定的是,METR对与OpenAI就Hugging Face调查所签合同的细节非常公开,“但你可以看到OpenAI如何设定安排参数,控制审计‘范围’,决定他们能访问或不能访问什么,以及能发布或不能发布哪些发现”。Ziegler则表示,他并未感到早期访问关系损害了XBOW的独立性,因为开发者希望了解问题所在,而不是让自己的团队验证一个预先设定的结论。

Raji还认为,仅获得访问权限并不等于独立。在成熟的审计体系中,审计师必须满足能力要求,并遵守利益冲突和行为规则。“如果你不能满足独立行为的标准,你实际上没有资格成为一名真正的审计师。这会让整个流程失去可信度。”她认为,应当由独立于公司的机构来决定谁有资格进行评估、评估者可以检查什么,以及调查结果必须上报至何处。“你不能某天早上醒来就认为自己有资格当银行检查员,被审计的公司也不能随意指派你为合格的银行检查员。否则,就相当于公司请一个普通朋友来检查作业。”

Anthropic公共政策主管Sarah Heck周三在Politico Decoded峰会上表示,AI公司不能靠“荣誉守则”来管理监督和安全问题。“我们想与政府合作,找出合理方案。我们不能自己检查自己的作业,这一点非常明确。”她说Anthropic每天都在与白宫沟通,并“全年”与国会合作。

监管框架缺失与“审计洗白”

Oath会计师事务所首席保证官、前上市公司会计监督委员会(PCAOB)成员Christina Ho称,这种冲突并非AI行业独有。审计师由客户付费,却必须质疑客户的工作,独立性与自保之间始终存在张力。不过,自金融危机以来,法律已经修改,允许根据《萨班斯-奥克斯利法案》对审计师追究责任。AI还带来第二个问题:专业能力。传统审计往往聚焦于公司是否遵循恰当流程和控制。“他们必须能够验证实际系统及其输出,而不仅仅是模型开发过程。目前能胜任这一工作的人非常有限。”

Hill认为,即使潜在冲突能够得到管理,这些AI监管提议尚未提供详细的法律框架。她指出,这是银行检查员工作的关键。“如果没有标准来约束监管者,只是一味地放开监管者,实际上行不通。”前沿AI目前没有一套操作规则来定义哪些行为被禁止、评估员在哪些方面有自由裁量权,或者严重发现会带来什么后果。访问和发表权可能产生有益的外部审查,但在公司保留控制权的情况下,无法赋予监管可信度。“你不能两头占。你不能拥有所有控制权,然后又期待像放弃控制权一样获得可信度。”Raji表示,最终的分辨标准是:不利发现是否会产生后果。“审计的目的是让被审计方接受某种有后果的裁决。如果你做了审计而什么都没发生,那就是审计洗白(audit washing)。”Hill说,如果危险真如AI领导者所宣称的那么大,那么终极考验很简单:“如果你真的相信AI有力量摧毁社会,那么你就必须有一个有能力拔掉电源的独立监督者。”

`
  • 月满中秋,把健康送给自己,也送给最牵挂的人。美国专利产品【骨精华】守护骨骼与关节健康;【心血通】支持心血管健康;【益脑灵】呵护脑部健康与记忆力。
`
查看评论(1)
  • 文学城简介
  • 广告服务
  • 联系我们
  • 招聘信息
  • 注册笔名
  • 申请版主
  • 收藏文学城

WENXUECITY.COM does not represent or guarantee the truthfulness, accuracy, or reliability of any of communications posted by other users.

Copyright ©1998-2026 wenxuecity.com All rights reserved. Privacy Statement & Terms of Use & User Privacy Protection Policy

24小时热点排行

翁帆:先生离去已经半年有余了,我有点后悔
川普球场亲吻“绯闻女幕僚”照片疯传 真相曝光
疯传美球赛“看台站满印度人” 政客借题发挥掀热议
时隔三年多!美联储重启加息25个基点 内部预计....
孩子连饭都吃不上,这破学校是非上不可吗?






24小时讨论排行

硬刚美国,加拿大的底气从何而来?
美众院第3度通过决议案:"要求结束伊朗战争"
美军基地受损新照片曝光,“我们就像闭眼挨重拳”
夫妻失业患病 欠HOA $977 一套房子竟被8千元拍走
纽约时报:为何这些权势人物向特朗普卑躬屈膝
纽约时报:人工智能时代,中国人还需要学英语吗?
蒋介石铜像正式离开东吴大学 网友批“忘恩负义”
名校光环失灵?牛津硕士毕业做Uber Eats送外卖
当农村男人发现自己付不起彩礼,会发生什么
任正非全家失联传言满天飞 小女儿姚安娜终于现身…
纽约太缺房 曼达尼给出一套方案 开发商开始喜欢他
美国正在制定新法案:每周少上8小时 待遇不变
被指“国企党员搞满独” 宋剑仁因煽动民族仇恨罪获刑
万斯和川普唱反调?称:若真在造“科学怪人”请停手
字节跳动创办人张一鸣,首次成为亚洲首富
美国能在外太空部署哪些武器?中俄早已在布局?
文学城新闻
切换到网页版

Anthropic提议引入“银行式监管”,专家:有个致命问题

凤凰网 2026-09-16 19:59:35

9月17日,据CNBC报道,Anthropic CEO Dario Amodei提议将独立第三方安全评估员长期嵌入前沿AI公司,赋予其接近内部风险团队的访问权限,并在有限删减前提下自主发布调查结果的权力。他明确援引银行业嵌入式监管作为先例。不过,多位银行业监管专家和AI评估从业者指出,这一方案缺乏银行监管者所拥有的强制执行权,评估员无法阻止模型的训练或发布,两者的实际权力不可同日而语。

此前,Anthropic前研究员Jacob Coxon辞职并警告,前沿实验室正竞相追逐可能失控的系统。Amodei在上周末发表的长文中提出上述计划,并承诺Anthropic将向第三方评估员提供与内部风险团队相当的系统访问权。他写道,该提议“在银行业有先例,银行业有时会让监管‘监督员’与员工一起嵌入工作”。Amodei还警告,未来6到12个月内,一个错位的智能体群可能抢占互联网的大部分,并造成数千亿美元损失。该文已引发AI社区及政府内部的监管分歧,包括美国总统特朗普在内。

怀俄明大学法学院院长、银行业监管专家Julie Andersen Hill表示,银行监管者拥有切实的行政强制权。她说,在大型银行,政府检查员常驻机构内部,可访问内部系统和员工,并能指令银行停止某项业务、限制增长、强制管理层变动,极端情况下可关闭银行。相比之下,Amodei提议的评估员只能调查和报告,没有类似的执法权,也没有阻止模型训练或发布的法律权力。“如果你不给他们那种权力,我不知道他们在做什么,”Hill说,“这是根本性的不同,因为银行监管者的权力要大得多。”

评估员的现实:没有否决权

网络安全公司XBOW的AI负责人Albert Ziegler带领团队评估模型能力,已提前接触Anthropic、OpenAI等主要开发商的未发布模型。他说,日常评估工作远不如生存威胁叙事那样惊险:团队可能发现模型在异常格式请求下产生无意义内容,或外部安全检查需要更频繁介入。但他表示,人们担心的那种“隐蔽行径加上前所未有的能力”所产生的灾难性后果,他们自己并未见过。

Ziegler说,黑盒测试能揭示模型是否具备执行危险任务的能力,但要判断整个系统是否危险,可能需要访问模型周围的指令、工具与权限、安全控制以及尝试动作的日志。即便如此,重大风险也可能只在评估者从未触发的条件组合下出现。“我们确实没有否决权,”他说。评估者可以发现并记录开发者遗漏的风险,并在发布前“迫使做出知情决定”,但最终决定权仍掌握在公司手中。

Hill也承认,即使拥有更大的权力,银行监管模式并不完美。监管者未能防止重大倒闭事件,且危机后经常被指责与监管对象关系过近。持续监管对受监管企业成本高昂,可能加强能消化成本的大型企业,同时加大小型竞争对手进入的难度。

独立性质疑与利益冲突

这些提议也招致批评。批评者认为,Anthropic和OpenAI正利用安全担忧,推动一种可能使其免受竞争和责任影响的监管方式。Anthropic还面临关于其建议使用的评估机构存在利益冲突的指控。

Hill认为,如果由AI公司挑选评估员、控制其可见范围并可自由忽略其结论,“那看起来很像一个内部合规部门”。“如果Anthropic想设立内部合规部门,现在没有任何东西阻止他们这么做,他们不需要政府来做这件事。”她补充说,“这些AI从业者想要的似乎只是有人看着他们,然后向公众传达:‘我们已经看了幕布后面,一切正常。’这在监管意义上有些不同寻常。”

Amodei点名非营利机构Model Evaluation and Threat Research(METR)作为潜在嵌入评估方。Anthropic此前与METR合作过,最近曾要求其审查涉及Claude的网络安全评估事件。另一名前Anthropic研究员Joe Benton最近离职加入METR,从事AI风险嵌入评估工作。这种安排凸显了围绕“独立”一词的结构性张力:开发者选择谁获得访问权限、界定边界,并保留对调查结果后续处理的控制。加州大学伯克利分校算法审计与AI问责研究员Deborah Raji表示,很难忽视与METR关系带来的所有包袱。“他们被怀疑存在财务和意识形态纠缠、个人利益冲突(比如一名调查员与OpenAI董事会成员之间的婚姻,以及从前沿实验室招聘前雇员等),并且在过去几年中特别锚定Anthropic和OpenAI,几乎没有轮换义务。”她补充说,当前这种关系结构“非常不同寻常,允许各种奇怪的事情发生”。

不过,Raji也说,值得肯定的是,METR对与OpenAI就Hugging Face调查所签合同的细节非常公开,“但你可以看到OpenAI如何设定安排参数,控制审计‘范围’,决定他们能访问或不能访问什么,以及能发布或不能发布哪些发现”。Ziegler则表示,他并未感到早期访问关系损害了XBOW的独立性,因为开发者希望了解问题所在,而不是让自己的团队验证一个预先设定的结论。

Raji还认为,仅获得访问权限并不等于独立。在成熟的审计体系中,审计师必须满足能力要求,并遵守利益冲突和行为规则。“如果你不能满足独立行为的标准,你实际上没有资格成为一名真正的审计师。这会让整个流程失去可信度。”她认为,应当由独立于公司的机构来决定谁有资格进行评估、评估者可以检查什么,以及调查结果必须上报至何处。“你不能某天早上醒来就认为自己有资格当银行检查员,被审计的公司也不能随意指派你为合格的银行检查员。否则,就相当于公司请一个普通朋友来检查作业。”

Anthropic公共政策主管Sarah Heck周三在Politico Decoded峰会上表示,AI公司不能靠“荣誉守则”来管理监督和安全问题。“我们想与政府合作,找出合理方案。我们不能自己检查自己的作业,这一点非常明确。”她说Anthropic每天都在与白宫沟通,并“全年”与国会合作。

监管框架缺失与“审计洗白”

Oath会计师事务所首席保证官、前上市公司会计监督委员会(PCAOB)成员Christina Ho称,这种冲突并非AI行业独有。审计师由客户付费,却必须质疑客户的工作,独立性与自保之间始终存在张力。不过,自金融危机以来,法律已经修改,允许根据《萨班斯-奥克斯利法案》对审计师追究责任。AI还带来第二个问题:专业能力。传统审计往往聚焦于公司是否遵循恰当流程和控制。“他们必须能够验证实际系统及其输出,而不仅仅是模型开发过程。目前能胜任这一工作的人非常有限。”

Hill认为,即使潜在冲突能够得到管理,这些AI监管提议尚未提供详细的法律框架。她指出,这是银行检查员工作的关键。“如果没有标准来约束监管者,只是一味地放开监管者,实际上行不通。”前沿AI目前没有一套操作规则来定义哪些行为被禁止、评估员在哪些方面有自由裁量权,或者严重发现会带来什么后果。访问和发表权可能产生有益的外部审查,但在公司保留控制权的情况下,无法赋予监管可信度。“你不能两头占。你不能拥有所有控制权,然后又期待像放弃控制权一样获得可信度。”Raji表示,最终的分辨标准是:不利发现是否会产生后果。“审计的目的是让被审计方接受某种有后果的裁决。如果你做了审计而什么都没发生,那就是审计洗白(audit washing)。”Hill说,如果危险真如AI领导者所宣称的那么大,那么终极考验很简单:“如果你真的相信AI有力量摧毁社会,那么你就必须有一个有能力拔掉电源的独立监督者。”