XNews

关于AI安全炒作与现实风险的辩论

关于AI安全炒作与现实风险的辩论

Databricks CEO阿里·戈西在a16z播客中表示,AI生存风险几乎为零,并认为递归自我改进(RSI)并未发生。他指出,由AI驱动的网络攻击才是真正的近期威胁,CVE(公共漏洞与暴露)从发现到武器化的时间已从数年压缩至数小时。吴恩达也分别反驳了AI末日论炒作,呼吁采取工程修复而非暂停发展。

Key insights

AI灭绝风险接近零

Databricks CEO阿里·戈西认为AI生存风险几乎为零,并称领导者应避免无充分理由地吓唬公众。他指出,恐慌导致的心理健康成本及外溢效应是真正的危害。马丁·卡萨多补充说,恐惧已渗透至农村社区,并正在被政治利用,可能导致过度监管。

对“控制前沿”框架的批评

马丁·卡萨多称Anthropic CEO达里奥的文件内容合理,但公关措辞失当。他认为安全是工程问题,而非速度问题。全速竞争的公司缺乏可信度要求放慢速度,“恐怖谷”的框架既无法满足末日论者,也无法打动实用主义者。

RSI四条件检验失败

戈西提出了一个可证伪的四条件检验递归自我改进的方法:计算资源需求骤降、训练时间缩短、模型智能提升、以及三者可重复性。现实与每个条件相悖——训练成本从约1亿美元升至50-100亿美元,训练每年仅发生一到两次,且多次训练失败已出现。

真正的近期风险:AI网络攻击

戈西报告称,CVE到武器化的时间已从2018-19年的2-3年压缩至2022年的8-9个月,如今更缩短至数小时。他认为数据/AI市场与网络安全市场正在融合,传统基于人类的SOC(安全运营中心)模式已无法跟上。需要全自动检测与威胁狩猎,银行领先但多数企业远远落后。

企业瓶颈在于缺乏背景信息,而非模型智能

戈西观察到,多数企业AI应用类似于“升级版的谷歌搜索”加上代码编写。缺失的是组织背景信息——模型并未参与会议或捕获机构知识。他的解决方案是本体论/知识图谱方法,Databricks正在为客户构建一个拥有数百万节点的图谱。

AI安全恐惧被过度夸大,吴恩达表示

吴恩达撰文称,AI技术并未出现意外危险转向,但一场精心策划的公关活动煽动了大量恐惧。他认为OpenAI的智能体集群事件是可修复的工程漏洞,并非灭绝风险的证据。他提到自己的笔记本电脑上运行着约1,300个进程,以此来说明关于“1,200个智能体”攻击报道的背景。

暂停AI弊大于利

吴恩达认为暂停带来的伤害大于帮助,因为对手不会放慢速度,且工程需要经验性发现问题的过程。暂停十年同样会将安全工程修复推迟十年。他强调应追究人的责任,而非将AI智能体拟人化为过错方。

Source posts