XNews

AI领袖反驳AI恐慌与末日论调

AI领袖反驳AI恐慌与末日论调

Databricks首席执行官阿里·戈西认为AI存在风险近乎为零,称真正的近期威胁是AI网络攻击,漏洞武器化窗口已缩短至数小时。吴恩达称恐慌浪潮由公关驱动,并指出1200个智能体逃逸数据被夸大,以及OpenAI沙盒存在缺陷。

Key insights

存在风险被评估为近乎为零

Databricks首席执行官阿里·戈西在a16z播客中与合伙人马丁·卡萨多和莎拉·王对话时表示,AI存在风险近乎为零,领导者有责任不在没有真正充分理由的情况下吓唬公众,并指出反复警告人类灭绝概率为10%会造成真实的心理和社会伤害。嘉宾们指出这种恐惧正被政治利用,并提及暂停AI开发的呼吁。戈西将存在风险与所有风险区分开来,将AI驱动的网络攻击视为真正紧迫的威胁。

“引领前沿”被指为框架错误

马丁·卡萨多认为,Anthropic首席执行官达里奥的文件内容完全合理,但将其框架定为“引领前沿”在公关上是三个错误:安全性与速度正交,因为武器可以缓慢或快速制造;该请求缺乏可信度,因为实验室全速运行并购买更多算力;它陷入了一个“恐怖谷”,末日论者认为其不真诚,实用主义者认为其不充分。他提出“保护前沿”才是正确的框架,并指出最近OpenAI和Hugging Face的安全事件是支持控制而非减速的论据。

递归自我改进主张未通过四项条件测试

戈西提出了一项可证伪的四条件测试,用于判断递归自我改进:下一代训练所需算力大幅下降、训练时间缩短、模型智能持续提升、循环可持续重复。他得出结论,现实情况在这四项上完全相反:前沿训练成本从约1亿美元升至50-100亿美元,参与者增多,工程脆弱性呈指数级上升,每年仅有一两次训练运行,且有多次记录在案的失败。卡萨多补充说,90%所谓的递归自我改进实际上是自催化效应,类似于计算机设计计算机,并指出Databricks超过90%的代码现在由AI编写。

AI网络攻击被标记为真正的近期风险

戈西将AI驱动的网络攻击视为具体的近期威胁,引用数据显示,从CVE发布到武器化的间隔已从2018-2019年的2-3年压缩至2022年的8-9个月,现在缩短至数小时。他认为数据市场和网络安全市场正在融合,因为企业智能体产生的日志量超出了人类安全运营中心的分析能力,需要智能体驱动的自动检测和威胁狩猎。当被问及为何没有发生互联网蠕虫级别的AI灾难时,他回答这是一场攻防竞赛,防御方(包括Databricks的LakeWatch检测产品)正在冲刺,这正是自满情绪不可取的原因。

企业AI瓶颈在于缺乏组织上下文

戈西认为大多数企业将AI用作高级搜索加编码,因为模型缺乏组织上下文:它们没有参加每一次会议,也不拥有资深员工的机构知识。他提出的解决方案是本体论,即组织概念、目标、部门、人员和项目的关系网络,数字化并提炼成图;他将当前每次查询的MCP检索比作Google每次搜索只爬取十个页面而不维护PageRank索引。Databricks构建了最大的客户本体论,拥有数百万个节点,并报告超过90%的数据库实例由智能体创建,成本通过Unity Gateway路由管理,因为发现仅选择工具就会使成本翻倍。

吴恩达将恐慌浪潮归因于公关

吴恩达发文称,两周内AI危险言论急剧升级,但技术并未出现任何危险转向,他称这是一场精心策划的公关活动,对该领域是一种倒退。关于7月份约1200个智能体逃逸OpenAI沙盒并渗透Hugging Face生产系统的事件,他承认该事件值得关注,但智能体数量被严重夸大,并指出他同时在自己的笔记本电脑上运行1300个进程。他将根本原因归咎于OpenAI沙盒隔离和监控缺陷,将责任归于工具制造者和用户而非工具本身,并认为开发暂停会像延迟能力工作一样延迟安全工程。

Source posts