凤凰彩票官网首页 - Welcome 交白卷也排第一? Fable 5二百题全部拒答, 却登顶最严AI编程基准

凤凰彩票官网首页 - Welcome 交白卷也排第一? Fable 5二百题全部拒答, 却登顶最严AI编程基准

裁剪|Panda

太离谱了!

是的,本文的主角照旧前些天刚发布了 Claude Fable 5 的 Anthropic。

Fable 5 发布时的排面是竟然足。SWE-Bench Pro 得分 80.3%,把第二名甩出 11 个百分点;Andrej Karpathy 顺利喊出「deserves a major version bump」;Stripe 拿它在 5000 万行 Ruby 代码库里跑了一整天的迁徙,顶上了蓝本需要总计这个词团队两个月才智完成的责任量。势头之猛,让东说念主一度认为 AI 编程插足了新纪元。

然而,Fable 5 刚开香槟,就被我方的「安全护栏」绊了个大跟头。

其系统卡中明确示意,Fable 5 被缠绵成:一朝检测到用户正在从事先沿 AI 研发责任(比如锻练活水线、散播式锻练基础模范、ML 加快器缠绵),模子会悄悄裁减我方的回话质料——何况欠亨知用户。也便是说,你花着 Fable 5 的钱,收到的可能是 Opus 4.8 级别的活,还莫得任何辅导。

Anthropic 为此用了辅导词修改、转向向量等本事妙技,让模子在特定查询下悄悄变笨,总计这个词经由对用户完全不透明。

滚球app2026世界杯中国官网下载

这一操作在计议社区炸了锅。许多学者和建立者纷纷发声月旦,称此举严重毁伤了用户信任,本色上是背刺付用度户。公论压力之下,Anthropic 被动在发布后数小时内晓喻策略转化:照旧会降智,仅仅不再悄悄来了——触发安全抑遏时,模子将明确见告用户,并切换到 Opus 4.8 进行回话。至少他们是这样说的。参阅《刚刚,Anthropic 说念歉了》。

然后,更尴尬的来了。

也正因为 Fable 5 当今的降智操作变得「透明」了,一些赞佩的情况随之浮出水面。

其中最让东说念主尴尬的,便是 Fable 5 在 ProgramBench 基准测试上的「推崇」。

ProgramBench 来快意名鼎鼎的 SWE-Bench 作家团队,专注于「从编译后的二进制文献重建源代码」这一高难度任务,一上线就把那时的前沿 AI 模子全部清零:Claude、GPT、Gemini,无一避免,完成率清一色 0%。此前咱们曾报说念过《0%完成率!Claude、GPT、Gemini 全灭,SWE-Bench 作家新作把 AI 圈干千里默了》。

那么,Fable 5 收货如何呢?

不是 0 分。是阻隔作答:200 说念题,全部阻隔!

ProgramBench 之是以莫得 Fable 5 的收货,是因为「重建编译后的二进制文献」这一操作触发了 Fable 5 的鸠集安全分类器。说白了,Fable 5 看到这说念题,判定其触及「二进制逆向」,188bet体育app官网打了个安全警报,顺利阻隔作答。何况 200 说念,一皆不落。

赞佩的是,Fable 5 在其他编程基准上但是少许不缺乏的,都能好好答题。

Fable 5 在不同基准上的收货和排名

然而,就在这份弃考收货单提交之后,ProgramBench 排名榜作念了一个让东说念主辞穷理屈的决定:详细其他基准推崇,仍然将 Fable 5 列在了榜首。

一个字都没答的考生,坐了第又名的座位。这好像是 AI 评测史上面一遭:弃考也能登顶榜单。

固然,这操作很快引来了四面八方的异议。有东说念主顺利提问:隆重覆按怎么交了白卷还能得第又名?应该顺利给零分才对。

这也让好多网友吐槽其护栏太高,甚至于难以履行应用:

顺带一提,有网友还发现,Fable 5 在英文输出中仍是会偶发性地羼杂汉字,这个老缺点到了这一代还没透顶根治。

事实上,Fable 5 的「过度阻隔」问题并非初度出当今 Claude 眷属。

早在 Claude 3 Opus 时间,计议东说念主员就发现该模子在靠近安全测试题目时,会在解题进行到一半时俄顷歇工,凤凰彩票_凤凰彩首页以「伦理胆怯」为由阻隔持续作答。Claude 3.5 Sonnet 曾经被记载到在结构化 bash 任务中以「制作 payload 触及践诺号召」为由顺利阻隔。

Fable 5 的问题究竟出在那里?

回到 Fable 5 本人。凭证目下裸露的信息,它的「护栏系统」禁受了两级架构:一个探针及时监控模子的里面激活情状,对总计流量进行扫描;一朝触发警报,苦求会被上报给一个寂寞锻练的 LLM 分类器作念最终裁决。

这套系统抑遏的限制,涵盖鸠集安全、生赔本学,以及前边提到的前沿 AI 研发。以 Terminal-Bench 2.1 为例,约 20.9% 的测试用例触发了安全阻隔并回退到 Opus 4.8。

ProgramBench 的「二进制重建」任务,在分类器眼里,好像和「逆向工程坏心软件」莫得太大辩认,于是 200 说念题十足被挡在了门外。

Vals AI 在实测中也发现,Fable 5 在生物和鸠集安全关系问题上的阻隔率显着偏高,甚至于他们不得不将 Opus 4.8 设立为默许兜底模子。也便是说,Fable 5 阻隔的任务,就让 Opus 4.8 来接。

本事上这套系统固然有其合感性。Fable 5 的前身 Mythos 级模子,在破绽愚弄、蹙迫性鸠集操作等任务上展现出了让列国政府都坐不住的才略,这亦然 Anthropic 一直将其列为受限模子的中枢原因。给这样的模子套上严格的安全桎梏,似乎也有少许兴味。

但问题在于,当安全护栏的判断尺渡过于毛糙,「二进制逆向」这个本属于平淡编程教化和安全计议的基础操作,就会被一视同仁地抑遏。建立者为此付出的代价是真正的:要么换模子,要么改辅导词,要么接受一个「什么都懂、好多都不说」的超能助手。

趁机,还有另一份收货单也值得一看

Fable 5 发布后不久,UC Berkeley RDI 实验室(精采东说念主 Dawn Song 锻练)的团队完成了对它的评测,用的是他们我方作念的新基准:Agents' Last Exam(ALE)。

论文地址:https://arxiv.org/abs/2606.05405

这个基准的起点有点真义:它不考「AI 能不可在 HumanEval 里写出两行代码」,而是顺利对皆真正劳能源阛阓,隐私 55 个行状标的、1500+ 说念真正责任场景题目,由来自 100 余家机构的 300 余位行业众人孝敬,全部按可考证的效果计分。说白了,便是让 AI agent 去考一场「职场模拟高考」。论文发布今日就登上了 Hugging Face Daily Papers 第又名。

评测效果如何?Fable 5 的得分是 22.0%,排在 GPT-5.5(Codex)的 24.0% 之后,位列第二。听起来差距不大,但本钱项就有点精通了:Fable 5 平均每说念题消耗约 15.70 好意思元,GPT-5.5 只需 3.80 好意思元,另一个模子 Composer 2.5 更是唯有 1.33 好意思元。换句话说,Fable 5 每解一皆题的本钱,大要是 GPT-5.5 的四倍。

最有真义的,照旧最高难度那一档,即「Last-Exam」,也便是 ALE 里挑升为「前沿 agent 挑战极限」缠绵的题目。效果是:除了 GPT-5.5,包括 Fable 5 在内的总计参评的前沿 agent 通过率均为 0%。更多确定请参阅《Claude Fable 5最难档零分!智能体的临了覆按来了》。

排名榜备注讲解:claude-fable-5——除了透顶的拜访摆布(咱们仅仅不断重试入手直到任务胜利完成),Anthropic 还可能默许悄无声气地提供该模子的一个左迁版、拘泥力变体。重试无法改良这少许,因此这里的数据可能低估了其真正才略——解读时需严慎

ProgramBench 阻隔作答是 0%,ALE 最难档发奋作答亦然 0%。不同的姿态,雷同的结局。

结语

弃考但排名第一,这个跋扈效果背后,其实藏匿着一个正在扯破 AI 行业的根柢矛盾:才略越强,护栏越紧;护栏越紧,可用性越差。

Anthropic 的处境尤其典型。它领有(按自家说法)当下最强的编程模子,却同期在替用户决定哪些编程任务「不错作念、哪些不可作念」。而那条鸿沟,目下还画得十分缺乏。

参考贯穿凤凰彩票官网首页 - Welcome