ARTICLE / DEEP READING

最新动态

从比赛现场到数据趋势,深入阅读每一篇值得关注的体育内容。

Anthropic微微发力,AI中转站的天就要塌了?文章配图
READ
IN DEPTH

FEATURED ARTICLE

Anthropic微微发力,AI中转站的天就要塌了?

你付钱调用的那个 AI,真的是商家承诺的那个模型吗? 比如,一个第三方平台声称接入了旗舰模型,后台却换成便宜的小模型、旧模型,光看回答的语气和质量,我们很难判断;又或者是同一道题目,官网能做出来,用中转站却卡住了。 图|GitHub 上部分 AI API 中转站推荐与评测项目 不少通过第三方 API、聚合平台或中转服务调用模型的国内用户来说,这大概是经常需要面对的问题。 一个看起来简单的模型请求,背后需要经过「用户—中转站—上游服务商—模型」多个环节,只要其中一环缺少透明度,我们就很难确认自己买到的,是不是标价对应的模型。 图|研究链接:https://www.anthropic.com/research/provable-inference Anthropic 近日发布的一项研究,试图把这个只能靠口碑、截图和体感争论的问题,变成一个可以数学验证的问题。 这套名为 FlashProve 的开源研究原型,可以为模型推理生成密码学证明。它尝试让服务商为模型的计算结果提供密码学证明,用户不用拿到模型权重,也不用自己再跑一遍大模型,就能核验。 不公开模型,也能证明「你就是你」 除了使用模型厂商官方的应用,和从官网调用 API 进行对话,我们能确认使用模型的情况。在大多数的 API 调用里,我们提交问题,服务器返回回答,模型世界上是跑在了远程的机器上,我们无法得知后台究竟进行了那些计算。 斯坦福大学的研究项目《Model Equality Testing》曾经就测试过 2024 年四款 Llama 模型的 31 个商业 API 端点,发现其中 11 个端点的输出分布,与 Meta 发布权重的参考分布存在统计差异。 同一个模型名字,有时候并不能对应同一种表现。即便在服务页面挂着的都是 Opus 5.5,但根本无法保证用户获得完全相同的模型。 有时候我们想着可以靠几个问题来鉴别模型,就像最近内测 Opus 5.5 一样,有网友说问他 2026 年 5 月,Karpathy 去了哪里,如果模型答不出他去了 Anthropic,那就是没有被测试到。 但靠这些问题来鉴别模型,还会遇到模型厂商自己路由的问题,往往很难直接定位原因。像是碰巧答错、参数不同、上下文没传完整,和后台换了模型,最后都可能表现成一句「怎么变笨了」、「这不是我想要的模型吧」。 FlashProve 的核心,是一种名为 zkSNARK 的零知识简洁证明技术。 首先,模型服务商为权重生成一个「承诺」,它类似一组密码学指纹,能够唯一锁定特定权重,却不会公开权重本身。 随后,服务商针对给定的输入与待检查输出,生成一份证明,核验这些输出是否符合事先约定的模型计算。用户拿到模型承诺、提示词、回答和证明文件,就可以在自己的电脑上检查: 这套被锁定的权重处理这段输入时,是否确实会产生这些输出。 如果中转站偷偷换了一套模型,或者有人修改了输出,证明便无法与原来的模型承诺对应。 这里用到的零知识证明也很重要,目的是为了让验证者在确认计算结果时,却不会因此获得模型权重、中间计算值,以及 MoE 模型在各层调用了哪些专家。 这也解释了它为什么比「让 AI 自报家门」可靠,回答里写了什么模型名字,不再充当身份证明,检查的是输出与指定权重之间的计算关系。 一台笔记本就能核验 过去,为大模型生成零知识证明的最大障碍是成本,证明过程可能比普通推理慢上几个数量级,证明文件也可能非常大。 Anthropic 使用公开 4-bit 权重的 Llama 4 Maverick 进行实验。这是一个拥有 4000 亿参数的混合专家模型,每个 token 实际激活约 170 亿参数。根据 Anthropic 公布的数据: 单张 H100 生成证明的吞吐量约为 110 tokens/秒 每个 1,024-token 请求的证明约为 19 MB 验证不需要 GPU,在 24 线程 CPU 上约需 17 秒 ,单线程约需 21 秒 模型权重的初始承诺只需生成一次,耗时约 39 分钟 不过这里的 110 tokens/秒是 证明生成速度 ,不是用户聊天时的模型输出速度。证明依然昂贵,在 Anthropic 的对比条件下,其 GPU 时间约为普通 vLLM 推理的 70~95 倍 。 即便不是免费,但这套方案,以及把一种过去近乎难以承受的验证方式,推进到了开始具有实际想象空间的阶段。 但解释不了「降智」 对于中转站用户,这项技术最直接的吸引力,当然是识别模型替换。但这里有一个关键前提,是我们必须提前知道 正品模型的承诺 是什么。 如果中转站拿出一份有效证明,却只能证明回答来自它自己选择的模型 B,而用户无法确认模型 B 与自己购买的模型 A 是否相同,那么这份证明仍然解决不了身份问题。 真正有效的使用方式,应当是由模型厂商、可信机构或

about image

SHARE THE IDEA

觉得有用?分享给朋友

让更多人看到这篇内容。

返回资讯列表

YOU MAY ALSO LIKE

推荐阅读

TRENDING STORIES

热点新闻

太及时了!央行定调,大信号来了—明年房价,又要上演新一轮暴涨!

太及时了!央行定调,大信号来了—明年房价,又要上演新一轮暴涨!

原创首发|未经授权禁止转载 10月30日傍晚,央行党委会议通稿挂出来,潘功胜行长一句话定了调:继续实施适度宽松的货币政策,保持流动性充裕。 这个时点选得挺巧。两天前美联储刚议息,10票对2票维持利率不变,两名委员还主张再加息25个基点。 一边是全球头部经济体踩刹车,一边是中国明确要踩油门。很多人下意识会问:利差倒挂这么深,扛得住吗? 首套刚需、改善置换家庭、持房观望业主,都能在下面找到答案。 扛得

广东男篮惨遭逆转,外援差距明显,胡明轩23+4,弗格绝平三分球被封盖

广东男篮惨遭逆转,外援差距明显,胡明轩23+4,弗格绝平三分球被封盖

CBA第一阶段最后一轮,广东男篮对阵青岛男篮。两支球队本赛季的表现都不好,广东男篮是三胜四负的战绩,青岛男篮更是只有两胜五负。对两支球队来说,这场比赛的胜负非常重要。这场比赛广东男篮再次轮休了徐杰,青岛男篮的主教练刘维伟也缺阵,由球队助教临场指挥。 这场比赛两队大打对攻,广东男篮一度凭借攻防转换取得了两位数领先,不过青岛男篮缩小分差后一直紧咬比分,并在最后一节比赛完成了反超,最终逆转战胜了广东男篮

末节0分+生涯新低,第一人也顶不住了!MVP榜仅第10 下一个字母?

末节0分+生涯新低,第一人也顶不住了!MVP榜仅第10 下一个字母?

末节0分+生涯新低,联盟第一人也顶不住了!首期MVP榜仅排第10,夺冠后连续三年摸不到西决地板,反而阵容越打越贵,补强却越来越难,怕是要成下一个字母哥了。 约基奇末节0分险吞大逆转 上一场大胜猛龙后,掘金转战墨西哥城迎战步行者,约基奇首节拿下10分6板3助,掘金第二节打出15-0,最多领先27分,半场64-41占据主动。 结果步行者第三节轰下37分,末节又追到95-102,好在穆雷助攻斯潘塞琼斯和

弱者喝饮料,强者喝大水,这是大多数人生活的真相

弱者喝饮料,强者喝大水,这是大多数人生活的真相

弱者喝饮料,强者喝大水。最近“大水理论”火了。 微博热搜榜,有十几个关于“ 喝大水 ”的热搜。 我看了半天才反应过来,这不就是全民进入“纯过日子时代”的证据。 这个大水,就是1.5L的矿泉水。 以前年轻人喜欢喝饮料、咖啡、奶茶,动辄就是二三十块钱。 现在流行喝大水,一瓶才三块钱,不只是比饮料便宜,甚至远比500ml的矿泉水划算。 年轻人抛弃饮料,开始精打细算过日子。 这不是段子,而是大多数人的生活

和合共生|APEC观察:亚太自贸区愿景如何落实为共同行动

和合共生|APEC观察:亚太自贸区愿景如何落实为共同行动

亚太经合组织工商领导人峰会17日在深圳开幕,与会嘉宾就亚太自贸区(FTAAP)建设等话题展开专题研讨。今年是亚太自贸区愿景提出20周年。2006年,亚太自贸区进入APEC议程;2014年,北京雁栖湖畔,亚太自贸区建设进程启航,亚太互联互通蓝图铺就;2020年,亚太经合组织各方在初步实现茂物目标基础上,通过《2040布特拉加亚愿景》,重申造福亚太人民的初心,提出建成“开放、活力、强韧、和平的亚太共同