wbmeet

2026 DeepMind双盲评测是什么：Gemini 2.5 Flash Lite全解析

DeepMind 用机密计算飞地跑 Gemini 2.5 Flash Lite 的双盲安全评测。权重与题目互不可见，分数未公开。

独立评测前沿模型时，要么交出权重，要么交出题目，两边都怕对方偷看。8 月 27 日 Google DeepMind 说，他们用加密飞地做了一次不必二选一的试点。

核心对象是 DeepMind 双盲评测（官方称 world’s first double-blind evaluation of a proprietary, frontier class AI model）。被测模型是 Gemini 2.5 Flash Lite（AVERI 写作 Flash-Lite）。下文按 deepmind.google 博文与 AVERI 试点报告能对上的事实写，不编造未公布的分数。

7–8 月：飞地内跑测机密基准进 TEE8 月 27 日：双方发文

官方写成了什么

DeepMind 博文作者是 William Isaac、Sol Messing 与 Kristian Lum。合作方写明：新加坡 AI Safety Institute、OpenMined、AVERI、MLCommons。动机是基准污染：模型若事先见过题，分数就不可信。以往靠零日志协议和合同；这次加上密码学与机密计算。

1
官方：首次专有前沿模型双盲试点
0
公开：未发布模型分数
4
具名外部伙伴（AISI / OpenMined / AVERI / MLCommons）

能核对的几条口径

  1. 1

    双盲解决什么交换

    DeepMind 写历史上外部高风险评测只能二选一：评测方交出题目（模型方可能先看题），或模型方交出权重（知识产权风险）。双盲用 Confidential Space（Google Cloud Confidential Computing）做密码学可验证：评测方看不到 Gemini 权重，Google 看不到评测方题目。

  2. 2

    AVERI 写了怎样的端到端

    AVERI（AI Verification and Evaluation Research Institute）称 2026 年 7–8 月与 DeepMind、OpenMined、MLCommons 完成首次对专有语言模型的双盲评测。MLCommons 提供从未用过的 AILuminate 题；AVERI 加密题目后与 DeepMind 在 Google 配置的飞地里、用 OpenMined 软件联合跑测；AVERI 解密输出并按 AILuminate 标准打分。2024 年 OpenMined 与 Anthropic、英国 AISI 的试点用过 GPT-2 代理，这次换成生产模型。

  3. 3

    测了哪些危害面，分数在哪

    AVERI 脚注：题目覆盖 CBRNE、网络攻击、仇恨言论、自伤与暴力犯罪诱导。TechRepublic 等转述：新加坡 AISI 另测新加坡语境下的有害内容。分数未公开。和本站 Anthropic TASTE、Guidelight 控制评估 一样：有数字的评测才给数字，这次只解释机制。

01

硬件隔离，不是口头承诺

转述与技术报道写明：Google Cloud A3 Confidential VM、Intel TDX 主机内存加密、NVIDIA H100 Confidential GPU。权重进加密 GPU 内存，题目进加密主机内存。远程证明用来核验软件环境。

02

官方自己写了信任边界

TechRepublic 转述技术报告：部分专有推理代码无法完全检查或白名单；单次 Confidential Space 构建不能独立复现；由 Google 服务签署与核验证明，模型提供方仍在验证路径上。AVERI 也写：安全设计挡住许多、但不是全部篡改路径；更高利害、互信更低的场景还要额外保证。

03

适用规模有限

多家技术转述写：当前试点更适合能装进单卡显存预算的生产级模型。更大的监管级前沿系统要把架构扩到多卡。不要读成「所有 Gemini 旗舰都已双盲过关」。

说法能核对的来源读法
全球首次专有前沿模型双盲DeepMind 2026-08-27 博文机制声明，不是分数声明
Gemini 2.5 Flash-Lite + 未用过的 AILuminate 题AVERI 试点报告生产模型，不是 GPT-2 代理
评测方不见权重 / Google 不见题DeepMind 与 AVERI 同口径飞地内联合计算，不是互换文件

DeepMind：希望这次试点给行业监督立一条新前线。AVERI：把访问难题尽量变成工程任务，但审计不只等于模型评测。

# DeepMind double-blind eval pilot
# announced 2026-08-27
model: Gemini 2.5 Flash Lite
partners: Singapore AISI, OpenMined, AVERI, MLCommons
box: Google Cloud Confidential Space (TEE)
public_scores: none
prior_proxy: 2024 OpenMined + Anthropic + UK AISI (GPT-2)

读法与边界

没分数 ≠ 模型「过关」或「没过关」
公开材料验证的是架构，不是 Gemini 的安全等级。不要发明 AILuminate 百分比。
双盲 ≠ 监管已强制所有实验室这样做
AVERI 提到欧盟 GPAI 行为准则与伊利诺伊 SB 315（2028 年起）等审计压力，但这次仍是自愿试点。
和开会工具不是一条产品线
本页只解释评测机制。若读完只是要约短会白板，用 wbmeet 建房即可，见 如何创建与加入房间。

还想核对的问题

测的是哪一款 Gemini？

DeepMind 写 “a Gemini Flash Lite model”。AVERI 与多家转述写成 Gemini 2.5 Flash-Lite / Flash Lite。没有写成 Gemini Ultra 或未发布的更大旗舰。

为什么不公布分数？

DeepMind 博文聚焦方法。AVERI 写向 DeepMind 交了机密报告，题目与输出不公开。转述也确认没有任务级公开成绩单。

这和 2024 年那次飞地试点有何不同？

AVERI：2024 年 OpenMined、Anthropic 与英国 AISI 用 GPT-2 和五行代理基准证明机制；2026 年换成领先实验室的专有生产模型与从未用过的 AILuminate 题。

能否独立复现这次运行？

技术报告转述写：单次 Confidential Space 构建未做到独立可复现，且证明由 Google 路径签署。当作可审计架构演示，而不是任何人都能重跑的公开提交入口。

免费开始开会