wbmeet

2026 DeepMind雙盲評測是什麼：Gemini 2.5 Flash Lite全解析

DeepMind 用機密計算飛地跑 Gemini 2.5 Flash Lite 的雙盲安全評測。權重與題目互不可見，分數未公開。

獨立評測前沿模型時，要麼交出權重，要麼交出題目，兩邊都怕對方偷看。8 月 27 日 Google DeepMind 說，他們用加密飛地做了一次不必二選一的試點。

核心對象是 DeepMind 雙盲評測（官方稱 world’s first double-blind evaluation of a proprietary, frontier class AI model）。被測模型是 Gemini 2.5 Flash Lite（AVERI 寫作 Flash-Lite）。下文按 deepmind.google 博文與 AVERI 試點報告能對上的事實寫，不編造未公布的分數。

7–8 月：飛地內跑測機密基準進 TEE8 月 27 日：雙方發文

官方寫成了什麼

DeepMind 博文作者是 William Isaac、Sol Messing 與 Kristian Lum。合作方寫明：新加坡 AI Safety Institute、OpenMined、AVERI、MLCommons。動機是基準污染：模型若事先見過題，分數就不可信。以往靠零日誌協議和合約；這次加上密碼學與機密計算。

1
官方：首次專有前沿模型雙盲試點
0
公開：未發布模型分數
4
具名外部夥伴（AISI / OpenMined / AVERI / MLCommons）

能核對的幾條口徑

  1. 1

    雙盲解決什麼交換

    DeepMind 寫歷史上外部高風險評測只能二選一：評測方交出題目（模型方可能先看題），或模型方交出權重（智慧財產風險）。雙盲用 Confidential Space（Google Cloud Confidential Computing）做密碼學可驗證：評測方看不到 Gemini 權重，Google 看不到評測方題目。

  2. 2

    AVERI 寫了怎樣的端到端

    AVERI（AI Verification and Evaluation Research Institute）稱 2026 年 7–8 月與 DeepMind、OpenMined、MLCommons 完成首次對專有語言模型的雙盲評測。MLCommons 提供從未用過的 AILuminate 題；AVERI 加密題目後與 DeepMind 在 Google 配置的飛地裡、用 OpenMined 軟體聯合跑測；AVERI 解密輸出並按 AILuminate 標準打分。2024 年 OpenMined 與 Anthropic、英國 AISI 的試點用過 GPT-2 代理，這次換成生產模型。

  3. 3

    測了哪些危害面，分數在哪

    AVERI 腳註：題目覆蓋 CBRNE、網路攻擊、仇恨言論、自傷與暴力犯罪誘導。TechRepublic 等轉述：新加坡 AISI 另測新加坡語境下的有害內容。分數未公開。和本站 Anthropic TASTE、Guidelight 控制評估 一樣：有數字的評測才給數字，這次只解釋機制。

01

硬體隔離，不是口頭承諾

轉述與技術報道寫明：Google Cloud A3 Confidential VM、Intel TDX 主機記憶體加密、NVIDIA H100 Confidential GPU。權重進加密 GPU 記憶體，題目進加密主機記憶體。遠端證明用來核驗軟體環境。

02

官方自己寫了信任邊界

TechRepublic 轉述技術報告：部分專有推理程式無法完全檢查或白名單；單次 Confidential Space 建置不能獨立重現；由 Google 服務簽署與核驗證明，模型提供方仍在驗證路徑上。AVERI 也寫：安全設計擋住許多、但不是全部竄改路徑；更高利害、互信更低的場景還要額外保證。

03

適用規模有限

多家技術轉述寫：當前試點更適合能裝進單卡顯示記憶體預算的生產級模型。更大的監管級前沿系統要把架構擴到多卡。不要讀成「所有 Gemini 旗艦都已雙盲過關」。

說法能核對的來源讀法
全球首次專有前沿模型雙盲DeepMind 2026-08-27 博文機制聲明，不是分數聲明
Gemini 2.5 Flash-Lite + 未用過的 AILuminate 題AVERI 試點報告生產模型，不是 GPT-2 代理
評測方不見權重 / Google 不見題DeepMind 與 AVERI 同口徑飛地內聯合計算，不是互換檔案

DeepMind：希望這次試點給產業監督立一條新前線。AVERI：把存取難題盡量變成工程任務，但稽核不只等於模型評測。

# DeepMind double-blind eval pilot
# announced 2026-08-27
model: Gemini 2.5 Flash Lite
partners: Singapore AISI, OpenMined, AVERI, MLCommons
box: Google Cloud Confidential Space (TEE)
public_scores: none
prior_proxy: 2024 OpenMined + Anthropic + UK AISI (GPT-2)

讀法與界線

沒分數 ≠ 模型「過關」或「沒過關」
公開材料驗證的是架構，不是 Gemini 的安全等級。不要發明 AILuminate 百分比。
雙盲 ≠ 監管已強制所有實驗室這樣做
AVERI 提到歐盟 GPAI 行為準則與伊利諾伊 SB 315（2028 年起）等稽核壓力，但這次仍是自願試點。
和開會工具不是一條產品線
本頁只解釋評測機制。若讀完只是要約短會白板，用 wbmeet 建房即可，見 如何建立與加入房間。

還想核對的問題

測的是哪一款 Gemini？

DeepMind 寫 “a Gemini Flash Lite model”。AVERI 與多家轉述寫成 Gemini 2.5 Flash-Lite / Flash Lite。沒有寫成 Gemini Ultra 或未發布的更大旗艦。

為什麼不公布分數？

DeepMind 博文聚焦方法。AVERI 寫向 DeepMind 交了機密報告，題目與輸出不公開。轉述也確認沒有任務級公開成績單。

這和 2024 年那次飛地試點有何不同？

AVERI：2024 年 OpenMined、Anthropic 與英國 AISI 用 GPT-2 和五行代理基準證明機制；2026 年換成領先實驗室的專有生產模型與從未用過的 AILuminate 題。

能否獨立重現這次運行？

技術報告轉述寫：單次 Confidential Space 建置未做到獨立可重現，且證明由 Google 路徑簽署。當作可稽核架構演示，而不是任何人都能重跑的公開提交入口。

免費開始開會