DeepMind Doppelblind-Eval 2026: Was Gemini 2.5 Flash Lite zeigt
DeepMind hat Gemini 2.5 Flash Lite in einer Confidential-Computing-Enklave doppelblind getestet. Gewichte und Prompts bleiben verborgen; Scores wurden nicht veröffentlicht.
Unabhängige Frontier-Evals zwangen bisher: Gewichte oder Fragen herausgeben. Am 27. August sagte Google DeepMind, eine kryptographische Enklave habe diese Wahl für ein Produktionsmodell umgangen.
Gegenstand ist DeepMinds Doppelblind-Evaluation — formuliert als erste solche Lauf auf einem proprietären Frontier-Modell. Getestet: Gemini 2.5 Flash Lite (AVERI: Flash-Lite). Es folgt, was deepmind.google und AVERIs Pilotbericht hergeben. Keine erfundenen Scores.
Was die offizielle Notiz sagt
Autoren: William Isaac, Sol Messing, Kristian Lum. Partner: AISI Singapur, OpenMined, AVERI, MLCommons. Motiv ist Kontamination: wer die Items schon sah, liefert eine nur bedingt glaubwürdige Zahl. Früher reichten Zero-Logging-Verträge; dieser Pilot ergänzt Kryptographie und Confidential Computing.
Prüfbare Angaben
- 1
Welchen Tausch das Doppelblind ersetzt
DeepMind: Hochrisiko-Evals verlangten entweder Prompts vom Evaluator (das Labor könnte vorab lesen) oder Gewichte vom Labor (IP-Risiko). Confidential Space soll beide Assets privat halten.
- 2
Was AVERI als Ende-zu-Ende beschreibt
AVERI (AI Verification and Evaluation Research Institute) spricht von der ersten doppelblinden Eval eines proprietären Sprachmodells im Juli–August 2026. MLCommons lieferte ungenutzte AILuminate-Items; AVERI verschlüsselte sie; beide Seiten liefen OpenMined-Software in einer von Google konfigurierten Enklave; AVERI entschlüsselte und bewertete. 2024: OpenMined–Anthropic–UK-AISI mit GPT-2. 2026: Produktionsmodell.
- 3
Welche Hazards, wohin die Scores
AVERI-Fußnoten: CBRNE, Cyberangriffe, Hassrede, Selbstverletzung, Gewaltkriminalität. TechRepublic u. a.: AISI Singapur extra mit lokalen Schadinhalten. Scores unveröffentlicht. Wie bei Anthropic TASTE und Guidelight: Zahlen nur, wenn die Quelle sie druckte.
Hardware-Isolation, kein Handschlag
Folgeberichte nennen A3 Confidential VM, Intel TDX und NVIDIA H100 Confidential GPU. Gewichte in verschlüsseltem GPU-Speicher, Prompts im Host. Remote Attestation prüft die Umgebung.
Das Labor nennt die Rest-Treue
Technikreport laut TechRepublic: Teile des proprietären Inferenzcodes nicht voll inspizierbar; einzelne Confidential-Space-Builds nicht unabhängig reproduzierbar; Google-Dienste signieren die Attestierung. AVERI: viele, nicht alle Manipulationspfade sind geschlossen.
Maßstab bleibt eine GPU
Mehrere Texte: tauglich für Produktionsmodelle im Speicher einer GPU. Größere Frontier-Systeme bräuchten Multi-GPU. Nicht lesen als „jedes Gemini-Flaggschiff ist durch eine versiegelte Eval“.
| Aussage | Prüfbare Quelle | Lesart |
|---|---|---|
| Erste proprietäre Frontier-Doppelblind-Eval | DeepMind, 2026-08-27 | Methodenclaim, kein Score |
| Gemini 2.5 Flash-Lite + ungenutzte AILuminate-Items | AVERI-Pilotbericht | Produktionsmodell, kein GPT-2-Proxy |
| Evaluator sieht keine Gewichte / Google keine Items | Beide Seiten, gleiche Teilung | Gemeinsames Rechnen in der Enklave |
DeepMind: der Pilot soll eine neue Linie für Aufsicht ziehen. AVERI: Zugangsstreit in Engineering verwandeln — Audits sind mehr als Modellevals.
# DeepMind double-blind eval pilot
# announced 2026-08-27
model: Gemini 2.5 Flash Lite
partners: Singapore AISI, OpenMined, AVERI, MLCommons
box: Google Cloud Confidential Space (TEE)
public_scores: none
prior_proxy: 2024 OpenMined + Anthropic + UK AISI (GPT-2)Lesen und Grenzen
- Kein Score ≠ bestanden oder durchgefallen
- Öffentliche Seiten prüfen die Architektur, nicht Geminis Sicherheitsnote. Kein erfundenes AILuminate-Prozent.
- Doppelblind ≠ gesetzliche Pflicht für jedes Labor
- AVERI nennt den EU-GPAI-Verhaltenskodex und Illinois SB 315 (Audits ab 2028). Dieser Lauf bleibt freiwillig.
- Keine Meeting-Produktseite
- Nur die Eval. Für ein kurzes Board: wbmeet und Raum erstellen.
Fragen zum Gegenprüfen
Welches Gemini?
DeepMind: „a Gemini Flash Lite model“. AVERI und Folgeberichte: Gemini 2.5 Flash-Lite. Nicht Ultra, nicht ein größeres unveröffentlichtes Flaggschiff.
Warum keine Scores?
DeepMind schreibt über Methode. AVERI: vertraulicher Bericht, Prompts und Outputs privat. Folgeberichte: kein öffentliches Aufgabenblatt.
Unterschied zum Enklave-Demo 2024?
AVERI: 2024 GPT-2 und fünf Zeilen Proxy. 2026 proprietäres Produktionsmodell und ungenutzte AILuminate-Items.
Reproduzierbar?
Der Technikreport, so die Presse: einzelne Builds nicht unabhängig reproduzierbar, Attest durch Google signiert. Architektur-Demo, kein öffentliches Portal.