wbmeet

2026 DeepMind 이중맹검 평가란: Gemini 2.5 Flash Lite 전해설

DeepMind가 기밀 컴퓨팅 엔클레이브에서 Gemini 2.5 Flash Lite 이중맹검 안전 평가를 시범 운영했다. 가중치와 문항은 비공개, 점수도 미공개.

독립 평가는 가중치를 넘기거나 문항을 넘기는 선택이었다. 8월 27일 Google DeepMind는 암호 엔클레이브로 그 선택을 피한 파일럿을 공개했다.

대상은 DeepMind 이중맹검 평가다. 공식 표현은 전유 프론티어급 모델에 대한 세계 최초. 피험 모델은 Gemini 2.5 Flash Lite(AVERI는 Flash-Lite). 아래는 deepmind.google와 AVERI 보고에서 맞출 수 있는 사실이다. 미공개 점수는 만들지 않는다.

7–8월: 엔클레이브에서 실행미공개 문항이 TEE로8월 27일: 양측 공개

공식문이 쓴 것

저자는 William Isaac, Sol Messing, Kristian Lum. 협력은 싱가포르 AI Safety Institute, OpenMined, AVERI, MLCommons. 동기는 오염: 문항을 미리 보면 점수를 믿기 어렵다. 예전에는 제로로그 계약. 이번에는 암호와 기밀 컴퓨팅을 더한다.

1
공식: 최초 전유 프론티어 이중맹검
0
공개: 모델 점수 없음
4
이름이 적힌 외부 파트너

확인할 수 있는 표현

  1. 1

    이중맹검이 바꾸는 교환

    DeepMind: 고위험 외부 평가는 평가 측이 문항을 넘기거나(랩이 미리 볼 수 있음) 랩이 가중치를 넘기는(IP 위험) 수밖에 없었다. Confidential Space는 양쪽 자산을 숨긴다. 평가 측은 가중치를, Google은 문항을 보지 않는다.

  2. 2

    AVERI가 쓴 종단

    AVERI는 2026년 7–8월 DeepMind, OpenMined, MLCommons와 최초 전유 언어모델 이중맹검을 했다고 쓴다. 미사용 AILuminate 문항을 암호화한 뒤 Google이 구성한 엔클레이브에서 OpenMined 소프트웨어를 공동 실행하고, AVERI가 출력을 복호화해 채점한다. 2024년 OpenMined–Anthropic–영국 AISI는 GPT-2 대용. 이번에는 생산 모델.

  3. 3

    어떤 위해면, 점수는 어디에

    AVERI 주석: CBRNE, 사이버 공격, 혐오, 자해, 폭력 범죄 유도. TechRepublic 등: 싱가포르 AISI는 현지 맥락의 유해 내용도 별도. 점수는 비공개. 이 사이트의 Anthropic TASTE와 Guidelight와 같이, 출처에 숫자가 있을 때만 숫자를 쓴다.

01

악수가 아니라 하드웨어 격리

이차 기술 보도는 A3 Confidential VM, Intel TDX, NVIDIA H100 Confidential GPU를 적는다. 가중치는 암호화 GPU 메모리, 문항은 암호화 호스트 메모리. 원격 증명으로 환경을 확인한다.

02

남은 신뢰선도 공식문이 적는다

기술 보고 전술: 일부 전유 추론 코드는 완전 검사나 허용 목록이 안 된다. 개별 Confidential Space 빌드는 독립 재현이 안 된다. 증명 서명·검증에 Google 서비스가 들어가 제공자가 검증 경로에 남는다. AVERI도 모든 변조 경로를 막지는 않았다고 쓴다.

03

규모는 아직 단일 GPU

여러 해설은 한 장의 GPU 예산에 들어가는 생산급이 대상이라고 쓴다. 규제 관심이 큰 대형 프론티어는 다중 GPU가 필요하다. 「모든 Gemini 플래그십이 봉인 평가를 통과했다」로 읽지 말라.

표현대조 출처읽는 법
최초 전유 프론티어 이중맹검DeepMind 2026-08-27방법 주장이지 점수 주장이 아님
Gemini 2.5 Flash-Lite + 미사용 AILuminateAVERI 파일럿 보고생산 모델이지 GPT-2 대용이 아님
평가 측은 가중치를 / Google은 문항을 보지 않음양측 같은 분할엔클레이브 공동 계산이지 파일 교환이 아님

DeepMind: 감독의 전선을 새로 긋고 싶다. AVERI: 접근 싸움을 가능한 한 공학으로 바꾸고, 감사는 모델 평가만이 아니다.

# DeepMind double-blind eval pilot
# announced 2026-08-27
model: Gemini 2.5 Flash Lite
partners: Singapore AISI, OpenMined, AVERI, MLCommons
box: Google Cloud Confidential Space (TEE)
public_scores: none
prior_proxy: 2024 OpenMined + Anthropic + UK AISI (GPT-2)

읽는 법과 경계

점수 없음 ≠ 합격도 낙제도 아님
공개 페이지가 확인하는 것은 아키텍처이지 Gemini 안전 등급이 아니다. AILuminate 퍼센트를 만들지 말라.
이중맹검 ≠ 모든 랩에 대한 법적 의무
AVERI는 EU GPAI 행동강령과 일리노이 SB 315(2028년부터 감사)를 언급한다. 이번은 자발 파일럿이다.
회의 도구와는 다른 선
이 페이지는 평가 설명만 한다. 짧은 화이트보드가 필요하면 wbmeet에서 방을 만들고 방 만들기와 참가를 보면 된다.

확인하고 싶은 질문

어떤 Gemini인가?

DeepMind는 “a Gemini Flash Lite model”. AVERI와 이차 보도는 Gemini 2.5 Flash-Lite / Flash Lite. Ultra나 미공개 대형 플래그십이라고 쓰지 않는다.

왜 점수를 안 내나?

DeepMind 글의 주제는 방법이다. AVERI는 기밀 보고만 하고 문항과 출력은 비공개. 이차 보도도 공개 과제별 성적표가 없다고 확인한다.

2024년 엔클레이브 데모와 뭐가 다른가?

AVERI: 2024년은 GPT-2와 다섯 줄 대리 기준. 2026년은 선도 랩의 전유 생산 모델과 미사용 AILuminate.

독립 재현이 되나?

기술 보고 요약은 개별 Confidential Space 빌드가 독립 재현되지 않고 증명은 Google 경로가 서명한다고 한다. 공개 제출 창구가 아니라 감사 가능한 구성 시연으로 읽으라.

무료로 회의 시작