2026年 Anthropic TASTEとは：Fable 5が60%、研究者77%

AnthropicのTASTEはモデルが安全研究提案をどう選ぶかを測る。Fable 5は60%、推定される人間一致は77%。

安全研究の自動化は、まず提案を正しく選べるかにかかっている。Anthropicのアライメント班が8月28日に出した基準では、現行旗艦は熟練研究者より明確に低い。

対象は TASTE（The AI Safety Taste Evaluation）。公式は経験的な安全研究提案の92対を熟練者の選好と照合し、人間の一致を約77%、最良モデルFable 5を60%と書く。以下は alignment.anthropic.com の記事と論文要旨で照合できる数字であり、「すでに安全審査を代替できる」「某社が全面敗北」とは書かない。

公式が書いたこと

著者はHasan Baig（Anthropic Fellows Program）、Hailey Joren、Joe Benton（Anthropic）。動機は狭い。安全の多くの問いに検証可能な報酬がなく、提案選びはレバレッジが高い。自動R&Dが誤整列と濫用の緩和を追い越すなら、「検証しにくい」判断を測る必要がある。TASTEは人間の選好を金標準にし、人間同士の一致が十分な対だけを残す。

照合できる表現

1. 1

   高一致ラベルの作り方

   Claude Opus 4.6の足場で、Fellowsの人手提案93件から動機質問を逆算し、新しい提案を生成する。研究者4人が各セットを採点（総合／高次／手法、1–5）、ペアで議論し、改訂する。ペア議論と自己申告の「強い確信」で、保留研究者との一致は議論前53%から68%へ。総合点差2以上、各提案の出現は最大10回に抑え、92対・推定人間一致77%になる。別の研究者が両方を採点した50対だけなら83%。

2. 2

   Fable 5は首位でも人間より低い

   標準設定：モデルは両案を見て勝率を出し、二値化する。Fable 5は60%。要旨はおよそ偶然の41%から60%と書く。低努力48%、最大努力60%。異なるプロンプト由来の74対では69%。著者はモデルが「種の問いに答えたか」を過大評価すると書く。より厳しい単案採点は、含意された選好で金標準と照合する。

3. 3

   エージェント榜の旗艦はここで偶然に近い

   公式の図注：Opus 5とGPT-5.6-Solは汎用エージェント基準では前線にいながら、TASTEでは偶然に近い。これは「コードが書けない」ではない。安全研究の方向を選ぶ作業と既存のagent榜は別物だ。本サイトの Guidelight制御評価 と同じで、狭い点数をラボ全体の安全点に重ねない。

公式の結び：モデルは熟練研究者にまだ及ばない。より多様で大規模な安全研究能力の評価が要る。ペア議論と確信フィルタは再利用できる収集法として書かれている。

# TASTE (The AI Safety Taste Evaluation)
# Anthropic Alignment, 2026-08-28
pairs: 92
human_agreement_est: 77%
best_model: Fable 5  60%  (low effort 48%, max 60%)
near_chance: Opus 5, GPT-5.6-Sol
label_filter: pair discussion + strong confidence + Δscore ≥ 2

読み方と境界

60%は「安全案件の審査長ができる」ではない

金標準はモデル生成の経験的提案に対する熟練者の選好である。現場の委員会でも、製品出荷の門でもない。

偶然付近の旗艦 ≠ 「能力がない」

著者はTASTEと汎用エージェント基準を分けて書く。区間は広く、相対順位は不安全と明記している。「Opus 5が全面崩壊」は先走りである。

会議ツールとは別線

この頁は評測の説明だけ。一時間の白板が必要なら wbmeet で部屋を作り、作成と参加 を見れば足りる。安全基準と会議スイートを結び付けない。

確認したい問い