VAPにできないこと

VSO は、報じられた AI 事件を、一次情報（取得できない場合は信頼できる報道）と照合してから扱っています。そこでは同じパターンが繰り返し現れ、その多くで VAP の役割は限られているか、まったくありません。このページは、その限界をパターンごとに、根拠となる VAP v1.2 の条項とともに示します。どの事件についても、VAP の効果を仮定して述べるものではありません。

VAP v1.2.0 Draft 3 · 事件検証記録 · 訂正記録

1. 記録は存在した。問題は、保有者以外が確かめられるか

   検証済みの事件のいくつかでは、運用者が記録を保持し、その中から問題を見つけて自ら公表しています。VAP は、誰かに記録を読ませることも、警告を出させることも、対応させることもしません。VAP が扱うのはもっと狭い問いで、記録が改ざんされていないこと、アンカー粒度で欠けていないこと、帰属できることを、記録の保有者以外が確かめられるかどうかです。

   仕様上の根拠：§1.6(c)、§4.1.7（Completeness Invariant）、Declaration（「does not prevent, block, or intercept any AI behaviour」）。

   検証済みの例

   • V1021 OpenAI、社内のコーディング作業2件でエージェントがミスアラインメント監視を弱めたと報告 — OpenAI は2件とも当日に発見したと記録しています。1件ではモニターが記録を続け、もう1件でも会話ログは残っていました。
   • V0910 Anthropic、先の見直しで見落とした4件目の評価中の事案を開示 — トランスクリプトは存在していましたが、エージェントによる検索に頼った Anthropic の先の見直しはこの事案を見落とし、同社は後に METR 向けにトランスクリプトを集める過程で見つけました。

2. 書かれた時点で誤っていた記録

   改ざんの検出と省略の検出は、記録が書かれてアンカーされた後に起きることを対象にしています。記録の内容が真実であることを、VAP は示しません。エージェントがツール呼び出しを偽装し、偽のコマンドや出力が transcript に書き込まれた場合、VAP の記録はその偽の記載を、正しい記載と同じように忠実に保存します。

   仕様上の根拠：§1.6(c)、Appendix A「Omission-evidence」（tamper-evidence と区別している）。

   検証済みの例

   • R16 OpenAI の評価中のエージェントが Hugging Face の本番環境に侵入 — METR は、少なくとも96件のトランスクリプトで意図的に偽装されたツール呼び出しを見つけました。偽の記載は、書かれた時点からトランスクリプトの一部でした。

3. 攻撃者が自ら動かすシステム

   VAP の記録は、VAP を実装したシステムの運用者が作ります。攻撃者が AI を含む自前のツールを動かしても VAP の記録は生まれず、VAP がそれを求めることもできません。事後に VAP が関わりうるのは、標的になった組織が自らのシステムで記録したものです。

   仕様上の根拠：VAP が定めるのは、適合する実装が記録する内容です（§4、§8）。実装しない者には何の義務も課しません。

   検証済みの例

   • V1013 韓国の金融機関を狙った攻撃者がAIコーディングツールを使っていたと CrowdStrike が分析 — この攻撃者が AI のコーディングツールをどう使ったかについて分かっていることは、CrowdStrike が見つけた、攻撃者の管理下にある IP アドレス上の公開ディレクトリに由来します。CrowdStrike は、この攻撃者と韓国での侵害との結び付きを業界の報道に基づくものとしています。

4. 計測されなかった事象

   計測されなかった事象は、どの来歴の仕組みでも恒久的に射程の外にあります。計測されたがアンカーされたバッチに含まれなかった事象は、その存在を示す別の記録がある場合に限り、欠落を示せます。監査イベントがそもそも生成されなかったのか、生成されたが保持されなかったのかが明らかでない場合、別の記録が欠落を示しうるのは後者だけです。

   仕様上の根拠：Appendix A「Pre-measurement drop」（「Permanently outside the reach of any provenance mechanism, by construction」）、§11.1。

5. 人と手続の失敗

   VAP は、記録された工程を帰属可能にできます。運用者が人のレビューを記録していれば、それも含まれます。しかし、そのレビューが十分だったこと、方針が妥当だったこと、組織の対応が適切だったことは示しません。出力を誰も確認しなかったことが失敗の中身である場合、記録が示せるのは、せいぜい誰がいつそれを扱ったかです。

   仕様上の根拠：§1.6(c)。

   検証済みの例

   • R20 コネチカット州最高裁、ChatGPT で改変された引用を理由に弁護士を制裁 — 裁判所の命令によれば、弁護士は下書きを確認した後に ChatGPT に貼り付け、ChatGPT が判例の引用を追加・改変しました。提出書面には、誤った未確認の引用がおよそ7件含まれていました。
   • R02 引用の監査を受けた KPMG のエージェント型AIレポートの撤回 — GPTZero によれば、45件の引用のうち実在の出典を正確に指すのは5件だけで、レポートは KPMG が撤回するまで約8か月公開されていました。KPMG はAIの使用を明示的には認めていません。

6. 現行の適合範囲に入らない配備

   VAP v1.2 では、DAP（エージェントのアクセスとツール利用）のような横断的な capability は、ちょうど1つの領域プロファイルと組み合わせて使い（§4.6.3 規則1）、適合の主張の前提となるシーケンスの仕組みとアンカーはプロファイルが定めます（§8.2）。プロファイル登録表（§4.5.2）のどの領域も、AI 開発者の社内エージェントや、開発者・その評価パートナー・政府機関が運用するモデル評価環境を対象にしていません。VSO の記録のうち一次情報が最も厚い事件のいくつかは、まさにこうした環境で起きており、VAP v1.2 の適合を主張できるプロファイルがありません。こうした配備の扱いを VSO はまだ決めていません。

   仕様上の根拠：§4.5.2（プロファイル登録表）、§4.6.3 規則1、§8.2。

   検証済みの例

   • R16 OpenAI の評価中のエージェントが Hugging Face の本番環境に侵入 — AI 開発者が実施したサイバー能力の評価。
   • R18 Anthropic、サイバー評価中にモデルが実在のシステムに到達した3件を開示 — AI 開発者の評価パートナーの評価環境。
   • C21 英国 AI Security Institute、サイバー評価中のエージェントによる無許可の行動を報告 — 政府機関による AI エージェントのサイバー評価。
   • V0927 OpenAI、研究用エージェントが利用者の画像を外部に投稿し米政府サイトに到達していたと開示 — AI 開発者の研究環境。
   • V1021 OpenAI、社内のコーディング作業2件でエージェントがミスアラインメント監視を弱めたと報告 — AI 開発者自身の運用における社内のコーディング作業。