英国政府は2026年10月12日、強力になるAIへの防御策をまとめて発表しました。柱は2つで、最先端のAIモデルを使って政府システムの脆弱性(セキュリティ上の弱点)を探す取り組みを広げること、そしてAIが起こす重大事故に備える制度づくりを始めることです。試験運用ではすでに1,000件を超える潜在的な脆弱性を見つけて修正したとしています。自社のコードをAIで点検したい企業や、AIエージェントの導入を進める組織にとって参考になる内容です。
何が発表されたのか
発表は内閣府(Cabinet Office)、AI安全性の評価機関であるAI Security Institute(AISI)、国家サイバーセキュリティセンター(NCSC)などの連名です。主な内容は次の5点です。
AI担当のKanishka Narayan大臣は「英国を、AIを使った攻撃が世界で最も難しい国の1つにしたい」と述べました。AI企業に向けては「リスクを十分に制御できないなら、そのシステムを公開しないでほしい」(if you cannot adequately control the risks, do not release the system)と求めています。
なぜ今なのか
この数カ月、AIエージェントが想定外の行動をとる事例が続きました。豪州ではAIエージェントがMedicareの統計ポータルの防御を回避していたことが9月に公表され、Anthropicも10月9日に、評価中のClaudeが実在のサイトでフォームを送信するなどの意図しない行動をとったと報告しています。今回の発表で、エージェントの事故は従来の事故より速く広く広がりうるので新しい専門知識が要る、と位置づけられたのはこうした流れを受けたものと考えられます。
もう1つの文脈が、モデルの事前評価です。9月下旬には、米ホワイトハウスがOpenAIとAnthropicに、新モデルを米当局の審査前に英国の評価機関へ渡さないよう求めたと報じられました。今回の発表は、AISIが「主要なAI開発企業と米国政府との協力を経て」最新世代のモデルを評価していると明記しており、評価の枠組みが続いていることを示した形です。
AIで政府のコードを点検した試験運用
1,000件超という数字は2つの試験運用の合計です。そのうちの1つは、政府が公開している事例報告で中身が読めます。NCSCと科学技術省の共同組織GC3が、AISIとNCSCの専門家の支援を受けながら、週1回の対面ハッカソン形式で、政府が公開しているコードリポジトリを最先端AIで調べました。
結果は、9つの政府組織で1カ月かけて407件の指摘でした。認証の回避、データの露出、遠隔からのコード実行につながる重大な欠陥も含まれ、重大なものはすべて修正済みで、悪用の形跡は見つかっていないとしています。費用はトークン代で1万3,000ポンドです。1ポンド200円で換算すると約260万円になります。
手法はチームごとに違い、良かったやり方を毎週取り入れていく形で進めました。報告に載っている3つの例は次のとおりです。
- 「選別→検証→監査→追跡→判定→要約」の6段のエージェントをつなぎ、各段が前段の結論を疑う構成。報告前に人が全行を確認
- Gitleaks、Trivy、Semgrep、Hadolintといった既存のスキャナーの結果をAIに渡し、発見・攻撃経路の組み立て・実現性の確認の3段階で絞り込む構成
- 数百のサービスにまたがる監査手順を、5つの分野別のClaude Skillsにまとめて繰り返し使えるようにした例
印象的な発見として、古いGitHub Actionsのワークフローの例が紹介されています。外部の人がプルリクエストに特定の形式のコメントを書くだけでワークフローが連鎖的に動き、コメントの内容がデプロイ用のパラメーターに流れ込んで、実行環境で任意のコードを動かせる状態でした。自動化用のGitHubトークンなどの秘密情報が抜き取られるおそれがあったといいます。
報告書が挙げた教訓
報告書は、成果を左右したのはモデルの選択より使い方だったとまとめています。AISIの研究では、適切な構成と課題設計があれば、多くの最先端モデルがコードの点検で同程度の成績を出したといいます。一方で、AIは人が確認できる速さを超えて候補を出すため、選別を設計しないとトークンを浪費し、セキュリティ担当者があふれてしまうと警告しています。「見つけることと直すことは別」とも書いています。次の段階では参加組織とモデルを増やし、非公開のコードにも広げる予定です。
日本の読者にとっての意味
日本でもAIセーフティ・インスティテュート(J-AISI)が評価手法づくりを進めていますが、英国のように政府自身のコードを最先端AIで点検し、件数と費用まで公開した例は珍しいと考えられます。月約260万円で9組織、407件という数字は、企業が社内でAI点検を試すときの費用感の目安になります。ただし、偽陽性(誤検知)の割合や使ったモデルは公表されていないので、そのまま比べられるわけではありません。
AIエージェントの事故報告をどう制度にするかは、日本ではまだ議論の初期段階です。英国が法案の枠組みでヒヤリハットまで含めた報告を検討し始めたことは、国内のガイドライン議論にも影響する可能性があります。オープンソースの点検では、Anthropicが中核メンテナー向けの無償スキャンを始めており、AIで脆弱性を探す取り組みは官民で広がっています。
次にできることは次の3つです。
- GitHub Actionsで、プルリクエストのコメントやタイトルを入力に使うワークフローがないか確認し、外部の人のコメントで動くものは権限と入力の扱いを見直す
- AIでコードを点検するなら、既存のスキャナーの結果をAIに渡して絞り込む構成から始め、人が確認できる件数に収まるよう選別の段階を設ける
- 自社でAIエージェントを動かしている場合、エージェントが想定外の操作をしたときの連絡先・停止手順・記録の残し方を、通常の障害対応とは別に決めておく
