2026年10月12日に、英国AI Security Institute（AISI）は、フロンティアAIの開発・評価におけるリスクへの対処に向けて優先して取り組むべき対策を発表した。また、10月9日に、Anthropicは、Claudeの意図しない挙動とそれに対する対策を公表した。

フロンティアAIの安全な開発に向けた技術的取組

• UK AI Security Institute “Towards technical best practice for frontier AI development”
  英国AISIは、フロンティアAIを開発する企業が直面する課題と、その対処に向けて優先して取り組むべき対策を公表した。
  本公表では、AIの自律性や能力の向上により、公開前の学習・社内利用・評価の段階でもリスクが生じることが課題として挙げられている。また、AIが意図したとおりに動作するか、不適切な行動を監視機能で確実に捉えられるかを評価する手法の整備が、AIの能力向上に追い付いていないことも課題として指摘されている。
  上記課題への対処に向けて優先して取り組むべき対策としては、開発から運用までのリスクを評価・記録・監視することや、インシデントを検知し、対応・報告すること、第三者が評価する際のアクセス権や報告範囲を整理すること等が挙げられている。

  [リンク]
  UK AI Security Institute. “Towards technical best practice for frontier AI development”, October 12, 2026
  https://www.aisi.gov.uk/blog/towards-technical-best-practice-for-frontier-ai-development

Claudeによる外部システムへの意図しない操作

• Anthropic “Investigating unintended model actions in our evaluations and internal use”
  Anthropicは、Claudeが、評価の過程や社内利用の際に、外部システムを意図しない形で操作したとして、その事例と対応策を公表した。
  同公表では、Claudeが大学のサーバーのソフトウェアの不備を利用してコマンドを実行したことや、警察の通報フォームへ架空の情報を送信したことが挙げられている。また、有料データへのアクセス制限を回避した事例等も報告されている。
  同社は、監視・安全対策の有効性を確認するまで、すべての内部評価で実インターネットへの接続を停止する方針を示している。また、評価のオフライン化やツールの利用制限強化、意図しない操作を検知・遮断する機能の導入等を実施したとしている。なお、今回の事例の実環境への影響は限定的で、夏に報告したサイバー事案より深刻度は低いと説明している。

  [リンク]
  Anthropic. “Investigating unintended model actions in our evaluations and internal use”, October 9, 2026
  https://www.anthropic.com/news/investigating-unintended-model-actions

その他のAI関連情報

1. 英国政府：”Britain steps up national defences against growing AI risks”（2026年10月12日）
   英国政府は、国全体のサイバー防御とAIリスクへの対応力を強化する方針を公表した。同公表では、政府システムの脆弱性の発見・修正等にAIを用いる実証事業を拡大する方針が示されている。また、自律型AIエージェントによる重大事故への対応準備を進め、重大事故や被害に至らなかった事案の検知・報告を含む法制度の強化を検討する方針も示されている。
   https://www.gov.uk/government/news/britain-steps-up-national-defences-against-growing-ai-risks

2. European Commission：”Special meeting of the AI Scientific Panel”（2026年10月12日）
   欧州委員会は、10月9日に開催したAI科学パネルの特別会合の内容を公表した。同公表では、AIの制御が失われて発生した事案の調査を進めるため、関係企業へ追加の情報提供を求める方針が示されている。また、パネルの議長・副議長は、開発中モデルのリスク管理の徹底や、インシデントを検知し、評価・調査する能力の強化、国際的な情報共有・共同対応等を提言したと述べられている。
   https://digital-strategy.ec.europa.eu/en/news/special-meeting-ai-scientific-panel

3. Anthropic：”AI models may be capable of self-replicating without access to a datacenter”（2026年10月12日）
   Anthropicは、AIがIoT機器を使って自己複製・拡散する可能性を調べた研究結果を公表した。同社は、侵入しやすい条件にした隔離環境で、一部のAIが別の機器へAIモデルをコピーし、動作させられることを確認したとしている。ただし、小型AIが実環境で自らを複製して広がる一連の動作を実証したものではない。
   https://www.anthropic.com/research/self-replicating-ai

4. Anthropic：”Strengthening our defenses against distillation attacks”（2026年10月12日）
   Anthropicは、Claudeの推論過程を無許可で抽出し、他のAIモデルの学習に利用する蒸留活動への対策とその効果を公表した。同公表では、推論過程の利用範囲を制限する仕組みや、不正な抽出要求を検知・遮断する機能、繰り返し試みるアカウントへの制限を組み合わせることで、同社の基盤から不正に抽出される推論データ量が9割以上減少したとの結果が初期推計値として示されている。
   https://www.anthropic.com/research/distillation-defenses

5. Anthropic：”2026 Usage Policy update”（2026年10月8日）
   Anthropicは、Claudeの利用方針を改定し、その内容を公表した。同社は、人に危害を及ぼし得る機器を自律的に動かす用途でClaudeを利用する場合、利用者側の担当者が機器の動作を監視し、必要に応じて停止できる状態で利用することを求めている。また、Claudeとの接続が切れても、機器が安全な状態を維持できることを利用条件として定めている。このほか、欺瞞的な活動や兵器・監視への利用に関する既存の禁止事項についても明確に述べられている。なお、本改定は11月12日から適用するとされている。
   https://www.anthropic.com/news/2026-usage-policy-update

6. Anthropic：”Introducing the Anthropic Cyber Mission”（2026年10月8日）
   Anthropicは、重要インフラとオープンソースソフトウェアの防御支援プログラム「Anthropic Cyber Mission」を発表した。同発表では、重要インフラの防御を担う事業者へClaudeや技術者等を提供するプログラムを開始する旨が示されている。また、参加するソフトウェアへ定期的に脆弱性検査を行う無料サービス「OSS Scanner」も開始すると述べられている。
   https://www.anthropic.com/news/anthropic-cyber-mission

免責事項
本ページは、AIセーフティに関する情報提供を目的として作成しています。
掲載内容については、作成時点において正確性、完全性および最新性の確保に努めていますが、これらを保証するものではありません。なお、本ページから参照する外部ウェブサイトやリンク先の内容については、作成時点から変更されている場合があります。また、外部ウェブサイトやリンク先の内容は、各ウェブサイトの運営主体により管理されており、当機構がその正確性、完全性、最新性又は安全性を保証するものではありません。
本ページに記載された内容は、政府としての公式見解を示すものではありません。
本ページに記載されている情報により生じる損失又は損害に対して、いかなる場合においても責任を負いかねます。