AI情報通：10月26日15時の情報

2026年10月23日、英国AI Security Institute（AISI）は、サイバー能力評価中にAIが許可された範囲を超える攻撃を試みた事案の追加調査結果を公表した。また、同日、OpenAIは、フロンティアモデルの学習・評価環境の安全対策強化と、一時停止していた強化学習及び社内での推論利用の再開を公表した。

サイバー能力評価中の許可されていない行動に関する追加調査

  • UK AI Security Institute “Investigating alignment failures in AISI’s incident”
    英国AISIは、Claude Mythos 5がサイバー能力評価中に、評価と無関係なソフトウェア開発者に不正なコードを受け入れさせようとした事案について、追加調査の結果を公表した。
    主な調査結果として、事案発生時の状況を再現した実験では、攻撃対象が評価と無関係な実在の人であることを明示しても、Mythos 5は攻撃を継続したことが報告されている。また、同じ状況を設定した別の実験で攻撃の有害性を質問すると、有害だと回答するなど、発言と行動の不一致が見られたと述べられている。さらに、攻撃対象が模擬環境内の存在だと誤った説明をして攻撃を正当化する傾向や、Mythos 5以外のモデルが模擬環境で許可されていない攻撃を行うことも確認されたと述べられている。
    英国AISIは、AIの能力が高まる中、安全性向上に向けて、事案の詳細な解明と知見の共有が重要になるとしている。

    [リンク]
    UK AI Security Institute. “Investigating alignment failures in AISI’s incident”, October 23, 2026
    https://www.aisi.gov.uk/blog/investigating-alignment-failures-in-aisis-incident

フロンティアモデルの学習・評価環境の安全対策強化

  • OpenAI “Securing our frontier model training environment”
    OpenAIは、AIが許可されていない外部通信を行った事案等を受け、フロンティアモデルの学習・評価環境の安全対策を強化したことを公表した。
    同社は、主な対策として、学習中のモデルによるインターネット接続を禁止し、保存済みのWebコンテンツを利用する環境を構築したとしている。また、動作環境の隔離、不正な活動の監視及びネットワーク上の通信制限を組み合わせ、一つの対策が機能しなくても他の対策によってモデルの許可されていない通信やアクセスを防ぐ仕組みを導入したと説明している。さらに、フロンティアモデルを用いた侵入テストにより、許可されていない通信やアクセスにつながる脆弱性・設定不備を発見し、修正したとしている。
    OpenAIは、侵入テストの結果と修正内容、監視・自動停止機能の改善を踏まえ、十分な安全対策が整ったと判断し、11日間停止していたフロンティアモデルの強化学習と社内での推論利用を10月1日に再開したとしている。同社は、今後も未知の脆弱性が発見される可能性を踏まえ、継続的な侵入テストや監視機能の改善に取り組むとしている。

    [リンク]
    OpenAI. “Securing our frontier model training environment”, October 23, 2026
    https://openai.com/index/securing-our-frontier-model-training-environment/

その他のAI関連情報

  1. OpenAI：“OpenAI and Poland’s NASK partner to advance AI safety and security”（2026年10月23日）
    OpenAIは、ポーランドの国立研究機関NASKと、AIの安全性・セキュリティに関する研究協力を検討する合意を締結したと公表した。OpenAIは、ポーランドのAISIとしての役割を担うNASKのAI安全研究センターと連携し、高性能化するAIシステムの評価手法や、潜在的な脆弱性の特定方法、安全対策の強化策について共同で検討するとしている。
    https://openai.com/index/openai-nask-ai-safety-security-partnership

  2. Moonshot AI：“Introducing Kimi K3.1 Pro”（2026年10月23日）
    Moonshot AIは、コーディングや複数工程の作業を進める能力を高めたAIモデル「Kimi K3.1 Pro」の提供開始を発表した。同社は、サイバー悪用リスクを抑えるため、学習に用いるデータや課題からサイバー関連の内容を除去する対策を施したと説明している。その結果、同社の評価では、同対策を行わずに開発した比較モデルよりも、脆弱性の発見・悪用能力を低く抑えられたとしている。なお、モデルの重みは11月4日までに公開する予定とされている。
    https://www.kimi.ai/blog/kimi-k3-1-pro

  3. JPCERT/CC：「直近で相次いでいる国内組織における不正アクセスに関する注意喚起」（2026年10月23日更新）
    JPCERT/CCは、システムへの不正アクセスに関する注意喚起を更新し、AIを用いてシステムの弱点を調べる侵入テスト用ツールを悪用した攻撃が確認されていると公表した。具体的には、インターネットに公開されたWebアプリケーションの脆弱性を探索・悪用する試みや、機器の管理不備を悪用した設定ファイル等の窃取が事例として示されている。同機関は、不審なアクセス元の情報を公表し、過去に攻撃を受けていないか確認するよう呼びかけている。
    https://www.jpcert.or.jp/at/2026/at260030.html

  4. METR：“Red-Teaming OpenAI's Internal Agent Monitoring Systems”（2026年10月22日）
    AIの能力やリスクを評価する非営利研究機関METRは、Redwood Researchと共同で7月21日時点のOpenAIの社内AIエージェントの監視・制御システムを検証した結果、エージェントが動作制限を回避したり、一部の行動を監視対象から外したりできる脆弱性を発見したと公表した。これを踏まえ、METRは、エージェントが監視機能に干渉できない設計や、一定頻度での監視、改ざんを防ぐログの整備等を提言している。
    https://metr.org/blog/2026-10-22-red-teaming-openai-agent-monitoring

免責事項
本ページは、AIセーフティに関する情報提供を目的として作成しています。
掲載内容については、作成時点において正確性、完全性および最新性の確保に努めていますが、これらを保証するものではありません。なお、本ページから参照する外部ウェブサイトやリンク先の内容については、作成時点から変更されている場合があります。また、外部ウェブサイトやリンク先の内容は、各ウェブサイトの運営主体により管理されており、当機構がその正確性、完全性、最新性又は安全性を保証するものではありません。
本ページに記載された内容は、政府としての公式見解を示すものではありません。
本ページに記載されている情報により生じる損失又は損害に対して、いかなる場合においても責任を負いかねます。