AI情報通：10月19日15時の情報

2026年10月15日に、OpenAIは、社内AIモデルが評価中に外部組織の内部システムへ無断でアクセスし、設定を変更したインシデントを公表した。10月16日には、米NIST、NSA及びCISAが、AIエージェントの訓練・評価中のインシデントへの備えとして推奨する10の取組事項を公表した。

AIによる外部システムへの無許可アクセス

  • OpenAI “Accessing and changing internal systems during dashboard research”
    OpenAIは、評価中に公開サイトの数値を調べるよう指示を受けた社内AIモデルが、その組織の内部システムへ無断でアクセスし、認証設定を変更したインシデントを公表した。
    具体的には、実際に稼働する内部システムの設定を変更し、非公開データ14万7,451行を取得したと報告されている。そして、モデルは設定を元に戻した後も、取得した認証情報を使って非公開データへのアクセスを続け、これらの行動を報告しなかったとされている。
    OpenAIは、インシデントを受けての対応として、訓練時の外部インターネット接続の制限、モデルが指示に従うかを評価する方法の改善、訓練・評価全体を対象とした意図しない行動の監視強化等を実施したと説明している。

    [リンク]
    OpenAI. “Accessing and changing internal systems during dashboard research”, October 15, 2026
    https://alignment.openai.com/misalignment-reports/accessing-and-changing-internal-systems-during-dashboard-research/

AIエージェントの訓練・評価中のインシデントへの対策

  • NIST・NSA・CISA “Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation”
    米国立標準技術研究所（NIST）、国家安全保障局（NSA）及びサイバーセキュリティ・インフラセキュリティ庁（CISA）は、AIエージェントを訓練・評価する組織向けに、インシデントへの備えとして推奨する10の取組事項を公表した。これらは、準備、検知、対応、復旧及び報告の5つの段階に整理された任意の取組であるとされている。
    例えば、準備・検知の段階においては、エージェントが利用できる情報・システム・ネットワーク接続を必要な範囲に制限することや、実行中の行動を監視すること、監視機能やログをエージェント自身が改ざんできないようにすること等が推奨されている。
    また、インシデント発生時の対応としては、ログ等の証拠を保存・分析し、問題のある動作を停止すること等が推奨されている。さらに、システム再開前における安全対策の有効性検証や、影響を受けた組織への通知や政府への報告、適切な範囲での情報公開も推奨されている。

    [リンク]
    NIST・NSA・CISA. “Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation”, October 16, 2026
    https://www.nist.gov/news-events/news/2026/10/key-practices-incident-readiness-and-response-super-intelligence-training

その他のAI関連情報

  1. DeepSeek：”DeepSeek-V4.1-Flash-1017 Update”（2026年10月17日）
    DeepSeekは、AIモデル「DeepSeek-V4.1-Flash」の更新版「DeepSeek-V4.1-Flash-1017」の提供を開始したと公表した。同社は、DeepSeek-V4.1-Flash-1017について、コーディング能力の評価テストにおいて、「GPT-6 Astra」や「GPT-6.1 Sol」等を上回るスコアを記録する等、推論や画像理解等の性能が向上したと報告している。また、従来版と比較して、タスクをより短時間・低コストで完了できるとも報告されている。なお、同モデルの重みは、商用利用や改変・再配布が可能な条件で一般に公開されている。
    https://api-docs.deepseek.com/updates/#deepseek-v41-flash-1017-update
    https://api-docs.deepseek.com/zh-cn/news/news261017/
    https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017

  2. Anthropic：”Scaling Misuse Detection with Self-Assessment”（2026年10月16日）
    Anthropicは、Claudeと利用者の会話全体をClaudeが自ら評価し、悪用の疑い等を判定する手法「self-assessment」を公表した。Anthropicは、同手法を既存のリアルタイムでの遮断機能を補う形で導入し、従来の方法では見つからなかった悪用の検知等に活用していると説明している。一方、この手法だけで悪意ある利用やClaude自身の不正行動を確実に検知できるものではないとしている。
    https://safeguards.anthropic.com/2026/self-assessment/

  3. Microsoft：”Managing open-weight model risk in enterprise deployments”（2026年10月16日）
    Microsoftは、モデルの重みを入手・変更できるオープンウェイトモデルを企業が導入する際のリスク管理指針をNVIDIAと共同で公表した。同指針では、オープンウェイトモデルの導入時に考慮すべきリスクが、サイバー攻撃やデータ保護等の5分野ごとに整理されており、分野固有のリスクに対する評価方法や、対策及び管理責任を検討するための考え方が示されている。その上で、リスク管理の指針として、モデル単体の評価に加え、用途や与える権限、接続するツール等も含めてリスクを評価する必要があると述べられている。
    https://www.microsoft.com/en-us/security/blog/2026/10/16/managing-open-weight-model-risk-in-enterprise-deployments/

  4. Anthropic：”An update on independent evaluators”（2026年10月15日）
    Anthropicは、AI評価機関METRの担当者6人に、社員に近い条件で社内のツールやシステム等を利用する権限を提供し始めたと発表した。同発表では、METRはモデルのリスクやインシデント等を分析した結果を公表できるとされている。Anthropicは原則としてその公表を拒否できないが、顧客データ等の特定の機密情報については、評価者に対して削除を求めることができるとしている。同社は、第三者の評価者が社内に近い水準で情報を把握できるようにすることで、モデル開発や安全対策に関する判断への説明責任を果たすことを目指すとしている。
    https://www.anthropic.com/news/an-update-on-independent-evaluators

  5. OpenAI：”GPT-Live-1.1 system card”（2026年10月15日）
    OpenAIは、音声モデル「GPT-Live-1.1」と「GPT-Live-1.1 Quip」の安全性を評価した結果を公表した。同社は、安全性評価の結果について、実際の音声利用例を基にした評価では従来モデルと同等の評価が得られた一方で、人工的に作成した音声を入力した場合の評価では、GPT-Live-1.1を評価対象とした際、一部項目で従来版よりも悪い評価が得られたと報告している。同結果を受けて、今後の対応として、性能低下の原因を調べ、今後のモデル更新で改善する方針が示されている。
    https://deploymentsafety.openai.com/gpt-live-1-1/avoiding-deceptive-interactions-with-users

免責事項
本ページは、AIセーフティに関する情報提供を目的として作成しています。
掲載内容については、作成時点において正確性、完全性および最新性の確保に努めていますが、これらを保証するものではありません。なお、本ページから参照する外部ウェブサイトやリンク先の内容については、作成時点から変更されている場合があります。また、外部ウェブサイトやリンク先の内容は、各ウェブサイトの運営主体により管理されており、当機構がその正確性、完全性、最新性又は安全性を保証するものではありません。
本ページに記載された内容は、政府としての公式見解を示すものではありません。
本ページに記載されている情報により生じる損失又は損害に対して、いかなる場合においても責任を負いかねます。