2026年9月9日に、Anthropicが、Claudeのサイバー能力評価中に発生した第三者システムへの無許可アクセス事案に関する分析結果を公表した。また、2026年9月8日に、Google Threat Intelligence Groupが、サイバー攻撃におけるAIの悪用動向に関するレポートを公表した。
AI情報通:9月10日15時の情報
サイバー能力評価時に発生したインシデントに関する分析
-
Anthropic "An alignment assessment of recent cybersecurity incidents"
Anthropicは、Claude Opus 4.6、Claude Opus 4.7、Claude Mythos 5及び社内研究用モデルのサイバー能力評価中に発生した第三者システムへの無許可アクセス事案について、AIモデルの判断や行動傾向を分析した結果を公表した。
分析の結果として、モデルには、試験環境の外部にアクセスしている可能性がある状況でも、接続先を試験の一部とみなすなど、アクセスの継続を正当化する方向に状況を解釈する傾向や、その行動が実際の被害につながる可能性があっても、課題の達成を優先して行動を続ける傾向が見られたと述べられている。
なお、これらの事案はいずれも同じ外部評価機関が構築した試験環境で発生しており、環境の設定不備によってモデルがインターネットへ接続できる状態にあったほか、一般提供時のサイバーセキュリティ上の安全対策も適用されていなかったと説明されている。
Anthropicは事案を受け、METRによる独立調査の実施に向けた契約を締結したほか、事前評価で対象とする状況やシナリオを広げ、アラインメント訓練も拡充するとしている。[リンク]
Anthropic. "An alignment assessment of recent cybersecurity incidents", September 9, 2026
https://www.anthropic.com/research/alignment-assessment-cybersecurity-incidents
サイバー攻撃におけるAI利用の高度化
-
Google Threat Intelligence Group "GTIG AI Threat Tracker: From Prompting to Autonomy – The Evolution of Adversarial AI"
Google Threat Intelligence Groupは、2026年第2四半期に確認されたサイバー攻撃におけるAIの悪用動向に関するレポートを公表した。
本記事では、一部のサイバー攻撃者によるAIの利用方法が、個別の質問や指示から、複数のサイバー攻撃工程の自動化へ移行しつつあると指摘されており、その具体例として、侵害した組織のクラウド環境上で、AIエージェントに脆弱性の探索や認証情報の窃取を自動的に実行させた事例が掲載されている。
こうしたサイバー攻撃におけるAI利用の高度化を受け、Googleは、悪用に関係するプロジェクトやアカウントを停止するとともに、同様のサイバー攻撃への支援を拒否できるよう、Geminiの安全性判定機能等を強化したと説明している。[リンク]
Google Threat Intelligence Group. "GTIG AI Threat Tracker: From Prompting to Autonomy – The Evolution of Adversarial AI", September 8, 2026
https://cloud.google.com/blog/topics/threat-intelligence/from-prompting-to-autonomy-the-evolution-of-adversarial-ai
その他のAI関連情報
-
Microsoft:”AFT, UFT and Microsoft announce ‘National AI Safety & Privacy Standard’ for schools to protect students, families and educators”(2026年9月9日)
米国教員連盟(AFT)、United Federation of Teachers(UFT)及びMicrosoftは、学校向けのAI安全・プライバシー基準を発表した。本基準では、児童・生徒や教育関係者のデータをAIモデルの訓練に利用しないことや、人間の監督なしにAIが意思決定を行わないこと等が定められている。
https://news.microsoft.com/source/2026/09/09/aft-uft-and-microsoft-announce-national-ai-safety-privacy-standard-for-schools-to-protect-students-families-and-educators/ -
Cisco:”Evolving With Agentic Risk: Updating Our Integrated AI Security & Safety Framework”(2026年9月9日)
Ciscoは、組織がAIエージェントの自律的な行動に伴う安全・セキュリティリスクを整理し、必要な対策を検討するためのフレームワークを更新した。本フレームワークでは、AIエージェントが与えられた権限を越えて行動するリスクや、指示された目標から逸脱するリスク、本来の目的に沿わず評価指標だけを満たそうとするリスク等が整理されており、それらに対する権限管理や人間による承認、監査等の対策も示されている。
https://blogs.cisco.com/ai/security-framework-v2 -
Firstpost:”Anthropic blocks UK AI safety body from testing latest model amid Trump AI controls”(2026年9月9日)
Firstpostは、Anthropicが、最新モデル「Claude Mythos 5.1」の提供先を米国の審査済み組織に限定し、英国AI Security Institute(AISI)に公開前評価のために必要なアクセスを提供しなかったと報じた。本記事では、英国AISIがAnthropicの先端モデルを公開前に評価できなかったのは今回が初めてとされている。
https://www.firstpost.com/tech/anthropic-blocks-uk-ai-safety-body-from-testing-latest-model-amid-trump-ai-controls-14044396.html -
米国国家安全保障局:”NSA and Others Warn China-Based AI Companies are Distilling U.S. Frontier AI Models”(2026年9月8日)
米国国家安全保障局(NSA)、連邦捜査局(FBI)及びサイバーセキュリティ・インフラセキュリティ庁(CISA)は、中国拠点のAI企業が米国のフロンティアAIモデルから機能や能力を抽出し、自社モデルの訓練に用いる大規模な知識蒸留活動に関する共同文書を公表した。
https://www.nsa.gov/Press-Room/Press-Releases-Statements/Press-Release-View/Article/4592113/nsa-and-others-warn-china-based-ai-companies-are-distilling-us-frontier-ai-mode/ -
英国デジタル・文化・メディア・スポーツ省(DCMS)、科学・イノベーション・技術省(DSIT):”A study of cybersecurity literature on open-source software and AI”(2026年9月7日)
英国デジタル・文化・メディア・スポーツ省(DCMS)及び科学・イノベーション・技術省(DSIT)は、オープンソースAI等のサイバーセキュリティに関する委託調査の結果を公表した。本調査では、従来のオープンソースソフトウェアについては、サプライチェーン攻撃等のリスクや対策に関する知見が蓄積されている一方、オープンソースAIでは、学習データの汚染、モデルの改ざん、配布物の真正性や開発履歴の確認といったAI特有のリスクについて、研究や対策が十分に整備されていないと指摘されている。
https://www.gov.uk/government/publications/a-study-of-cybersecurity-literature-on-open-source-software-and-ai/a-study-of-cybersecurity-literature-on-open-source-software-and-ai
免責事項
本ページは、AIセーフティに関する情報提供を目的として作成しています。
掲載内容については、作成時点において正確性、完全性および最新性の確保に努めていますが、これらを保証するものではありません。なお、本ページから参照する外部ウェブサイトやリンク先の内容については、作成時点から変更されている場合があります。また、外部ウェブサイトやリンク先の内容は、各ウェブサイトの運営主体により管理されており、当機構がその正確性、完全性、最新性又は安全性を保証するものではありません。
本ページに記載された内容は、政府としての公式見解を示すものではありません。
本ページに記載されている情報により生じる損失又は損害に対して、いかなる場合においても責任を負いかねます。
