Anthropicは11月13日、AIモデルの安全性を適切に評価するための推奨事項を公表した。また、同社は11月12日、AIを用いて安全対策の弱点を探すシステムの評価結果を公表した。
AI情報通:11月16日15時の情報
AIの安全性評価に向けた推奨事項
-
Anthropic:“Building strong safety evaluations”
Anthropicは、AIモデルの安全性を適切に評価するための推奨事項を公表した。
同社は、まず取り組むべき事項として、評価で何を測るかを明確にすること、採点用AIの判定を人間の判断と照合すること、評価結果の数値だけでなく不確かさも示すことを挙げている。
また、実際の利用シーンに近い複数回のやり取りを評価に含めることや、有害な依頼への応答だけでなく無害な依頼への過剰な拒否も評価項目とすること等も推奨している。
なお、これらの推奨事項は、評価に関する研究の発展に伴い、今後更新される可能性があると述べられている。[リンク]
Anthropic. “Building strong safety evaluations”, November 13, 2026.
https://www.anthropic.com/research/building-strong-safety-evaluations
AIを活用した安全対策の評価
-
Anthropic:“Strengthening our safeguards with frontier automated red-teaming”
Anthropicは、AIの安全対策を突破する攻撃を自動で探索するシステム「Anvil」の評価結果を公表した。同公表では、AIの悪用や蒸留攻撃を防ぐ安全対策の突破方法をAnvilが発見できるかを評価している。
Anthropicは、評価の結果、生物分野では、Anvilが人間の専門家よりも短時間で、悪用につながりやすい突破方法を発見したと報告している。また、蒸留攻撃を防ぐ安全対策についても、人間の専門家より少ないリクエスト数で突破方法を発見したと述べている。
Anthropicは、現時点で攻撃者がAnvilと同等の仕組みを構築することは難しいものの、今後は安全対策の弱いモデルを使って同様の仕組みを構築できる可能性があると指摘している。そのため、将来の攻撃に備え、AI開発企業にAnvilと同種の手法の導入を検討するよう促している。[リンク]
Anthropic. “Strengthening our safeguards with frontier automated red-teaming”, November 12, 2026.
https://safeguards.anthropic.com/2026/automated-red-teaming/
その他のAI関連情報
-
AWS:“Amazon Threat Intelligence observes threat actors running cybercrime campaigns with ARTEX AI agents”(2026年11月13日)
AWSは、オープンソースのAI侵入テスト用フレームワーク「ARTEX」を悪用した攻撃活動の分析結果を公表した。同公表では、AIエージェントが送信した通信に含まれていた活動記録を分析した結果、盗んだAPIキーを使ってさらなる認証情報の窃取を進める活動や、ディープフェイク映像等を用いて本人確認の突破を試みる活動が確認されたと報告している。
https://aws.amazon.com/blogs/security/amazon-threat-intelligence-observes-threat-actors-running-cybercrime-campaigns-with-artex-ai-agents/ -
Microsoft:“Trained to betray: How post-training supply chain attacks hijack coding agents”(2026年11月12日)
Microsoftは、追加学習用データセット等にバックドアを仕込み、コーディング用AIエージェントに不正な操作を行わせる攻撃の研究結果を公表した。同公表では、通常の利用依頼や作業中に読み込むファイル名・ツール出力等をきっかけに不正なコマンド実行等を引き起こせることや、学習時とは異なるエージェント実行環境や学習に用いていないプログラムの保存場所でも一定の割合で攻撃が成立したことが示されている。同社は、学習データの検証やモデル配布元の確認、配備環境での評価に加え、エージェントが利用するツールの権限を厳格に制限すること等を推奨している。
https://www.microsoft.com/en-us/security/blog/2026/11/12/trained-to-betray-how-post-training-supply-chain-attacks-hijack-coding-agents/ -
英国政府:“United Kingdom-Norway Joint Statement of intent on Artificial Intelligence”(2026年11月12日)
英国政府は、ノルウェー政府とAI分野の二国間協力を強化する共同声明を公表した。同声明では、英国AISIとAI Norwayが、AIセキュリティの試験・評価に関する知見の共有や、高度なAIの能力・リスクに関する情報交換等において協力を検討する旨が示されている。
https://www.gov.uk/government/news/united-kingdom-norway-joint-statement-of-intent-on-artificial-intelligence -
韓国政府・科学技術情報通信部:“국민이 직접 오류 찾아낸다…'AI 안전 지킴이' 출범”(2026年11月12日)
韓国政府は、科学技術情報通信部と韓国AISIが、AIの誤りやリスクの事例を市民が見つけて報告するモニタリング体制を発足させたと公表した。同公表では、公募で選ばれた80人が、AIの出力に含まれる誤った事実や情報の偏り、AIのセキュリティ上の脆弱性等を報告すると説明している。そして、報告された事例は、内容の妥当性を確認した上で、AIの安全性評価やリスク研究に活用するとともに、関連企業にも共有する予定としている。
https://www.korea.kr/news/policyNewsView.do?newsId=148975571
免責事項
本ページは、AIセーフティに関する情報提供を目的として作成しています。
掲載内容については、作成時点において正確性、完全性および最新性の確保に努めていますが、これらを保証するものではありません。なお、本ページから参照する外部ウェブサイトやリンク先の内容については、作成時点から変更されている場合があります。また、外部ウェブサイトやリンク先の内容は、各ウェブサイトの運営主体により管理されており、当機構がその正確性、完全性、最新性又は安全性を保証するものではありません。
本ページに記載された内容は、政府としての公式見解を示すものではありません。
本ページに記載されている情報により生じる損失又は損害に対して、いかなる場合においても責任を負いかねます。
