English translation follows Japanese.

オープンウェイトモデルのAIサイバー能力の変化を捉える
～GLM-5.3の評価から考える脆弱性対策への示唆～

〈本レポートは、AIモデルの評価やセキュリティ対策の検討に携わる専門家等を主な読者として想定しています。〉

オープンウェイトモデルのサイバー能力は、AIモデルのアップデートによってどのように変わるのか。ExploitBenchによる評価の結果、GLM-5.3では前モデルのGLM-5.2で確認されなかった高度な攻撃コード開発能力が確認された。この能力差を解釈するうえでは、評価条件や実行記録の確認も重要となる。さらに、こうした能力の変化を示す評価情報を活用する新たな視点も見えてくる。

背景
生成AIは、プログラムの作成や修正に活用される一方、ソフトウェアの弱点である「脆弱性」を利用する攻撃コードの開発にも使われる可能性があります。こうした生成AIの能力を支える「AIモデル」には、いくつかの提供形態があります。その中のひとつが、重みが公開され、利用者が自ら実行でき改良もできる「オープンウェイトモデル」です。
オープンウェイトモデルは、AI技術の利活用の可能性を広げる一方、高度な攻撃コード開発能力を備えた場合には、悪用されるリスクも高まります。そのため、オープンウェイトモデルの攻撃コード開発能力を把握することが重要です。
前回のAI検証ノートでは、GLM-5.2の評価から、高度なサイバー攻撃能力のオープンウェイトモデルへの広がりは、評価時点では限定的だったことを報告しました。
しかし、AIモデルは短期間で更新され続けています。後継のGLM-5.3では、攻撃コード開発能力はどこまで高まっているのか。今回は、GLM-5.3を対象に、一つ前のGLM-5.2などと比較して、その能力を評価しました。

評価設定
今回の評価には、AIによる攻撃コード開発能力を測るベンチマーク「ExploitBench」を使用しました。このベンチマークは、Webブラウザーなどで使われるJavaScriptエンジン「V8」の既知の脆弱性を題材とした41の課題で構成されています。比較には、GLM-5.3、GLM-5.2、Claude Opus 4.8の3つのAIモデルを用いました。
このベンチマークでは、AIモデル自身が採点ツールを呼び出して攻撃コードを提出し、採点ツールがそのコードで確認された攻撃能力を判定します。評価結果は、T5からT1までの5段階に分類され、数字が小さいほど高度な攻撃能力を表しています。最も高度なT1段階には、プログラムが次に実行する命令の位置を制御する能力や、意図したコードを実行させる「任意コード実行」が含まれています。

評価結果
今回、評価を実施したところ、最初の評価では、GLM-5.3の平均スコアが0.61点となりました。前モデルのGLM-5.2の評価結果が2.80点であり、新しいAIモデルの方が低い結果が出たことになります。
しかし、原因を調べるために実行記録を確認すると、多くの課題で採点ツールが一度も呼び出されていませんでした。コードを開発できていても、採点されなければ、その能力はスコアに反映されません。このため、初期評価ではモデルの能力を十分に捉えられていない可能性がありました。
さらに実行記録を調べると、AIの推論内容が記録された割合も低いことが分かりました。このため、推論に関する設定も点検し、複数の評価設定を見直して再評価しました。その結果、見直し後の平均スコアはGLM-5.3が8.34点、GLM-5.2が3.37点となり、両モデルのスコアが逆転しました。
ただし、平均スコアだけでは、AIモデルが実際にどの段階の攻撃能力まで発揮できたのかは分かりません。そこで、評価条件見直し後の結果について、課題ごとに達成された攻撃の段階まで確認すると、最も高度なT1に到達した課題は、GLM-5.2で0件だったのに対し、Claude Opus 4.8では1件、GLM-5.3では8件ありました。この8件のうち7課題では、AIモデルが作成した攻撃コードによって、評価環境内で意図したコードを実行させる「任意コード実行（ACE）」が確認されました。これは、このベンチマークで評価される最も高度なT1の攻撃能力にあたります。

図：AIモデル別の攻撃到達段階の比較（41課題）

図からは、GLM-5.3ではT1だけでなく、T2やT3に到達した課題もGLM-5.2より多いことが分かります。同じ課題でも、モデルによって確認された攻撃能力は大きく異なり、評価条件によっても観測結果が変わりました。
これらの結果から、平均スコアだけでなく、評価条件、各課題で到達した能力の段階、採点・実行記録による裏付けも確認することで、AIモデルの攻撃コード開発能力をより具体的に捉える必要性が分かります。
さらに、こうした評価結果は、AIモデルの進化に伴い、既知の脆弱性に対して確認される攻撃能力がどのように変わるのかを理解するための重要な参考情報にもなります。

まとめ
今回の調査では、AIモデル間で攻撃コード開発能力に違いが確認されました。また、その結果を解釈するうえで、評価条件の確認が重要であることも示されました。
さらに、攻撃者も利用し得るAIモデルの能力変化を示す評価情報は、従来の脆弱性情報や自組織の状況と組み合わせることで、防御側が追加調査や対策の必要性・優先順位を検討する際の参考情報として活用できる可能性があります。
こうした評価情報をどこまで活用できるのか。詳細レポートでは、今回の評価結果をもとに、その可能性と課題を詳しく考察しています。

［評価レポートはこちら］

免責事項
本ページは、AIモデルの安全性その他の特性に関する調査・研究および情報提供を目的として、特定の時点および評価条件の下で実施した評価結果を掲載するものです。
掲載する評価結果は、評価に使用したモデルのバージョン、設定、入力内容、評価用データ、評価手法、実施時期、実行環境その他の条件に依存します。同一または同一名称のモデルであっても、更新、提供形態、設定、利用環境等の違いにより、異なる結果となる場合があります。また、AIモデルの出力には確率的な変動があるため、評価結果の完全な再現性を保証するものではありません。
評価は、AIモデルの安全性、性能またはリスクのすべてを網羅的に検証するものではありません。掲載された結果のみをもって、当該モデルが安全または危険であると判断できるものではなく、異なる評価手法または条件による結果と単純に比較できない場合があります。
掲載内容については、作成時点における正確性、完全性、公平性および最新性の確保に努めていますが、これらを保証するものではありません。評価対象となったモデル、関連サービスおよび外部情報は、評価後に変更、更新または提供終了となる場合があります。当機構は、必要に応じて、掲載内容を予告なく修正、更新または削除することがあります。
本ページへの掲載は、評価対象となったAIモデル、その提供者、製品またはサービスについて、当機構または政府が、安全性、性能、品質、信頼性、法令適合性その他の事項を認定、承認、保証または推奨するものではありません。また、評価結果が良好であることは安全性等を保証するものではなく、評価結果が良好でないことは直ちに当該モデル等が安全でないことを意味するものではありません。
本ページに記載された内容は、政府としての公式見解または政府による評価、認証もしくは承認を示すものではありません。
本ページから参照する外部ウェブサイト、資料その他の第三者情報は、それぞれの運営主体または作成者により管理されており、当機構は、その正確性、完全性、最新性、安全性または利用可能性を保証するものではありません。
本ページに記載されている情報により生じる損失又は損害に対して、いかなる場合においても責任を負いかねます。

How the Cyber Capabilities of Open-Weight AI Models Are Changing
— What the GLM-5.3 Evaluation Means for Vulnerability Management —

How do the cyber capabilities of open-weight AI models change as new versions are released? In an ExploitBench evaluation, GLM-5.3 demonstrated advanced exploit-development capabilities that had not been observed in its predecessor, GLM-5.2. Evaluation settings and execution logs matter when interpreting these differences. The findings also suggest a new perspective on how evidence of changing AI capabilities might inform defensive decisions.

Background
Generative AI can write and modify software, but it could also be used to develop code that exploits software vulnerabilities. Generative AI models can be accessed in different ways. One option is an open-weight model: its weights are publicly available, so users can run and modify it on their own.
Open-weight models make advanced AI more accessible. At the same time, if they have advanced exploit-development capabilities, the risk of misuse may also increase. Understanding what these models can do is therefore important.
The previous AI Evaluation Note assessed GLM-5.2 and reported that advanced exploit-development capabilities had not yet spread widely to open-weight models at the time of the evaluation.
AI models, however, are evolving rapidly. How much further has exploit-development capability progressed in GLM-5.3, the successor to GLM-5.2? The evaluation compared GLM-5.3 with GLM-5.2 and other models to investigate this question.

Evaluation Setup
ExploitBench was used to evaluate how well AI models can develop exploit code. The benchmark contains 41 tasks based on known vulnerabilities in V8, a JavaScript engine used in web browsers and other software. The comparison included GLM-5.3, GLM-5.2, and Claude Opus 4.8.
In ExploitBench, the AI model itself calls a grading tool to submit exploit code. The tool executes the submitted code and assesses the capabilities demonstrated by that code. The results are grouped into five tiers, from T5 to T1, with T1 representing the most advanced capabilities. T1 includes control over which instruction a program executes next and arbitrary code execution, where the program runs code chosen by the attacker.

Evaluation Results
In the initial evaluation, GLM-5.3 averaged 0.61 points, while its predecessor, GLM-5.2, averaged 2.80. Unexpectedly, the newer model scored lower.
A review of the execution logs showed that the grading tool had never been called on many tasks. Even if a model develops exploit code, the capabilities it demonstrates will not be reflected in the score unless the code is graded. The initial results therefore might not have captured the model's capabilities adequately.
A further review of the execution logs showed that reasoning content had been recorded for only a small proportion of turns. This prompted a review of reasoning-related settings; several evaluation settings were then revised and the assessments rerun. The revised average scores were 8.34 for GLM-5.3 and 3.37 for GLM-5.2, reversing their ranking.
The highest exploit tier reached on each task under the revised evaluation settings was also examined. GLM-5.2 reached T1 on none of the tasks, Claude Opus 4.8 on one, and GLM-5.3 on eight. On seven of GLM-5.3's eight T1 tasks, the model-generated code was able to execute intended code in the evaluation environment. This is known as arbitrary code execution (ACE), one of the capabilities assessed at T1.

Figure: Highest Exploit Tier Reached by Each AI Model (41 Tasks)

The figure shows that GLM-5.3 reached T1, T2, and T3 on more tasks than GLM-5.2. Even on the same tasks, the capabilities demonstrated differed substantially between models. The earlier score reversal also illustrates the influence of evaluation conditions.
These results show why average scores alone are insufficient to assess AI exploit-development capabilities. Evaluation conditions, the tier reached on each task, and supporting grading and execution logs also need to be examined.
The results also provide important reference information on how capabilities demonstrated on tasks involving known vulnerabilities differ across AI model versions.

Conclusion
This evaluation identified differences in the exploit-development capabilities demonstrated by the two model versions. It also highlighted the importance of considering evaluation settings when interpreting those results.
Evidence of changing capabilities in AI models that attackers could also use may provide an additional input for defenders. Considered alongside conventional vulnerability information and an organization's own systems and safeguards, it may help inform decisions about which vulnerabilities warrant further investigation or mitigation, and in what order.
To what extent can these evaluation findings be put to practical use? The full report examines the opportunities and challenges in light of these results.

[Read the Full Evaluation Report]

Disclaimer Regarding AI Model Evaluation Results
This page is intended to support research, studies, and the provision of information concerning the safety and other characteristics of AI models. It presents evaluation results obtained under specified conditions at a particular point in time.
The evaluation results presented on this page depend on various factors, including the version and configuration of the model evaluated, the inputs, evaluation data, evaluation methods, timing of the evaluation, execution environment, and other conditions. Even for models that are identical or share the same name, results may differ due to updates or differences in the manner in which they are provided, their configurations, operating environments, or other factors. In addition, because AI model outputs may vary probabilistically, the complete reproducibility of the evaluation results is not guaranteed.
The evaluations do not comprehensively examine every aspect of an AI model’s safety, performance, or risks. The published results alone should not be taken as a determination that a particular model is safe or unsafe. Results obtained using different evaluation methods or under different conditions may not be directly comparable.
While every reasonable effort has been made to ensure the accuracy, completeness, fairness, and currency of the information on this page as of the time of its preparation, none of these is guaranteed. Models evaluated, related services, and external information may be modified, updated, or discontinued after the evaluation. IPA may revise, update, or remove the content of this page without prior notice as necessary.
Publication on this page does not constitute certification, approval, assurance, endorsement, or recommendation by IPA or the government regarding the safety, performance, quality, reliability, legal or regulatory compliance, or any other aspect of any AI model evaluated, its provider, or any related product or service. Favorable evaluation results do not guarantee safety or any other characteristic, while unfavorable results do not necessarily mean that the relevant model, product, or service is unsafe.
The content of this page does not represent an official view of the Government of Japan, nor does it constitute any evaluation, certification, or approval by the government.
External websites, materials, and other third-party information referenced on this page are managed by their respective operators or authors. IPA does not guarantee their accuracy, completeness, currency, security, or availability.
IPA assumes no responsibility under any circumstances for any loss or damage arising from the information provided on this page.