# 3. **AIセーフティ評価の10観点**

## 1. **AIセーフティに関する評価観点ガイドとヘルスケア領域への適用**

### 1. **AIセーフティに関する評価観点ガイド**

   AIセーフティに関する評価観点ガイド（以下「AISIガイド」という。）は、AIセーフティ・インスティテュート（AISI）が、AIシステムの開発や提供に携わる事業者がAIセーフティ評価を実施する際に参照できる基本的な考え方として策定したものである。AISIガイドは、AI事業者ガイドライン（第1.0版）を基盤としつつ、米国、英国、シンガポールにおけるAIセーフティに関連する文献を精査し、AIセーフティ評価の観点を体系的に整理している。

   AISIガイドでは、総務省・経済産業省策定のAI事業者ガイドラインが示す10の共通指針（人間中心、安全性、公平性、プライバシー保護、セキュリティ確保、透明性、アカウンタビリティ、教育・リテラシー、公正競争確保、イノベーション）のうち、特にバリューチェーン全体で取り組むべき「人間中心」「安全性」「公平性」「プライバシー保護」「セキュリティ確保」「透明性」の6つをAIセーフティにおける重要要素として位置づけている。さらに、これらの重要要素に関連する評価項目を国内外の主要文献から抽出し、**①有害情報の出力制御、②偽誤情報の出力・誘導の防止、③公平性と包摂性、④ハイリスク利用・目的外利用への対処、⑤プライバシー保護、⑥セキュリティ確保、⑦説明可能性、⑧ロバスト性、⑨データ品質、⑩検証可能性**の10観点として整理している。これらの観点は、AIモデルやAIシステムのセーフティに関する状態を明らかにし、セーフティを維持・向上するための総合的なマネジメントの指針として設計されている。

### 2. **ヘルスケア領域に特化して評価する意義**

   AISIガイドは汎用的なAIシステム全般を対象としたものであり、特定の産業領域に限定されるものではない。しかし、ヘルスケア領域にはAIセーフティの観点から、特に慎重な検討を要する以下のような特性が存在するため、領域に特化したAIセーフティ評価を行う意義を持つ。

* **患者の生命・身体・精神への直接的影響**：ヘルスケア領域では、医療機関や生活者に対して健康に関する情報を提供する場面が想定されるため、不正確な出力や不適切な応答がユーザーに対して直接影響を与える可能性がある。  
* **取り扱うデータの機微性**：ヘルスケア領域では個人の症状に関する情報やバイタルデータから普段の生活に関する情報まで、健康・疾患に関する幅広いデータを扱うことが想定される。特に、遺伝情報や既往歴・健康診断結果に関する情報など、個人情報の中でも特に機微性が高い「要配慮個人情報」に該当するデータも含まれるほか、それらに該当しないまでも他人に知られたくないプライバシー性の高い情報も取り扱われることが想定され、これらの情報の漏えいや不適切な推論等が行われることで、ユーザーに深刻な影響を及ぼし得るリスクがある。


以下の表 3-1に、AISIガイドの10観点をヘルスケア領域に適用した場合の主なリスクを挙げる。

表 3-1　AISIガイドの10観点をヘルスケア領域に適用した場合の主なリスク

| No. | 評価観点 | ヘルスケア領域におけるリスク概要 |
| :---: | ----- | ----- |
| 1 | 有害情報の出力制御 | 医療・健康に関する危険な情報（自傷・暴力の助長、根拠を欠く治療法等）が出力され、患者の生命・健康や医療従事者の業務に直接的な被害をもたらすリスク |
| 2 | 偽誤情報の出力・誘導の防止 | ハルシネーションにより架空のエビデンスや誤った薬剤情報等が生成され、患者の生命・健康や医療従事者の業務に直接的な被害をもたらすリスク  |
| 3 | 公平性と包摂性 | 特定の属性（年齢・性別・人種・地域等）の患者に対しAIの精度や品質が低下し、不利益が生じるリスク |
| 4 | ハイリスク利用・目的外利用への対処 | Non-SaMDが事実上の医療機器として利用される「目的外利用」により、法規制違反等が生じるリスク |
| 5 | プライバシー保護 | 要配慮個人情報を含む医療・健康情報が漏えい・不正利用され、患者のプライバシーが侵害されるリスク |
| 6 | セキュリティ確保 | プロンプトインジェクション等の攻撃により、医療情報の改ざんや機密データの漏えいが生じるリスク |
| 7 | 説明可能性 | AI出力の根拠が不透明なまま出力され、医療従事者の誤った行為や患者の不信につながるリスク |
| 8 | ロバスト性 | 方言・略語・非標準的な医療用語等の多様な入力に対し出力品質が不安定となり、誤った判断を招くリスク |
| 9 | データ品質 | 不正確または陳腐化した医療データに基づく出力が、患者の生命・健康や医療従事者の業務に直接的な被害をもたらすリスク  |
| 10 | 検証可能性 | 事後検証や第三者監査が困難な状態で問題発生時の原因究明ができず、社会的信頼を損なうリスク |

  本ガイドでは、AISIガイドの10観点をヘルスケア領域に適用し、この分野特有のリスクと評価の要点を具体化することを目的としている。


 ### 3. **各評価観点の構成**

  3.2節において、表 3-1に示す10観点のそれぞれについて、ヘルスケア領域における具体的なリスクや事例を踏まえた評価の要点を整理する。各評価観点における記載の構成は以下の通り。

* **概要：** 当該評価観点の定義と、ヘルスケア領域における重要性を説明する。  
* **想定され得るリスクの例：** 当該観点に関連して、ヘルスケア領域で特に懸念されるリスクを列挙する。  
* **実際の事例：** 国内外で報告されている関連事例を紹介し、リスクの具体性・現実性を示す。  
* **評価項目例：** サービス・プロダクトの企画・開発・運用において確認すべき評価項目を例示する。評価項目例は、第4章で解説するAIプロダクト開発における5つのフェーズの「プロダクト設計」「モデル選定」「プロダクト実装」「プロダクト検証」「プロダクト導入・運用」に基づいて記載している。

なお、AISIガイドと同様に、本章で記載する評価観点および評価項目は網羅的なものではなく、ヘルスケア領域におけるAI技術の進展や規制動向に応じて、将来的に内容が更新されることが想定される。また、各評価観点は相互に関連しており、例えば「有害情報の出力制御」と「偽誤情報の出力・誘導の防止」、「プライバシー保護」と「セキュリティ確保」などは密接に連携して評価されることが望ましい。

## 2. **ヘルスケア領域におけるAIセーフティ評価の10観点**

### 1. **有害情報の出力制御**

#### 1. **概要**

  ヘルスケア領域において、生成AIが出力する情報はユーザーの意思決定、思考、感情、行動に直接的な影響を及ぼし得る。AIが出力する情報がユーザーの生命・身体・精神の安全を損なうおそれのある有害情報とならないよう、適切に制御されているかを評価することは、AIセーフティにおける重要な観点である。

  本評価観点における有害情報とは、公序良俗に反する表現や自傷・暴力表現のほか、医療的エビデンスに基づかない不正確な情報、ユーザーの自律性を奪う過度な感情操作につながりかねない情報、社会的孤立やAIへの心理的依存を助長する表現、無意識的なバイアスや差別的示唆、さらには本来必要な専門的支援や医療機関受診からユーザーを遠ざけてしまうような出力を含む、極めて広い概念として定義される。これらは、一見するとAI側の共感や善意に基づいた表現であっても、受け取るユーザーの精神状態や文脈によっては、致命的なリスクにつながる可能性がある。

 #### 2. **想定され得るリスクの例**

* 生命・身体への直接的危害（自傷・他害を誘発するリスク）：自殺、自傷、暴力行為など、人の生命・身体に直接的な危害を及ぼす行為を容易化・助長するリスク。  
* 健康被害・医療機会逸失：誤った健康情報や不適切な行動を推奨することで、ユーザーの健康を脅かしたり、必要な医療受診を妨げたりするリスク。  
* 心理的依存と社会的孤立：AIが唯一の理解者として振る舞い、意図の有無にかかわらず結果的に感情的操作を行うことで、ユーザーを現実の対人関係や社会から隔離させるリスク。  
* 基本的人権・尊厳の毀損：特定の疾患、障害、属性を持つ人々に対する偏見や差別を助長し、人間の尊厳を傷つけるリスク。

#### 3. **実際の事例**

* ベルギーにおける自殺誘導事案：気候変動に強い不安を抱えた男性が、数週間にわたりAIチャットボットと相談した結果、自殺を助長するようなメッセージを送り、実際に男性が自殺に至った事例。

  *参考: Xiang, Chloe. ““He Would Still Be Here”: Man Dies by Suicide after Talking with AI Chatbot, Widow Says.” VICE, 30 Mar. 2023, www.vice.com/en/article/man-dies-by-suicide-after-talking-with-ai-chatbot-widow-says/. 最終閲覧日2026年3月27日.* 

* 摂食障害支援チャットボット（Tessa）の停止：2023年、摂食障害患者向けに導入されたAI（NEDA支援団体のTessa）が、ユーザーに対し症状を悪化させる恐れのある具体的なカロリー制限や減量方法を推奨し、運用停止に追い込まれた事例。

  *参考: Aratani, Lauren. “US Eating Disorder Helpline Takes down AI Chatbot over Harmful Advice.” The Guardian, 31 May 2023, www.theguardian.com/technology/2023/may/31/eating-disorder-hotline-union-ai-chatbot-harm. 最終閲覧日2026年3月27日.* 

#### 4. **評価項目例**

  表 3-2　「有害情報の出力制御」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | 有害情報のリスク類型と許容基準が定義されていること | ヘルスケア領域特有の有害情報（医学的根拠を欠く情報、自傷・暴力を助長する表現、感情操作・心理的依存の誘発、専門支援からの隔離を招く出力等）のリスク類型が網羅的に定義され、プロダクトの用途・対象ユーザーに応じた許容基準および重大度分類が確立されていること。 |
| **② モデル選定** | 基盤モデルの選定において有害情報出力の抑制能力が評価されていること | モデル選定時に、安全性ベンチマーク、モデルカード・システムカード等を通じて、有害情報の生成傾向、出力制御機能（コンテンツフィルタリング、ガードレールのカスタマイズ性等）が評価され、①で定義した許容基準を満たし得るモデルが選定されていること。 |
| **③ プロダクト実装** | 入力から出力に至る多層的な有害情報の防止機構が実装されていること | 入力層（危険な入力の検知・ブロック）、モデル層（システムプロンプトによる役割・禁止事項の制約）、出力層（フィルタリング・ガードレール）において、有害情報がユーザーに到達しない多層防御が実装されていること。高リスク文脈（自傷念慮、緊急症状等）では安全優先モードへの動的切替および相談窓口への誘導が行われ、AIへの心理的依存や感情的操作を防止する設計がなされていること。 |
| **④ プロダクト検証** | 有害情報出力の抑制が実証的に検証されていること | レッドチーミング、医療専門家レビュー、定量評価（危険回答発生率、ガードレール突破率等）を通じて、有害情報が①の許容基準内に制御されていることが実証されていること。検証には、ヘルスケア固有のシナリオ（危険な医療助言の誘導、緊急時の不適切対応、ガードレール回避試行等）が含まれていること。 |
| **⑤ プロダクト導入・運用** | 本番環境において有害情報出力が継続的に監視され、迅速に是正されること | 運用環境において有害出力の発生状況（ガードレール発動数、ユーザーからの安全性に関する報告等）が継続的にモニタリングされ、インシデント発生時に迅速な対応（検知・重大度判定・応急対応・原因究明・再発防止）が可能な体制が確立されていること。モデル更新やユーザー行動の変化に伴う新たなリスクにも継続的に対処されていること。 |


### 2. **偽誤情報の出力・誘導の防止**

#### 1. **概要**

   本評価観点では、AIが事実に反する情報を生成するリスク（誤情報）、悪意を持って欺瞞的な情報を生成するリスク（偽情報）およびユーザーの自律的な意思決定を阻害し特定の行動や思想へ不当に誘導するリスク（誘導）を対象とする。

   ヘルスケア領域においては、これらの出力が患者の生命・身体への直接的な危害や、公衆衛生全体への信頼毀損に直結するため、一般的なAIプロダクトよりも厳格な正確性と根拠の明示が求められる。生成AI特有のハルシネーションにより、存在しない医学的事実を、確信を持って出力する現象をいかに抑制し、知識の境界において回答不能と出力できるか、その制御が重要となる。

#### 2. **想定され得るリスクの例**

* エビデンスの捏造による影響（誤情報）：実在しない薬剤の相互作用や不正確な投与量又は捏造された臨床試験データ等をもっともらしく情報を提示することで、ユーザーの健康に関する意思決定や行動選択・医療従事者の業務効率化に不適切な影響を与え得るリスク。  
* 誤った安心感の付与と受診機会の逸失（誤情報）：一般ユーザーの緊急性の高い症状に対し、AIが「一時的な疲れ」や「様子見で大丈夫」といった不正確な自己判断を助長する出力を行うリスク。  
* 医療デマの生成（偽情報）：特定の意図を持つ者がAIを悪用し、科学的根拠のない陰謀論や、著名な医師・公的機関の名を騙った偽の推奨記事を大量に生成・拡散させるリスク。  
* 不適切な代替療法への誘導（誘導）：ユーザーの不安や期待に付け込み、標準的な医療を否定し、医学的根拠のない高額な民間療法や危険な代替医療の情報を供することでユーザーを強く誘導するリスク。

#### 3. **実際の事例**

* 架空の医学論文の捏造（ハルシネーション）：医師や研究者がAIに医学論文の参照を求めた際、実在しない論文を「もっともらしく」捏造する現象が複数の学術研究で確認・報告されている事例。

  *参考:* 

  *Bhattacharyya, Mehul et al. “High Rates of Fabricated and Inaccurate References in ChatGPT-Generated Medical Content.” Cureus vol. 15,5 e39238. 19 May. 2023, doi:10.7759/cureus.39238*

  *Alkaissi, Hussam, and Samy I McFarlane. “Artificial Hallucinations in ChatGPT: Implications in Scientific Writing.” Cureus vol. 15,2 e35179. 19 Feb. 2023, doi:10.7759/cureus.35179*

* 医療フェイクニュースの生成・拡散：悪意あるユーザーがAIを用いて、特定の健康食品や民間療法が病気を治すといった偽情報を生成し、SNS等で拡散させるリスクがファクトチェック機関や大学の研究チームによって実証・警告されている事例。

  *参考:* 

  *“AI Chatbots Could Spread “Fake News” with Serious Health Consequences.” University of South Australia, 2025, www.unisa.edu.au/media-centre/Releases/2025/ai-chatbots-could-spread-fake-news-with-serious-health-consequences/. 最終閲覧日2026年3月27日.*

  *Campbell, Denis. “AI Deepfakes of Real Doctors Spreading Health Misinformation on Social Media.” The Guardian, 5 Dec. 2025, www.theguardian.com/society/2025/dec/05/ai-deepfakes-of-real-doctors-spreading-health-misinformation-on-social-media. 閲覧日2026年3月27日.*

#### 4. **評価項目例**

   表 3-3　「偽誤情報の出力・誘導の防止」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | ハルシネーション・偽誤情報のリスク評価と許容基準が定義されていること | プロダクトのユースケースに応じて、ハルシネーション（架空のエビデンスや薬剤情報の生成等）、誤情報（不正確な医学的事実の提示）、偽情報（意図的な医療デマの生成利用）、不当な誘導（特定の療法・商品への不適切な誘導）のリスクが類型化され、それぞれの許容基準が定義されていること。特に、誤りが患者の生命・健康に直結する領域では厳格な基準が設定されていること。 |
| **② モデル選定** | 基盤モデルの事実整合性・ハルシネーション傾向が評価されていること | モデル選定時に、事実整合性ベンチマーク（TruthfulQA等）および医療領域特化ベンチマーク（MedQA、PubMedQA等）を通じてハルシネーション傾向が評価されていること。モデルが知識の境界において「回答不能」「不明」と出力できる能力、および悪意あるプロンプトに対する拒否能力が確認されていること。 |
| **③ プロダクト実装** | エビデンスに基づく回答生成と出典の検証可能性が実装されていること | RAGによる信頼できる医学ソース（ガイドライン、添付文書、査読済み論文等）への根拠付け、出典情報（文献名、リンク等）の明示、回答の確信度・不確実性の表示が実装されていること。参照情報がない場合に虚偽を生成せず「回答不能」「追加情報が必要」と出力する制御、および悪意ある誘導プロンプトを拒否するガードレールが実装されていること。 |
| **④ プロダクト検証** | 事実正確性とハルシネーション率が定量的・専門的に検証されていること | 評価用データセットを用いた事実整合性の定量評価（ハルシネーション発生率、出典の実在性・正確性等）が実施されていること。医療専門家によるレビューを通じて、臨床的に重大な誤情報がないことが確認されていること。特に、誤りが致命的となる領域に重点を置いた検証が行われていること。 |
| **⑤ プロダクト導入・運用** | 偽誤情報の発生率が継続的に監視され、参照データが最新に保たれていること | 本番環境でのハルシネーション発生率の推移が定期的にモニタリングされ、品質劣化の兆候が早期に検知される体制が整備されていること。RAG参照データが医療ガイドラインの改訂や新エビデンスの発表に応じて定期的に更新され、古い情報に基づく誤った回答が提供されないよう管理されていること。 |

### 3. **公平性と包摂性**

#### 1. **概要**

   ヘルスケア領域におけるAIプロダクトは、その公共性に即して、年齢、性別、民族、社会経済状況、障害、疾患の有無、地域など、多様な背景を持つ人々に対して公平に利用できる必要がある。特定の集団に対して不利に働く精度の偏り、アクセス上の不平等、社会的弱者への差別的影響が生じないよう設計・評価することが求められる。

   特にヘルスケア領域では、AIの出力結果が患者の生命・健康に影響を与えるほか、医療従事者における書類業務や提供医療の質等にも直結するため、AIアルゴリズムが有する潜在的バイアス（データ、設計、利用環境など）の検証が不可欠である。公平性と包摂性の評価は、医療への信頼形成の基盤であり、本評価観点は多様な患者や医療従事者が安心して医療・ヘルスケア領域のAIを利用できる状態を実現することを目的とする。

#### 2. **想定され得るリスクの例**

* 特定集団におけるAI出力結果精度の低下：学習データの偏りにより、女性・高齢者・有色人種・希少疾患患者などの情報が著しく不正確となり、誤った情報提供を引き起こすリスク。  
* 医療格差の拡大：デジタル環境を十分に利用できない高齢者や低所得者、障害者が排除され、医療AIが提供する利便性の恩恵を受けられないリスク。  
* 不当なステレオタイプの再生産：アルゴリズムが患者属性と疾患・行動を誤った関連で結びつけ、偏見を助長するような応答を出力するリスク。  
* 文化的・言語的多様性の軽視：医療的助言や説明が特定文化圏に偏り、多様な患者や状況に対して適切な情報が提供されないリスク。

#### 3. **実際の事例**

* 皮膚疾患AIの診断精度の人種間格差：対象データが画像、かつSaMD関連であるが、多くの皮膚診断AIが多様な肌の色調を対象として評価していないため、有色人種の患者に対する診断精度が著しく低かった事例。

  *参考: Daneshjou, Roxana et al. “Disparities in dermatology AI performance on a diverse, curated clinical image set.” Science advances vol. 8,32 (2022): eabq6147. doi:10.1126/sciadv.abq6147*

#### 4. **評価項目例**

   表 3-4　「公平性と包摂性」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | 対象ユーザーの多様性を踏まえた公平性要件が定義されていること | プロダクトの対象ユーザーの属性的多様性（年齢、性別、人種・民族、社会経済状況、障害、疾患、地域、言語・文化的背景等）が設計段階で考慮され、特定集団に対する不利益（精度低下、アクセス排除、偏見的出力等）を防止するための公平性要件および公平性メトリクス（Equal Opportunity、Demographic Parity等）が定義されていること。 |
| **② モデル選定** | モデルのバイアス傾向と多言語・多文化対応が評価されていること | バイアス評価ベンチマーク（BBQ、WinoBias等）の結果が確認され、特定属性に対する偏りが許容範囲内であることが評価されていること。日本語（方言、平易な表現、高齢者の語彙等を含む）の対応品質、多言語対応状況、文化的背景に配慮した回答の生成能力が確認されていること。 |
| **③ プロダクト実装** | 公平性を担保するデータ設計・UI設計が実装されていること | RAGやファインチューニングに使用するデータセットが多様な患者集団を適切に代表していること。属性に基づくステレオタイプ的出力（「○○人は痛みに強い」「高齢者は理解力が低い」等）を抑制するガードレールが実装されていること。スクリーンリーダー、音声入力、簡易UI等のアクセシビリティ対応がなされ、認知負荷を考慮したユニバーサルデザイン原則に基づく設計がなされていること。 |
| **④ プロダクト検証** | 属性別の出力品質差異とバイアスが体系的に検証されていること | 多様な属性を含むテストデータセットを用いて、属性間での推論精度・回答品質の偏りが定量的に評価されていること。偏見・ステレオタイプ的出力の検証がなされていること。特定集団で有意に精度が低い場合の再学習・補正の必要性が検討されていること。アルゴリズムバイアスの原因がデータ収集・前処理・モデル設計・評価の各段階で分析されていること。 |
| **⑤ プロダクト導入・運用** | ユーザー属性別の品質とアクセシビリティが継続的に監視されていること | ユーザー属性別の満足度・苦情傾向・利用状況が継続的にモニタリングされ、特定集団に対する品質低下やアクセス障壁が早期に検知されること。多様なユーザーからのフィードバックが収集・分析され、公平性・包摂性の改善に反映される仕組みが運用されていること。 |

### 4. **ハイリスク利用・目的外利用への対処**

#### 1. **概要**

   本評価観点では、AIプロダクトが設計・意図された使用範囲を逸脱し、安全性が担保されていない状況で使用されるリスクや、AIモデルおよびAIプロダクトが法令で定められた範囲を超える出力を行うリスクを評価する。

   ハイリスク利用とは、誤りが結果的に患者の生命・身体に重大な影響を与えるタスクについて誤った情報を提供すること等を指す。目的外利用とは、ヘルスケアとは関係ない用途での利用やNon-SaMD（事務支援用AIなど）を診断・治療等の目的で用いるなど、想定されていない用途や法令の範囲を超えた利用を指す。

#### 2. **想定され得るリスクの例**

* 不適切なトリアージ：胸痛を訴える緊急性の高い患者に対し、AIが緊急性を過小評価して自宅待機に関する情報を提供し、心筋梗塞などの治療遅延を招くリスク。  
* 未承認の医療行為（Non-SaMDの診断利用）：医療機器承認（SaMD：Software as a Medical Device）を得ていない汎用チャットボットを、医師や患者が確定診断ツールとして使用し、誤診につながるリスク。  
* 専門外領域への適用：特定の疾患向けに学習されたモデルを用いて、学習データに含まれない希少疾患や別部位に関する情報提供を依頼した結果、まったく関係のないアウトプットが出力されるリスク。

#### 3. **実際の事例**

* 汎用LLMによる救急トリアージの精度不足：SaMD関連の事例ではあるが、ChatGPTなどの汎用LLMを用いた救急トリアージに関する研究において、有望な可能性がある一方で、大きなばらつきや潜在的なバイアスが存在するため更なる評価と機能強化が必要であることが報告されている。

  *参考: Kaboudi, Navid et al. “Diagnostic Accuracy of ChatGPT for Patients' Triage; a Systematic Review and Meta-Analysis.” Archives of academic emergency medicine vol. 12,1 e60. 30 Jul. 2024, doi:10.22037/aaem.v12i1.2384*

* がん治療計画における不正確な推奨：LLMを利用したチャットボットにがん患者の具体的な治療計画を提示させた結果、約3分の1の回答に臨床ガイドライン（NCCNガイドライン）と部分的に不一致する内容が含まれており、技術の限界の認識が必要と報告されている。

  *参考: Chen, Shan et al. “Use of Artificial Intelligence Chatbots for Cancer Treatment Information.” JAMA oncology vol. 9,10 (2023): 1459-1462. doi:10.1001/jamaoncol.2023.2954*

#### 4. **評価項目例**

   表 3-5　「ハイリスク利用・目的外利用」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | プロダクトの意図する使用範囲と禁忌事項が明確に定義されていること | プロダクトの対象ユーザー（医療従事者向け/一般向け）、対象疾患領域、利用可能な場面が具体的に定義され、意図しない利用（Non-SaMDの診断利用、学習対象外の希少疾患への適用等）が想定されていること。SaMD該当性の判断が行われ、関連法令（薬機法、医師法等）への対応方針が確立されていること。 |
| **② モデル選定** | モデルの利用条件が意図する使用範囲と整合していること | モデルの利用規約・ライセンスにおいて、商用利用および、Non-SaMDの範囲において、医療関連領域・ヘルスケア領域で許可されている活用方法を確認できること。SaMD該当性を踏まえた選定判断がなされていること。モデルが意図しない専門外領域について過度に確信的な回答を生成する傾向がないか評価されていること。 |
| **③ プロダクト実装** | 目的外利用・ハイリスク利用を防止するUI設計とガードレールが実装されていること | 診断・処方・緊急対応等のハイリスクな質問に対する拒否・免責機能（「私は医師ではありません」等の明示と受診勧奨）が実装されていること。緊急性の高い入力（自殺念慮、急性症状等）に対する相談窓口・救急対応への誘導フローが組み込まれていること。意図する使用目的・制限事項がUI上および利用規約で明確に伝達されていること。人間の専門家による最終判断に関与するプロセスが設計されていること。 |
| **④ プロダクト検証** | ハイリスクシナリオにおける適切な動作が検証されていること | レッドチーミングや専門家レビューを通じて、確定的な診断を求める入力、緊急性の高い症状の入力、プロダクトの意図する使用範囲外の質問等に対し、プロダクトが適切に拒否・エスカレーションすることが検証されていること。ガードレールの回避試行（「医師として回答して」等）に対する耐性が確認されていること。 |
| **⑤ プロダクト導入・運用** | 目的外利用の発生が監視され、利用ポリシーが運用されていること | 本番環境において目的外利用の兆候（ガードレール発動パターン、ユーザーからの苦情傾向等）が監視されていること。利用ポリシー（利用目的・適用範囲・禁止事項）がユーザーに周知され、違反時の対応（アカウント停止等）が運用されていること。規制環境の変化（SaMD関連規制の更新等）に応じて利用範囲の定義が見直されていること。 |

### 5. **プライバシー保護**

#### 1. **概要**

   ヘルスケア領域におけるAIプロダクトは、患者の個人情報、健康・疾患情報、生活習慣データ、医療機関での診療履歴など、極めてセンシティブなデータを扱う。AIが個人を特定できる情報を不適切に出力したり、内部学習データから記憶した個人情報を漏えいしたりしないよう、強固なプライバシー保護機能を備えていることが不可欠である。

   そのため、入力された健康情報や過去の学習データが第三者にとって可視化されないよう出力制御を行い、プライバシー侵害のリスクを最小化することが求められる。本評価観点は、個人の特定可能性の排除、センシティブ情報の不適切出力の防止、データ主体の権利の尊重を中心とし、個人情報保護法の観点だけでなく、憲法上のプライバシー権、医師等の職業上の秘密保持義務、企業としての秘密情報の取り扱いといった観点も含めて評価を行う。

#### 2. **想定され得るリスクの例**

* 個人情報や秘密情報の漏えい：学習データ又は入力された健康情報等が、AIの応答としてそのまま出力されることにより、患者やその家族、医療従事者の氏名・住所・病名・検査結果などが第三者に漏れるリスク。  
* 再同定（再識別）の誘発：わずかな属性情報から個人を推定できる内容が出力され、匿名化できていると思われていたデータから特定の患者が同定される可能性が高まるリスク。  
* センシティブ情報の推論・暴露：ユーザーの入力文脈から、疾患リスク、妊娠・性行動、精神疾患、遺伝情報など極めて秘匿性が高い情報をAIが推測して提示し、本人の意図しない形でプライバシーが侵害されるリスク。  
* 不適切な個別医療データの収集・保存・二次利用：同意なしで要配慮個人情報を学習する等、個人情報保護法上不適切な方法で個人情報が収集・保存・二次利用されるリスク。ユーザーが入力した診療情報がモデルに過学習的に記憶され、別のユーザーとの対話で漏えいするリスク。

#### 3. **実際の事例**

* 患者データの無断共有（DeepMind / Royal Free病院）：英国ロイヤル・フリー病院がGoogle傘下のDeepMind社と提携し急性腎障害検出アプリを開発する際、約160万人分の患者データを同社と共有したが、患者への十分な通知や同意がなく、英国情報委員会事務局（ICO）が2017年にデータ保護法違反と認定した事例。

  *参考: Hern, Alex. “Royal Free Breached UK Data Law in 1.6m Patient Deal with Google’s DeepMind.” The Guardian, 3 July 2017, www.theguardian.com/technology/2017/jul/03/google-deepmind-16m-patient-royal-free-deal-data-protection-act. 最終閲覧日2026年3月27日.* 

* 会話履歴漏えいバグ（ChatGPT）：OpenAIのChatGPTで、システム不具合によりごく一部のユーザーに他人の会話履歴のタイトルが表示される事故が発生したため、OpenAIが2023年3月にサービスを一時停止して問題を修正した事例。

  *参考: ロイター編集. “ChatGPT-Owner OpenAI Fixes “Significant Issue” Exposing User Chat Titles.” Reuters Japan, 23 Mar. 2023, jp.reuters.com/article/openai-bug/chatgpt-owner-openai-fixes-significant-issue-exposing-user-chat-titles-idUSKBN2VO1W4/. 最終閲覧日2026年3月27日.*

#### 4. **評価項目例**

  表 3-6　「プライバシー保護」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | 取り扱う医療データの分類と保護方針が設計段階から確立されていること | プロダクトで取り扱うデータの種類（要配慮個人情報、バイタルデータ、生活習慣データ等）が特定・分類され、個人情報保護法、医師等の守秘義務、プライバシー権等の法的要件を踏まえたデータ取扱い方針（収集範囲の最小化、保存期間、同意取得フロー、削除ポリシー等）が設計段階から確立されていること。プライバシー・バイ・デザインの原則が適用されていること。 |
| **② モデル選定** | モデルプロバイダーのデータ取扱いポリシーが要件を満たしていること | 入力データの学習利用の有無（オプトアウト可否を含む）、データの処理・保存場所（国内保存要件への適合等）、保持期間と削除対応、プロバイダー従業員のアクセス範囲が確認され、①で定義した保護方針および関連法令（3省２ガイドライン等）の要件を満たすことが確認されていること。必要に応じてデータ処理契約（DPA）が締結されていること。 |
| **③ プロダクト実装** | 個人情報の漏えい・推論を防止する技術的措置が実装されていること | 入力時の個人情報マスキング・仮名化、出力時の個人情報漏えい検知、再同定につながる属性情報の組合せ出力の抑制が実装されていること。ユーザーの入力から疾患リスクや遺伝情報等のセンシティブ情報を断定的に推論・暴露しない制御が行われていること。入力データがモデルに保存されず、別ユーザーへの応答に再利用されないことが技術的に担保されていること。 |
| **④ プロダクト検証** | プライバシー侵害リスクが実証的に検証されていること | 個人情報を含むテストデータを用いた漏えいテスト、再同定リスクの評価、過度な健康リスク推論の検証が実施されていること。特に、人口の少ない地域や希少疾患など再同定リスクの高いケースについて重点的に評価されていること。プライバシーレビューを通じて、データフロー全体（入力→処理→出力→ログ保存）にわたる保護措置の妥当性が確認されていること。 |
| **⑤ プロダクト導入・運用** | 運用環境でのプライバシー保護が継続的に維持され、データ主体の権利が保障されていること | フィードバックデータやログデータの匿名化処理が適切に実施され、データの保存期間管理・定期削除が運用されていること。データ主体（患者・ユーザー）が入力データの削除要求、二次利用の拒否、データ利用範囲の説明請求等の権利を行使できる仕組みが整備されていること。法令やガイドラインの改正に応じてデータ取扱い方針が見直されていること。 |

### 6. **セキュリティ確保**

#### 1. **概要**

   ヘルスケア領域におけるAIプロダクトは、患者の生命に直結する情報の正確性や、極めて機微な医療情報の機密性を保護するセキュリティ確保が重要である。AIのクリティカルな出力が攻撃により改ざんされないよう、LLM固有の攻撃（プロンプトインジェクション等）に対するレジリエンスが求められる。

   評価にあたっては、RAGや外部連携を含むシステム全体での多層防御の有効性、レッドチーミングテスト等による実害シナリオの検証などの観点から、総合的にセキュリティ体制を確認することが有用である。

#### 2. **想定され得るリスクの例**

* プロンプトインジェクションによる出力結果情報の改ざん：悪意のあるプロンプトにより、AIが提供する健康関連情報が意図的に誤った内容に改ざんされ、ユーザーの判断を誤らせるリスク。  
* プロンプトリーキングによる医療関連機密情報の漏えい：システムプロンプトに組み込まれた医療関連の組織内ノウハウやRAGの内部知識データの構成情報などが、プロンプトリーキング攻撃（悪意のある入力によってAIを誤作動させ、本来禁止されている操作を実行させたり、機密情報を引き出したりする攻撃）によって外部に漏えいするリスク。  
* 間接プロンプトインジェクションによるデータ漏えいと不正操作：RAG機能が悪意のあるプロンプトが埋め込まれた外部文書を取り込み、AIが間接的に不正な指示を受け取ることで、機密性の高いデータの不正出力や意図しないシステム機能の実行につながるリスク。  
* ポイズニング攻撃によるモデルの信頼性低下：AIの学習過程で不正データを意図的に混入させ、特定の条件下で誤作動を起こすバックドアを仕込む攻撃により特定の合図を与えた時だけAIが意図しない異常な挙動を示すようになり、システム全体の信頼性が根底から損なわれるリスク。

#### 3. **実際の事例**

* プロンプトインジェクションの脅威：臨床シナリオによる検証の結果、市販のLLMが、患者に対して臨床的に危険な推奨を生成し得るプロンプトインジェクション攻撃に対して著しい脆弱性を示した事例。

  *参考: Lee, Ro Woon et al. “Vulnerability of Large Language Models to Prompt Injection When Providing Medical Advice.” JAMA network open vol. 8,12 (2025): e2549963. doi:10.1001/jamanetworkopen.2025.49963*

* モデル抽出攻撃（Model Extraction/Theft）：LLMシステムへの大量の入出力分析を通じて、対象とするAIモデルと同等の性能を持つコピーモデルが作成されるリスクが報告されている事例。

  *参考: Tramèr, Florian, et al. Stealing Machine Learning Models via Prediction APIs. 3 Oct. 2016, arxiv.org/pdf/1609.02943.*

#### 4. **評価項目例**

  表 3-7　「セキュリティ確保」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | ヘルスケア領域特有の脅威を含むセキュリティ要件が定義されていること | 従来のWebアプリケーションセキュリティに加え、LLM固有の脅威（プロンプトインジェクション、プロンプトリーキング、モデル抽出攻撃、データポイズニング等）を含む脅威モデルが定義され、医療情報の完全性（改ざん防止）と機密性（漏えい防止）を保護するためのセキュリティ要件および多層防御の方針が確立されていること。 |
| **② モデル選定** | モデルプロバイダーのセキュリティ体制とモデルの攻撃耐性が評価されていること | モデルプロバイダーのセキュリティ体制（データ暗号化、アクセス制御、第三者監査の実施状況、インシデント対応実績・情報開示姿勢）が評価されていること。モデルのプロンプトインジェクション・ジェイルブレイク耐性がベンチマーク等を通じて確認されていること。サプライチェーン上の脆弱性リスクが評価されていること。 |
| **③ プロダクト実装** | システム全体にわたるセキュリティ対策が多層的に実装されていること | プロンプトインジェクション防御（入力バリデーション、システムプロンプト保護）、プロンプトリーキング防止、出力フィルタリングによる機密情報漏えい防止、認証・認可とアクセス制御、通信の暗号化、APIキー管理、レートリミット、不正利用検知が実装されていること。RAGを含むシステム全体で多層防御が確保されていること。 |
| **④ プロダクト検証** | セキュリティ対策の有効性が専門的に検証されていること | セキュリティ専門家によるペネトレーションテスト、LLM固有の攻撃ベクトル（直接的・間接的プロンプトインジェクション、ジェイルブレイク、システムプロンプト抽出等）に対するレッドチーミングテストが実施され、①で定義したセキュリティ要件が満たされていることが検証されていること。発見された脆弱性が是正されていること。 |
| **⑤ プロダクト導入・運用** | セキュリティ態勢が継続的に維持・強化されていること | 脆弱性情報の継続的な収集と対応（使用ライブラリ・API・基盤モデルの更新を含む）、不正アクセス・異常利用パターンの監視が運用されていること。セキュリティインシデント発生時の原因究明が可能な改ざん不可能な監査ログが保持されていること。新たな攻撃手法の出現に応じてセキュリティ対策が定期的に見直されていること。 |

### 7. **説明可能性**

#### 1. **概要**

  ヘルスケア領域においてAIプロダクトの出力は、医療機関における文書作成支援、患者説明資料の作成支援、医療文献の検索・要約など、業務効率化を目的として活用されることが想定される。このような利用場面では、出力をそのまま受け入れるのではなく、ユーザーが「出力の妥当性（確からしさ）」を判断できるように、出力の根拠や導出の仕組みを説明できることが重要である。

  ここでいう説明可能性は、モデル内部の推論過程をそのまま開示することに限定せず、医療実務で必要となる利用場面に応じた実務的な説明可能性を指す。具体的には、根拠情報の提示、出力と根拠の対応付け、不確実性・適用条件の明示に加え、医療従事者・患者・監査委員会等、ユーザーに応じて説明の粒度や用語を調整できることが望ましい。

#### 2. **想定され得るリスクの例**

* 誤情報・ハルシネーションの見逃し：出典や根拠が提示されないため、誤った要約、存在しない研究結果、誤引用等をユーザーが検知できず、誤った意思決定が誘導されるリスク。誤情報に基づくネクストアクションの選択により患者に有害事象が発生する可能性がある。  
* 過信・不適切な誘導の助長：根拠や限界が示されないもっともらしい説明は、ユーザーの過信を招きやすい。例えば、患者向けの応答では、健康情報等を提供する際に、とある民間療法が標準治療であるかのような誤解を招き、誤った意思決定を招くリスクがある。  
* 説明責任の不履行：医療従事者がAI出力の妥当性を点検できず、患者・同僚・倫理委員会等に対する説明義務が果たせなくなるリスク。

#### 3. **実際の事例**

* 医療関連情報の誤引用（Google Bard）：医師がチャットボットGoogle Bardを使用して継続医学教育コースのプレゼンテーション資料の情報収集をした際、提示された引用文献を確認したところ該当する論文が見つけられなかった。誤引用による誤情報が提供され得ることを示す事例。

  *参考: Colasacco, Christine J, and Hayley L Born. “A Case of Artificial Intelligence Chatbot Hallucination.” JAMA otolaryngology-- head & neck surgery vol. 150,6 (2024): 457-458. doi:10.1001/jamaoto.2024.0428* 

#### 4. **評価項目例**

   表 3-8　「説明可能性」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | 対象ユーザー別に必要な説明レベルが定義されていること | プロダクトのユーザー（医療従事者、患者、介護者、監査委員会等）ごとに、必要とされる説明の粒度や用語（根拠情報の提示、出力と根拠の対応付け、不確実性・適用条件の明示、専門用語の平易化等）が定義されていること。説明可能性の範囲と限界（LLMの推論過程の完全な開示が技術的に困難であること等）が関係者間で認識されていること。 |
| **② モデル選定** | モデルの説明性・根拠付け能力が評価されていること | モデルが出典付きの回答を生成する能力、構造化出力やFunction Calling等による出力制御への対応状況、不確実な場合に断定を避ける能力が評価されていること。モデルカードにおいて既知の制限事項やブラックボックス性の程度が開示されていること。 |
| **③ プロダクト実装** | 根拠提示・不確実性表示・トレーサビリティの仕組みが実装されていること | 出力に含まれる主要な主張（禁忌、用量、適応、安全性等）ごとに根拠が提示される仕組み（RAG参照元の表示、引用番号付け、ハイライト等）が実装されていること。根拠が弱い場合や条件が不足している場合に「不明」「追加情報が必要」「適用外」と表明する制御が行われていること。ユーザーが主張と根拠の対応を追跡できるトレーサビリティが確保されていること。AI生成であることの明示と免責事項の表示が行われていること。 |
| **④ プロダクト検証** | 説明の妥当性と出典情報の正確性が専門的に検証されていること | 医療専門家によるレビューを通じて、提示される説明が妥当であることが確認されていること。提示される文献情報（著者、タイトル、年、DOI等）が実在し正確であることが検証されていること。テストケースを用いた出力の抽出・根拠有無のチェックが体系的に実施されていること。 |
| **⑤ プロダクト導入・運用** | AI利用の透明性がユーザー・社会に対して継続的に確保されていること | プロダクトの仕組み・限界・データ取扱いに関する情報がユーザーに適切に開示されていること。運用状況（安全性指標、改善実績等）を含む透明性レポートが定期的に公表されていること。説明の品質がユーザーフィードバック等を通じて継続的に改善されていること。 |

### 8. **ロバスト性**

#### 1. **概要**

   本評価項目では、ヘルスケア領域のAIプロダクトが実運用環境で直面する「偶発的・非意図的な入力劣化」および「運用条件の変動」に対して、機能不全や極端な挙動変化を起こさず、所期の動作を安定して継続できる能力（ロバスト性／頑健性）を評価する。

   具体的には、誤字脱字、表記ゆれ、OCR誤認識、欠損、ノイズ混入といった入力品質の低下、施設差・運用手順差・時系列変化等による入力分布の変化、基盤モデル等の変更・バージョン変更が生じても、出力の一貫性が不必要に損なわれないことや、不確実性が高い場合には安全側に倒れること（例：追加情報の要求、処理不能の明示、人的確認への誘導）を確認する。

#### 2. **想定され得るリスクの例**

* 些細な入力変化による出力の急変動：同じ医学的意味を持つ入力であっても、言い回し、全角・半角、略語・正式名称、単位表記の差異などにより、注意喚起の有無等が大きく変動し、ユーザーの意思決定に混乱を生じさせるリスク。  
* 環境変動（ドメインシフト）による性能劣化：開発時と異なる情報（施設・部署の記録フォーマット等）が入力された際に、推論精度や処理安定性が低下し、見落とし・過剰検知、または処理不能の増加につながるリスク。  
* ノイズ情報への過剰反応：転記ノイズ、OCR由来の誤文字、無関係な記号列等が混入した際に、AIがそれらを適切に無視できず、結論の妥当性が低下したり重要な注意喚起が欠落したりするリスク。  
* 欠損・矛盾を含む入力に対する不適切な断定：判断に必須となる情報が欠落している、あるいは入力内に矛盾があるにもかかわらず、AIが確度の高い結論であるかのように断定し、受診遅延等の不利益を招くリスク。

#### 3. **実際の事例**

* 実運用下でのデータシフト：トロントの7病院における院内死亡予測AIにおいて、患者の属性、入院形態、病院種別、重要な臨床検査の運用、新型コロナウイルスなどの条件変化が、学習時と運用時のデータシフトを発生させ、識別性能低下につながった事例。

  *参考：Subasri, Vallijah et al. “Detecting and Remediating Harmful Data Shifts for the Responsible Deployment of Clinical AI Models.” JAMA network open vol. 8,6 e2513685. 2 Jun. 2025, doi:10.1001/jamanetworkopen.2025.13685* 

* セッション差による出力揺らぎ：同一タスクでもセッションを実施した時期により出力が揺らぎ得ることが学術報告で示唆されており、質問表現や追加コンテキストの与え方が回答の正確性に影響する事例。

  *参考：Chen, Lingjiao, et al. “How Is ChatGPT’s Behavior Changing over Time?” Harvard Data Science Review, vol. 6, no. 2, 12 Mar. 2024, hdsr.mitpress.mit.edu/pub/y95zitmz/release/2, https://doi.org/10.1162/99608f92.5317da47.*

#### 4. **評価項目例**

  表 3-9　「ロバスト性」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | 想定される入力バリエーションとロバスト性要件が定義されていること | プロダクトの利用環境で想定される入力の多様性（誤字脱字、表記ゆれ、方言、略語・正式名称の混在、OCR誤認識、文字化け、欠損、ノイズ混入等）および運用条件の変動（施設差、入力フォーマット差、基盤モデルのバージョン変更等）が洗い出されていること。これらの条件下での出力一貫性の許容基準と、不確実性が高い場合に安全側に倒す方針が定義されていること。 |
| **② モデル選定** | 多様な入力条件でのモデルの出力安定性が評価されていること | モデル選定時に、表記ゆれ、略語、ノイズ入力、多言語入力等の多様な入力条件でモデルの出力安定性が評価されていること。自社ユースケースに基づく入力バリエーションテストが実施または計画されていること。 |
| **③ プロダクト実装** | 入力正規化・エラーハンドリング・安全側制御が実装されていること | 入力の正規化処理（表記統一、ノイズ除去等）、欠損・矛盾を含む入力に対する適切なハンドリング（追加情報の要求、処理不能の明示）、想定外の入力に対するエラー処理が実装されていること。必須情報の欠落時に無理に結論を出さず安全側に倒す制御が行われていること。 |
| **④ プロダクト検証** | エッジケースを含む入力に対する一貫性と耐障害性が検証されていること | テキストノイズ耐性（誤字、OCR誤認識、記号混入等）、表記ゆれへの不変性（薬剤名の一般名/商品名、単位表記、全角半角等）、欠損・矛盾入力のハンドリング、分布外データへの対応が体系的にテストされていること。同一条件での繰り返し入力に対する出力の再現性が確認されていること。 |
| **⑤ プロダクト導入・運用** | 入力パターンの変化と性能変化が継続的に監視されていること | 本番環境における入力パターンの変化（入力分布のドリフト、新たなフォーマットの出現等）が監視されていること。モデル更新に伴う出力品質の変動が定期的なベンチマーク評価で検知される体制が整備されていること。性能劣化が検知された場合の対応（原因調査、モデルロールバック等）のプロセスが確立されていること。 |

### 9. **データ品質**

#### 1. **概要**

   AIプロダクトにおけるデータ品質は、出力結果の信憑性、一貫性、正確性など多様な事項へ影響を及ぼすため重要である。特にヘルスケア領域においては、データ品質の欠陥が患者や医師の安全に直結するため、その管理はより一層の厳格さが求められる。AIプロダクトがアクセスするデータは、モデル学習時も含め正確性・最新性を担保した適切な状態に保つとともに、データの来歴が追跡可能な形で管理されている状態を目指すこととする。

 #### 2. **想定され得るリスクの例**

* 訓練データに含まれるバイアスによる公平性の欠如：学習データセットに特定の地域や人種、性別などの患者データが偏って含まれていた場合、AIがデータの少ない集団に対して不正確な診断結果や治療推奨を出力し、不当な差別につながるリスク。  
* ポイズニング攻撃による誤った情報提供：悪意のある者が訓練データに不正なデータを意図的に混入した場合、AIが特定の薬剤に対して過剰な用量を推奨したり、効果のない治療法を正しいと提示したりするリスク。  
* RAG参照データ汚染による偽誤情報の出力：AIがRAGを通じて参照する内部知識データに意図的に古いまたは偽の医療情報が埋め込まれ、AIがその誤った情報を基に回答するリスク。  
* 不十分なデータ匿名化による個人情報漏えい：訓練データの匿名化処理が不十分な場合、メンバーシップ推論攻撃やモデルインバージョン攻撃により特定の患者の機密情報が復元・特定されるリスク。

#### 3. **実際の事例**

* 学習データの人種バイアスによる差別的判定：医療機関で広く使われる予測アルゴリズムでは、健康状態そのものではなく医療費を代理指標にしていたため、同じリスクスコアであっても、実態として黒人患者の方が白人患者より重症であるという人種バイアスを生んでいた。指標の置き方自体が公平性を損なうことを示した事例。

  *参考: Obermeyer, Ziad et al. “Dissecting racial bias in an algorithm used to manage the health of populations.” Science (New York, N.Y.) vol. 366,6464 (2019): 447-453. doi:10.1126/science.aax2342*

* データポイズニングによるLLMの安全性毀損： 2025年にNature Medicineで発表された研究により、学習データのわずか0.001%を汚染するだけで、LLMに誤った医療アドバイスを出力させることが可能であると実証された。

  *参考: Alber, Daniel Alexander, et al. “Medical Large Language Models Are Vulnerable to Data-Poisoning Attacks.” Nature Medicine, vol. 31, 8 Jan. 2025, pp. 618–626, https://doi.org/10.1038/s41591-024-03445-1.*

* WHOの健康情報チャットボット「S.A.R.A.H.」では、2024年に公開後、誤答や古い情報に基づく回答が問題視された。アルツハイマー病治療薬レカネマブのFDA承認について質問すると、S.A.R.A.H.は「まだ臨床試験中」と回答したが、実際には2023年に治療薬として承認済みであった。

  *参考：Nix, Jessica, and Bloomberg. “WHO’s New AI-Powered Chatbot SARAH Is Available 24/7 and in Eight Languages – but It’s Blundering Some Answers.” Fortune, 19 Apr. 2024, fortune.com/europe/2024/04/19/whos-ai-powered-chatbot-sarah-is-available-to-talk-24-7in-eight-languages-but-its-blundering-answers/. 最終閲覧日2026年3月27日.*

#### 4. **評価項目例**

  表 3-10　「データ品質」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | データソースの選定基準と品質要件が定義されていること | 学習データ、検証データ、RAG参照データのそれぞれについて、データソースの選定基準（信頼性、エビデンスレベル、最新性）、品質要件（正確性、網羅性、代表性）、ガバナンス方針（データの出所の明確化、更新プロセス、バージョン管理）が定義されていること。データの全ライフサイクルにわたる品質管理方針が確立されていること。 |
| **② モデル選定** | モデルの学習データの品質と管理状況が確認されていること | モデルカード等を通じて、学習データの構成・品質管理プロセス（データクリーニング、バイアス排除の取組）が確認されていること。学習データに特定の地域・人種・性別等の偏りがないか、またデータポイズニングに対する防御策が講じられているかが評価されていること。 |
| **③ プロダクト実装** | RAG参照データのキュレーションとバージョン管理が実装されていること | RAGに使用するデータの精査・キュレーションプロセス（医学的正確性、最新性、エビデンスレベルの確認）が確立されていること。データのバージョン管理、メタデータの付与（出典、更新日時、信頼性レベル等）、古い情報のアーカイブが実装されていること。アノテーションが使用されている場合、複数の専門家による一貫したラベリングと評価者間信頼性の測定が行われていること。 |
| **④ プロダクト検証** | データ品質がプロダクトの出力品質に及ぼす影響が検証されていること | 評価用データセットが学習データから適切に隔離され、客観的な真正性を備えていることが確認されていること。RAG検索精度の評価、データの網羅性（想定される患者集団の代表性）の確認が実施されていること。データの偏りや欠陥が出力の公平性・正確性に与える影響が検証されていること。 |
| **⑤ プロダクト導入・運用** | データの鮮度と品質が継続的に管理されていること | 医療ガイドラインの改訂、新エビデンスの発表等に応じたRAGデータの定期更新プロセスが運用されていること。データ品質の劣化が監視され、古い情報に基づく誤った回答の提供が防止されていること。匿名化処理の適切性と再特定リスクへの耐性が定期的に監査されていること。 |

### 10. **検証可能性**

#### 1. **概要**

  ヘルスケア領域におけるAIプロダクトは、患者の生命・健康に直接影響を与える可能性があるため、システムの動作や出力結果を事後的に検証できる状態を確保することが不可欠である。

  検証可能性とは、モデルの学習段階からシステムの開発・提供、臨床現場での利用に至るまでの各段階で、「何が」「いつ」「誰により」「どの設定で」「どのデータに基づき」処理されたかを追跡・監査し、必要に応じて再現・検証できる状態を指す。

#### 2. **想定され得るリスクの例**

* 有害事象発生時の原因特定困難：AIプロダクトの出力に基づく医療判断が患者に害を与えた場合、適切なログが記録されていなければ誤りの原因を特定できず、再発防止策を講じることができないリスク。  
* 監査・査察・説明責任への対応困難：治験関連文書や医療機関の文書管理で、生成部分の由来・承認・修正履歴が追えず、追加資料作成・再聴取で業務負担が増加するリスク。  
* 品質劣化の見逃し：モデル更新やナレッジ更新後に出力品質が変化しても、比較評価や再現試験ができず、劣化を検知できないリスク。出力結果の信頼性がゆらぎ、医療従事者の確認作業が増大する。  
* 同意・運用手順の証跡不備：録音・データ利用などの同意がAIの自動記録に依存し、誤記録や改ざん疑義が生じた際に、適正手続きを踏んでいたことの立証が困難となるリスク。

#### 3. **実際の事例**

* 同意の誤記録（Abridge AI）：患者と医師の会話を録音し、医療記録の下書きを生成するAIツールである「Abridge」を導入したSharp HealthCare社で、適切な同意を得ずに医師と患者の会話を録音したとして集団訴訟が起こされた。Abridgeは「診療が録音されていることを告げられた」「同意した」と記録していたが、患者本人はそのような説明も同意もなかったと主張している事例。

  *参考：Marco, Heidi de. “Lawsuit Claims Sharp HealthCare Secretly Recorded Exam Room Conversations without Patient Consent.” KPBS Public Media, 11 Dec. 2025,* www.kpbs.org/news/health/2025/12/11/lawsuit-claims-sharp-healthcare-secretly-recorded-exam-room-conversations-without-patient-consent. 最終閲覧日2026年3月27*日.* 

#### 4. **評価項目例**

  表 3-11　「検証可能性」における評価項目例

| フェーズ | 項目 | 内容 |
| ----- | ----- | ----- |
| **① プロダクト設計** | 事後検証に必要なログ要件と評価体制の計画が策定されていること | 「何が」「いつ」「誰により」「どの設定で」「どのデータに基づき」処理されたかを追跡・監査するために必要なログ要件（入出力データ、モデル情報、RAG参照情報、タイムスタンプ、セッション情報等）が定義されていること。評価体制（内部監査、第三者評価等）の計画が策定されていること。 |
| **② モデル選定** | モデルプロバイダーの情報開示とバージョン管理方針が確認されていること | モデルカード・システムカードが公開されており、モデルの既知の制限事項・リスクが開示されていること。モデルのバージョン管理方針、更新時の事前通知ポリシー、後方互換性の保証の有無が確認されていること。同一条件での再現検証が可能な水準の情報が提供されていること。 |
| **③ プロダクト実装** | 入出力の完全なログ記録と監査証跡の仕組みが実装されていること | 入力（プロンプト、コンテキスト、添付ファイル識別子等）、出力（生成文、推奨等）、参照情報（RAGの参照ID等）がタイムスタンプ・セッション情報とともに記録され、事後検索可能であること。使用モデルのバージョン、推論パラメータ、システムプロンプト、RAGデータの版数・更新日時が記録されていること。生成物の作成・修正・承認の履歴が保持され、改ざん防止が実装されていること。 |
| **④ プロダクト検証** | 検証可能性の仕組みが機能していることが第三者的に確認されていること | 第三者評価や内部監査を通じて、ログの完全性、監査証跡の追跡可能性、同一条件での再現検証の実施可能性が確認されていること。関連する認証・基準（ISO/IEC 42001、ISO/IEC 27001等）への適合が検討されていること。 |
| **⑤ プロダクト導入・運用** | 変更管理と継続モニタリングにより検証可能な状態が維持されていること | モデル更新、プロンプト更新、RAGデータ更新、UI変更等のすべての変更について、変更理由・影響評価・適用範囲・ロールバック手順が記録されていること。更新前後の回帰テストと品質指標比較が実施可能であること。本番環境での性能指標が継続的に記録・分析され、性能劣化を検知する仕組みが運用されていること。監査証跡の保持期間が法令要件・ビジネス要件を踏まえて設定され、定期的な内部監査が実施されていること。 |