RADIOLOGY GLOSSARY
外部検証（External validation of a prediction model）
IN ONE LINE
一言でいうと
開発とは独立して集めた別の患者集団等で、決定済みの予測モデルの性能を評価することです。
BEGINNER GUIDE
はじめて学ぶ方へ
作ったときとは別のデータで、予測モデルがどれくらい通用するかを確かめます。
身近なイメージ
施設Aで決めたモデルを変更せず、別途収集した施設Bの患者へ適用する仮想研究です。 施設間の外部検証として条件と成績を報告します。Bを見て閾値を選び直したなら、調整と独立評価を分けます。
そもそも外部検証とは？
作ったときとは別のデータで、予測モデルがどれくらい通用するかを確かめます。
別の独立集団。／固定したモデル。／識別・校正・有用性。
定義・しくみ
開発とは独立して集めた別の患者集団等で、決定済みの予測モデルの性能を評価することです。別施設や別期間等の違いを明示し、同じ集団の単純な無作為分割による内部検証とは区別します。
FORMULA
AUCと校正は異なる性質の指標です。
調整後のモデルには別の独立評価が必要です。
具体例で確認
施設Aで決めたモデルを変更せず、別途収集した施設Bの患者へ適用する仮想研究です。
施設間の外部検証として条件と成績を報告します。Bを見て閾値を選び直したなら、調整と独立評価を分けます。
専門的にもう一歩
モデルと前処理・閾値を固定して予測し、識別能だけでなく校正や臨床的有用性、集団差を評価します。ラベルの定義、欠測、患者選択や測定条件を記録します。検証データでモデルを修正した場合、その後の値を未修正モデルの独立評価と混ぜません。一施設の好成績が全施設・全対象・将来の運用性能を保証するわけではありません。
臨床・測定での確認点
- データの独立性と対象集団の違いを明示します。
- 決定済みモデルと前処理の再現性を確認します。
- 校正・識別・有用性と不確かさを報告します。
覚えるポイント
- 別の独立集団。
- 固定したモデル。
- 識別・校正・有用性。
間違えやすい点
- 単純な無作為分割を外部検証と呼びません。
- 高いAUCだけで正しい確率予測を保証しません。
- 外部検証済みを全条件の安全性保証とはしません。