RADIOLOGY GLOSSARY
データリーク（Data leakage in machine learning）
IN ONE LINE
一言でいうと
予測時には利用できない情報や、独立であるべき評価データの情報が学習・前処理・モデル選択へ入り、評価が実際より良くなる問題です。
BEGINNER GUIDE
はじめて学ぶ方へ
本番では知れない答えの手がかりを使ったり、試験データを学習側へ混ぜたりする問題です。
身近なイメージ
病変の診断予測に、診断後に確定した治療情報を特徴として加えた仮想例です。 高成績でも予測時点の情報ではなくリークを疑います。利用時点の定義とデータ分割を見直します。
そもそもデータリークとは？
本番では知れない答えの手がかりを使ったり、試験データを学習側へ混ぜたりする問題です。
利用不能情報の混入。／分割前の前処理。／患者・時点の管理。
定義・しくみ
予測時には利用できない情報や、独立であるべき評価データの情報が学習・前処理・モデル選択へ入り、評価が実際より良くなる問題です。個人情報の外部流出という情報セキュリティ上の漏えいとは意味を区別します。
FORMULA
全データで求めた平均等を評価へ使わない設計にします。
集計結果だけで独立性が証明されたとはしません。
具体例で確認
病変の診断予測に、診断後に確定した治療情報を特徴として加えた仮想例です。
高成績でも予測時点の情報ではなくリークを疑います。利用時点の定義とデータ分割を見直します。
専門的にもう一歩
患者の重複、予測時点より後の情報、全データでの標準化・特徴選択、テストを見た閾値調整等が原因になります。分割を先に定義し、学習データだけで前処理を適合して評価側へ同じ変換を適用します。交差検証でも各訓練分割内で適合させます。パイプラインだけで患者重複や未来情報を自動的に解決するわけではありません。
臨床・測定での確認点
- 患者・施設・時点の独立性を確認します。
- 前処理のfitを訓練側だけで行います。
- 閾値とモデルを決めた後に最終評価します。
覚えるポイント
- 利用不能情報の混入。
- 分割前の前処理。
- 患者・時点の管理。
間違えやすい点
- 個人情報漏えいだけを指す語ではありません。
- 教師なし変換にも起こり得ます。
- 単なるデータ数増加で解決するとは限りません。