モデルのメンテナンスをどのように行うべきか
不正検知を目的としたデータ分析プロジェクトでは、システムに実装するための不正検知モデルが最終的な成果物として出来上がります。次にそのモデルをシステムに実装し、いよいよ運用が始まることになるのですが、ここでいくつかの疑問が湧いてくることになります。データ分析プロジェクトで構築したモデルは永遠に使い続けてよいものなのでしょうか？もし見直しを行うのであれば、どのくらいの頻度でモデルの見直しを行えばよいのでしょうか？またどのような場合にモデルを交換しなければならないのでしょうか？
多くの金融機関では、規制当局対応として適切にモデルが運用されているか説明責任が生じます。日本に比べて業務に統計的手法の導入が進んでいる米国では、金融規制当局である通貨監督庁（OCC）と連邦準備制度理事会（FRB）が、2011年にモデルリスク管理に関する監督指針（参照1、以下OCC2011-12）を発表しました。この指針では、「モデル」とは何かを定義した上で、すべての銀行業務における、モデルの構築/実装/利用の開発プロセス、有効性の検証プロセス、運用ポリシーや内部統制などのガバナンスに関するフレームワークが示されています。この指針自体は米国内で銀行業務を行う企業を対象としたものですが、一般的な金融機関におけるモデル管理の考え方としても利用することができます。
「モデル」とは何か？
そもそも「モデル」とは何を指すのでしょうか？OCC2011-12ではモデルを以下の3つの機能を指すものとして定義しています（図1）。
- 入力（Input）…モデルの入力データ項目に関する部分
- 処理（Processing）…入力データ項目を推定値に変換する数式やロジックの部分
- 出力（Output）…推定値を理解しやすい表やグラフなどの業務情報として表す部分
従来は「処理」の部分のみがモデルとして捉えられることが多かったのですが、近年は「入力」と「出力」の部分についても重要視されるようになりました。いくら数式やロジックが適切であっても、仕様どおりの適切なデータをモデルに入力しなければ意味のある結果は得られません。またモデルから出力された推定値をレポートにまとめる際に、表やグラフの作成方法に間違いがあれば、ビジネス上の判断を誤ることにつながります。近年はこれまで以上に幅広いスコープでモデルを捉えることが求められるようになっているのです。
システム実装後にモデルを放置してはいけない
モデルは従来ヒトが行ってきた業務判断を最適化・自動化するものですが、過度な依存にはリスクが存在します。これまでに筆者は、モデルがシステムにはじめて実装されたときから一度も見直しが行われていないケースや、度重なる人事異動で現在の担当者がどのようなロジックでモデルが動作しているのか理解していないケースに遭遇したことがあります。このような状況は決して健全とは言えません。モデルはどのような状況においても必ずパーフェクトな解を導き出すわけではないからです。OCC 2011-12では、モデルの利用に関して2種類のリスクが存在しているとしています。
-
モデルそのものに誤りが含まれているリスク
・データ分析プロジェクト実施時の前提条件の置き方や、分析手法の用い方に誤りがある場合
・モデルをシステムに実装する段階で、誤った設計やプログラム開発を行ってしまう場合
・モデルの入力となるデータの品質が悪く、不正確な結果が出力されてしまう場合 -
モデルを不適切に利用するリスク
・マーケットの状況が変わり、顧客の行動が変化したことによって、モデル構築時から環境が大きく変化し、モデルが精緻な推定値を出力するための前提条件がすでに成立していない場合
長年、不正検知システムから出力される「不正無し」という結果に慣れてしまうと、モデルは正常に動作している、と都合良く解釈してしまいがちです。しかし、適切なモデルの見直しが行われていない状況では、実はモデルが誤った結果を出力し続け、多くの不正が見過されてしまっているリスクがあるのです。
