モデルの見直しは不可欠
モデルのリスクを最小化するために、OCC 2011-12では最低でも1年に1回モデルの有効性を評価するためのレビューを実施することを推奨しています。このレビューは、モデル構築に携わった分析者や日ごろモデルを利用しているユーザー以外の第三者により実施されることが望ましいとしています。効果的な評価を行うためには、以下の3つの観点が含まれている必要があります。
- モデル構築の健全性…モデルの設計や構築時の証跡取得やドキュメンテーション、テストの実施など、一連のモデル構築プロセスの品質に関する評価
- 継続的なモニタリング･･･構築したモデルが正しくシステムに実装され、当初意図した性能を発揮し続けているかなど、モデルのパフォーマンスに関する評価
- 結果に関する分析･･･バックテストなどの実施によって、モデルの出力結果と実績が一致しているかなど、モデルの精度に関する評価
この基準を不正検知モデルに当てはめると、具体的には以下のような作業を行うことになります。
-
モデル構築の健全性
・不正検知モデルのロジックや、モデルで使用する加工変数の作成方法が適切に定義されているかについての検証
・不正検知モデル作成時の分析に使用した元データに関する説明、閾値（取引回数や金額など）の妥当性の評価とシミュレーション結果をまとめたレポートの作成
・不正検知モデルの見直し等の運用ポリシーを含めたドキュメンテーション -
継続的なモニタリング
・不正検知モデルからのアラート数、最終判断結果（アラートが実際に不正であったかどうか）をまとめたモニタリングレポートの作成
・アラート発生状況や最終判断結果の精度がモデル構築時と乖離がないか、モデルが陳腐化していないかの確認
・新たな不正の手口によるリスクの考察 -
結果に関する分析
・半年から1年程度でモデル全体の見直しを実施
・不正検知モデルのパラメータ・チューニングによる精度の改善、新たな手口の分析に基づくモデルの入れ替え
・検証結果のドキュメンテーション
このように列挙すると、効率性を高めるためにモデルを導入したのに、こんなにも多くのことをやらねばならないのかと感じるかもしれません。いきなりすべてを満たすことは難しいですし、内部に適切な有識者がいない場合もあるでしょう。まずは、モデルのメンテナンスが必要であるとの意識を持つことが重要です。その上で、できるところから取り組みを開始し、時には我々のような外部のコンサル等を使いながら、一歩一歩モデル管理の水準を向上させていけばよいのだと思います。
次回は、金融機関における様々な不正のタイプを挙げながら、それぞれに対しどのようにデータ分析の戦略を立てるべきかを解説します。
参照1: Supervisory Guidance on Model Risk Management (OCC 2011-12)
