ツールによる自動検証とアナリストによる状況分析
テストの実施も富士通側で行う。とはいえ、初回のテスト実行時に画面遷移フロー図をもとに操作パターンをスクリプトで定義する以外は、基本的にツールによって自動化されている。あとは、テストケースを機械的に読み込んで、そこに指定された条件に従ってシステムを操作し、出力された結果をチェックする。システムによって差はあるものの、平均して10分間に約500本のテストケースを消化できるという。
基本的に作業は端末側の環境で行われるため、顧客企業がテストツールを自社システム内にインストールしたり、システムに何らかの手を加えたりする必要は全くない。一般的にすべてのテストケースを一度でクリアすることはできない。あるバグを修正すると、別のところでバグが発見されるということはよくある話だ。しかし、完全に自動化しておけば実施の負担を気にすることなく、毎回確実に全テストケースをこなすことができる。人間が実施する場合に比べて格段に効率的で、確実に品質を担保できるようになるわけだ。
テスト実施後は、結果とエビデンスをまとめたテスト結果報告書がテストケースごとにWord ファイルで提出されるほか、テスト全体の状況をまとめたレポートも提供される(図2)。これは、テスト対象、テスト観点、出来ばえの3 つの観点から現在のシステムの状況についてアナリストが分析した結果をまとめたもの。“どのくらい品質が悪いのか”“どこの品質が悪いのか”“どんなテストが不足しているのか”といった状況をカラーの3次元グラフで視覚的に表現することで、経営者が的確にシステムの状況を把握できるようにしている。
なお、実施が完了したテストケースについては、クラウド上のリポジトリに資産として保管することもできる。リポジトリ中にテスト資産が保管されている間は、利用者側は富士通に対してシステムに改修が発生した際の影響範囲の特定やリグレッション・テストの実施を依頼することができる。
「当社はミッション・クリティカルなシステムの品質について考え続けてきた。このサービスは、テストの網羅性、試験効率、試験環境や試験資材の再利用性、どれをとっても他に類を見ないものに仕上がったと思う。二度、三度と繰り返し使っていただければ、その利便性をより実感していただけるだろう」(楠本氏)。
特に、高い品質が求められるシステムやスケジュールに余裕がないプロジェクトについては、テスト工程をアウトソースすることによって得られるものも多いはずだ。今後、システムの品質がますます重要視されるようになる中で、富士通が先陣を切った格好だ。