容量の閾値越えアラートが日常化する運用現場
これはX社の情報システム部で見かけたワンシーンです。何やらシステム管理者のAさんとBさんが話しています。
A「ん？ 受注システムのディスク使用率でアラート（警告）が挙がっているな」
B「どれくらいの使用率になっているの？」
A「ええっと、ディスク使用率が85％、残り容量が15GBみたいだ」
B「いつものことだね。一時的な減少だから放っておいていいよ」
前例があるということで、運用監視ツールで検知したこのアラートは無視されましたが、その日に限ってディスク使用率がどんどん拡大し、わずか1時間後には使用率95％にまで達してしまいました。
A「どうしよう、もうディスク領域が僅かしか残っていないのに、まだまだ受注が止まらない。このままディスク使用率が100％に達したら、受注データの書き込みができなくなって顧客からクレームが入るぞ！」
B「今更ディスクの追加なんて間に合わない。こうなったら同一ディスク上の不要なファイルをどんどん消していくしかないな」
幸いにして、同一ディスク上にあった過去のバックアップデータを削除することで、何とかシステム停止だけは免れることができました。翌日、この情報システム部では直ちに受注システム向けのストレージ設定を変更し、該当ディスクの容量を拡大することで問題の解決を図りました。
後で分かったことですが、この会社では前日に広告を大量出稿しており、その影響を受けて通常の1.5倍以上の注文が発生していたそうです。
