こんにちは、@kunitです。
2月の後半に、GMOペパボ株式会社(以下、ペパボ)のホスティング事業部で開発・運営しているレンタルサーバーのサービス「ロリポップ」に対して、インシデントの対応訓練を行いました。どんな感じで実施したかをご紹介したいと思います。
訓練の目的
ペパボでは2018年の1年間をかけて、全社でセキュリティ強化の対策を行ってきました。
それに伴って導入した仕組みやフローをインシデント発生時に実際に正しく運用できるのか？ 現在のフローをより良くしていくためにどうしたらいいのか？というのを日頃から確認していこうというのが、インシデント対応訓練の目的です。
訓練のながれ
今回はホスティング事業部でははじめての訓練ということで、いきなり「なにか問題が起きているようです。さぁ、調べてください」といった形を取るのではなく、事前に訓練を行う関係者に対してこういう内容を行いますという情報共有を行い、インシデントが起こった際に「いつ」「誰が」「誰に対して」「どのような」「オペレーションを行うのか」ということを確認していくという形をとりました。
この形のものを今後も繰り返し行って、関係者の対応レベルが上ってきたら、内容を開示しない訓練に発展させていこうと考えています。
訓練は以下のような流れで実施しました。
- 訓練実施担当者が訓練のシナリオを作成する
- 作成されたシナリオを関係者に公開し、問題点や矛盾点がないか事前ミーティングを行う
- シナリオに問題がなくなった後、実施日を確定
- 実施当日にシナリオ通りに訓練を行う
- 訓練後、ふりかえりを行う
ペパボではインシデント対応時のマニュアルが整備されており、インシデントが発生した際にはこのマニュアルに従って対応が進められます。訓練でもそのマニュアルに従い、以下のような流れで対応を行いました。(実際にはもっと細かい手順がマニュアル化されています)
- 訓練実施担当者が訓練の開始をSlackの対応チャンネルで宣言
- 訓練実施担当者がシナリオで決められたインシデントを実際に発生させる(もちろん本番環境ではありません)
- 事前に決めておいたインシデントの対応担当者(以下、ハンドラー)にインシデントの発生を通知
- ハンドラーは上司に報告しつつ、調査チームを結成し、調査にあたる
- 調査の結果、どのように対応するかをセキュリティ担当が判断する
- セキュリティ担当の判断をもとに、社内/社外の対応を各担当が行う
連絡は Slack で行いつつ、リアルタイムの情報共有は@pyamaさんが社内向けに構築された情報共有ツール(CodiMDベース)のものを使って行いました。
Slackのみで行うと情報が流れていってしまうので、Markdownで書かれたメモをどんどん育てていくというやり方はかなり有用だなと感じました。
実際の訓練のときの印象
実際の訓練の対象者は日頃からロリポップを運用しているメンバーで、訓練とはいえ本番さながらの指示出しを行って、かなり緊張感のあるものになりました。
訓練の最中、「これってこういうふうにやったら効率良くなるんでは？」とか、「これって実際に起きたときにどう対処したらいいんだろう」みたいな議論も行われ、今後に繋がりそうな発見もいろいろあり、訓練を実施して成果があがったと思っています。
まとめ
今回はロリポップに対する訓練の内容をご紹介しましたが、ペパボで開発・運営している様々なサービスに対して引き続き訓練を定期的に実施していき、お客様により安心して使っていただけるサービスを目指していこうと思っています。