掲載日 2017年11月21日
発生日時 2017年11月15日 17:28 ～ 20:28
詳細内容 上記の日時に発生した、サーバー障害についてご報告いたします。

■発生日時
2017年11月15日 17:28 ～ 20:28

■障害内容
プログラムのアップデートをおこなった際に、想定外のサーバー高負荷が発生し、
サービス全体がアクセスできない状態となりました。

■復旧対応
緊急メンテナンスを実施し復旧対応をおこないました。

■障害原因
アップデートしたプログラムの不具合により、通常とは異なるパターンの読み込み処理が
大量発生したことで、データベースへのアクセスが増加しサービスが不安定な状態となりました。

サーバーが高負荷となったことを検知してすぐに、アップデート内容を戻す復旧対応を行いましたが、
症状が解消しなかったため、アクセス制御によりデータベースの負荷を低減することで
サービスを一部回復するとともに、原因究明の調査を実施いたしました。

調査の結果、一部の共通システムに関わる部分のアップデート内容が完全には前の状態に
戻っていなかったことがわかり、再度アップデート内容を戻す処理を実施したところ
急速に負荷が収束し、回復しました。

■再発防止
データベースへのアクセスに関わる改修について、十分な事前確認が行えるよう、
検証方法の見直しおよび改善などの再発防止対策をおこなってまいります。

また、障害が全体に波及しないような対策を行うとともに、今回、正常に前の状態に戻すことが
できなかった原因である、共通システムに関わる部分についても、アップデート内容を戻せるよう、
関連システムを改善いたします。


この度は長時間のアクセス障害により、ご利用中の皆さまには
大変ご迷惑をおかけいたしましたことを、心よりお詫び申し上げます。