たけ♪

【お題】

【緊急メンテナンス終了のお知らせ】 本日12:10頃より、サービスを再開いたしました。 昨晩から本日にかけて、配信・視聴をお楽しみいただけない状況となってしまい、ご迷惑をおかけした皆さまに心よりお詫び申し上げます。 ■ イベント延期・補填・仕組み変更のまとめ [ パール杯 ] 40↑ / 45↑ / 50↑ 部門のみ、終了時刻を24時間延長 [ ワンフレーズ ] 投票期間を 4/2 12:00〜4/3 23:00 に変更 [ リーグリセット ] 今月末、全員リセット幅を一律2段階軽減 [ 仕組み変更] パール杯の結果発表・昇格戦・各ランキングへの反映と通知を各締め時間の3分後に変更 パール杯については、全体の延期は行わず、障害発生タイミングとイベント終了時刻が重なっていた 40↑ / 45↑ / 50↑ 部門のみ期間を延長いたします。 ご予定を合わせてご参加いただいていた皆さまには、ご不便・ご負担をおかけしましたこと、重ねてお詫び申し上げます。 ■ 原因 今回の事象は、直近のユーザー増加に伴い配信視聴・タイムラインの処理に負荷が集中し、共通のデータ処理基盤において処理能力の限界を超えたことで発生いたしました。 ■ 主に実施した対策 【配信中のスコア処理の最適化】 配信中のライブスコアや昇格戦スコアなどの計算処理を最適化し、サーバーへの負荷を軽減しました。 これに伴い、パール杯の結果発表・昇格戦・各ランキングへの反映や通知は、各締め時間の 3分後 となります。 なお、ギフトのタイミングを含め、配信中の体験への影響はありません。 【イベントスケジュールの調整】 ワンフレーズについては、投票機能自体に問題はありませんでしたが、ワンフレーズ期間中は配信者数・視聴者数が増加し、同様に配信数がやや増えるパール杯と重なることで、全体負荷が高まりやすい状況となるため、実施タイミングを調整いたしました。今後もその方針とします。 【高負荷時の安全装置の整備】 タイムラインに関連する処理も負荷が高くなりやすいことが確認されたため、障害発生時などにアクセスが集中した場合でも安定性を保てるよう、負荷が高い状態になった際にタイムラインを軽量版へ切り替える仕組みを整備しました。通常時はこれまで通り表示されます。 ※ サーバーを含めた弊社システムの多くは、負荷に応じて柔軟に拡張（スケール）できる構成を基本としております。 今回の原因となった共通のデータ処理基盤につきましては、これまでは処理能力に一定の余力があったこともあり、必要な費用・リソースを最大限に投入して随時増強を行うことで、十分に対応可能と判断しておりました。 一方で、現在の基盤は単純な増設に比例して処理能力が伸びる構造ではないため、いずれ限界を迎えることを見据え、もともと5月までを目処によりスケーラブルな新構造への置き換えを予定しておりました。 しかしながら、私たちの想定をはるかに上回るペースでユーザー数およびデータ量が増加した結果、新構造への移行を前に余力を使い果たしてしまい、今回の事象に至ってしまいました。 現在は、単純な増設のみで即時に解決できる状況ではないため、まずは負荷分散や処理の最適化による対応を行っております。並行して、構造自体の根本的な見直しを最優先で進めており、数週間以内にさらなる安定化を図ってまいります。 今回のような大規模なメンテナンスを伴う事態となり、ご利用の皆さまに多大なるご不安とご不便をおかけしましたことを深くお詫び申し上げます。今後は同様の事象を未然に防げるよう、より一層の改善と対策に努めてまいります。 なお、本対応につきましては十分に検証のうえ反映しておりますが、広範な変更を伴っているため、万が一不具合などお気づきの点がございましたら、お知らせいただけますと幸いです。 速やかに確認・対応を行ってまいります。