【米国企業視察レポート】前編|世界最高水準のネットワークインフラとは


こんにちは。Cygames インフラ統括マネージャーの佐藤です。

コンテンツ配信を行っている企業のネットワーク担当者であれば、世界最大のコンテンツデリバリネットワーク(CDN)事業者であるAkamai Technologies社(以下、Akamai)はご存知かと思います。

先日、Akamaiや同社のサービスを導入している米国の有名企業を視察する機会を得ました。Cygamesからは私を含めて3名が参加。各自の専門分野ごとに、グローバルな大規模配信、esports、品質管理などのテーマを持って臨みました。

Cygamesはすでに複数のタイトルをグローバル展開していますが、より多くのユーザーに、より快適にコンテンツを楽しんでもらいたいと考えています。そのために必要なインフラを構築するため、先行する米国のトップ企業を見学することにしたのです。

視察の行程は、ロサンゼルス(LA)にあるRiot Games社、ボストンのAkamai本社およびマサチューセッツ工科大学(MIT)のメディアラボを視察。さらに、ニューヨークではBAMTech社、Vimeo社、ROKU社のスタッフを交えた意見交換を行うなど充実した内容でした。今回は私が視察で得た知見をレポートします。

LoLの開発元・Riot Gamesのオフィスを訪問

Riot Gamesは、『League of Legends』(以下、LoL)を開発・運営している企業です。LoLと言えば1億人を超えるプレイ人口を誇るオンラインゲームであり、世界最大規模のesports大会を展開している超ビッグタイトルです。

akamai_01_riot

まずは、LA郊外にあるRiot Gamesの本社オフィスを訪問。12エーカーの広大な敷地内に、低層の建物が点在する形式で、アメリカ西海岸のIT企業らしい雰囲気です。

オフィス内で特に印象的だったのは、グローバル規模のシステムを集中監視するネットワークオペレーションセンター(NOC)です。ここでは同社の全システムのステータスをひと目で把握できるようになっています。

このNOCはフィリピンのマニラやアイルランドのダブリンにも設置されており、LA、マニラ、ダブリンのNOCのうち、常に2つを稼働させているとのこと。全世界のサービス状況を24時間体勢でモニタリングするために、3つのNOCをローテーションで稼働させているようです。

また、オフィスの敷地から道を隔てたところにある同社のesportsセンター(NA LCS Studio)も見学しました。ここの目玉は、400人の観客を収容できるラウンド型のスタジアム。複数台のカメラや階段状の観客席などを備えた、本格的なスポーツスタジアム仕様です。

NA LCS Studio内には、esports大会専用のサーバールームのほか、カメラや音響機材をコントロールする放送局さながらのマスタールームも設置されています。パリで開催された同時視聴者数約6000万人のesportsイベントでも、このマスタールームからカメラのスイッチングなどを行ったそうです。

パリからLAのある米国の西海岸まで、エンコーディングを含めて300ミリ秒という速さで映像を伝送可能だそうで、この部分にAkamaiのサービスが活用されています。ここまでの設備を自前で持つのは、「integrity」(完全性)を重視するRiot Gamesのこだわりを感じました。

世界中のサーバーを1拠点から監視するAkamaiのNOC

ボストンにあるAkamai本社でもNOCを見学させてもらいました。ここでは、世界中に設置しているエッジサーバーの稼働状況、各リージョン(地域)のネットワークキャパシティ、トラフィック量などのさまざまな情報がモニター表示されていました。

akamai_02_noc

驚いたのは、ワールドマップで各リージョンのステータスを確認できるだけでなく、マップを拡大表示していくことでエッジサーバーのクラスター、さらにはクラスター内の各サーバーのステータスまで確認できることです。ポーランドやインドにも同様のセンターがあり、複数のロケーションから監視しているそうです。

ちなみに、私たちがAkamaiを訪れたのは、同じ週にEpic Games社の『Fortnite』がリリースされたタイミングでした。人気タイトルのリリースということで世界中で多くのユーザーが一斉にダウンロードしました。この時も平常時よりかなり高いトラフィックが動いていましたが、異常値を示すステータスはなく、センターは平穏そのもの。Akamaiのネットワークキャパシティの大きさを実感しました。

CygamesにおけるAkamai CDN活用の現状

最後に、当社の本各スマホカードバトルゲーム『Shadowverse』の運用におけるAkamai CDNの利用方法について少し紹介したいと思います。

Shadowverseは世界150カ国以上に配信しており、4カ月に1度、大型アップデートを行って新規カードパックを配信しています。この大型アップデートのタイミングで、下図のように平常時の何十倍という膨大なトラフィックが発生します。毎回、これに備えてAkamaiにネットワークキャパシティを確保してもらうことで、サーバーをダウンさせることなく配信できています。

akamai_03_load

このほか、API通信などのオリジンサーバーに対するデータサイズが小さい通信に対してもAkamai CDNを利用しています。その理由のひとつは、ネットワークの最適化を行うAkamai独自のソリューション「SureRoute」を利用するためです。SureRouteを利用することで、最短のネットワーク経路を選択し、海外からのリクエストにも低遅延でのレスポンスが可能になります。

もうひとつの理由は、DDoSなどの攻撃対策のためのセキュリティソリューションです。Akamaiのセキュリティソリューションはエッジサーバー上で防御を行うため、エンドユーザーに近いところで効率的に対策できる点を評価しています。

このようにアップデートファイルのダウンロードなどの大容量な静的コンテンツでは「スケーラビリティ」を目的として、API通信では低遅延の実現とセキュリティの確保を目的としてAkamai CDNを利用しています。

また、大容量な静的コンテンツとAPI通信でコンフィグレーションを分離することにより、それぞれの通信が影響し合わないようにしています。例えば、大型アップデートで想定以上のトラフィックが発生しエラーや一時的な輻輳が発生したとしてもAPI通信には影響を及ぼさず、対戦中のお客様のプレイに支障が出ないような設計にしています。

最後に

今回の視察では、Cygamesのコンテンツをより多くのユーザーに届けるために、ネットワークインフラをどう構築していくべきか、世界のトップ企業からノウハウや知見を得ることができました。

この度、Shadowverseで大規模向けセキュリティソリューションを導入し、BoTやDoS攻撃の影響を低減していることなどが、Akamai社に認められ同社が制定する「カスタマーアワード」の1つをCygamesが受賞しました。弊社の取り組みが認められ大変うれしく思います。

とはいえ、私たちが目指しているのは、より多くのユーザーを楽しませることです。今後も楽しく快適にプレイしてもらうことを目標として、日々の作業に取り組んで行きます。

Cygamesでは、ユーザーに最高のコンテンツを届けるため、一緒に活躍してくれるメンバーを募集しています。興味を持っていただけた方はこちらをご覧ください。