迅速なサービス開発になくてはならないプライベートクラウド　「Verda」を運営するネットワーク開発チームの取り組み

市原裕史氏の自己紹介

市原裕史氏：私からは、はじめにLINEのインフラ組織全体の話を紹介していきたいと思います。

まず自己紹介ですが、私はLINEに2018年に入社しました。当時はソフトウェアエンジニアとして入りましたが、2021年7月にエンジニアリングマネージャーとしてネットワーク開発チームという組織をリードすることになり、今もマネージャーを続けています。

みなさんご存じのように、たくさんのサービスが今LINEから提供されていますが、それらのサービスはほぼすべて、私たちインフラ組織によって管理されているインフラで動いています。

インフラ組織の構成

このインフラの全体の組織は、今表示しているような構造になっていて、ITサービスセンターというのが日本側のインフラ組織です。これとは別に、韓国側にもITサービスという組織があり、そこにはほとんどクラウドに関するチームしかないのですが、総勢192名という、かなりの数で組織が運営されています。

このITサービスセンターの中には大きく4つの組織があり、1つが私が所属しているLINEのPrivate Cloud「Verda」を管理しているVerda Platform室です。

また、オフィスのネットワーク、データセンターからインターネットに出ていくネットワークまで、すべて管理しているネットワーク室。

ほかには、LINEのデータセンターのサーバーや、サーバーの上のカーネル、そのサーバーを動かすためのツールなどを管理してるシステム室。また、LINEのすべてのデータベースを管理しているデータベース室などが、このITサービスセンターの中に存在します。

LINEの全体のインフラの構成は、基本的にはMulti-RegionでMulti-AZ構成になっています。大きくは東京・大阪・シンガポールで運営されており、東京にはMulti-AZとして3 availability zonesを用意しています。

ネットワークデバイスは、全部合計するとすでに1万台以上存在しており、それを収容しているラック数も今3,700を超えるところまできています。

また、すでにRegionを拡大する計画が複数あり、これからどんどんとこのインフラの組織は拡大していくと考えています。

ニューイヤーイベントで通常の倍に増えるトラフィック

次に、LINEの中で特徴的な通信のトラフィックについて紹介させてください。LINEが一番使われるタイミングは、みなさんいつだと思いますか？　それは、やはりニューイヤーイベントです。

やはり新年を迎えるに当たって、家族や友だちに対してLINEメッセージで「あけましておめでとう」とか「HAPPY NEW YEAR」という言葉を送ったり、スタンプを送ったり、そういうトラフィックが爆発的に増えます。

なので、LINEの社内ではこのLINEのニューイヤーイベントに対して3ヶ月以上前から入念に準備しています。（スライドを示して）今出している図は、私たちネットワーク開発チームが管理しているLoad Balancerクラスタの、ある1つのクラスタのトラフィックです。新年を迎える前に比べて新年を迎えた瞬間が、90Gbpsくらい一気に跳ねています。

つまり倍です。倍のトラフィックが、ニューイヤーイベントでいきなり発生します。ここまでがLINEのITサービスセンターに関する紹介でした。

プライベートクラウドプラットフォーム「Verda」

続いて、私たちPrivate Cloudの組織であるVerdaについて紹介させてください。Verdaとは何か？　いわゆるPrivate Cloud Platformのことを、私たちはVerdaと呼んでいます。この上でほとんどすべてのLINEサービスが動いています。

私たちは大きく2つのVerdaクラスタを持っています。プロダクション用のVerdaと、LINEの開発者が自由に開発できる環境であるVerda Devという環境です。

Verdaのスケールを、このスライドで紹介します。LINE全体で見ると、フィジカルサーバーに関しては7万台以上、また、CDNを含めたピークユーザートラフィックは3Tbps以上です。

その中でVerdaが担っているBaremetalサーバーが4万5,000台以上。ハイパーバイザーが7,600台以上。その上で、バーチャルマシンがもうすぐ10万台を超えそうな状況です。このイベントの前に超えてくれていたら、ここで大きな数字が出せたのですが、まだ9万9,000台ということで、日々ここの台数は増え続けています。

では、私たちがVerdaでどういうサービスを提供しているか。今、Public Cloudでメジャーに使われているサービスをかなり網羅していると思います。

もちろん、有名なPublic Cloudほどはサービスはありませんが、このVerdaの上でLINEのデベロッパーが開発をして、開発したプロダクトをサービスとして運営できるだけのサービスを、私たちはVerdaで提供しています。

その例として、このVerdaのダッシュボードを今お見せしています。このように、Verdaのダッシュボード上でコンピュートリソースとしてサーバーを選べたり、コンテナリソースとして、KubernetesクラスタをVKSという名前で運営しています。そのほかにも、ネットワークであったり、データベース、ストレージなど、これらのサービスをあたかもパブリッククラウドのダッシュボードのように表示して、LINEの開発者たちに使ってもらっています。

ここに表示してあるものが主なサービスの一覧です。IaaSレイヤーと、このロゴマークはOpenStackのロゴマークですが、基本的にはオープンソースのIaaSコントローラーであるOpenStackをベースにして、IaaSは構築されています。

ストレージはCephを使い、一部のサービスである、Baremetalサーバー、LoadBalancer、NAT as a Serviceなどは私たちがプロプラエティに開発・提供しています。

また、そのIaaSの上ではマネージドサービスが動いており、DB系、Kubernetesの上にはさらにPaaSレイヤーがあり、Knativeを使ったFunction as a Service、CI／CDを提供しているサービスなど、いろいろなサービスをVerdaの上で提供しています。

Verda運営を支えるそれぞれのチーム

このVerdaを作るに当たり、非常にたくさんのチームが存在します。細かくは説明できませんが、例えば本日も発表に来ているPlatform Iチーム。これはOpenStackを管理しているIaaSチームです。

Kubernetesを管理しているPlatform Kチーム。あとは私が所属しているネットワーク開発チーム。ほかに例えばVerda Reliability Engineeringチームは、Verdaの上でReliabilityの責任を持っているチームです。

こういったように、たくさんのチームの中でVerdaは作られて運営されています。この発表の前に数えたのですが、総勢85名がVerdaのメンバーとして働いています。

Verdaは、すごく外国籍の方の割合が多く、オフィシャルランゲージがチームごとに異なっています。例えばですが、日本側のチームですが基本的に英語のみを扱うPlatform Iチーム、Kチーム。私のチームは日本語と英語両方を扱っていますが、基本的にミーティングでは英語を使っています。

韓国側だと、やはり韓国語のみのチームもたくさんありますが、コミュニケーションには特に困っていません。なぜならドキュメントはすべて英語で書いてあり、話す必要があれば、LINE社内に通訳の専門チームがあるので、気軽に通訳の人をミーティングにアサインして、コミュニケーションを助けてもらっています。

Verdaのテクニカルスタックをいくつかここに並べてみました。これに収まらない数の技術スタックを使ってVerdaは構築されています。

Private Cloudを運営する上で一番重要なのは「速度」

最後に、なぜPrivate CloudとしてVerdaを私たちが運営するのか。例えば、Public Cloudになぜしないのか？　ということに関しては、ここに私の答えが書いてあります。

私たちはアプリケーションデベロッパーと一緒にコミュニケーションしながら、彼らが必要なインフラリソースを提供できます。

そこの速度感は、やはり普通にPublic Cloudを使っていては得られません。また、アプリケーションデベロッパーがインフラに関して何か困ったことがあった時の応答速度ですね。そういうものは、やはりPrivate Cloudを運営していく上で一番重要なポイントになると、私は考えています。Verdaの紹介は以上です。

ネットワーク開発を担う「NetDevチーム」

次に私がマネジメントをしているネットワーク開発チーム、通称NetDevチームに関して説明します。

NetDevチームは、LINEの中にあるITサービスセンターのさらに下にあるVerda Platform室という組織の中の1つのチームとしています。

Verdaでは、SDNデザインであったり、ネットワークファンクションサービスであったりを提供しています。先ほどのダッシュボードで言えば、ここの赤点線にあるものです。CDNは違いますが、DNS、LoadBalancer、Internet Gatewayは、私たちが提供しています。

「NetDevチーム」が提供しているプロダクトの紹介

私たちのプロダクトについて細かく紹介していきたいのですが、とても話が長くなってしまうので、概要と、プレゼンテーションのリンクをたくさん付けました。興味がある方は、そのリンクをたどって過去の発表を見てください。

今スライドに表示しているのは、私たちが作っているCLOS Network Contorollerに関してです。Private Cloudは、すべてCLOS Networkの上で構築されていますが、そのCLOS Networkを管理するツールを提供しています。

すべてのリソースはKubernetesの上で管理されており、すべてのCLOSスイッチの情報がetcdに格納しています。各スイッチにデプロイされているエージェントが、そのetcdをウォッチして、自分に必要な変更をプルして、自分が乗っているスイッチに対してコンフィグレーションするというモデルになっています。

次に、LoadBalancer as a Serviceについて紹介します。私たちはLoadBalancer as a Serviceもすべて自前で作成しています。例えばL4 LBは、XDPを使って提供していて、TLSターミネーションを司るプロキシサーバーであるL7 LBは、Kubernetesの上でHAproxyで実現しています。

次にDNS as a Serviceですが、大きく2つ、DNS AuthサーバーとDNS Cacheサーバー、両方とも私たちのチームが提供しています。

次にInternet Gatewayと呼んでいる、インターネットにアクセスする時のNAT Gateway Serviceです。こちらもすべてKubernetesの上に乗っていて、各NATサーバーはNFVサービスとしてVMで提供されていますが、そこで動いているエージェントがKubernetes上から引っ張ってきた情報をetcd経由で取得して、NATサーバーにNATの情報や、ルーティングのコンフィグレーションを設定して、各ユーザーのサーバーに対してNATのソリューションを提供しています。

次にPrivate Network機能です。これはいわゆるAWSのVPCのような機能で、LINEの中で複数のオーバーレイのネットワークを作れる機能です。

これは、OpenStackのNeutronをカスタマイズして構築しています。セットで利用されるNFVサービスは、すべてKubernetes上のCRDやカスタムコントローラー、いわゆるKubernetesオペレーターですべて構築されています。以上が私たちネットワーク開発チームが開発・運営しているプロダクトです。