プライベートクラウド「Verda」の紹介

市原裕史氏：では今からVerdaの紹介をしていきたいと思います。まずは私の自己紹介を簡単にします。市原裕史といいます。ITサービスセンターのVerda Platform室という組織でネットワーク開発チームのエンジニアリングマネージャーをしています。

「Verdaって何ですか？」ということなんですが、「Verda」というのはLINEの社内で持っているプライベートクラウドのブランド名です。私たちはVerdaと、Verda Devという開発用の2つの大きなクラスタを運用しています。

Verdaの規模感ですが、先ほど木村さん（木村智洋氏）から現在のLINE全体の規模感はAll Physical Serversが7万台以上、トラフィックが3Tbpsという話がありました。Verdaの上でコントロールされているベアメタルサーバーは46,000台、ハイパーバイザーは7,600台以上で、その上で10万台以上のVerdaのバーチャルマシンが動いています。

これがVerdaの規模感で、ヤフーさんに次いで日本でトップクラスのプライベートクラウドの規模感だと思っています。

「あけましておめでとう」で通常の倍トラフィックが跳ね上がる

次に私たちのトラフィックですね。特徴的なトラフィックを1つ挙げています。New yearイベントと私たちは呼んでいますが、2021年から2022年に年が変わる時に日本全国のみなさんが、LINEで「あけましておめでとう」と、送るんですね。

（スライドを示して）これが私たちのチームでホストしているロードバランサークラスタの1つです。定常時は45Gbpsですが、この年を跨ぐ瞬間だけ倍の90Gbpsのトラフィックに跳ねているのがわかると思います。こういうトラフィックが倍増しているクラスタがたくさんあって、大量のトラフィックを私たちのインフラで捌いています。

かなりの数のプロダクトをVerdaでホストしている

Verdaでホストしているサービスは本当にたくさんあって、パブリッククラウドに近づけるようにかなりがんばっています。もちろんAWSなどにはまだまだ及びませんが、開発者が必要とする機能をどんどん開発して、本当にパブリッククラウドに近い機能を提供するようにがんばっています。

これがVerdaのダッシュボードです。ここでわかるとおり、かなりの数のプロダクトをプライベートクラウドとしてサービスしています。これらがどう実現されているかというと、IaaSレイヤーはOpenStackというOSSを使っていて、ストレージはCeph。いくつかのコンポーネント、ロードバランサーであったりNATであったりは自分たちでフルスクラッチで作っています。

その上にManaged Serviceレイヤー。Kubernetesサービスも私たちが開発してホストしています。そのさらに上にPaaSレイヤーがあり、これもパブリッククラウドで提供しているものを私たちがイチからOSSなどを組み合わせて提供して作っています。

多数の外国籍のメンバーが在籍する組織

私たちの組織（Verda Platform室）にはかなりたくさんのチームがあります。例えば、OpenStackの開発を担当しているチーム、Kubernetes as a Serviceを開発しているKubernetesチーム、ほかにもロードバランサー、DNS、NATなどネットワークコンポーネントを開発しているチーム。

ほかに1つ特徴的なのが、Verda全体のReliability Engineeringチームです。クロスサービスでVerdaの信頼性を担保するチームです。他にも日本と韓国にまたがって、たくさんのチームがあります。VerdaはLINEの中でも特に多国籍なチームになっていて、そうなってくると出てくるのが言語の問題です。

各チームが何を第一言語として利用しているのかが、この表でわかります。例えば、OpenStackやKubernetesのチームは半分以上が外国籍で、ミーティングは全部English onlyでやっているので、ここのチームに入りたいのであれば英語が絶対にできないといけません。

私のチームは日本語と英語の組み合わせで、「基本的には英語をしゃべるように」としています。デイリーのミーティングは基本的に英語ですが、日本人が多いので日本人で集まった時は日本語を話します。いくつか言語の問題はありますが、もし英語がしゃべれなくても通訳チームがLINEの社内にいるのでミーティングの時は通訳者を設定して、コミュニケーションの問題に対応しています。

ただ1つ言えるのは、今後英語を使って仕事をしていきたいのであれば、ぜひうちに入ってもらって、英語での仕事にチャレンジしてみてほしいと思っています。

Verda開発で使われている技術スタックとは？

Verdaの技術スタックですが、ここのスライドに表現しきれないぐらい本当にたくさんの技術スタックを使ってVerdaを作っています。特徴的なのは、やはりインフラのレイヤーの開発組織になっているということです。ITサービスセンターの中でもどちらかといえば開発を主にする組織だと思ってください。なので、いろいろな言語やいろいろなOSSを使ってとにかくたくさん開発をします。

技術スタックの多くは、どちらかといえば低レイヤーです。代表的なものはLinuxのカーネルレイヤーで、例えば私のチームはKernelのソースコードへたくさんコントリビューションしていますが、業務上そういうOSSのコントリビューションも含めていろいろな対応をします。

パブリッククラウドでは出せないスピード感で価値を提供し続ける

最後に、なぜ私たちがプライベートクラウドを開発するのか。パブリッククラウドではなぜダメなのかというのを簡単に紹介します。私たちはLINEの社内にいるアプリケーションデベロッパーと一緒にタッグになって、LINEのユーザーに対してサービスを提供しています。そのために何が必要か、アプリケーションデベロッパーの人たちとコミュニケーションを取りながら、Verdaから新しいフィーチャーをデベロッパーの方に提供しています。

そのスピード感を一番大事にしています。パブリッククラウドでは出せないスピード感で提供して、LINEユーザーに対して価値を提供するというところを第一に私たちはプライベートクラウドを、今後も提供し続けるという価値観で進めています。ちょっと駆け足になりましたが、私からの発表は終わりにしたいと思います。ありがとうございました。

Published at