コミュニケーションからAI・ブロックチェーンまで　LINEが10年間で歩んできた道

「LINE」をリリースしてから約10年

Euivin Park氏：LINEのCTOのEuivin Parkです。LINE DEVELOPER DAY 2021に参加していただき、誠にありがとうございます。今年（2021年）のLINE DEVELOPER DAYも、オンラインでの開催になりました。

なので、オンラインのメリットを活かして、ふだんはなかなかお見せできない、LINEの社内のカフェにみなさんをご招待します。

さて今年、2021年はLINEをリリースしてから10年です。それで今日は、この10年間を少し振り返りたいと思います。こちらの画面、みなさん見覚えありますでしょうか？　リリースされた2011年当時のLINEアプリです。懐かしいですね。その時のエピソードを1つ話しますと、当時私たちは、モバイルアプリとしてのメッセンジャーの可能性を信じていましたが、ほとんどのユーザーが携帯メールで十分満足していた時期でした。

なので、アプリ同士のメッセージ機能だけでなく、携帯メールともやり取りのできる機能を提供しようと、リリースまで本当に時間が足りなかったのにもかかわらず、みんなで本当にギリギリまでがんばった記憶があります。

アプリユーザーは携帯メールユーザーとコミュニケーションができるので、より気軽にLINEを始められるようになり、携帯メールユーザーもLINEに触れるきっかけになって、LINEのつながりがより自然に拡大したんじゃないかと思います。このように、LINEはユーザーニーズを見逃さず、ユーザーが何を必要にするのかを第一に考えながら、サービスを改善しようとがんばってきました。

その後もユーザーニーズに応えるために機能を追加して、10年経った今は、グローバルで約2億のユーザーに使ってもらえるサービスに成長しました。そしてニュース、動画、音楽、ゲームなどのコンテンツをもっと楽しみたいというユーザーニーズを読みながら、さまざまなサービスへも挑戦してきました。

その結果、このようにいろいろなメディアやエンターテインメントサービスが成長して、例えば日本のLINE NEWSの場合は月間154億PVのサービスになっています。2014年にはLINE Payがスタートし、Fintechにも挑戦し始めました。その後もLINE証券などのサービスを出し、2020年にはタイ、今年は台湾、インドネシアで銀行もオープンしました。

その中で1つ、タイの銀行のLINE BKは、サービススタートからたった約1年で330万人以上のユーザーに登録してもらっています。さらにはLINEギフトなど、コミュニケーションと関係が強いEコマースの分野でも、ユーザーのみなさまによりすばらしい体験をしてもらえるように、サービス開発を進めています。

もちろん、すべてのサービスが成功したわけではなく、これまでたくさんのサービスがクローズしました。しかしながら、ユーザーニーズがあるところには必ずチャンスがあると考えて、失敗を怖がらず、たくさんチャレンジしたこと。それこそが我々の蓄積したパワーじゃないかと思います。

LINE Platformの規模を表すいくつかの指標

サービスのチャレンジに合わせて、LINEのプラットフォームも巨大なものになりました。その規模を表すいくつかの数値を見てみましょう。

まずは秒間40万リクエスト。これはLINEのメッセージのやり取りのピーク時の数値です。LINEの中で非常に多くのコミュニケーションが交わされていることがわかります。

またユーザーがやり取りしているイメージや動画などのメディアデータ量は、1日で11ペタバイトになっています。

次に、こちらの数値はLINEのユーザー同士のつながりを表すノードのリンク数で、約720億となっています。みなさんが、多くのユーザーとつながりあっていることがわかります。

最後に248万、これはLINEで開設されているチャンネルの数です。サービスのアカウントやLINE公式アカウントなどがここに含まれていて、非常に多くのビジネスが、このLINEのプラットフォーム上で動いていることがわかります。

このように、LINEがコミュニケーションやビジネスプラットフォームとして非常に大きくなっているので、信頼性の担保が何より非常に重要です。そのため、このデータ量や急激なリクエストの状態に耐え得る分散システム技術の開発にずっと注力してきました。

LINEが投資してきた技術

さらにこの10年間、さまざまな技術にも投資をしてきました。いくつか紹介しましょう。音声動画通話のVoIP技術や動画ストリーミング技術にも積極的に投資をしながら、サービスの品質を改善し続けてきました。クラウド技術についても2016年からOpenStackベースの独自プライベートクラウド「Verda」を運営し始めました。ブロックチェーン技術にもいち早く注目して、2018年から研究を続け、2020年には「LINE Blockchain Developers」として、ブロックチェーンのプラットフォームを本格的にスタートさせました。

このLINE Blockchainの戦略については、後ほど詳しくお話しします。そしてLINEの多くのプラットフォームのデータを、大量に効率良く、そしてガバナンスの効いた状態で管理・利用するために、1つの大きなData Platformを構築することにも取り組んできました。

このData Platform、我々はInformation Universe、略してIUと呼んでいますが、このIUの上で、現在290ペタバイトのデータが蓄積されており、さらに毎月約10ペタバイトずつ増え続けています。その集められたデータをML技術に応用するために、共通の機械学習プラットフォームも構築しています。

共通の基盤を作ることで、サービス横断で巨大なモデル作りが可能になっています。さまざまなサービスから最大8,000万ディメンションの特徴量を集め、より精度の高いアウトプットを得ることができます。このように、ML技術を積極的に利用できる環境のおかげで、ユーザーにより便利なサービスをより素早く提供できるようになりました。

簡単にですが、ここまでLINEの10年を振り返ってみました。より良いサービスを作るために、技術へのチャレンジをしたり、いろいろなサービスをオープン・クローズしたり、たくさんのトライ＆エラーを繰り返してきて、本当にこの10年があっという間に過ぎた気がします。

LINE CLOVAが目指す「ハイパースケールAI」の構築

ここからはOpening Keynoteのメインテーマとして、HyperCLOVAとLINE Blockchainの戦略について紹介します。

先ほどお話したData PlatformはLINEの社内のためのプラットフォームでした。それとは別に、より汎用的でLINE社外のエンジニアのみなさまも利用できるAIプラットフォーム、HyperCLOVAの開発を今NAVERと協力して進めています。まずはそのHyperCLOVAについて、そしてLINEのブロックチェーン戦略についてそれぞれ紹介します。

砂金信一郎氏：AI事業責任者の砂金です。私からは、LINEが取り組んでいる「ハイパースケールAI」の構築を目指すプロジェクトについて紹介します。

これまでのAI開発は、それぞれの業務要件に合わせて個別に最適化した比較的小さな規模のモデルを、その都度構築するアプローチが一般的でした。最適化することで性能は担保しやすいのですが、モデル構築をする専門スキルを持ったモデラーの確保が、ボトルネックとなっていました。

そのような中、世界のAI研究開発に目を向けると、GPUの性能が向上し大規模なクラスタを比較的利用しやすくなってきたこともあり、自然言語処理において、OpenAIのGPT-3やGoogleのT5、Hugging Faceというような大規模汎用言語モデルを構築する動きが出てきています。

そこで、LINEとNAVERの共同研究体制で進めているLINE CLOVAにおいても、700ペタフロップスを超える大規模なGPUクラスタを確保し、日本語・韓国語での大規模汎用言語モデルを中心とした「ハイパースケールAI」の構築を開始しています。それが、HyperCLOVAです。

2020年のLINE DEVELOPER DAYにおいて、日本語での大規模汎用言語モデルに関する発表を行い、日本語・韓国語でのモデル構築に取り組んできました。大規模汎用言語モデルにおいては、言葉同士の関連性を示すパラメータの数が非常に重要になるのですが、まずは日本語・韓国語において、それぞれ1.3ビリオンから徐々に規模を拡大し、現在は39ビリオンのモデル構築に成功しています。

シンプルに学習データを集めてパラメータ数の多いモデルを構築すれば良いという話ではなく、あとで述べる技術的な課題をクリアしながら、少しずつ規模を大きくしていっています。比較的安定している39ビリオンのモデルで、応用の可能性を検討しているのですが、並行して複数の言語を扱う82ビリオンモデルの構築にチャレンジしており、2022年には204ビリオンパラメータの日本語モデルを構築する予定です。

なお、学習用のコーパスは、外部提供を含めて汎用的に利用できるよう、権利関係に最大限の配慮をしながら整備を続けています。みなさまがLINEで送受信されるメッセージはもちろん、オープンチャットのトークルームの書き込みなどを含め、LINEのサービスに関するデータは一切利用していません。

HyperCLOVAを利用したデモ

さて、このHyperCLOVAで何が実現できるのでしょうか。我々が今応用の可能性を探っているのは、要約、文書生成、対話などの分野です。ここでは文書生成と対話について、実際に動いているHyperCLOVAを利用したデモをご覧いただきたいと思います。

まず、HyperCLOVAをGUIで操作できるHyperCLOVA Studioを用いて、商品の概要から説明文を生成させるタスクを行ってみたいと思います。HyperCLOVAに作文させるには、お手本として「こういう条件の場合には、こういう文章を生成する」というサンプルを人間が作成します。この作業をプロンプティングと呼んでいますが、このお手本の与え方次第でHyperCLOVAの出力が大きく変わるため、扱うには若干のコツが必要です。

実行すると、説明文が生成されました。もう少しおもしろい説明文を生成したいので、Temperatureを高めに設定して、再度実行してみます。どうでしょうか。先ほどよりも良くなりました。ただ最後の文章は良くないので、もう一度生成させてみます。また違った文章になりました。

次に「ほんのり酸味」という言葉から始まる説明文を生成してみます。ちゃんとつながる文章が生成できました。次にRepetition penaltyを下げて長めの文章を生成してみます。先ほどよりもおもしろい表現の説明文になったと思います。このように、ちょっとした文章生成が自動化されると、例えばECの領域で商品説明文を自動生成したり、パーソナライズされたメッセージを個別に作成したりすることもできそうですね。

キズナアイのデモ

次に対話のデモを見ていただきたいのですが、その前に仕組みを簡単に紹介しておきます。いくつかの技術を組み合わせて実現しているので、どこでHyperCLOVAが使われているのか、少しわかりにくいかもしれません。等身大のキャラクターと音声で会話をするデモになるのですが、まず音声認識でテキストに変換し、HyperCLOVAをベースとした対話モデルへの入力としています。

HyperCLOVAが、この入力に対する返答としてもっとも自然と考えられるフレーズを抽出して発話しています。こちらのデモは、Kizuna AI株式会社に全面協力していただき、ふだんはゲーム開発を担当しているLINE Studioで開発しました。

それでは、実際にやってみましょう。さっそく始めてみましょうか。

砂金：こんにちは。

キズナアイ：はいどうも。キズナアイです。よろしくね。

砂金：誕生日と身長を教えてください。

キズナアイ：誕生日は6月30日です。身長は156センチメートルだよ。

砂金：今は私たちはオフィスのカフェにいますね。

キズナアイ：そうだね。ここから見える景色はきれいだね。

砂金：はい。今日はLINEのカンファレンスで、人工知能についての話をしています。アイちゃんは人工知能についてどう思いますか？

キズナアイ：人工知能の力で、世の中が便利になったらいいね。

砂金：はい。アイちゃんもぜひ最後まで聞いて行ってください。

キズナアイ：うん。私たちの未来についてだし、楽しみにしているね。

砂金：ありがとう。またね。

キズナアイ：うん。See you.またね。

砂金：いかがでしたでしょうか。バーチャルタレントのライブ配信だけでなく、ゲームやアニメのキャラクター、あるいはリアルな人間に近いバーチャルヒューマンのような取り組みとも、相性が良いのではないかと考えています。

（後半につづく）