LINEのAI領域が描く未来　研究が事業を作る世界がやってきた

Digital Me

まず最初のDigital Meです。先ほど申し上げましたようにDigital Meは、我々自身をデジタルで表現して利用する技術コンセプトを表しています。我々のデジタルクローンがバーチャル空間におかれると、どんなことが起きるでしょうか？　考えられる2つの未来サービスをこのあとのスライドで示したいと思います。

Digital Meの1つの具現化が、Digital Identityです。KYCとは、Know Your Customerの略です。直訳すると顧客認証という意味になります。プライバシーを保護した安全なデジタル処理基盤の上に個人認証をAIで行うサービスが今後重要になってくるでしょう。

本人確認は今、窓口で顔認識と紙の証明書で行われていて、一部マイナンバーカードの電子証明書が使われ始めようとしているところですが、まだ浸透はしていません。これからは指紋、虹彩、静脈、声紋などの生体認証もデバイスのハードウェア進化によって追加されていくことになります。

加えて、リアル、バーチャル世界でのIDを統合してその活動ログを取得していけば、ふだんの行動との差異から不正利用の特定やさらなる本人確認性がより正確で簡単に可能になります。

人々がデジタルシステムを使いやすくするためのアンカーポイントを作りたい。そうすればスマートシティのサービス、旅行の申し込み、電子政府の認証、金融サービス、eコマースといったものがより安全に使いやすくなる。そういう世界が見えてくると思います。

Digial Meで実現するLINEヘルスケアの次のステップ

将来は遺伝子情報、生活環境やライフスタイルにおける個人の違いを考慮して、疾病予防や治療する新しい医療が可能になるはずです。またオンデマンドの医療サービスの実現ができるはずです。

Generative Intelligence

次のUmbrella Topicsに移ります。2つ目のUmbrella TopicsはGenerative Intelligenceです。このあとにDark Dataと呼んでいる大きな技術コンセプトを説明しますが、それと並んで、音声、画像などの既存コンテンツから異なる種類の新しいコンテンツを自動生成する。複数の異なるコンテンツを統合して、相互に関連させていく流れが今、見えています。

AIのコミュニティでは、よく後者をグラウンディングと呼んでいますが、これはAI研究の本質で、信号と記号とを紐付けていくものです。以上の技術コンセプトを我々は、Generative Intelligenceと呼ぶことにしました。

Generative Intelligenceの具体例として最初に述べたいのが、Autonomous AI Workforceです。これまでAIは単一の機能を提供していました。それら複数の情報源を統合して、複数の機能を同時に実現できるようになり、これをAutonomous AI Workforceとして位置付けています。

今LINEでは、音声認識、音声合成、対話技術を組み合わせて、電話の自動応答を実現していますが、この発展形を思い浮かべてみてください。画像認識と統合した現場業務支援やマーケティング、受発注、会議議事録の自動化などの多くにAIが利用されていきます。

単純作業から統合作業へ。個別の自動化から企業のワークフローを置き換える垂直統合自動化へのシフトが進んでいきます。それにLINEは貢献したいと思います。

Generative Intelligenceで音声認識を人の代わりになるレベルまで上げる

Generative Intelligenceの2つ目のトピックとして、Dependable Speech Recognitionを、今後出現する技術として位置付けました。先ほど砂金さんからNESTという言葉で呼ばれておりましたけれども、これを発展させていきます。

音声認識は、ここ10年の劇的な進化を遂げてきました。Dependableとは、信頼できる頼りになるという意味で、音声認識を人の代わりになるレベルまで上げることを意味します。LINEは独自の音声認識技術をコールセンターソリューションとしてすでに利用していますが、この性能向上を図り、多分野への展開を図っていく予定です。

今の音声認識技術の課題は、環境ノイズに対する耐性と未知の固有名詞の扱いです。それにどう対応するか。1つは間違いを含む教師データがあっても音声認識技術を向上させる弱教師あり学習です。これを用いて教師データ作成コストを下げていきます。

そしてタスクごとに言語モデルの自動カスタマイズを行い、未知語に対応していきます。さらにはノイズを考慮した教師なし学習を行っていきます。LINEは以上を総合して、やることをやって認識率を一桁良くする計画を実行していきます。そして世界でナンバー1の音声認識を実現していく予定ですので、ぜひご期待いただきたいと思います。

Generative Intelligenceで教育コンテンツを見直す

Generative Intelligenceの3番目のトピックを紹介します。それは新しい教育サービスです。コロナ新型肺炎によるパンデミックでオンライン学習が日常の光景になってまいりました。これは教育コンテンツを見直すよい機会になります。

学習者の行動を把握し、教育内容と教育手法をデータ化し、AIのモデル化ができると、従来のオンライン学習とは異なる学習ができます。それは生徒の状況に応じた適応学習モデルができるということですし、AIが学習コンテンツを自動生成するという機能も持ちます。

語学教育も、AIが生徒個別に発音や用語を自動チェックすることになるでしょう。LINEは誰も取り残さない教育サービスを実現したいと考えています。

Generative Intelligenceで筋書きが変わるコンテンツを作る

Generative Intelligence、4番目のトピックがあります。それはインタラクティブに筋書きが変わるコンテンツです。実は先ほどの教育システムの延長上に考えられるコンテンツがこれになります。

歴史教育で日本の江戸時代の歴史の物語を見る。生徒に日本に将軍の時代が続くのか、天皇の時代になるのか、どちらのシナリオが最もらしいかと尋ねて、結果を映像で比較することが可能になります。

AIによるコンテンツ自動生成は、悪い側面ではフェイクニュースとかフェイク動画像になりますが、良い側面では今見ている映画がまるでゲームのように私たちのリアクションに応じて筋書きが変わっていくコンテンツになります。これからは映画とゲームの境目がなくなり、さらには教育コンテンツとの境目がなくなっていくでしょう。こういったことを我々は予想しています。

Trustworthy AI

3番目のUmbrella Topicsに移りたいと思います。次のUmbrella TopicsはTrustworthy AIです。結果の説明性、公平性、信頼性、安全性を担保するAIが技術コンセプトです。ここで強調したいことは、技術を自由に使うこと、公共の安全性を守ること、個人のプライバシーを守るとことは、相互に対立するということです。

監視カメラで公共の安全性は向上しますが、プライバシーを危うくする可能性がありますね。最新技術をふんだんに使った自動走行車は便利ですが、同じく公共の安全性を危うくする可能性があります。

ドイツの哲学者ヘーゲルが弁証法の中で提唱した概念、アウフヘーベンという言葉をここで使いました。それぞれ対立した自由、公共、個人の要求を乗り越えていくことが難しいことを意味します。

それを高いレベルで三方とも満足させていくことが技術開発の努めになります。ヨーロッパのGDPRに代表される法整備も重要です。信頼できるAIは、そのような法令と連携して進めていく必要が出てきます。

Trustworthy AIでプライバシーを守る

Trustworthy AIを構成する事例の1つ目がPrivacy Preservingです。

プライバシーを守りながらデータマイニングする技術というのはすでにあります。例えば暗号したままデータ解析を行うというEncryption Based Service。左側ですね。

右側はもう1つの例です。データを1ヶ所に集中させることなく、異なるデバイス、または異なるサーバーで独自に処理して、その学習結果だけを持ち寄って大きな学習モデルを形成していくというFederated Learningです。

個人データを扱うこと、このあとに述べるDark Dataを扱うことに対してこれらの技術は必須技術となります。LINEとNAVERはこの技術に取り組んでいくことを、どうぞお知りおきください。

Trustworthy AIで公正なAIを実現する

Trustworthy AIを構成するトピックはたくさんあります。時間の関係でもう1つだけ紹介します。それはAIの公正さに関するものです。我々AI開発者はデータからモデルを作り、それを利用しようとするときにそのモデルを評価しなければなりません。

2つの観点が重要になります。1つは統計的バイアスがどれだけあるかということです。母集団の要素が標本として平等に選ばれていないという標本の偏りが問題になります。最近の標本バイアスの問題例では、新宿の夜の街に偏って陽性検査をした新型コロナ肺炎の陽性判明者数とか、トランプ大統領の善戦を予測できなかった有権者調査などがあります。

もう1つのモデル評価の観点は、数学的に公正とされることが、社会的、倫理的に見た時に公正でないことがあります。端的な例は、人種で保険料率を変えることでしょうか。自分ではコントロールできない出自で保険料が変わることは、社会的にも許されないことになります。

モデルが統計的に正しいのか、モデルが社会的に許されるのかどうかを評価する技術が必要になります。LINEはNAVERとともにそれに取り組んでまいります。

Dark Data

最後のUmbrella Topicsの紹介、Dark Dataです。ビッグデータという言葉が使われ始めて10年になりますが、それでも我々はまだ使えるデータの10パーセントも使っていないと言われています。どうして使っていなかったのか？　

これまでの機械学習のパラダイムは、教師付き学習でした。教師データのないデータは価値化が難しかったのです。教師データは人が付与します。そしてそのコストは一般的に膨大となります。

AIの研究開発は、いつも急激に進歩しています。このベースにあるのは、今は教師なし学習、Unsupervised Learningの発展です。これによってこれまで使えなかった大量のデータを有効活用していくトレンドが見えてきました。

Dark Dataの裾野に何が起こるのでしょうか？　教師なし学習によって巨大な統計モデルを作ることができます。OpenAIというサンフランシスコに本社を置くAI研究開発会社が、1,750億パラメータという巨大な自己回帰言語モデル、GPT-3を開発し、今年5月に発表しました。

Dark Dataで巨大な言語モデルを扱う

この巨大な言語モデルがどのように使われるかを簡単に説明します。

質問に答えるQ&Aというタスクを想定してみましょう。Q&Aの知識は、それぞれタスクごとに違います。そのためこれまでは、個々のタスクにそれぞれのモデルを生成し、Q&Aタスクを実行していました。左のアプローチです。これまでは左のアプローチだったのです。個々のタスクにそれぞれのモデルを生成し、Q&Aタスクを実行していました。

ところが、巨大なDark Dataが使えるようになると、まず一般常識として巨大な汎用モデルを生成することができます。そのモデルにプラスアルファとして個々のタスクに必要な知識を足す。つまり特化することで、一般常識と専門知識を統合したQ&Aサービスを作ることができます。巨大言語モデルは、これまでのデータベースの概念を変える技術になると予想しています。

今我々はNAVERとともに100億ページを超えるWebデータを集め、多くの並列GPUを用意し、GPT-3相当のモデルを作っていることをここに初めて報告させていただきます。我々が作ろうとしているのはGPT-3相当の言語モデルですが、数年後には、さらに大きなGPT-X相当になっているでしょう。

このGPT-X相当は、先ほど述べましたように、今後データベースの概念を変えることになります。これまで人類が読み書きした言葉だけでなく、画像や他のセンサー、IoTデータを含めて巨大な統計モデルを作り、それを個人に特化していけば、個人に適応した医療、金融、教育などのサービスに応用できます。冒頭に述べたDigital MeとGenerative Intelligenceのサービス事例は、この未来でつながっています。

GPT-X相当の言語モデルとDark Dataで会社の生き字引を作る

将来のGPT-Xの枠組みは社則、マニュアルや法令文書を含む大規模言語モデルで表現するだけでなく、センサーデータを含む会社の運用データも含んで発展していくでしょう。企業横断的に高次である知識を汎用モデルとして用意し、これを各社のDark Dataを加えますと、その会社の生き字引を作ることができます。

ここではAI Keeperという表現をしています。世間一般の業務に関する一般的知識と、会社特有の知識を加えることによって、ベテラン社員の知識を作ることができるわけですね。そんな夢のような話が可能になるかもしれません。

Dark Dataで作られたモデルの交換マーケットの登場

トピック紹介の最後のスライドになります。

Dark Dataの活用により、それから得られるモデルの交換マーケットが今後出てくるでしょう。技術課題は、個人、個社情報の保護とモデルの連結技術になります。Trustworthy AIの重要性が増してきます。それが克服できたとすると、A社のノウハウとB社のノウハウを足すことによって新たな知識を築くことができます。

追加学習と呼ばれるプラットフォームは、すでにあります。具体的には、A社のモデルをB社が買って、それにB社のデータを足してA+Bモデルを作ることですね。Dark Dataの技術コンセプトは、これをさらに加速させます。ラベル付けデータがなくても価値化ができるのです。

このサービスアノテーションする作業から我々を解き放ってくれたうえで、各個人、各企業の知識を市場で取り引きする世界をもたらすと予測しています。

研究が事業を作る世界

ここ10年間、深層学習は約2年から3年おきに非常に大きなイノベーションを起こしてきました。音声認識が使えるようになったのは今から約10年ほど前です。そして6年ほど前に画像認識が人間の目の能力を超え、そして機械翻訳が人間の能力を超えだしたのが3年ほど前です。

今我々が目にしているのは、深層学習の進化、特に教師なし学習の新展開です。これがDark Dataを利活用し、データベースの概念を変えようとしています。これまでコンピュータサイエンスの世界は、研究は研究で事業からは遊離していましたが。今は2年や1年で新技術が事業化されています。

つまり研究が事業を作る世界がやってきました。文字通り、技術とビジネスを同時に開発する時代がやってきました。LINEはサービス企画だけの会社ではありません。おもしろい研究、事業に資する技術で世の中を変えていく会社でもあります。

LINEのAI技術の未来

R&Dビジョンに示した新しいサービスは、直接事業をするしないに関係なく、今後3年から5年の間で起こるであろうイベントを予測したものです。とはいえ、LINEが取り組むと明言したものが多く含まれています。

今日示した4つの技術コンセプト、Digital Me、Generative Intelligence、Trustworthy AI、Dark Dataに共感していただければ幸いです。GPT-3と同規模以上の言語モデルを開発していることも今日初めて申し上げました。ぜひ一緒に技術とビジネスを同時に開発する経験を共有したいと思います。

砂金：栄藤さんありがとうございました。いかがでしたでしょうか？　前半の私のパートでは、すでに研究開発に着手し、実用化しつつある技術についてデモ動画などを交えてご説明しました。後半の栄藤さんのパートでは、今後3年から5年を見越した中長期の研究テーマについてご紹介しました。これらを併せてLINEがAI領域で今後取り組んでいく技術の方向性をご理解いただけたのではないかと思います。

本セッションはこちらで終了となりますが、興味をもった方は、このあと公開されていくAI領域の各セッションをぜひ併せてご覧ください。今回紹介したそれぞれの技術要素を、さらに掘り下げて解説をするセッションを数多く取り揃えています。

以上で、『LINEのAIプロダクト: これからとその先にある未来』を終了させていただきます。最後までご視聴ありがとうございました。