「少子高齢化社会を解決する手段となり得る」　日本語LLMがアカデミアとビジネスにもたらす新たな可能性

基盤モデルをビジネスにどうつなげていくか

南野充則氏（以下、南野）：じゃあ、次のトピックに移っていきたいと思います。

今日は、アカデミアの岡崎先生とビジネスを実践でやっているELYZAさんに来ていただいています。まずビジネスのほうから、基盤モデルをビジネスにつなげていく方法をどう考えられて、模索されてビジネスをされているのかといったところのお話を、まずELYZAさんから聞かせていただければと思います。

垣内弘太氏（以下、垣内）：ありがとうございます。ここは、今世の中のいろいろな人たちが模索しているところだと思いますし、我々も100パーセントの解を持っているわけではないんですけど。

レイヤーに分けて考えた時に、よく言われている話だと思いますが、一番下にインフラ。AWS、GCPなどのインフラのレイヤーがあって、いわゆるLLMOpsみたいな、LLMを運用する技術のレイヤーがあって、モデル自体のレイヤーがあって、一番上にアプリケーションとしてのレイヤーがあってという話だと思っています。

となった時に、基本的には世の中のほとんどの人たちは、アプリケーションレイヤーだけをほぼ考えることになるのかなとは思いますが、結局LLMを使ってどういうアプリケーションを作れるか、どういう新しい体験を作れるかというところがすべてかなと思っています。

その中で、なんだろうな。それこそ一時期GPTが出てきたちょっと後に、Playgroundみたいなものをいろいろな会社さんが導入して使おうという動きがけっこう流行ったとは思いますが、結局それで業務効率化ができるかというと、そんなものを使いこなせる人はほとんどいないという話だと思っていて。

なので、結局は普通の……普通のというとあれですが、いわゆるSaaS開発やプロダクト開発のところに落ちるのかなと思っています。どうやってアプリケーションをきちんと作り込むかとか、誰のどんな課題をどうやって解決してどういうバリューを出すかというところにフォーカスをする必要があるのかなというところですね。

なので、普通のものづくりとあまり変わらなくて、ただその上でLLMの特性というか。本当に人に近いような性能で、言語によるコミュニケーション、言語によるタスクをこなせる性質をどう体験として組み込むと今までにないようなものを作れるか、というところのアイデア勝負みたいなかたちにはなっているのかなとは思います。

加えて、たぶん弊社はモデルとしての開発という話もあるので、先ほどのLLMOpsレイヤーやモデルレイヤーをどういうふうにできるか。弊社も正直やはりアプリケーションレイヤーを取る必要があると思っています。なので、アプリケーションレイヤーを取った上でどうモデルにつなげていくか。

僕は、世の中で今LLMとして、サービスとして本当に成功しているアプリケーションは、「GitHub Copilot」ぐらいしかないと思っていて。あれはやはりすごいんですよね。アプリケーションとしてもできていて、きちんとそれに特化したいいモデルとつながっていて、最終的には自社のAzureで運用されている。レイヤーもすべて入っていて強いので、弊社としては、そういうところを理想として目指している状況です。

南野：ありがとうございます。ビジネスにつなげるには、LLMによってそもそもできることが増えたというところで、業務フロー全体を変革するというところに入りながらアプリケーションなどを作って、そこでモデルまでつなげていくというところまでできると、変革を各社ですごく起こしやすいなと思いました。

今LLMの中でどんな研究領域が活発なのか

南野：じゃあ、次のページにいってもらって、岡崎先生に質問です。LLMの中でどんな研究領域が今活発なのか、どういうところがすごく話題に上がりやすいのか、そういうところのお話を少しいただきたいのですが、よろしいでしょうか？

岡崎直観氏（以下、岡崎）：まず自然言語処理の分野でいいますと、LLMを前提とした研究が増えています。それは、2024年、2023年が特殊というのがあるんだと思いますが、新しいLLMが出てきた時に、それをどう活かして研究をするのか。

例えば、有害情報を出さないようにするためにはどうすればいいのか、差別を軽減するにはどうすればいいのか。ほかには著作権に絡んで、このテキストで学習しているのかどうかを判別するとか、このテキストはLLMによって書かれたのかどうかを判別するとか、そういうさまざまな研究が今取り組まれていて、プレイヤーが多いのはそこかなという感じがします。

あとは、LLMの研究としては効率化や、モデルをできるだけコンパクトにした時でも性能を高くするにはどうすればいいかという、MoE（Mixture of Experts）もそういう話の1つだと思っていて、LLMの成長を考えた時には、そういうところが熱いかなと思います。

あと、日本ではNIIに大規模言語モデル研究開発センターというものができることになっています。そちらではデータ作成やモデルの構築、安全性などを全部含めて総合的に取り組まれる予定になっているので、そのあたりが本当に活発化してくるんじゃないかなと思っています。

南野：ありがとうございます。

ELYZAにおける他社との差別化ポイントは？

南野：先ほど大企業の説得のロジックなどを質問してしまったので、他社との差別化ポイントをELYZAさんではどう作られているとか、どう考えられているのかとか、そういったところをちょっとお話しいただければと思います。

垣内：まずモデルのところ、AIのところは、もうシンプルに研究開発力や、先ほど言ったような、データのところに我々としては差別化ポイントを置いています。その上で、あえてこの大企業の説得ロジックみたいな、ビジネス全体のお話を聞かれている気もするので、AI以外についてもちょっとお話をします。

やはりうちの会社は創業以来LLMに取り組んでいるので、ほかの企業と比べると、そもそもどういうふうにスコープを設定して、どういうふうに進めていくかみたいなところの、いわゆるBiz力にもけっこう優位性があるのかなとは思っています。

一方、先ほどApp Platformみたいな話をしたと思いますが、LLMを素早く形に変えて、UIもすぐカスタマイズして提供して、アプリケーションとしてユーザーに使ってもらうプロダクトとしてのDevの力もあると思います。

このBizとAIとDevのそれぞれの優位性が三位一体となって進んでいる結果、ほかの企業からは「使い始めました」というものは出るんですけど、「効果が出ました」というリリースはあまり出てこない中で、うちは大企業との取り組みを通して「効果が出ました」とか「数十パーセント業務削減しました」という事例がどんどん出てきているのかなとは思います。

南野：ありがとうございます。

海外製の大規模モデルと日本語特化のモデルの差異は何か

南野：では、あと8分ぐらいなので、次のトピックに移っていきたいと思います。

次のトピックとして、日本語特化LLMの意義と展望といったところで、既存の海外製の大規模モデルと日本語特化のモデルの差異や意義をどう考えられているのかを、お二方からお話しいただきたいなと思います。

じゃあ、こちらは岡崎さんからよろしくお願いします。

岡崎：まず、既存の海外製の大規模言語モデルとの差異ですが、やはり日本の文化や歴史に関する知識は弱いかなと思っています。

英語に翻訳してあればいいと思われるかもしれませんが、そもそも英語に翻訳されていない日本語のテキストはいっぱいありますし、例えば江戸時代の話など昔の話は翻訳する単語がなかったりするんですよね。あとは、そういう世界観がそもそもないというところがあるので。

そういった時に、やはり日本語で説明して、大規模言語モデルに対して情報を与えてあげることは必要なんじゃないかなと思っています。

継続事前学習に関する意義ですが、日本語の文字として、例えばあまり有効でない文字が出ないとか、語彙拡張するとコンテキストサイズを実質的に広げることができるので、Few-shot事例をたくさん入れられるとか、そういういろいろなメリットが生まれてくると思います。

なので、英語で作られたいいモデルを出発点にして、リソースを省きながら日本語のいいモデルを作っていくという方向性が、短期的にはすごくやりやすいかなと思っています。長期的には、たぶん日本語と英語を混ぜてマルチリンガルなモデルを作っていくことが必要かなと思っています。

南野：ありがとうございます。では、垣内さんもよろしくお願いします。

垣内：日本語特化のLLMを作るという意味では、本当に岡崎先生が今すべておっしゃってくれたとおりかなと思っています。

海外の、というところがあったので、あえてOpenAIなどがある中で、なぜ別のモデルを日本で作る必要があるのかという観点でちょっとお話ができればなとは思います。

まず1つ、現状の活用という点で考えた時に、まずはパフォーマンスの面で差別化ができるという話があると思っています。

それはどういうことかというと、LLMのパフォーマンスというのは、別に精度だけの話ではなくて、精度、コストと、またはスピードなどいろいろな要素があると思っています。そうなった時に、本当に汎用的にでかいモデルがドンとあって、それを使うのが必ず最適解になるかというと、たぶんそうではないんですよね。

なので、その時々にいろいろなサイズ感やいろいろな性能を持ったものを使い分けるのが重要になってくるのかなと思っています。

あとは、海外製のモデルを使えないケースもけっこうあるんですよね。セキュリティがすごく厳しいとか、エッジAIの領域とか。あとは、それこそどんどん出てきていると思いますが、特定のすごい専門的な知識を要するような処理が必要な場合は、自分たちで一定作るというのが必要になるとは思っています。なので、そういう意味で作る能力は、持っていないといけないなと思っています。

今後の話みたいなところでいうと、やはりどんどんいろいろな産業でLLMがイノベーションのツールの1つにたぶんなっていくんじゃないかなと思っています。

となると、そこの武器をなにか持っていないと、日本のいろいろな分野でのイノベーションが進んでいかないんじゃないかなって……すごく抽象的な話なんですけど（笑）、という意味ですごく重要なのかなと思っています。

それこそロボティクスは日本も強いと思っていて、今もロボット×LLMの研究がけっこう進んでいると思いますし、今後もどんどん出てくるでしょう。それこそTuringさんとか、自動車をやりながらマルチモーダルなLLMの開発をされていると思うんですけど。

そういうところを踏まえても、開発する能力、自分たちでやるということには、一定、しっかりとした意義があるのかなとは思っています。

南野：ありがとうございます。

日本語特化のモデルの開発が研究やビジネスにどんな可能性をもたらすか

南野：次のスライド、お願いします。これが最後の質問です。「今後、日本語特化のモデルの開発が将来の研究やビジネスにどのような可能性をもたらすか？」というところです。

たぶんビジネス界にはスマホが登場した並みのインパクトが今後出てくるんじゃないかなと思いますが、どのような可能性であったり、今後どういう発展性が、どういう社会が訪れるのかみたいなところの未来のビューであったり思いを話してもらって、今日は締めていきたいと思います。じゃあ、岡崎先生からお願いします。

岡崎：本当は将来の研究を語れるといいのですが、5年前はこの状況を想像していなかったんですよ。自然言語処理はどちらかというと地味な研究分野だったのですが、いきなり社会との接点を持つようになった感じになっています。

先ほどもお話がありましたが、日本語特化のモデルはちょっと武器を持っていないと駄目というのは、まさに本当にそう思っています。研究もできない状況に陥ってしまうので、可能性を見いだすためには、もう本当に継続していくしかないかなと思っています。

その先に何があるかなのですが、私は言語の世界をどんどん飛び出していくようなことが増えていく。先ほどロボットという話もありましたが、ロボットや医学などの分野にどんどん進出していって、そこで言語知識のほうからいろいろ貢献したり、マルチモーダルな統合という面で貢献したりということが今後あり得るんじゃないかなと思っています。

南野：ありがとうございます。じゃあ、垣内さん、最後によろしくお願いします。

垣内：先ほどけっこうしゃべってしまった感じもあるかなとは思っていまして（笑）。日本語特化モデルがどうかというと、ちょっと効率化できたり日本語の表現を、みたいなお話であったりはするんですけれども。

本当にLLMを自分たちで開発するというお話だと、今弊社はそれこそLLM×ホワイトカラーの領域に取り組んでいて、なんならそこでもまだイノベーションは起きていない状態だと思うんですよね。

でもLLMは、それこそ日本や世界の労働生産性を本当に何倍にもできる技術だと思っているので、そういう意味では、まだまだポテンシャルがあるし、しっかりと進めていかないといけないんだろうなとは思っています。

さらに、それが現実世界というか、フィジカルな世界にも染み出していくみたいなことを考えると、今の日本は少子高齢化社会などの課題とかがあると思うんですけど、そういうところをどんどん本当に改善していけるような、解決していけるような手段になるんじゃないかなとは思っていますし、本当にインターネットやスマホのような、なんならそれ以上のインパクトを生むんじゃないかなと思って取り組んでいます。

南野：ありがとうございます。本当に進化のスピードが速い、絶対、業界も変わっていくだろうと思っているので、そういったところもぜひみなさんで交流しながらアップデートして、より日本を良くしていければと思っています。