「最終的にAIは“人工超知能”の技術領域に辿り着く」　松尾豊氏が解説する、生成AIの現在地と未来

大規模言語モデルの開発が各国でどんどん進んでいる

松尾豊氏：よろしくお願いします。AIについてお話ししていきたいと思います。AIの研究をずっとやっておりまして、2023年からGMOのAI顧問も務めています。

2023年、今（熊谷）代表からありましたが、めちゃくちゃなスピードで物事が動いたと思っています。「ChatGPT」が出てから、すごい勢いで各社が新しいモデルを出し続けて、日本国内でもいろいろな動きがありましたし、海外でもいろいろな動きがありました。本当に何倍速にも時代が早回しで進んでいる感じです。

各国で開発がどんどん進んでいます。大規模言語モデルは、より大きなモデルが作られるようになってきていて、OpenAIの「GPT-4」は1兆から2兆パラメーター。それから「Gemini」。これも1.56兆パラメーターということで、非常に巨大なモデルが作られています。

国内はどうかというと、国内でも大規模言語モデルの開発が始まっていますが、まだまだこれからですね。100億パラメーターぐらいの小さなモデルが多く、もっともっと大きなモデルはこれからです。

LLMを多段階に適用することで精度を上げる

じゃあここから、どういうふうに進んでいくのか。「本当にAGI（Artificial General Intelligence）、ASI（Artificial Super Intelligence）に行くんですか？」ということを、ちょっとお話ししたいと思います。一言で言うと、そんな簡単ではないのですが、まぁ、行きますねということです。ちょっと、どんな感じかというのをご紹介したいと思います。

まず、今のLLM。使い方によってだいぶ能力が変わってきます。例えば、今ハルシネーションという問題がありますね。LLMで出力した結果に嘘が混じる。これはどうやったら直るのかというのがあります。

LLM自身を使って確認するんですね。例えば、「ニューヨーク生まれの政治家を出して」と言うと、リストアップしてくれます。この中に嘘が混じるんですね。

1個1個、「ヒラリー・クリントンはどこで生まれましたか？」とか「ドナルド・トランプはどこで生まれましたか？」とLLM自身に聞いていくと「ヒラリー・クリントンはシカゴで生まれている」と答えるんですね。間違っていますよね。これをもって、答えを修正すると、正しい答えになります。

こんなふうに、LLMを1回使うだけじゃなくて、2回、3回使えばいいんですね。考えてみれば、例えば我々がなにか学校の試験の問題を解く時に、1回だけ読んで答えて、そのままにしますかというと、そんなことはなくて、一応見直したり、これで合っているかなってチェックしますよね。それと同じなんです。

そんな感じで、例えば数学の問題も段階的にやっていくと能力が上がります。それから、今の大規模言語モデルというのは、英語でだいたいトレーニングされているので、いったん英語に直して考えてもらって、元の言語に直したほうが精度が上がるんですね。そういうのも、複数LLMを適用してやると精度が上がります。

LLMを組み合わせる・修正することでより賢いLLMができる

それから、LLMを組み合わせるというものがあります。ほかにも、LLM自身を修正していくというのがあります。自己改善LLMというものがあって、例えば「アルファ碁」は、自分自身で自己対局してだんだん強くなりますよね。

それとイメージが近いのですが、問題に対して答えを出す。答えを出して、今お話ししたようにLLM自身がチェックすると、精度が上がるわけですね。それをまた学習データにして学習するんです。そうするとより良いモデルになりますよね。で、もう1回同じことをやる。というふうにやっていくと、どんどんどんどん自己改善していくということなんです。

それから、複数のLLMがあった時に、複数のLLMをうまく組み合わせるとより良い答えになりますね。多数決してもいい、アンサンブルという方法がありますが、そういうふうに複数のLLMを組み合わせてより良い答えを作って、この答えをベースにまた学習するんですね。これは蒸留という方法の1つなのですが、そうするとより賢いLLMができます。

それから、複数モデルの相互アテンションというものがあります。今、Transformerのモデルは、マルチヘッドのアテンションを使うわけですが、このアテンションを複数のモデルにまたがって充てるんですね。

そうすると、こっちのモデルのここと、こっちのモデルのここに注目して処理をするとかができるようになります。

それから、LLM自体にいろいろ問題があることがあります。例えば「兵器の作り方を答えちゃいけない」ですね。化学兵器の作り方や核爆弾の作り方は、答えちゃいけないですね。いかに安全性を保つかがこれから重要になってきます。

じゃあ、LLMの中で特定のことだけ忘れさせるにはどうしたらいいかというので、これもいろいろなかたちで、LLMの知識を編集するような、アプローチが出てきています。こういうことによって、LLM自体を賢くしたり修正したり、組み合わせたりということがこれから広がっていきます。

医療・金融など特定の領域に特化したLLMの開発

それから、領域特化ですね。汎用のLLMではなくて特定の領域に特化させたLLMを作る。これも考えてみれば明らかですが、ほとんどの情報、みなさんがこれまでの人生で作ってきた書類のうち、インターネット上に載っているやつは何パーセントですかというと、ほとんどないですね。

パブリックデータ、インターネット上のクロールのデータというのは、我々が作り出しているデータのうちのごく一部なんです。ほとんどの情報が、企業内、あるいは個人のPCの中にあります。そういったものを学習データにして学習させたLLMのほうが賢くなるんです。

例えば医療だったら医療、金融だったら金融、そのドメインに特化した情報は、その業界の人が持っているわけですね。これをベースに学習させると、その業界のタスクにとっては非常に精度が高いものができます。いろいろな業界で次々にこれが作られていくということが起こります。

言語ではなく行動を出力するLLM

あと1つだけ。行動するLLM。これは何かというと、今のLLMは、出力が言葉です。なので、なにか問いかけると言葉で返ってきます。最近、ツールを使うことができるようになって、プラグインなどがそうですが、多少、操作してくれます。

ですが、あれは要するに言葉の出力をツールの命令に置き換えているだけなので、多少はできますがちょっと限界があるんですね。

言葉で指示をすると、LLMが実際に動いてくれる。例えばブラウザの操作をしてくれるとなると、世界観が変わるんですね。

例えば、今みなさんがやっている仕事のほとんどは、ブラウザ上あるいはPC上で完結すると思うんですね。「こういうことやって」と言って、行動の出力をしてくれると相当大きく自動化が進みます。AIができる領域が一気に広がるということなんです。

ここがまだいまいちできていないので、LLMのアプリケーションが今ぐらいにとどまっているんですね。ここができるようになったら、もうめちゃくちゃ変わります。これも今研究がどんどん進んできています。

AIはいずれAGI・ASIに行き着く

今4つほど、お話ししましたが、こういったあたりの研究開発が今進んできています。次の1年、2年の間に次々と、目に見えるかたちで出てくるということなんです。

こういうことをしばらく続けていくと、いずれAGIに行きます。一応僕の予想です。インターネットの時と同じで、やはり、期待感と実際にできることが、行ったり来たりします。

なので、ここ3年でいうと、いったん今の生成AIの技術でできることがより明らかになって、「結局このぐらいしかできないじゃん」ということも見えてくる。

でも、インターネットもそうですが、「このぐらいしかできないじゃん」とわかってからがめちゃくちゃ広がるんですね。いろんなかたちで工夫して、試行錯誤して、いろいろなアプリケーションが広がってくるというのが、この3年ぐらいで起こります。期待感が若干しぼむ時期がいったんはあるかもしれませんが、あまり気にする必要はない。そんなもんです。

そうしているうちに、今お話ししたようないろいろなLLMの使い方や行動など、こういうあたりの技術的なブレイクスルーがまた起こってきます。そうすると、そこからまたブワッと広がるんですね。3年後ぐらいから、またそういうことが起こってきます。

10年ぐらい、もしかしたら5年ぐらいかもしれませんし、もっとかかるかもしれませんが、最終的にはAGIという領域に行く。なぜAGIの領域に行くのか。みなさん、AGIやASIと言うと、若干いかがわしいな、本当かなと思うかもしれないですね。

僕がAIをやっている理由でもあるのですが、結局、人間の知能もアルゴリズムなんですよね。脳という生体を使って実現されていますが、学習の理論と仕組みによって実現されているんです。

それがまだわからないから人間の知能は、ある意味神格化されていて、人間にしかできないこととみんな言うのですが、それはいずれわかる。

例えば、心臓はポンプですよね。ポンプを実現するために4つの部屋があって、これが順番に収縮することによって血液を送り出す。これ、みんなわかっていますよね。

でも、ポンプを実現する方法としては、人工的な工業用のポンプなどいろいろあります。（心臓が血液を）送り出す機能なんだということさえわかれば、人間の心臓はそういう機能だということがわかるわけです。

人間の脳も一緒で、人間の脳がやっていることがいったいどういうことなのかがわかれば、それを生体として実現しているのが人間の脳で、コンピューターで実現しているのがAIだとなるわけです。なので、AGIは、言い方を変えれば、できるに決まっているんですね。そう思って、ずっと研究をしてきたわけです。

じゃあ、ASIとは何かというと、みなさんも、クラウドを使っているとわかると思いますが、コンピューターの世界は、人間と同じことができるようになると、人間より100倍すぐ行きます。スケールさせるのがめちゃくちゃ簡単なので、（人間と）同じところまで行くと、すぐに10倍、100倍に行くんですね。

ですから、人間と同じレベルに行ったAGIができたとすると、それをさらに拡張したASIもできるという、変化が起こっていく。