岡野原大輔氏の自己紹介
岡野原大輔氏：今日は、たくさん資料を用意しているので、少し巻きでどんどんいきたいと思います。
さっそく自己紹介をできればと思います。（スライドを示して）私はPreferred Networksの岡野原と申します。西川と一緒に会社を経営し、もう15年ですかね。Preferred Networksという会社としては、今年10周年を迎えました。
私自身は、今、「Twitter（現X）」で@hillbigという名前で、よくいろいろな論文をツイート（ポスト）をしているので、それで知っている方もいるかもしれません。そういった最先端の研究の状況を追いながら自分たちも作って、それを社会実装していく製品、サービスなどを作っていく部分に力を入れています。
2022年ぐらいから、生成AI、特に「ChatGPT」を始めとしたさまざまな製品が出てきている中で、弊社としても生成AIに向けた開発や、それを使った製品サービスの開発と、それを社会に実装していくことを進めています。そうした中で、今までとはちょっと違って政府や社会が非常に興味を持っているし、一方でリスクもいろいろなかたちであります。
なので、私としても積極的に社会の中でAIが安全にどう使われるのかについて発信したり、あとは今回『AI事業者ガイドライン』を出しましたが、そこの検討会委員になったりしています。あとは『大規模言語モデルは新たな知能か』というのは一般向けに、大規模言語モデルの研究について書いている本です。
私は本当にたまたま大学時代に言語モデルの研究をしていました。当時たぶん言語モデルを国内で研究していたのは、論文を出しているような人だと数名だと思うのですが、その生き残りで、そのあとは言語モデルとまったく関係ない事業をやっていました。
またこういう大規模言語モデルがこういう使われ方をされるのは想像もしていなかったのですが、実際に言語モデルがこれだけポテンシャルがあるということで、私もこれはなんかの巡り合わせだと強く思って、それを使った事業開発や社会実装に力を入れていきたいと思っています。
Preferred Networksの紹介
今日の講演ですが、前半は弊社の紹介とか製品の紹介もしながら、後半にLLMの最先端の研究や課題について話したいと思います。
なので前半は弊社の紹介と、特に大規模言語モデルの開発やそのサービス提供についての話をできればと思います。
（スライドを示して）弊社Preferred Networksは、チップから計算基盤、生成AI・基盤モデル、そして最終的なソリューションまでバーティカルに全領域をやっている、世界的にも非常に珍しい会社です。実際に今事業として伸びているのはソリューション・製品の部分で、ここでさまざまなお客さまが弊社の製品を使ったり、もしくは共同でお客さまの製品を作ったりしています。
これに加えて、下の生成AIや基盤モデルも作っていますし、さらにはこれを支えるための計算基盤、そしてAIチップで、実際にアクセラレーターというのを、2017年ぐらいから、ある意味弊社の利益をすべてそこに投入してずっと作り続けていて、ようやくそれが量産できるようになったのが、つい最近の話です。なので全部やっています。
こうしたAIチップ、計算基盤、そして生成AI・基盤モデルの技術を使って、産業社会またはコンシューマー向けのさまざまな製品・サービスを作っていくのを進めようと思っています。
先ほどの講演でも少しありましたが、このソリューションを実現するためには計算基盤が非常に重要になっています。さらにAIチップも重要で、これを統一的に考えていかなければいけないというところが非常に重要になっていると思います。なので私たちもそこをトータルで考えて、最適なソリューション、サービス、製品を出していきたいと考えています。
AIの今の状況をどう考えているか
ここからは、AIについて、今の状況をどう考えているのかを私から説明します。ディープラーニングが登場してから、AIの技術が実際に社会で、いろいろな場面でどんどん使えるようになってきました。特にこの生成AIが出てきてから、かなり本格的にAIがいろいろな分野で使えるような水準になってきたと思われます。
（スライドを示して）左側に「AIができること」が書いてあります。ここでは必ずしもAI自身が人間よりも賢いというのは別に必要はなくて、そもそもコンピューター、計算機は人とは違う特性を持っているので、そうした部分とAIを掛け合わせていろいろなことができます。
例えば、膨大な情報を瞬時に処理ができる。莫大な量の、人間だととてもこなせないようなタスクをタフに文句も言わずにこなせる。大量のデータを基に、もしかしたら人よりも高度な分析や判断、もしくは人と一緒に問題解決ができる。あとはロボットと併用すれば実世界作業もどんどん自動化が進むということです。
そして、右側にあるようにインパクトは、これは数字としてはいろいろ言われているのですが、なぜ今生成AIの開発にここまでいろいろな企業などが莫大な投資をしたり、政府も良い面・悪い面でこれだけ興味を持っていたりするかというと、非常に大きなインパクトがあるからです。
あとは経済効果で見たら15.7兆ドルの経済効果があるし、また、AIはもともとは基本的には比較的単純な労働をサポートするような考え方だったのですが、逆に高い教育水準が必要な仕事をサポートするというのが先に来ています。例えばプログラミングがわかりやすい例で、AIのサポートによってプログラマの生産性が40パーセントとか何十パーセント改善するということが出ています。
こうしたことにより多くの仕事に実際に影響を与えるということです。ただ、ここはその職をなくすというよりは、もっと現実的にはジョブをなくすというよりは、特定のタスクをサポートする、もしくは置き換えるという考え方が現実的だと思います。
とはいえ、かなりの影響が実際には起きうるということで、そうなってくると、その人間の生活、常識、行動様式、価値観が変わりうる可能性があると思います。
肉体労働が、昔は全部人が物を運んだり作っていたりしたものが、今だと自動車で運んで工場でいろいろな物が作れるようになったように、知的労働でも同じように、今まで想像しなかったような変化が、今後5年、10年で起きると思います。
知的労働に対するAIの活用
（スライドを示して）実際に知的労働という観点で見ると、例えばベンチマークで評価するのは一元的な評価なのであまり良くないのですが、とはいえ測るとわかりやすいので、MMLUと呼ばれるAIの知識を評価するためのベンチマークタスクで一番有名なタスクを使います。そこでは大学生もしくは大学院生が解くような数学、生物学、歴史、計算機科学、法律といったいろいろなタスクをどれだけ解けるのかというタスクに対しては、一般の人は34.5パーセントで、ほぼランダム＋αぐらいしか解けません。
各分野の専門家が、例えば数学の専門家が数学の問題を解く、医学の専門家が医学の問題を解く、とした場合の精度はだいたい90パーセント弱です。これに対して、今一番大規模言語モデルの進んでいるモデルが、ほぼ正答率としては人を超えているようなものが出ていて、しかもLlama3のオープンなモデルでもほぼ90パーセント近く出ています。
エッジで動くようなモデル、例えばPhi-3なども70パーセント近くで、平均的な人よりずっと高い性能で解ける時代になっています。少なくとも2022年は越えていなくて、2023年に超えて、今この瞬間だとオープンなモデルかつ軽いモデルでも解けるようになっているような急速な変化が起きています。
こうしたことは確かに脅威なのですが、現実的に考えると、今まで知的労働ではやはりいろいろな制約がありました。例えばある専門的な知識を必要とするタスクを解こうと思ったら、そういった人たちを長年かけて教育する、もしくは自分でも勉強して集めてやらなければいけなかったのが、AIによってツールとして使えるようになると思います。これによって生産総量は劇的に増えます。
一方で、AIが全部置き換えられるのかといったら、私はNoだと思います。AIを実際に使ってみるとよくわかるのですが、そんなに賢くない部分もたくさんあります。なので実際には、人がツールとしてAIを使って社会問題を解決するとか、こういう工夫をしてデータを集めて解決するといった柔軟な発想力、想像力が、今後より一層求められると考えられています。
AIに対するPFNの取り組み
（スライドを示して）ではPFNの取り組みについて、こうした状況で何をやっているのかを話します。弊社は、もともと大規模言語モデル自体は非常に興味を持っていたのですが、これはなかなか自社の事業としてやるのは難しいなと考えていました。2020年頃です。やはりその大規模言語モデルや基盤モデルの開発は大規模な計算資源が必要で、最初に投資が必要ですし、うまくいくのかわからない。
一方で、2023年、2022年ぐらいからChatGPTの登場によってかなり状況が変わってきました。特に、例えば国が計算資源をスタートアップ向けに支援してくれるとか、一般社会でもそうしたモデルを使ってみようと、まさにChatGPTが爆発的にユースケースが増えた、そういったところで非常にチャレンジできるような環境が整ってきたのではないかということで、2023年の初めぐらいに、実際にチームを作って基盤モデル自体を作ろうとスタートしました。
最初に作ったのが、2023年の8月に経産省のスパコン※を借りて作った「PLaMo-13B」と呼ばれるモデルです。このBというのは10億、Billionで、13Bというのは130億パラメーターになっています。この130億パラメーターで1.4兆トークンで学習したモデルで、リリース当時は日本語と英語の合わせた性能で世界最高レベルに達していました。
※国立研究開発法人 産業技術総合研究所のAI橋渡しクラウド（AI Bridging Cloud Infrastructure、ABCI)
このあとはみなさんご存じのように、例えばLlama2などいろいろなものが出てきて、それのファインチューニングモデルが出てきてどんどん変わっているわけですけれども、当時は一番のモデルを出せました。これで経験としては私たちも基盤モデルを作れるという自信がついて、それを元に会社を実際に作って、そこで計算資源や実際にデータなどをどんどん集めてモデルを作るのを進めています。
NEDO「GENIAC」における成果
例えば、公開できる情報では、2024年の2月から「GENIAC」と呼ばれる経産省とNEDOが行っている国家プロジェクトにおいてモデルの開発を行っています。ここでは1,000億パラメーターの、先ほどの8倍ぐらいでモデルを作っていて、そこでは日本語性能や特定領域のタスクで、弊社が事業として強みを持ってよく知っている、もしくは日本として大事だという分野における性能が優れたモデルを、今開発を行っています。
もう1つが、1兆パラメーターで、この領域になってくるとアカデミックでもやっているところもポツポツ出てきていますが、ほとんどわかりません。なので、1兆パラメーターの言語モデルを実際にここの中で作って、どうなのかを知るのが、このGENIACの目標で、8月15日まであるのですが、開発をしています。
GENIACの成果を基に実際に商用で使えるモデルとして、2024年の秋頃にリリースをする予定です。このPLaMoは、先ほど話したように日本語タスクや金融、医療、あといくつかの専門領域で、既存のLLMと比べても高い性能を達成できるものを目指すとともに、マルチモーダルとして画像、音声にも対応します。
1,000億パラメーターというのはかなり大きめのモデルで、なかなか使うところが限定的なので、できたら同時に近い感覚で軽量なモデルや、特定タスクに強いモデルもリリースしていく予定です。先ほど申し上げたように、この1兆パラメーターのモデルは、またその学習を2024年の夏頃からGENIACの最後で検証を行って、それで学習をしていきます。
あとで話しますが、こういう言語モデルは特に、作るのにすごく時間がかかるんですね。なので、そこは「作ります」と言ってからリリースまでけっこう時間がかかると思います。こうしたLLMの基盤モデルを使って、弊社Preferred NetworksがAIにおけるいろいろな製品やソリューションを出していくことを考えています。
そこでPreferredAIという名前で非常にストレートですけど、それだけうちが本気だということでPreferredAIという名前で、この基盤モデルを使ったソリューションや、それを実際に使って、お客さんがすぐに使えるようなパッケージ化されたプロダクトをリリースしていく準備を今進めています。
なので弊社は、先ほど説明したように基盤モデルも作りますし、またモデルもカスタマイズしたり、インテグレーションするという、いろいろなあるところの領域を弊社でもやるのですが、もちろん自分たちだけではとてもできません。そうしたところでは、こうしたパッケージやソリューションをうまく活用して、事業パートナーとともに実際の顧客のさまざまな課題解決に取り組んでいきたいと考えています。
弊社の特徴はやはり基盤モデルから作っていることなので、追加学習をして作られたモデルと違って、うちはモデルを全部データからコントロールして変更して作ることもできるので、そういったところから独自に作ることもできるし、あとは非常に尖ったような機能や性能を持つものを作ることもできると思います。
（次回へつづく）
