ヨシュア・ベンジオ氏の紹介
松尾豊氏（以下、松尾）：みなさん、おはようございます。本日は大変光栄なことに、世界で最も有名なAIの先生であるヨシュア・ベンジオ先生を東京大学にお招きすることができました。
科学者としてのパイオニアであり、ディープラーニングの専門家であるベンジオ先生は、ニューラルネットワークの理解を進めただけではなく、AIの発展に重要な役割を果たされています。
ベンジオ先生のAIへの貢献がグローバルで認識されているわけですが、彼はジェフ・ヒントン（Geoffrey Everest Hinton氏）と、ヤン・ルカン（Yann André LeCun氏）とともに、「2018 ACM A.M. Turing Award」を受賞されました。
この賞は、コンピューティングの世界のノーベル賞として知られています。大きな貢献に対して与えられる賞であり、ディープニューラルネットワークが現在のコンピューティングの不可欠な部分であることが認められました。
ベンジオ先生は、さらにAIの安全性も主導されています。AIの力を責任あるかたちで育てることの必要性を伝えています。彼が専門性を持っていることがワールドワイドで認められ、国連の「Scientific Advisory Board」のメンバーにも選ばれています。
また、技術の進展に関するアドバイスをしています。AIの未来を率いて、そして人類全体のメリットになるようにということを率いている方です。
本日ベンジオ先生をお招きできるのは、非常に光栄でありますが、大川賞を受賞されたということで来日されているので、ライブイベントをやろうということで企画しました。200人の来場者と1,000人以上のオンラインの視聴者がいます。ベンジオ先生の紹介は以上にして、ベンジオ先生をお迎えしたいと思います。
（会場拍手）
ヨシュア・ベンジオ氏（以下、ベンジオ）：温かいお言葉をありがとうございます。本日は、私の話を聞いていただきありがとうございます。このテーマは私にとっても新しいテーマです。AIの安全性ということです。
こういった難しい質問に取り組むモチベーションについて、そして科学的な方向性について話したいと思います。私自身、私の所属するグループがどういった方向を追究しているのか、破壊的な発展を防ぐにはどうしたらいいのかという話をしたいと思います。
汎用人工知能（AGI）はいずれ実現し、人間よりも賢くなる
ベンジオ：では始めましょう。まず非常に重要な点ですが、今のAIの状況を見るだけではなく、みなさん「ChatGPT」を触ったことがあると思いますが、トレンドを見る必要があります。過去がどうであったのか。そして毎年どういったイベントが起きてきたのか。そして、それを補外して未来を予測していくことが重要です。
計算量がどうであったのか。投資された資金がどうなってきたのか。そして、アルゴリズムの効率性。こういったものはすべて上昇しており、これからもその上昇は止まることはないと思います。
このような能力がすでに問題を作っていますが、科学者にとって重要なこと、そして公共政策にとって重要なのは、今後何が起き得るかを考えることです。
強力なテクノロジーを設計する時には非常に有益な場合もありますが、非常に危険な場合もあるので、慎重に扱う必要があります。それが本日の私のテーマとなります。
また、もう1つ認識すべき点としては、未来の不確実性が多々あるという点です。AIコミュニティでは多くのコンセンサスがあるわけですが、ある時点でAGI（Artificial General Intelligence）が実現できる、人間レベルのインテリジェンス（知能）が実現されるだろうと。
それが5年後、10年後、20年後なのかはわからないというところですが、数年後にそれが実現されるのであれば、これは本当に高速ということで、完全に社会が変わるということになります。なので、何を誤る可能性があるのかを理解し、将来を慎重にナビゲートしていく必要があります。
「そんなことはあり得ない。機械が人間と同じぐらい賢くなることはあり得ない」と言う人も一部にはいます。しかし科学的に考えると、人間の知能が知能の最高潮にあると考える（ことのできる）理由はまったくありません。人間はいろいろと間違いを犯します。
みなさんの脳はマシンです。特別なマシンです。生物学的なマシンです。神経科学が少しずつその機能を解明し始めています。
ほかの要素もあります。コンピューターサイエンス理論です。アラン・チューリングは、普遍的な演算能力のようなものがあるということを示しました。つまり、十分な演算能力があれば、1台のコンピューターでできることは、別のコンピューターでもできるということです。
AGIはいずれ実現する。そして、マシンが人間よりも強くなることは可能でしょう。それは、私にとっては危険信号だということの理由を、これから説明したいと思います。
賢くない種が賢い種をコントロールできるのか、理解しなければいけない
ベンジオ：1年ぐらい前からそのように感じるようになりました。ChatGPTを使ってみて多くの方が気がついたと思います。「これはとんでもないことになっている」と。私たちは（私たちが）十分に理解できない方向に進んでしまうかもしれない。そして、破壊的なかたちで世界が変わってしまうかもしれない可能性があることに気がついています。
では、どういった誤りが起こり得るのか。それを理解するためには、科学的なインテリジェンス、そして特にAIの特性についての基本を理解する必要があります。
分けて考えなければいけません。目標を達成することができる能力、インテリジェンスは、主に目標を達成するために運用されています。
そして、その目標はどういう目標かを決定するためにインテリジェンスを使っています。インテリジェント（高い知能）であっても、目標が悪意を持ったものであれば酷いことをしでかすことになってしまいます。
したがって、将来のAIシステムが悪用されないよう、危害を及ぼす、そして破壊的なかたちで悪用されないようにしなければなりません。それがデュアルユースという点です。
これは何十年も前から心配されていたことですが、今、非常に重要性が高まっていて、注意しなければいけない点です。
私たちが作るマシンが、人間よりも賢くなる。そして、マシンのほうが賢いのに、私たちがやりたいことをできるようにコントロールし続けることはできるのか。通常はより賢くない種が賢い種に対して命令をすることはできません。なので、マシンが人間より賢くなる前にどうすればいいのかを明らかにしなければなりません。
人間が作ったマシンが人間に対立してきたらどうなるのか。そういう可能性があるのか。そして、それがあるとすれば、どのようなかたちで起こるのかも理解しなければなりません。その可能性についての概念を、今日は詳しくお話ししたいと思います。
私たちよりも賢いマシンが「自己保存」という目標を持ったらどうなるのか
ベンジオ：その概念の1つは、自己保存という概念です。自己保存が目標になるかもしれません。私たちみんな生きているものはすべて、自己保存の目標があります。本能的に、意識しないで自己保存することを目標としています。自己保存をしようとしない種は、進化によってなくなっているはずだからです。
ツールには目標はありません。通常は目標がない。そして、自己保存の目標もありません。しかし、目標を持ったツールを私たちは作っているわけです。自己保存という目標も、（そのツールたちにとっての）目標の1つになるかもしれません。
自己保存をしたいと考えるようなAIシステムを作った場合には、私たちがそれをオフにしたいと思っても抵抗する。そうすると、もはやツールではなくなってしまいます。あたかも新しい生き物が登場したかのようになります。そういった可能性があるのかを、よりよく理解しなければなりません。
自己保存という考え方について研究されていることの1つに、意図されざるかたちで副作用として起こる可能性があると指摘されています。ほかの目標の副作用として、自己保存の機能も持ってしまうということです。
この講演を最後までするためには、講演の最後まで私は生き続けなければなりません。前提的に、自己保存していないと、その目標を達成できないかたちになっています。
環境をコントロールしたい、あるいは環境がどのように作用するのかよりよく理解したいといった目標の中には、人間が意図的にそういった目標を入れないにしても、自己保存が自ずと内包されています。
場合によっては、自己保存という機能を人間が明示的に作ろうとするかもしれない。AIに入れるかもしれません。少数派かもしれませんが、人間の中にはそういったことを考える人がいるかもしれません。「スーパーヒューマン（超人的）なAIシステムが人間に取って代わったほうがいい」と思っている人がいるかもしれません。
大半の人はそんなことは考えないと思いますが、逸脱した人が少数いれば、それで十分です。私たちよりも賢いマシンが自己保存という目標を持った場合にどうなるのか、という問題があります。
5年後、10年後、20年後といった将来を考えなければいけない
ベンジオ：また、こういった問題について、真剣に考えない人がいます。「単なるコンピューターではないか。大したことはできないだろう。プログラミングによって動いているだけにすぎない」と言う人もいるかもしれません。
しかし、社会はデジタル化が非常に進んでいます。みなさんが知っているとおりです。プログラミングができる優秀なコンピューターが出てきて、（そのコンピューターは）サイバー防衛についてもよく理解している。そうなると、そういった防衛をかいくぐってしまうでしょう。サイバーセキュリティは、そもそもそれほど万全ではないということはわかっています。
人間のプログラマーが設計をしていますが、AIシステムが人間よりも賢くプログラミングをしてサイバー能力を持つことになれば、そういった脆弱者を悪用する。そしてインフラ、あるいはロボットに影響を及ぼすこともあるでしょう。
ロボティクスは、言語といったより高次のレベルのコグニション（認知）の対象になっていますが、5年後、10年後、20年後といった将来を考えなければなりません。
もしAIシステムがコントロールの範囲内でなくなり自己保存を持つようになれば、人間世界のインフラやロボットをAIがコントロールするようになって、もはや人間は不要な存在になってしまうかもしれません。
（次回につづく）
