「戦争はトップの不合理な意思決定」茂木健一郎氏が懸念するAIと軍事技術の危険性

AI・茂木 vs アンドロイド・堀の囲碁対決

堀義人氏（以下、堀）：前回、茂木（健一郎）さんと会ったのは、囲碁のガチンコ対決でした。2時間にわたって茂木さんと打ったわけですが、僕はぼこぼこに負けて、最後は投了負けしたわけです。

次回の対局は、7月くらいにリベンジマッチということで。また負けてしまうかもしれませんが。

そのときの対局に関して言うと、茂木さんは「人間と打ったのは久しぶりだ」と言うんですね。見てると石の置き方がすごくぎこちないので、僕も油断しちゃって。ところが、（茂木さんは）ずっと「最強の囲碁」というAIと打っていて。

AIがすごく強いのは、読みが深くて……読みになったら負けないですね。読みの部分と寄せの部分で、計算できるところはすごく強いんですよ。そこはずっとAIと打っていたということもあって、（茂木さんは）すごく強くて。

僕はマシンとはあまり好きじゃないから、人間とばっかり打っていた。大局観や感覚的なところがすごく好きで。ところが、読みの部分や寄せの部分でぼこぼこに負けて、最後は僕が投了負けしたわけです。

人工知能のAI・茂木 vs 風貌がアンドロイドなのかわかりませんが、アンドロイド・堀義人ということで、次回の対決をすごく楽しみにしています。

まず、このセッションでやりたいのは何かというと、人工知能の理解と同時に、それがどうなっていくのかという未来予測をしていきながら、その中に佐藤（航陽）さんに入ってもらって、ビジネスとして僕らがそれをどう活用するのか、どうやって儲ければ良いのか、そういう視点で入っていきたいと思います。

したがって、最初の部分は松尾（豊）さんと茂木さんを中心に話をして、後半の部分は佐藤さん、それから会場とともに話をしていきたいと思います。

まず、松尾さん。G1サミット以来、2回目のG1ご登壇ありがとうございます。僕もサミットの動画を観ていて大変おもしろかったわけですが、今回の茂木さんの話を聞いて思ったこと、あるいは自分は人工知能に関してもっとこういったことを考えているとか、（プレゼンてーションが）短かったこともあったので、簡単に5分ほどで、みなさんにご説明いただけたらと思います。

過熱気味の人工知能ブームについて

松尾豊氏（以下、松尾）：はい、茂木さんのお話がすごい情報量で圧倒されたんですけども。

言いたいことはいくつかありまして、コンピュータが早くなっているとか、センサーが増えているとか、そういう要因によって人工知能の性能が上がっているところはあると思うんですが、そこにおいてはタスクの幅が狭いというのはその通りで、そこはいまだに何も変わっていない。

ただ、（茂木さんの講演で）1枚だけスライドが出てきた、ディープ・ラーニングというのが違うと思っていまして。

茂木健一郎氏（以下、茂木）：僕、松尾さんの本読んでます。よく存じてます。

松尾：はい。あそこがあるから、今のAIをすごいと言っているのはいいかなと。実はそれ以外の要因はあまり見るものがないので、ブームになり過ぎなところがあって、良くないと思うんですけども。

ディープ・ラーニングだけはいいと思ってるんですね。それは何でかというと、囲碁とか将棋もそうなんですけど、結局今まで囲碁とか将棋の問題をどうやって人工知能が解いていたかというと、コンピュータが扱えるような問題に直すんですね。直してから、その上で探索する。

その、直すというところにすべての知性が宿ってしまっていて、そこの直し方次第で、コンピュータは強くもなるし、弱くもなる。

これは機械学習でいうと、特徴量をつくるということだし、数学でいうと何を変数に置くかということだと思うんですけど。

それによって、その後のすべてが変わってしまう。そこが人間しかできなかったというところが一番の問題で。

ディープ・ラーニングというのは、そこをコンピュータができるようになってきている、その最初のところを示しているという意味ではすごく大きいと思います。

もう1個はコントロールの問題で。僕はあまりピンとこなくて。今の技術レベルを考えると、コンピュータが自律的に動き出すとか、先ほどのスーパーインテリジェンスの3つのタイプがありますけども、僕は明らかに（現実に開発される人工知能は）「Genie（課題対応型の人工知能）」タイプだと思ってるんですね。

そういう発展しかほぼあり得なくて、それ以外は空想の世界。少なくともここ20年くらいは空想の世界なんじゃないかと思っています。というのが、ひとまず感じたところです。

堀：茂木さん、それに対して何かコメントありますか？

軍事技術における人工知能の危険性

茂木：はい、僕はバランスを考えて、おそらく松尾さんがそういうことをおっしゃると思うので、あえてああいうことを言ったんですけど。

ただ、（ニック・）ボストロムとか、3月にやったバンクーバーのTEDでも、ボストロムも来てたんですが、コントロール問題の人ですね。

（コントロール問題については）欧米でスティーブン・ホーキングとかイーロン・マスクとかいろんな人が言って、社会的に議論されていることは事実なので、おそらくこのG1コミュニティとしても、そういう知識を共有していたほうがいい。

特に皆さん、外国に行って、アーティフィシャル・インテリジェンス（AI）の話をしたときに、ボストロムとかコントロール・プロブレムとか、バズワードを知っているかどうかで議論の仕方が違ってくるという。そういう意味でご紹介した感じです。

堀：松尾さん、おそらく何回も聞かれている質問だと思うんですが、イーロン・マスクとかホーキングとか、今回もリファーされていましたが、「原爆よりも人工知能のほうが人類の脅威になるだろう」ということに関しては、松尾さんの見解はどうですか？

松尾：僕は、あれはわざと言っているんじゃないかなと思っていまして。技術的には、そんなこと普通に考えれば起こりそうにないというのはわかっているんだけども、そういうふうにして社会の不安を煽ったほうが、逆に技術が進むんじゃないかなと思っているんじゃないかなと思います。

堀：茂木さん、どう思います？

茂木：唯一僕が懸念しているのは、ドローンなどの軍事技術で。特に日本だとロボット・リサーチ・コミュニティはほとんど鉄腕アトムの世代なんで、平和利用しか考えてないんですけど。

おそらくBoston Dynamicsにお金を出しているDARPA（アメリカ国防高等研究計画局）は……Boston DynamicsのBig Dogってご覧になったことありますよね？　4つ脚でこうやって（歩く）。あれだって、機関銃を乗せたら簡単に殺人マシンになるから。

今のところドローンのモニタリングとか最後の発射の制御は人間がやってるんですけど、これが無人になったときがやばいと思うんですよ。

例えば、ドローンが堀義人をターゲットにしてずっと飛んでるんですよ、2キロメートルくらい上を。堀さんは見えないんですよ。ずっと行動パターンを把握していて、「今ここに堀が入ると、ここには堀しかいないから」ということを確認して撃つ、という判断を今は人間がやってるんだけど、それを人工知能がやるような時代。

人間が判断すると時間がかかっちゃうので、そんな時間はないと。ハイ・フリークエンシー・トレーディング（超高速取引）みたいに、人間が売買すると時間がかかっちゃうから、ミリ秒とか、松尾さんの本にはナノ秒になってると書いてありましたけど。

それくらいの速さで発射の判断をしないと、軍事競争に負けるということになったときに、人工知能にそれがトランスファーされますよね。

そこでの暴走の危険というのはあるし、一番恐ろしいシナリオは、僕はMADです。Mutually Assured Destruction（相互確証破壊）で、核抑止してるわけでしょ。お互いに核を発射した兆候をとらえたら、retaliate（報復）するというのが、今の米露中国の体制でしょ。あれはまだ人間がやってるわけですよ。

だから、午前2時にオバマさんを起こして、「大統領起きてください」「何だ、眠いよ」「ロシアが核ミサイルを発射した兆候があります」「何!?」て言って、コントロールルームに行って反応するのに5分くらいかかるでしょ。それ、遅いじゃないですか。

「ロシアが発射した兆候が出たら、人工知能で自動的に反撃しましょうよ」みたいなことになったとき、やばくないですか？　どう思います？

（会場笑）

松尾：軍事は、やばいと思います。

茂木：やばいですよね。

松尾：ちょっと関連するかわからないんですけども、この前DARPAの方が来られたときに、「これからの戦争の形ってどうなるんですか？」ということを聞き出そうとして、ぜんぜんしゃべってくれなかったんですけど。

茂木：（笑）

松尾：でも、ちらっと言ってたのが、「結局、戦争はトップの不合理な意思決定で決まる」と。だから、その人の気を戦争させないほうに向ければ良くて、そのために心をどう操作するかの戦いに、最後はなっていく」というようなことを言っていて、確かにと思ったんですけど。

茂木：おもしろいですね。DARPAの人、何も教えてくれなかったんですか？

松尾：そこから先は教えてくれなかったですけど。

茂木：東京大学、今度、軍事関連のやつも受け入れるというような報道が出てましたけど、あれどうなってるんですか？

松尾：あれは1回撤回されて、その後なかった……。

茂木：なくなったんですかね。まぁいいや。ごめんなさい。