AIは近代的な人間観で統制できない？　人文・社会科学の見地から考える、人間と人工知能の共存

「人工知能時代の責任と主体」をディスカッション

信原幸弘氏（以下、信原）：それでは、以上で、それぞれのプロジェクトの基本的な紹介を終えまして、続きまして松原さんも含めてのパネリストの間でのディスカッションに移りたいと思います。

このディスカッションでは、「人工知能時代の責任と主体」ということに関して、今もっとも課題とすべき事柄、今もっとも「これは根本的な問題だ」という点はなんなのかについてディスカッションを行いたいと思います。

パネリストのみなさんがそれぞれこの点についてどうお考えになるのか、を1人ずつお聞きすると、きっと先ほど発表していただいたようなことをもう1回また喋ってもらう、ということになってしまいそうなので（笑）。

具体的な危険が予見できることが問題

信原：そこで、まず、もっとも大きな、言わば「近代文明の転換を図ろう」というような構想でお話をしていただいた稲谷さんから、今の点についてどう考えられるかを少し語っていただいて、それに続いてほかの方々に「いやそれはないだろう」「それは違うだろう」などと批判的に応答していただくという形で進めていきたいと思います。

もちろんそれに対する稲谷さんの応答・反論も行っていただきます。まずは口火を、稲谷さんに切っていただければと。

稲谷龍彦氏（以下、稲谷）：わかりました。刑事法の観点から考えた場合に一番大きな問題は、従来の過失犯の判例の解釈とも関係いたしますが、人工知能の開発者・利用者は、人工知能の開発・利用によって生じうる具体的な危険を予見できてしまう、という点にあるように思います。

例えば、ディープラーニングなどを使って、医療画像の処理のようなことをやったとします。この場合、開発者から見れば、必ず処理上のミスや予測できない挙動が起きることを予見できてしまうこと自体は否定できないわけです。

その結果、例えば人が死んでしまったりすること、誤診などによって結果的に人が死んでしまったりする危険がある、ということも誰でも予見できるわけです。その上例えば医療技術だと、人工知能を使うことになるお医者さんの能力も超えているから有用だという問題がある。つまり、利用者が統制できない危険だということも分かって開発するわけです。

要するに、統制できない、統制されていないんだけれども、具体的に完全に予見できてしまっている危険を流通させるということが許されるのか、という問題が起きてくるわけです。

近代刑事法における過失犯の基本的な発想は、しかし、まさにその統制されていない危険、しかもそれが大きな危険であれば、刑事制裁を背景にそれを強制的に「統制させる」というものでした。そうすると、ここの立て付けでまず一番大きなコンフリクトが起きる、ということになります。

誰が機器の安全性を確保するのか

稲谷：もう1つ難しいのは、仮にこういった新しい産業を保護するために、「免責しましょう」という話になってくると、今度は誰が責任を持ってそういった機器の安全性を確保する問題が残ることになります。

つまり片側で、人工知能の開発者であればかなりの確率で過度の萎縮が起きるレベルで危険の統制が求められ、あるいは片側で「じゃあそれはいいよ」と言ってしまうと、ぜんぜん統制されていない危険が社会に残ってしまう。

そういったアンビバレントな状況が、今たぶん刑事法が置かれている状況です。そして、その原因が先ほど申し上げたように、人間が必ず危険をコントロールしなければいけない、なぜなら人間は自由意志に基づいて客体をコントロールできる主体なんだからという近代哲学をベースに、刑事責任が組み立てられてきたことに起因しているというのが私の見立てです。

信原：ありがとうございます。それでは今のご意見に関して、残りのご3人の方でなにか「私はこう思う」ということがあれば。それでは葭田さん、お願いします。

葭田貴子氏（以下、葭田）：サイエンスの研究をやっていると、とくに脳科学をやっているので、主体とか、もっと言うと自分自身とか意識とか、心はどこにあるのか、ということをつい細かく研究することを考えてしまう。

RISTEXに入る前は、制御する主体とか、主体と客体の関係とか、先ほどお話したような事故が起こったときのいろいろな細かい判定の仕方を科学として読み解いていくのが1つの研究のあり方だと思って参画しました。

稲谷さんとか松浦さんのバックグラウンドの研究の話をうかがっていると、必ずしもそのへんをきちんと定義しないまま、でも社会として望ましい方向のソリューションも考えていく必要があるのかな、というような印象を持っています。

学生のレポートにも影響が出てくる？

葭田：松浦さんも恐らく同じような考え方では、と思うんですけど、いかがでしょう。

松浦和也氏（以下、松浦）：主体性に関する私の個人的な問題意識から言うと、言語生成の人工知能が世に氾濫したら、学生のレポートが実際誰が書いたのかわからない、みたいな困った話が出てきます（笑）。

授業に関連する文言を入れれば勝手にレポートを生成してくれるような、そういった人工知能がたぶん出てくると思うんですね。

こういう話になったときになにが問題になり得るか。なにかアウトプットが出てきたときに、人工知能を介してそのアウトプットに関連するような人間がたくさん出てくる。

まず第1に、そういった意味で責任主体がどこにあるのかが、どんどんボヤけてくるわけです。ただそのボヤけてきた先にある問題が、先ほど稲谷先生がお話されたことと重なってきます。

すなわち、人間に基本的に付与されていると考えられていた自由や自律性がゆらいでくる。この問題は本当に自由や自律性は存在するか、というレベルから考えなければいけない話題です。実際の社会では、「成人になったら自律性があると見なそう」と約定的に定められてきました。しかし、これからは約定的に確保された自由や自律性と実際の状況とが引き裂かれてしまうことになる。

仮にとても良くできたチューリングテストをクリアするような人工知能は、一般の人には機械か機械でないかがわからない。

そういう状況が日常的になったとき、アウトプットを作った「主体」は、自律性を持っているのか持っていないのか、と言われたら誰もわからない、という状態になると思います。

いずれにせよ、行動や運動の出発点として考えられていたような人間像が変革を迫られていることは社会的にも哲学的にも問題だと思われます。

人工知能が今までの科学技術と少し違うところ

信原：松原さんはどうですか。

松原仁氏（以下、松原）：はい。私、アドバイザーなので大人しくして……。

信原：（笑）。

松原：主体という話で言うと、AIの立場からすると、すでに意思決定がAIとは言わないけれど、コンピューターの助けを借りて人間はやっていると思うんです。いろいろな意思決定です。

そのときに責任を問われても、人間は今のところ、意思決定は自分だと、プライドもあるから言いたい。

法律的にも本人が「私が責任者です」と言えば（笑）、それは刑事責任を問えるのかもしれないけど。実態を見るともうかなり、コンピューターのサポートでやっている。

今の話じゃないけど、本人も区別がつかない。だから、これから裁判などになったときに、それをどう判定するのかは、非常に現実的には難しいような気がします。

もう1つ、先ほどの具体的な危険が予見できるかどうか、という話と関わると思います。やはり今の人工知能が今までの科学技術と少し違うところがあるのは、学習をする。

要するにユーザーの手に渡ってから変わっていくほうが、ユーザーにフィットするように便利になるので、普通に変わっていくんですよね。

自動運転のクルマもきっとそうなりますし、いろいろなものがそうなります。そうしたときに、学習した自動運転の車が事故ったら……。その自動運転のAIを最初に僕が作ってたら、「僕が作ったときには大丈夫でした！　そのあとの環境が悪いんです！」と、主張すると思うんですよね（笑）。

だからそういう主張に対して、妥当なのか妥当じゃないかは非常に難しい。素人的には比喩として、子どもを作って育てて、最初は責任があるけど育ってしまった子どもにいつまで親が責任を持てるか、に近い議論なのかなと思うんですけど。

そういうところが、今のAIがほかの科学技術と、作った製品やモノの責任などが少し違うところかな、と思いました。

信原：はい、どうもありがとうございます。

近代的な人間観で統制できない？

信原：稲谷さんが最初に提起された問題に戻るんですけれども。予見はできるけれども統制できない危険を世の中に出してしまったときに、実際に危険なことが起こってしまったら、責任はどうなるのか、という問題。

このかたちの問題はもうすでに起こっているとも言えます。例えば人間が車を運転するという自動車社会においても、100パーセント交通事故が防げるわけはないことは、最初から明らかなわけで（笑）。

その意味では、予見可能だけれども統制できない危険が現にあり、そういう社会をそれなりに築いています。しかし、人工知能が出現することで出てくる、予見可能だけれども統制できない危険は、またそれとは少しレベルの違うことだろうと思われます。

恐らく統制できないところに基本的な違いがある、つまり人工知能自体が自律的な存在であるがゆえに、我々人間が人工知能を統制できないと言わざるを得ないような、そういう統制のできなさがあるだろうと思います。

そこで予見可能だけれども統制できない、という言い方だけでは区別できないけれども、実は今言ったような仕方で本来区別すべき重要な問題が、自律的機械である人工知能が出現することで、法的にもまったく新しい、現代の法制度が前提としているような近代的な人間観では間に合わないんじゃないか、と思われるようなところがあるんじゃないか。そういう感じが私はするんですけれど、その点についてはどうでしょうか。

稲谷：じゃあせっかくなので、プロボカティブなことを申し上げます（笑）。自動車について、私はまったくそのご意見に賛成するんですけれど、一般的な刑法学者はそうは考えていないように思います。

自動車はやはり、乗るべき人が乗ればコントロールできて危険が生じないんだから、危険物は流通させていないんだと。だから開発者は処罰しなくていいんだ。こういったことが基本的な発想にあるのではないかと思います。

しかし現実的には、そもそもやはり自動車すら完全にコントロールできていないわけです。また、先ほどお話もありましたように、「人間の体自身もそもそも本当にコントロールできているんですか？」というさらに根本的な問題もあるわけです。

約定というお話もありましたが、人工知能の問題は、もともと実際にはコントロールできてなくて、実は我々の社会にいろいろな影響を「自律的に」与えてきた事物とどう付き合うのか、という根本的な問題が顕在化し始めたというところにその本質があると考えています。

ですので、そこから掘り下げて考えていくアプローチをとるべきではないかと考えています。

人工知能は子どものようなもの？

信原：先ほどの松原さんの話で、人工知能を我々がある意味で買い取ったあと、例えば自動運転車ができたとしてそれを買い取ったあと、人工知能にいろいろ経験をさせて学習させ、その結果、変な運転するようなクルマになってしまって、事故を起こしたらどうするのか（笑）、というかたちの問題提起があって、それを、子どもを下手に教育して悪いことするような子どもにしてしまったら、親の責任はどうなるのか、というかたちになぞらえられました。

果たして人工知能は、子どものような存在だと捉えるのが良いのか。現在の人工知能はそうであったとしても、将来より自律性の高まる人工知能はどうなのか。

これは、松浦さんが言われたアリストテレスの枠組みでは、子どもはまだ責任主体とは見なされていない、という論点と関連するかと思いますが、それ関連でどう考えられるか。

まず松原さんに対して質問ですけれども、人工知能は子どものようなものであり、さらなる教育、つまり「良い意味でも悪い意味でも教育可能な、そういう存在なんだ」ということは、「人工知能である以上、そうでしかありえない」ということなのでしょうか。それとも、人工知能が大人のような責任主体となるという可能性も充分あるのでしょうか？

松原：はい、僕自身が必ずしも人工知能を子どもに比しているのが正しいと思っているわけではないです。今あるほかのもので言うと、「子どもみたい」くらいが辛うじて比喩になるのかなと思います。おっしゃるとおり、人工知能が進んだら子どもという存在ではなくなるはずです。

人工知能は人間の及びもつかないような「なにか」

信原：松浦さん、いかがですか。

松浦：私としてその比喩は、もう少し訂正というかなんというか、リヴァイズが必要かなと思います。少なくとも子どもの学習と人工知能、あるいはコンピューターがするような学習過程は違うわけです。

つまり子どもは感覚を通じて学習し、しばしば忘れるわけですけれども、コンピューターはそんなことはないわけですよね。

また、子どもの場合はそれに伴って身体的な能力も向上するのに対して、コンピューターの場合は必ずしも身体的な、つまりハードウェアの交代を伴わなくてもいいわけですよね。

もしかすると、人工知能とは既存のものに類することはできない、別種の存在なのではないかと考えることもあります。

古代哲学研究者なので、そこから引用してしまうのですが、生物が持つ一番根本にある能力として、物を食べる能力や生殖する能力を挙げます。

それらがベースになって、生物が持つ他の能力、すなわち運動する能力や思考する能力などの高次の能力が形成されている、と考えます。

その一方で人工知能は、てっぺん（頭脳）の、人間だけが持つと考えられていた、知能の部分しかない。

知能の部分しかないような生物をアリストテレスがなんと言っているか。「神」と言っているんです。

もちろん、神様を我々はよく知らないわけなんですけれども、人工知能は人工物なので神様ではないでしょう。そうであるなら、まったく我々の及びもつかないような何かを科学技術は作ってしまったのではないでしょうか。

信原：どうもありがとうございました。

人工知能に適した矯正制度が必要

信原：今話題にしていることに関して、さらなるご意見がおありでしたら、おうかがいしたいと思います。

稲谷：そのデータの学習のさせ方に関してなんですけど、たぶん問題の所在をわけたほうがいいのかなとは思います。

開発者がある段階で、「こういうデータの学習させると危ないよ」ということがわかっていて、販売者を通じて使用者もわかった上でよろしくないデータのインプットをしたなどの話になってくると、それは現行の法律でも「使用者の責任ですよね」とやりやすいと思いますね。

反対に、普通に使っているつもりだったのに、実はよくよく考えるとプログラミングになにか問題があって、あるいはなにかしらの特殊な環境によって望ましくない挙動をするようになってしまった。

その結果初めて問題が顕在化した場合に、私が報告で申し上げたような、従来のやり方とは異なる新しいやり方が意味を持つのだと思います。

つまり、「開発者のせいだ」「利用者のせいだ」というかたちで刑事責任を押し付け合うようなやり方や、「いや、もうしょうがない、人工知能の発展のためにあきらめましょう」というやり方ではなく、次に向けて人工知能自体を矯正していくようなやり方が意味を持つのだと思います。

それは子どもとのアナロジーで言うと、実際にはあまり良いアナロジーではないようにも思うんですが、子どもに少年法があるように、人工知能に適したような矯正制度を作っていくというやり方が良いんだろうと私は考えます。

信原：はい、ありがとうございます。

ロボットサッカーのファールについて

信原：それでは少し、話題を次へ移したいと思います。松原さんから1つ話題提供というかたちで問題提起をしていただき、それについてさらにパネリストの間でディスカッションを行います。

松原さんには3つの話題を用意していただいていますが、時間の関係で1つの話題に絞らせていただきたいと思います。責任の問題については先ほどある程度出てきましたので、私の独断ですけれども、話題2の「ロボットサッカーのファールの、故意と過失の問題」を取り上げていただきたいと思います。

人工知能に関してこの故意と過失の問題を考えるのはなかなかユニークな論点でもあると思います。

松原：今日のセッションはAIがメインテーマに関わらず、AIの研究者は私しか出てこないという非常におもしろい会です（笑）。こういうことが今後も続くといいと思っておりますが。

いろいろやっている中で、「ロボカップ」というロボットにサッカーをさせるイベントを20年前くらいに始めました。それを少し例として挙げます。

ロボットのサッカーのリーグにもファールがあります。今のところ、審判は人間がやっております。ロボットのサッカーなんだから審判もロボットにしろというご意見はもっともで研究はしていますが、なかなかまだできていません。

それで、サッカーをやる方はご存知だと思いますが「故意と過失」という概念があってですね。普通は過失だと思って、「ピー」と吹かれるんですが、わざと倒して過失だと思われると、イエローカードになって、下手をするとレッドカードで退場などがあります。

中学生時代、私もバスケットボールをやっていたんですけど、バスケットボールには「インテンショナルファール」という、モロに「わざと」という意味のファールがありました。「いや、インテンショナルじゃないファールってなんだ」と当時も話題になりました。

今「アンスポーツマンライクファール」と名前が変わっているらしいですが、審判から見て、今の触り方が故意か過失かという基準が、バスケットの概念ではあるわけですよね。過失は普通に1回、2回。だけど故意はすぐフリースローになったり、最悪の場合、退場になります。

人工知能の故意と過失は区別できるか

松原：では、ロボットのファールに故意と過失という概念はあるのか。これは私も答えを持っているわけではありませんが、ロボットのサッカーの審判は淡々とやってます。実はいろいろなリーグがありますが、1分くらい一時退場させられます（笑）。

あとルールが少しずつ変わるんですけど、ファールをしたロボットは、アイスホッケーのように（フィールドを）出ます。今のところ、故意と過失という判定はしないですけども。

人間にはある。では人間のサッカーやバスケットの審判は、どうやってファールの故意と過失を判断しているのか。私、サッカーはやらないですが、バスケットはやっていて審判もやったことがあるので、なんとなく主観的にはわかります。あれは本当に、厳密にそうだったのか。

そういうことで、問題提起としては「人工知能が犯した不始末で故意と過失は区別できるのか」。それはなにに原因があるのか。それが話題提供です。

私自身も答えを持っているわけではありませんが、なにかご意見とか教えていただけるとうれしいです。

信原：この問題、初めて教えていただいたときには「こういう問題もあるんだ」と、つくづく感心しました（笑）。恐らく非常に表面的なかたちで、故意や過失でファールをするようにプログラミングをすることはできるとは思います。

しかし、そうではないような、もっと深いレベルで、この問題を論じていただきたいと思います。例えばロボットに感情を持たせることができるのかという問題がありますが、たんに喜ばしい状況で笑ったり、悲しい状況で泣いたりするようなプログラミングはできるのでしょうが、そういう浅いレベルではなく、もっと深い真正なレベルで感情を持たせることができるのか、といったのと同じような意味での深いレベルです。

そのような深いレベルで、故意や過失が本当にロボットにあり得るのか。それを我々人間の側がどう見るのか。こういうレベルで議論をしていただければ幸いです。

「最善を尽くして点を防げ」の最善に含まれる範囲

葭田：結局そのロボットサッカーを私たち人間がやっているサッカーに、擬人化というか、どこまで類推適用するかの問題だと思っていました。私たちがやっている人間のサッカーのルールそのままでいく、という定義でいくのであれば、ファールに故意と過失は当然存在するだろうと。

要するに今のロボットサッカーの選手には、恐らくたぶんプログラム上は、故意が入っていないんですよね？

松原：はい。

葭田：なので、物理的には存在しない故意と過失なんですけれど。ただ判断しているのが人間であり、その判断している人間が根拠にしているのが人間のサッカーである以上、審判から見て「故意があった」と見えて判定ができれば、それは故意というジャッジでいいんじゃないかと思いますが、いかがでしょうか。

信原：松原さんに答えていただきましょうか（笑）、それとも。

松原：例えば、抽象的ですけど敵のロボットがフリーでボールを持っていて、このままいくとシュートが入ると思って、自分は守る場所にいないで後ろにいる。それで蹴飛ばしたり、ひっぱたいて倒すと、入らなくなるわけですよね。

だから今のロボットは故意でファールはしない、とプログラムしているけど、少し抽象的ですけど「最善を尽くして点を防げ」とは書いてあります（笑）。

それが「最善」にどこまで含まれているか、という問題にはなると思います。おっしゃっているように、現時点では私も人間が審判をしている以上、人間が故意と思えば故意。それが妥当な判断だとは思いますが、それが将来的に、例えばAIがやったことの責任問題などになったときに、人間だと故意と過失で罪がずいぶん変わりますよね。

だから将来AIとかロボットに、それを作った人に責任を負わせるとすれば、今のが故意だったのか・過失だったのかによってペナルティが変わる可能性が将来はあるかもしれない。

そうしたときに「人間から見て」で、将来的にもずっといいのか。要するにサッカーだけではない。車の運転でもなんでもそうですけど、ずっとそれでいっていいのかどうか、は少し僕にもまだわからない。

認知資源の問題

稲谷：法学的には故意と過失という概念は非常に重要ですので、お答えをします。

まず故意と過失の区別の問題は、法学的にはかなり相対化していました。どちらも結局、基本的には法益侵害を防ぐための行為義務違反という話になっているように思います。

これは思いつきの域を出ないのですが、私の理解としてはかなりちゃんと身体化してもらわないといけない規範を故意として、重い制裁で必ず確保していく、その一方でなにかしらの危険を伴う可能性がある行為をするときに、ある程度は身体化しておくべき規範を過失として、もう少し軽い制裁を通じて、やはり身体化を求めていくというかたちになっているのかなと思います。

なぜそういう分け方をするかについてなのですが、認知資源の問題があるからだと思います。「これは確実に身体化しておいてね」という規範には多くの資源を割いてもらってと、「できたらなるべくやってくださいね」という規範にはある程度の資源を割いて貰うということです。

そうすると結局、重み付けのレベルの問題になるんでしょうか。要するにプログラムの中で「これはやっちゃダメな動作だよね」ということを重く設定し、きっちり実行させる。一方で、なるべくやっていただくほうが望ましいよねというものには、それなりの重み付けをして、それなりに実行させる。故意と過失の区別はこうしたものなのかもしれません。

そうだとすると、その区別はできると思いますし、処理能力に限りがあることからすると、人間であるとロボットであるとを問わず、より突っ込んだ議論するべき話だと個人的には思いました。

信原：よろしいでしょうか。今の人工知能の故意と過失の問題。私も一応哲学やっているので、哲学者として最初にパッと思いついたのは、ウィトゲンシュタインが述べた「犬や猫は正直だから嘘をつかないんじゃない、嘘をつくことができないから嘘をつかないんだ」ということです。つまり、人間は嘘をつくことができるから、嘘をつくわけです。

そうすると人間のような高度な知能があって初めて、嘘をつくことや正直であることが可能になっているわけですが、それと同じようなレベルの知能をはたしてロボットが持てるようになるのか、ということが問題になってくると思いますが、ロボットに故意や過失が可能なのかという問題は、そういう視点からも捉えられるかな、と感じました。

会場の参加者から質問

信原：それでは、残り5分になってしまいましたが、会場のみなさんからご意見をうかがえればと思います。

（会場挙手）

質問者1：はい。自動運転の話が出ていました。例えば葭田先生がおっしゃった、要するに筑波大のタイプのロボットの頑丈な自動車。これは例えば北海道に適用する。東工大のような柔らかな、そういう装備を持った自動運転車。これは東京に。

言ってみれば2つの法制度みたいなものをやりながら、車は進化していくわけですよね。さきほど「ロボットは頭だけではない」となりました。

すごく柔らかく作った車でも、だんだんそれぞれ進化していく。硬く作った自動車でも、北海道でなにか進化していく。どこかで実験を重ねながら、いい自動運転の車ができると思います。私はそういう提案をしているんですけれども、どんなふうにみなさんは反論されますか。

質問者2：「人工知能がいかなる能力を持てば人間と対等の存在になり得るか」は個人的には、うまくいかなかったときに説明責任がとれるか次第だと考えています。

それに付随して、やはりログ・記録ですね。どうしてそういう判断をしたか、というログが取れるということも、それに付随して重要なことだと考えております。以上です。

信原：ありがとうございます。早く終われ終われというプレッシャーが非常に強くなっておりますので（笑）。まだ何人も手を挙げられていたんですけれども、会場からのご質問は今の2つだけということにさせていただきます。

今のご質問に関して、答えられる範囲で答えられる方にお答えいただきたいと思うんですけれども、いかがでしょうか。

法制度は小さくスタートして様子を見るのは難しい

葭田：1つ目の問題で。進化していく過程を小さな規模で試験的にやっていくことは可能だと、工学部の人間は考えます。例えば先ほどおっしゃったように、北海道の進化するマシンと、東京の進化するマシンは恐らく違う進化を辿る。使う人も違うし、そのマシンを取り巻く環境や価値観も恐らく違うだろう。

それを小さな、試験的なエリアで試してみて、どんなふうに育つか様子を見るのはできるだろうと、機械的のモノづくりを教えている現場ではそういう考え方をしてしまいます。

そのときに、事件や事故が起こったときにどうするかを考えたときに、稲谷先生とその話をしたら、法制度は小さくスタートして様子を見るのは難しいのかなという印象でした。

技術論としては非常に魅力的なお話なんですけれど、それを社会制度はどうやっていくかの対話が必要ということが私の理解なんですが、いかがでしょう。

稲谷：私は個人的には、まったくそのお考えに賛成です。やはりなにか規範を具体化していく過程で、ソフトでがんばるやり方と、ハードでがんばるやり方とは、たぶん対等に考えて良い。

例えば事故を起こして人を傷つけないようにする、ということを考えた場合に、北海道は原野でむしろ運転者がヤバいから、頑丈に守ったほうが良いよね、みたいな話が出てくる。東京は人がたくさんいてぶつかったら危ないから、むしろ歩行者を見たほうがいいという話が出てくる。

身体にうまく規範を組み込んでいくやり方が工学的には解決可能なはずです。それはかなり魅力的なやり方じゃないかなと私個人は思っています。

ただ行政の区画の作り方として、行政法は専門ではないのであまり確たることは申し上げられないですが、そういったやり方を分断的にやることがどこまで妥当であるのかについては、私自身はよくわからないところではございます。

「責任・主体」の問題の根本的なポイント

稲谷：2番目にも、私から1つだけお答えいたします。私の基本的な立場からすると、どういう方向に次に矯正していって、どういう方向に新しいものを作っていくのか、新しい人工知能に作り変えていくのかに重点が置かれることになります。

このような観点からいたしますと、アカウンタビリティとまで言えるかどうかわからないですけれども、少なくともログを保存して、あとからリバースエンジニアリングをできるような状態をなるべく残しておくことは絶対必要だと思います。

ただ現状、リバースエンジニアリングをかけたところで完璧にわからないところもありますので、どこまでその可能性を確保した上でこうした手続をやるのかについては、また別途議論が必要になるだろうというのが私の認識です。

信原：ありがとうございます。それではあと松原さんと松浦さんに、それぞれ最後に一言、ただし時間がないので、本当に一言だけでお願いします（笑）。

松浦：2番目のご質問に対して、少しだけコメントします。古代ギリシア語だと、「説明能力」も「原因」も「責任」も「責め」も、全部「アイティアー」という言葉で表現されます。つまり、日本人が分類して用いる概念も、どこか重なり合う概念であったという歴史的事実があるように思います。

松原：私も2つ目で。おっしゃるとおり今のAIは、とくに機械学習はパフォーマンスが極端に先に上がって、説明能力が追い付いていない。正確に言うと、数式で全部やっている。ディープラーニングもすごい数式なので、追えるんですけど、追ったからといってわかった気にまったくならないだけです。

計算してそのまま答えが出ているんで、デバッグはできる。だけど対象の領域の説明の言葉になっていないはおっしゃるとおりです。

これは今、AI研究者が世界中でがんばっていますので、遅かれ早かれ出てきます。AIが一人前に認められるためには、その説明ができるようにならないといけない。

信原：ありがとうございました。それでは以上で、おしまいにしたいと思います。このAI時代の「責任・主体」の問題に関しましては、AIという自律的な機械が出現したということにどう対処するのかがもっとも根本的なところではないかと思います。

先ほど松浦さんからもありましたように、AIは単に自律的なだけではなくて、ひょっとしたら人間にとっては理解不可能な自律的存在ということにまでなる可能性を十分秘めています。我々人間にとっては本当に恐るべき新たな存在が、我々の社会の中に入ってくるということになりそうです。そういう問題状況ではないか、と私は個人的には考えています。

それでは、どうも長時間ありがとうございました。

（会場拍手）