5年前と比べてAIはどこまで進化したのか
桑野範久氏（以下、桑野）：パネルディスカッションです。テーマは「QA自動化とAIの活用～未来のテストを考えてみる～」です。
三宅さん（三宅陽一郎氏）が来たら、ゲストなので話してもらいたいことがあって。まず、このQA Tech Nightは2020年に第1回をやり、ゲストで森川さん（森川幸人氏）と三宅さんに話していただきました。
それを遡る2年ぐらい前の2018年の年末に、当時モリカトロン（モリカトロン株式会社）にいた我々のテストオフィスができて、そこでクローズドで「AIはこうなるぞ、AIの自動化というのはこうだぞ」ということを実は三宅さんに話してもらったことがあります。
その時に森川さんにも話をしてもらいましたが、そこから5年経っているんですよ。「5年でできるのかな」と思いながらも研究開発を進めて、（その結果）今日展示している「Playable!」ができました。
あとは、AIを使わない通常のスクリプトの画像認識のテスト自動化も実用に入っていて。弊社の「Garbo」というツールですが、スマートフォンだけじゃなくてPlayStationやSwitchとかのゲームにも対応しています。
5年目は僕らなりに進化してきましたが、世の中的にはどうなんだろう。5年前に話をしてくれたことからどのぐらい進化をしているのか、もしくは進化していないのかを三宅さんに聞くコーナーがこのパネルディスカッションです。
なので（まずは）「実際に5年前と比べて進化していそうですか？」というのを森川さんに（聞きたいです）。三宅さんはたぶんリアルでスライドを出してくれるので。（森川さんは）今の肌感覚でどうですか？
森川幸人氏（以下、森川）：言葉で伝わる話かわからないですけど、でもやはり少し実用性が見えてきたなというところで。逆にじゃあ本当にAIで最後まで詰められるのか、そこらへんの問題が急に現実化してきたのかなと。
今はその自動化を含めてほぼほぼルールベースで動いていますが、その一部分に機械学習が関わっているという流れの中で、本当に最後まで機械学習でやりきれるのか。それとも、やはりある程度のところまでいって終わるのか。そのあたりがいよいよ判断できる時代になってきたかなと思います。
桑野：ありがとうございます。
森川：すごく抽象的な話ですみません。
桑野：ぜんぜん。ありがとうございます。
近い将来、ゲーム用のAIも広まっていく可能性がある
桑野：じゃあ下田さん（下田純也氏）の見解も。
下田純也氏（以下、下田）：そうですね。今回のスライドにはありませんでしたが、弊社では「いかにテストにAIを（使うか）」という話をしていまして、そういう部署もでき始めています。要するに「ゲームの開発とかテストにきちんとAIを適用していきましょう」みたいなことを始めているところが増えています。
あとはゲーム用のAI、強化学習とかを使ったMODとかがゲームの中に入り始めているので、それを開発した人がテストにも使えないかみたいなところは研究が始まっていたりします。弊社のスタジオでも使われ始めるでしょうし、近い将来、そういうものもいろいろんなところでどんどん広まっていくんじゃないかなとは思います。今ようやく（そういった方向に）向き始めているんじゃないかなと思います。
桑野：ありがとうございます。
データが少なくても学習モデルが生成できるAI技術はたぶんみんな活用していく
桑野：じゃあ松木さんはいかがでしょう？ 松木さんはアレですよね。Playable!のゲームAIに触れたのも最近というか、2年ぐらい前？ もっと前？
松木晋祐氏（以下、松木）：そうですね。2年ぐらい前ですね。
桑野：そこから見てどんな感じでしょうか？
松木：そうですね。日本だとインゲーム、アウトゲームと呼ばれる文面がいっぱいあるかと思うんですが。欧米だと“コアメカニクスのゲーム開発”と言うんですけれど。
例えば、アウトゲームの設定確認とか、そういったものはたぶん手でやったほうが適切です。演繹的な作りをしている部分に関しては演繹的なテストをしたほうが早い。
一方、ゲームの総合技術としての側面がどんどん強化されています。演繹的な作りようがない部分もかなりあります。あとは先ほどの森川さんの話を聞いて「えぇ!?」と思ったんですが、ゲームの中でNPCが絵を描いたり音楽を作ったりはあり得るんですよね。
「そういったものが本当におもしろいの？」というところはたくさんのプレイヤーに見てもらわないと、触ってみてもらわないとわからない帰納的な部分になるんですね。なので、そういったところについては、まずアウトラインとして「もしかしたらAIのほうが筋があるのかな」と思っています。まずこれが前段になります。
その上で、今僕らができるところをPlayable!というかたちで紹介しました。なにかの開発で「AIを使おうよ」というソリューションがある時に、AIのモデルを開発する人が真っ先に聞きたいのは「データはどこにあるんですか？」と（いうことです）。データがないと学習しようがなくて、ゲームは個別なんですね。一つひとつが一品ものなので、あるゲームの大量のデータを集めるのはもちろんできるといえばできるんですけど、そのゲームに特化したものなんですよ。
データが少なくても学習モデルが生成できるのもあるとか、そういった方向のAI技術はたぶんみんな活用していくんだろうなと。データを溜めることは超大変です。
桑野：ありがとうございます。
AIがより進化するためには何が必要なのか
桑野：将来的にAIが自律的にテストをして、自動でバグ報告も行う。本当に人と同じぐらいにAIがやる。（スライドを示して）たぶん（実際にそんなことは）できないと思っているから（スライドの）端の部分に書いているんですけど。でも最初のお客さんって、ここ（AIが自律的にテストをすること）を求めるんですよね。
ここもできていないのに「AIってここもできるんですよね」と言って。「AIといってもいろいろあります」という話をよくしています。森川さんの会社で「AIでなんでもできるからなんかやれ」と言われて来られた方が、そもそも機械学習についての定義も曖昧で、なんとなくざっくり「AI」とバズワードのように先行しちゃっていて、「1回戻りましょう」という話になったんですよね。テスト自動化もそうで、「全部自動化できるんですよね」というところから入ってしまうので、「えっとですね」と戻ってを繰り返してやっていたんですけど。
本当にこういうことってできるようになりますかね？ 何があればもっと進化するのか。お金かマシンパワーか技術かわからないですが。それを予想したいです。たぶんあとで三宅さんがヒントをくれると思いますが、聞く前に今の段階でみなさんに聞きたいです。
森川：AIは今が3回目のブームですが2回目のブームが収束してしまった原因の1つが、例えば金融関連の管理とか、病巣の発見とか、実用レベルで進化できるかもという期待がありました。
でも結果、本当に人の命やお金を預けられるかというレベルまでいけたかというと、いけなかった。「最後の1フィートをどうしても乗り越えられないね」と言っている間にブームが去った。
そういうような歴史があるので、デバッグAIの今は「だんだんこういうのができるようになりました」というレベルのところなので、（これからのデバッグAIに対する）期待値は上がっている最中だと思いますが。やがて「本当にきちんと漏れなくデバッグできるか」というあたりが、大きなPoC（Proof of Concept）になるんですかね。
それを克服するAI技術の可能性については三宅さんにおうかがいしたいですね。僕らも仕事として直接かかわるところなので、そういうAIが生まれることを期待しているところです。
桑野：ありがとうございます。じゃあ下田さんはどうでしょうか。
下田：そうですね。「自律的にバグ報告（をする）ということは、どこまで（いったらそう言えるの）か」というところにはなると思うんです。
例えば、シナリオの中で「この人はこんなことを言わないはずのことをしゃべっている」みたいなことは今でもできるんです。これはただちゃんと学習させているからできるわけで、自律的にというところではやはりネックなのかなと思います。でも数年後はどうなるかわからないという気持ちはちょっとしています。あまり（しっかり）答えられなくてすみません。
桑野：ありがとうございます。じゃあ松木さん。
松木：AIが自律的にテスト（をする）。ずっと思っていることなんですが、AIにテストをさせるよりも、AIにコードを書かせる方が簡単だと思うんです。なぜかというと、プログラムでものを作る人は「こういうものを作りたいよね」「こうしたいよね」という目的があって、基本はそこに向かって進みますよね。一方で、テストをする人は「これはどのように使われるか」という観点から考え始めます。
ここには社会性が伴うんですね。ということは、テストするためにはAIに社会性がなければいけないんです。（でも）AIが社会性を持つと人類は滅ぶと思うんです。なので、まず根本的に、AIが完全にテストをやるのはAIが完全に開発できる（ようになる）より難しいと思っています。
なので、おそらく今私たちができているように、テストタイプがさらに限定されたものになるのではないかなという気はしています。
桑野：ありがとうございます。
（次回に続く）
