5年間で業界の最先端がどのあたりまで進んだのか
桑野範久氏（以下、桑野）：三宅さんが戻られたので、拍手をお願いします。
（会場拍手）
三宅陽一郎氏（以下、三宅）：先ほど思いっきり温度を下げてしまったので、温度を明るい未来に（したいと思います）。
桑野：そうですね。じゃあいったん三宅さんの紹介から入ります。あらためて、三宅さんです。日本デジタルゲーム学会（の理事）で、ゲームAI開発者でいらっしゃいます。今日はよろしくお願いします。
桑野：今日テーマにしたいことが、「QA自動化とAI活用～未来のテストを考えてみる～」というものです。2018年の年末にモリカトロン（モリカトロン株式会社）にテストランができた時に、三宅さんにゲストに来ていただいて、森川さんとQAの話をしていただいたと思うんですね。
そこから5年が経ち、我々はPlayable!とかテストの自動化のツールとかをいろいろ開発してきて、けっこう進化してきたかなとは思っています。当時三宅さんが話をされてからこの5年間で業界や最先端のところがどのあたりまで進んでいるのか、スライドとかを使って聞かせてもらえるとうれしいです。それに対してみなさんがツッコミを入れていく流れでどうでしょう。
QAだけではなく、ゲームの作り方も変化した
三宅：モリカトロンさんがやっていましたが、一番大きな流れは機械学習の導入とその壁みたいなところですね。全部ある程度うまくいっている部分もあれば、やはり過剰に発信しちゃった部分もあるかなとは思います。
あとはQAだけじゃなくて、ゲームの作り方そのものの変化もあると思うんですね。AIが自動生成とか自動開発とかをやって、かつAIがシミュレーションで欠点を潰していくみたいな、そういうところが大きくなったんじゃないのかなと思います。
（スライドを示して）これはEA（エレクトロニックアーツ）さんたちがやっている研究なんですが、ある程度AIがゲームを作って……。これは今階段を作っているんですが、階段を作ってかつ同時にエージェントも動かすみたいな。つまり、この階段は本当にエージェントが登れるのかみたいな。「エージェント」と言っていますが、（これは）プレイヤーの代わりなんです。
プレイアブルかどうかって案外……。例えばレベル2みたいなものを作って、それでキャラクターを動かすCOMCOMがいて、最後にデバッグみたいなことをやっていたのを、ある程度ですがエージェントとして、プレイアブルになるように（階段の）導線が安定してくる。
つまりジェネレーションとデバッグを一気にやってしまうみたいな。それによって、どちらかというと「どっちかは自動環境につかえるよね」という話があったんですが、逆に自動生成をAIで制限をかけることによって適したレベルを訂正すると。
一番離れていたジェネレーションの話で、デバッグの話も同時にやっちゃうみたいな。そういう例が論文で出てきています。
QAをちゃんとすれば、AIを活用することで“攻め”のゲームを作ることができる
三宅：逆に言うと、人間は「この輪っかはさすがにダメなんじゃないか」みたいなことも、「発想はレースゲームだけど、このグニャグニャがいいんだぜ。案外この手の車って、うまく運転すればコースアウトしないんだぜ」と。
逆におもしろいマップをAIが提案して、「え～、これでもいいんだ」みたいな。逆にそのあたりのゲームデザインを自由にしているみたいな。デバッグとQAって、ちょっと守りに入っている（傾向）というのがあったんですが、むしろQAをちゃんとすれば、むしろ攻められるみたいな。「これはもうギリギリまで攻めてもいいんだ」ということが（起きる）。QAによってゲーム制作を推進しているみたいな。そういう未来（がくる）ということかなと。
これは実際にAIがやっているので、AIも攻めているみたいな話が（笑）。ただ、どうしても作ったあとにQAみたいな考えから、「いや、それはもう自動化をしているから、そのままでいいんだ」みたいな。
デバッグの時も、開発の現場にQAさんっているじゃないですか。AIはもっと開発者に近いかもしれない。自分のパソコンの中にQA部隊がいるみたいな。その時に現場のQAさんがいて、QA部の品質管理もいて、さらに外注先がいてみたいな。
超高速イテレーションみたいなものが可能になったというのがあるんじゃないかなと思います。（スライドの）次に行きます。
桑野：ありがとうございます。
AI技術をQA技術と結びつけて、超高速なイテレーションができるようになる
三宅：（スライドを示して）これもよく言っていて。ナビゲーションのデバッグが一番大変。これはひたすらエージェントがピョンピョンと跳びながら、このぐらいの飛ぶ（どのくらい、飛べるかの確認、ひたすら（人がプレイしたときに飛べるかの確認をエージェントが代わりに）能力みたいなこういうことをやっているところなんですね。
これは進路マップとか、いろいろな占有マップみたいなものを使って解析するんです。やはり最近空間解析技術はあらためられていて。昔は空間解析は何のためにやっていたかというと、例えば空間解析だと、単に3Dの空間はエージェントにとってどういった空間か非常に解析が難しい。
例えば、ジャンプができるやつ、地べたを這いずり回るしかできないやつ、棒高跳びみたいなことができるやつとで空間の意味が違ってきます。空間解析技術を入れることによって、それまで可視化されていた空間の意味がわかる。そうすると、先ほど言ったレベルデザイナーにとっての手元で空間解析が走ることによって、そこがメイン（の基準）になる。「ここまで攻めていいんだ」と。
今までだと「キャラを動かしてみてよ」ってお願いして返ってきて確認していたのをずっと早いところで可視化してしまおうというか。でも、どちらにしろゲームAIを作る時は空間解析は作らないといけないので、空間解析の精度こそがキャラクター、NPCの動きの限界を決めているので、これって実はそのままQAのモジュールでできるんです。
ただ、（それは）普通はAI屋さんしか使っていなくて。逆に言えば、他のエンジニアさえ見ることがなかったものを今はQAに渡して使う（ことになる）。
これまでAI技術だけだと思っていたものをQA技術とうまく結びつけて、超高速なイテレーションでやるような感じは事例としてはあるかなと思っていますね。
あと世の中では今はデータ解析が変わったおかげで、データ解析からいろいろなゲームのバグを見つけるとか、いろいろなログを取って誤り検出（をする）みたいな。誤り検出というのは、例えば画面が一瞬青くなる（バグ）とかを検出するような、そういう異常値検出です。
異常値検出はよくネットのバグを見つけるために使うんですが、そういうものをゲームでも使いましょうみたいな。簡単ではないけれど、（そういったものも）ゆるりと導入できたのかなと。
ゲーム業界以外での活用のされ方
三宅：ゲーム業界ではないんですけど（笑）。（スライドを示して）これはNetflixさんのネットに公開されている一般向けの情報ですが、T-SNEというデータ解析です。簡単に言うと、高次元コードを二次元に持って来るみたいな感じですね。ユーザーがデータを解析していて、「ここってまだ空いているよ」というような（人気が出るはずなんだけどまだ空いている）分野があるんですね。そういうのをゲームのテストデータだとか、いろいろなジャンルデータを持ってきてかなり大きな話ですけどゲームデザインのほうに活かすみたいな。
より広い話もあって、今まではゲームの人たちって見たことがないというか、「このままいけるんじゃね？」みたいな（笑）。「バトルが流行っているからバトルいれたらたらいいんじゃね？」と言って、（実際に提供されているゲームを）見てみたら（競合が）ぎゅうぎゅうに詰まっていたりして。実はそのあたりは客観的なデータとして出ます。だからゲームのほうがまだやりやすいのかわからないですけど。
例えば「Steam」とか、いろいろなところでゲームユーザー（のデータ）が取れます。これはデータ分析が入って来たりしてきたとして、もちろん「ソーシャルゲームとかは昔からやっているじゃん」みたいな話があるんですが、コンシューマーのほうはデータサイエンティストも少なかったりしたんですけど、最近はコンシューマーゲームに対しても、データ分析というか、こういう動きが1つのグローバルなQAとしてはあるかなと思いました。まずは（紹介は）このぐらいにします。
桑野：ありがとうございます。
研究所を作ると開発から遠くなる
桑野：三宅さんが公開してくれているスライドは前回の2018年からわりと見ているけど、さっきのスライドは僕もたぶん初めて見ました。さっきの最新の事例は最近の話なんですか？
三宅：最近というか、この3年ぐらい（の事例）で……。
桑野：EAさんでやられている？
三宅：「EA SEED」というEAのAIの研究所があるんですが、最近は研究所ラッシュなので。機械学習とかグラフィックもそうなんですが、この20年ぐらいで専門家が入ってきているじゃないですか。
そのまま開発部隊を置くと窮屈になる場合もあるので、研究所を作るのが世界的にあって。そこで中国とかGDCとか、産業のカンファレンスのようなところで研究者がガンガン研究して、おもしろい結果をどんどん出しているみたいな場合がありますね。
問題は、研究所を作っちゃうと開発から遠くなっちゃうんですね。それをどうつなぐかというのは研究所の腕の見せどころなんですよね。（開発から遠くなる事例として）有名なのは、アニメーションの自動生成をバンバン研究しているんですけど、どのタイトルも受け入れられない。
桑野：研究はしているけど実装はまだできていない。
三宅：研究所を持っているので。「どっちが上なの？」と。仲間なんだけどね。どうしても溝ができちゃうんですよね。
桑野：ありがとうございます。
「作ったそばからテストをする」はすごくおもしろい
桑野：今のお話を受けて質問とかありますか？
松木晋祐氏（以下、松木）：質問というか感想なんですけど。ゲーム以外の分野でのソフトウェアテストの上流の中でも、ソフトウェアの品質保証というと「上流工程でなるべくバグを潰そうよ」というようなV字のシフトレフトという流れがかなり強力に降り立ったんですね。
ここ数年で特にテスラとかNetflixとかが、「TIP（Testing in Production）」というんですが……。例えばテスラって、売ったあと、お客さまが自動運転をしている車の上で単体テストを動かしたりするんですね。信じられないことをするんです。あと、Netflixは本番サーバーをランダムに1個ボーンと落として、それで全体に障害が出ないかを確認したり（する）という、「シフトライト」という大きな流れが来つつあって。
先ほど三宅さんがお話しされていたplayers experience modelingというのが一部の分野であるんですが、そこからプレイヤーがどういう体験をしたのかを次のパッチなり、DLCなり、次回作なりに活かしていくようなことが今後起こって来るんだろうなと。
あとは冒頭に三宅さんがお話しされていた、開発した瞬間にテストされることというのは、僕は一番すばらしいことだなと思います。そういう世界が作れるといいなと思います。
森川幸人氏（以下、森川）：ゲーム中にゲーム会社が開発しながらデバッグとかに挑戦できると、AIQVE ONEさんはどういうポジションというか役割になるんですかね。
松木：仕事はいっぱいありますね。やはり「開発の方により良い道具を届ける」という役目になるはずなんですよ。
森川：なるほど。
松木：道具を作る人と、あとはその道具をチューニングする人。たぶんそれは簡単に使える道具じゃない。実はPlayable!もそうなんですけどね（笑）。なので道具をチューニングしたらゲームのタイトルに向けてチューニングしたり、あとはその道具自体を開発して独立するという、まさにそういう仕事に変わっていくと思います。
森川：なるほど。「（仕事は）なくならない」と。すばらしい。
松木：そうですね。先ほどの質問だとそうですね。仕事はなくならないです。
森川：でも先ほど三宅さんが言われたように、デバッグAIの仕事は実は意外とゲーム制作後半というより前の（工程）ほうで踏み越えるというのは目から鱗で。
松木：メビウスの輪ですね。メッチャおもしろいなと。
桑野：ありがとうございます。下田さん（はいかがですか）。
下田純也氏（以下、下田）：そうですね。やはり最後の最後に三宅さんがお話しされていた、「作ったそばからテストをする」というのはすごくおもしろいと思います。そうするためには、やはり開発の現場に近いところにああいうところ（テスト）への知識とか、造詣の深い方がいないとできないようなことな気がするんですが、日本で今後流行っていくと思いますか？
三宅：そうですね。やはりそのゲームエンジンがしっかりしていると（いい）。完全に正確であるということではなくて、ある程度の指針にすればいいと思います。なので、そこは仮の実装でもいいからそういうのを早くやって。QAのAIって、だいたい序盤は「パケットないからいらないよね」みたいな。中盤はゲームができていないから、できたらやろうね」と。終盤は「延長して」みたいな。
（一同笑）
三宅：「時間ないよね」みたいな。どこでもそうだと思うんですけど、余裕がない。「そんな人がいたら開発を手伝ってよ」となって、最後までやらない。だいたいこのパターンになる。だから本当に適切なタイミングを考えないと、いつまで経ってもできないので。細かく入れて、どんどん外側へ規模を移していくみたいな、そういう導入テクニックみたいなのがやはり重要なんじゃないかと。
あとは結局お話しされたとおり、そのゲームをある程度知悉した人でないと作れません。今いる人（の中）で仕事がない人たちがなにか（ゲームのことをAIに）反映できるかというとできないので、なにか工夫が（必要です）。だから例えばセガさんの「龍が如くチーム」なんかは本当に毎回CEDECですごい講演をされてる。
これもやはり同じチームで作り続けているという、一般ではなかなかそこまですごいシステムをつくることはできないですよね。
下田：ありがとうございます。
桑野：ありがとうございます。
（次回に続く）
