『Minecraft』で“楽しみながらAIを使う”　QAやテストに活きるかもしれない機械学習環境のノウハウ

切り口を変えて協調ができるように

下田純也氏（以下、下田）：こういうことが起こり始めてしまったので、もう一度原点、シンプルなゲームに戻って、どう解決するかを考えたそうです。即座にチームを組んだときにうまくできるように、行動のネットワークアーキテクチャを4段階に分けて、まずはAIたちが他者の行動を観察する。

その人たちが未来にどういう行動するか予測して、その予測から、他社のプレイスタイルやマインドセットを「こんなふうだろう」と想像して動くというような、学習と実際の行動スタイルを決めていく作りに切り替えたそうです。

そうすることで、即座に違うチームと組んだとしても、うまく協調できるようになったと話をされていました。

ゲームデザインのエージェント・コンテンツの生成とテスト

梅津寛子氏（以下、梅津）：ここからは別の話ですね。

下田：はい。これはJulianさんという、ニューヨーク大学の先生で、modl.aiの共同創設者の方です。ゲームデザインのためのエージェントやコンテンツの生成、あとはゲームのテストを、実際にmodl.aiで提供しているということで、それに対する基礎的な論文の話をしてもらいました。

Procedural Content Generationと呼んでいて。そのコンテンツ生成用にエージェントをトレーニングさせて、人間が見て、いいコンテンツをちゃんと作ったところに報酬を与えるとか。単純に見栄えだけではなく、ちゃんと通しでプレイできます。ただ、通しでプレイできればいいということではなく、その中に課題というか、難しさもちゃんとある。

それでバランスのいいマップができるとか、人間がそれを見たときに、最初はうまくいけなかったとしても、そこからうまく学習して解決方法を見つけ出せるようなクエスト、マップ、レベルができあがるところで、うまく報酬を与えていく。じっくりトレーニングさせて、自動生成、コンテンツ生成をできるようなものをやっていくと、うまくできていくという話をしていました。

梅津：実際にマップをいろいろと作るところも動画で紹介されていたので、見ていてもけっこうおもしろいセッションでした。

下田：今回のQAに近いところでいうと、ゲームのテストのためのエージェントのような、組み込めるようなものを作られていて。プレイ可能なレベルになっているかとか、人間がなかなか見つけられないショートカットできるようなコースが途中にないかとか、マップにハマったりしないかとか。

そのステージの中に、壊れた見栄えになっているところがないかをどんどん探索にいくようなものを、modl.aiでは実際のサービスとして提供していることを話していました。

「ゲームデザイナーに優しい機械学習と教科学習」セッション

このAIエージェントの回は複数セッションありました。別のセッションでおもしろいなと思ったものとして、日本語でいうと“企画”とかになると思いますが、「ゲームデザイナーに優しい機械学習と強化学習」というテーマで話しているところもありました。

チャレンジングなところとして、すごいプレイヤーを作るのはまぁまぁできますが、そうではなく、本当にプレイしているスタイルが楽しく見えるものを目指すところ。あとはデザイナーに優しいというところで、やはりテスターが使いやすいことは、すごく大事だと思います。

デザイナーに優しいというところで、強化学習のエージェントが何を学習の中で学んだのか、何を会得したのかがちゃんとわかるようにするところがチャレンジングだった、という話をしていました。

どんなことが必要かで、弊社の取り組みとして、『Minecraft』とAIを組み合わせた、いろいろなことをやっています。

『Minecraft』のエージェントが挙動をインタラクティブに見れたり、視覚化できるところをきちっとしたり。マシンラーニングやリインフォースラーニングで、やはり人間はいろいろなプレイスタイルがあって、学習がなかなか難しいところがあったりとか。

あとは、マシンラーニングをさせていくインタラクションの、いろいろなところで学習させる環境、デザイナーが使いやすい環境が、なかなかチャレンジングなところとしてあったり。

やはりゲームデザイナーにフレンドリーな強化学習の環境、機械学習の環境は、恐らくテスターやQAのエンジニアがAIを適用する、テストをQAに適用するところにも扱いやすいものになるだろうというところがあって。やはりそういうところで大事だと、おもしろいアプローチだなと思いました。

こういうところのノウハウも、恐らく今後QA、テストに生きていくるのかなと思いました。成果物としてまだ出せる段階ではありませんでしたが、なかなかおもしろいものがあって。

もうすでに飛澤さんはAIを作っていると思うので、AI and Gaming Research Summitのビデオを見てもらうと、もしかすると何かヒントになったり、役に立ったり。または参加者のみなさんも、QAでAIを活かしたいと考えるときに、役に立つのかなと思います。

司会者：これは今でも見れますか？

下田：はい、今でも見れます。

MLのコンテスト「MineRL」

梅津：先ほどの話の中でも『Minecraft』の話がありましたが、『Minecraft』はAI Summitの中でもちょっと説明がありました。『Minecraft』でも、MLのコンテストの「MineRL」をやっています。

これはもともと最初のほうで紹介したMicrosoft Researchが開発したProject Malmoがベースとなっていて、限られた回数、環境の中で、どれだけパフォーマンスのいい強化学習をして、ダイヤモンドを取ってくるか。より効率的にできるためのアルゴリズムを、どう作っていくかを研究してコンテストしているものもあります。

これ自体は毎年行われているのと、Project Malmo自体もGitHubで公開されているので、興味のある方はぜひ触ってもらえればと思います。他にも『Minecraft』つながりで、セッションの中でも紹介がありましたが、「Generative Design in Minecraft」。これも『Minecraft』を題材とした、AIを使った景観を競うコンテストが行われています。

毎年1回行われているコンテストで、『Minecraft』を使ってAIで街の景観をどれだけきれいなものを作れるか。きれいなだけではなく、実際に人が住んでみて、きちんと生活圏として使えるものなのかどうかも、きちんと基準として見られるものになっています。

『Minecraft』を題材としてAIを活用して学習するところや、コンペ（コンペティション）を行ったり、いろいろやっているので、楽しみながらAIを使っていくところにも『Minecraft』をぜひ活用してもらえればと思います。

4月にはGame Stack Liveを開催

最後に、先ほどAI and Gaming Research Summitを紹介しましたが、マイクロソフトとして、4月に「Game Stack Live」も開催します。

4月20日と21日。一応8時からと書いていますが、先ほどのセッションは、みなさんが見やすいような時間帯や、日本語があまりないものになってしまっていますが、今回は日本語で配信されるセッションもあるので、ぜひ見てもらえればと思います。

下田：QAやテストに関わりそうなところの発表もかなりあります。（スライドの）左側で言うと、アクセシビリティとインクルージョンというテーマで、ゲームを多様な方にプレイしてもらうために、ボタンが押しにくい方も、普通のコントローラーだけではなく、大きなボタンのコントローラーでもちゃんとプレイができるようにとか。

あとは、視認性が良くなるようにするにはどうしたらいいかとか、さまざまなテーマで話します。（スライドの）右側は制作からパブリッシュまでというところで、テスト用のインテリジェントbotオートメーションで、実際にゲームの状態を利用してbotを動かすとか。

『Forza』『Gears of War』『Minecraft Dungeons』を作っている弊社のゲームスタジオで、botをどのように活用されているかを話す予定になっているので、ぜひ時間があれば見てもらえればと思います。

梅津：登録自体は無料なので、ぜひ登録だけでもしてもらえればと思います。以上で、私たちのセッションは終了したいと思います。ありがとうございました。

下田：ありがとうございました。