「REALITY」のメタバース化にはどんなUX・技術が必要か　GREE VR Studio Laboratoryの試作とともに語る5つの成果

セッションの概要とプロジェクトの目的

白井暁彦氏（以下、白井）：こんにちは。GREE VR Studio Laboratory（以下、ラボ）の白井です。

加藤琢磨氏（以下、やはぎ）：GREE VR Studioラボの加藤（やはぎ）です。

白井：これからGREE VR Studio Laboratoryの「XR-UX Devプロジェクト」の成果紹介をします。これはそもそもどういう活動かというと、ラボは2018年の設立から3年やってきています。最初はバーチャルYouTuberやライブエンタメの研究で、最近はこれに加えてメタバースの研究をスタートしています。

このメタバースですが、今までのVRやバーチャルYouTuberなどのライブエンタメを経由して、メタバースで連続的に変化していくために、けっこういろいろなR&D（Research & Development）の課題があります。

この発表では、「REALITY」の魅力を活かした状態で、かつ「世間で騒がれているメタバースの研究開発って何？」といったものを、凝縮して一気にお送りしたいと思います。

今回紹介する「UXDev」プロジェクトの目的ですが「REALITYがHMD（Head Mounted Display）になったらどんなUXが必要か？」を可視化する、それに対して、必要となる技術のモックアップをProof of Conceptしていくということになります。

ラボのUX発明はたくさんあるのですが、その中から選定して、かつ可視化可能でおもしろいものを次のセッションでインターンの学生がたくさん持ってきます。が！それらを除いて見せられるものを見せています。REALITYの製品と違う部分もたくさんあるので、楽しんでください。

WebXR Hubs互換のワールドエディタ

白井：駆け足でティザーから紹介しましたが、これから紹介する5つぐらいのキーフィギュアの中から投票してもらえればと思います。

最初は、WebXR Hubs互換のワールドエディタということで。WebXR Hubsをこの2年間ぐらいずっとやっていましたが、このHubsの中のワールドエディタ、Spokeを使って、REALITYのアバターをUnity上で統合する実験をしました。やはぎさん（加藤氏のTwitter上のハンドルネーム）やってみていかがだったでしょうか？

やはぎ：そうですね。光によって発生する影が、もともとのテクスチャにベイクされていたりされていなかったりするワールドがあったりするので、そのあたりをどう対応していったらいいかを考えながら実装していました。

白井：これをできることによって、Creative Commonsのワールドが使えるとか、ランタイムロード、それからアバターのキャストシャドウみたいな“映え”も作れる。それから、Quest（Oculus Quest）での対応もできる。今はまだ複数体のアバターを踊らせているだけですが、これが歩いたり（するには）、コリジョンを作ったりといろいろ技術は必要になりますが、（複数の環境で互換性のあるメタバースとしての）ワールドを作るのが一番大変でした。

配信リスト選択メニューと配信ミラー＆バブルカメラ

次にいきましょう。（スライドを指して）配信リスト選択メニュー。やはぎさん、これはどういう機能ですか？

やはぎ：今はスマホ版のREALITYアプリがあり、そこでいろいろなカテゴリの配信を探せます。それをVRに持ってきたらどうなるかを考えながら作りました。

白井：VR HMDで視線が動くと酔うので、1つの画面の視界でうまく操作できること。それから（デモで）鏡を出していますが、鏡もけっこう大事だと言われています。何種類の鏡を作りましたか？　

やはぎ：3パターンぐらいは試しました。

白井：ビデオテクスチャを使う方法とか。（デモを指して）これは右目と左目で見る方向が違いますね。オプティカルに正しい鏡などを作ります。

次はバブルカメラ。これはスマホと互換しないといけないということを考えています。「ある日突然、スマホの人全員がHMDになる」という世界がくるわけではないので……。スマホと互換のレイアウトなどを維持しながら、配信している人も『スマホでこう見えるのか～』というレイアウトが見える仕組みです。

これはズーム・広角・コラボ、そして「望まれない角度」です。上からとか、下からとかは見られない。かつ、例えば2人並んだ時などに、ちゃんと2人ともフレームに入るようなレイアウトアルゴリズム。これは数学をたくさん使いましたよね。

やはぎ：そうですね。たくさん使って大変でした。

白井：やはぎさんはまだ大学1年生ですが、（デジタルハリウッド大学大学院客員教授でもある）僕が直々にグラフィックス数学を教えるという夏の1コマでした。さて、これのおかげでオプティカルに正しいレンダリング処理もできるようになります。ただ、レンダリングコストが大きいので、なんでも最高級のものを使えばいいわけではないので、そのあたりも手触り感を見ながらやってもらっています。

多画面視聴プレイヤー

次は多画面視聴プレイヤーですが、これは何でしょう？

やはぎ：これは、VRならではの特有の表現として、ワールドの中でいろいろな人の配信を一緒に同時に見ることを叶えたいなと思って、試しに作ってみました。

白井：これは弊社社員のようてんさんが実際にやっていて、「これだ！」と。これを作らなきゃと思って、たくさんのバーチャルなスマホを並べてみています。

実際にやってみるといろいろな意見があって、「やっぱりHMDだから、3Dのほうがいいんじゃないの？」という意見もあるし、「音をどうするんだ」とか。ただ、みんなで見るとかコラボするとか合唱したいとか「HMDならではの体験」という意味ではそうだよね、という感じにはなっています。YouTubeを一緒に見たりとか、楽しいですよね。

オブジェクトとのインタラクション

次にいきましょう。これはけっこういっぱいあるんですけど、これは何でしょう？

やはぎ：これは他のVR SNSでは物を掴めたりします。手に触れていないのに、謎のパワーでオブジェクトを持ったまま移動できたりするんですが、それは何か違うかなと思っていて……。ペンだったら、ちゃんと正しい手のかたちでペンを持ったり、コップもちゃんと取っ手を使って持ったりするようになったらいいなと思って作っています。

白井：なるほど。オブジェクトとのインタラクションというのは、具体的にはギフトなどですよね。物をくっつけるではなく、持つ。ペンを持ったりギフトを送ったり、箱を持ったり缶を持ったりして「みんなで乾杯！」のようなことができないかなということで。

多様な手の大きさをスタジオでグローブ作ったりしてわかっていますが、これをアニメーションで動的に生成したり。コップとかマグカップ、鉛筆などは持ち方がぜんぜん違うので、まだまだ研究要素があります。アーティストさんが全部それを作ったら死んでしまうので、そこをどうアルゴリズム化するかが研究要素です。

ということでまだまだ課題は残りますが、やっていて楽しいですか？

やはぎ：けっこう大変です。

（一同笑）

やはぎ：でも楽しいです。

白井：ということで、REALITYの中でプラットフォームの人たちと、それからREALITY XR cloudというBtoBの人たちと一緒に、研究開発部門としてやっています。知財創出や普及、促進とか。こういった場でお話ししたり、学生さんたちを発掘したりしています。

求められる未来への選択肢を作る

だいたいこういう研究所は、オモチャっぽいものを作っていると思われていると思いますが、新奇ではなく、珍しいんじゃない、輝いているものを作ろうということで“新輝”。今のREALITYのユーザーさんに愛されそうなUXを優先して、開発して発信していくサイクルをやっています。

「今のお客さんに愛されるか愛されないか？」と、「新しい機能」はけっこう相反していますが、「コレジャナイ感」みたいなのを明らかにして、「求められる未来への選択肢」をどんどん作っていこう！という感じでやっています。

HMDならではの合理的な体験で、それが品質高くやれるのは大事なことです。（メタバース内の）鏡によって体感できる「身体所有感」とか「運動主体感」といった専門用語がありますが、「自分の身体であることがわかるような設計」や「自然な物理現象」、メタバース内のサイエンスなどの言語化をREALITYのブログやYouTubeチャンネルで動画化して発信したり、今日みたいなイベントで対話できればと思っています。

スマホアプリのREALITYが、HMDになったりARになったり、WebXRになったりしていくというようなところを今後も開拓していくので、VR Studioラボをよろしくお願いいたします。

学生向けにはグリー新卒採用、学生向けの新プロジェクトなどをやっています。というわけで発表はここまでで、わくわくの投票タイムです。

何を発表したかというと、WebXR Hubs互換のエディタ、3DUIの配信リスト選択メニュー、3DUIのミラー。それからバブルカメラ。あとはオブジェクトのインタラクション。

やはぎさんは（お気に入り）どれですか？

やはぎ：僕のお気に入りは、やはり物を掴むやつ「オブジェクトごとのインタラクション」です。

白井：もっと作りたいですけどね。

やはぎ：もっと作りたいですけどね。

白井：自分の首が締まる。ミラーとバブルカメラは意外と反応が良かった。インタラクションをがんばれと。これはもう、がんばれというメッセージですかね。いかにアルゴリズムをやるか。これ、実はMeta社とかも研究していないようなのです。メタバース界でのユーザーインタラクションみたいなものは、世界で我々が一番まじめに研究をやっているのかもしれない。

かつ、映える絵を作っている研究グループになっているので、こういうのが大好きな人は、ぜひTwitterなどで絡んでください。さて、そろそろ決着したかな。ベストオブベストはオブジェクトごとのインタラクションということで、次はクリスマスパーティでも作りましょうかね。

やはぎ：そうですね。

白井：以上です。発表ありがとうございます。