CLOSE

GREE VR Studio Laboratory「XR-UX Devプロジェクト」の成果紹介(全1記事)

「REALITY」のメタバース化にはどんなUX・技術が必要か GREE VR Studio Laboratoryの試作とともに語る5つの成果

グリー株式会社およびグリーグループ各社でさまざまなチャレンジをとおして得られた知見や、これから取り組んでいくチャレンジを紹介する技術カンファレンス、「GREE Tech Conference」。ここで白井氏と加藤氏が「GREE VR Studio Laboratory『XR-UX Devプロジェクト』の成果紹介」をテーマに登壇。プロジェクトの成果物を紹介します。

セッションの概要とプロジェクトの目的

白井暁彦氏(以下、白井):こんにちは。GREE VR Studio Laboratory(以下、ラボ)の白井です。

加藤琢磨氏(以下、やはぎ):GREE VR Studioラボの加藤(やはぎ)です。

白井:これからGREE VR Studio Laboratoryの「XR-UX Devプロジェクト」の成果紹介をします。これはそもそもどういう活動かというと、ラボは2018年の設立から3年やってきています。最初はバーチャルYouTuberやライブエンタメの研究で、最近はこれに加えてメタバースの研究をスタートしています。

このメタバースですが、今までのVRやバーチャルYouTuberなどのライブエンタメを経由して、メタバースで連続的に変化していくために、けっこういろいろなR&D(Research & Development)の課題があります。

この発表では、「REALITY」の魅力を活かした状態で、かつ「世間で騒がれているメタバースの研究開発って何?」といったものを、凝縮して一気にお送りしたいと思います。

今回紹介する「UXDev」プロジェクトの目的ですが「REALITYがHMD(Head Mounted Display)になったらどんなUXが必要か?」を可視化する、それに対して、必要となる技術のモックアップをProof of Conceptしていくということになります。

ラボのUX発明はたくさんあるのですが、その中から選定して、かつ可視化可能でおもしろいものを次のセッションでインターンの学生がたくさん持ってきます。が!それらを除いて見せられるものを見せています。REALITYの製品と違う部分もたくさんあるので、楽しんでください。

WebXR Hubs互換のワールドエディタ

白井:駆け足でティザーから紹介しましたが、これから紹介する5つぐらいのキーフィギュアの中から投票してもらえればと思います。

最初は、WebXR Hubs互換のワールドエディタということで。WebXR Hubsをこの2年間ぐらいずっとやっていましたが、このHubsの中のワールドエディタ、Spokeを使って、REALITYのアバターをUnity上で統合する実験をしました。やはぎさん(加藤氏のTwitter上のハンドルネーム)やってみていかがだったでしょうか?

やはぎ:そうですね。光によって発生する影が、もともとのテクスチャにベイクされていたりされていなかったりするワールドがあったりするので、そのあたりをどう対応していったらいいかを考えながら実装していました。

白井:これをできることによって、Creative Commonsのワールドが使えるとか、ランタイムロード、それからアバターのキャストシャドウみたいな“映え”も作れる。それから、Quest(Oculus Quest)での対応もできる。今はまだ複数体のアバターを踊らせているだけですが、これが歩いたり(するには)、コリジョンを作ったりといろいろ技術は必要になりますが、(複数の環境で互換性のあるメタバースとしての)ワールドを作るのが一番大変でした。

配信リスト選択メニューと配信ミラー&バブルカメラ

次にいきましょう。(スライドを指して)配信リスト選択メニュー。やはぎさん、これはどういう機能ですか?

やはぎ:今はスマホ版のREALITYアプリがあり、そこでいろいろなカテゴリの配信を探せます。それをVRに持ってきたらどうなるかを考えながら作りました。

白井:VR HMDで視線が動くと酔うので、1つの画面の視界でうまく操作できること。それから(デモで)鏡を出していますが、鏡もけっこう大事だと言われています。何種類の鏡を作りましたか? 

やはぎ:3パターンぐらいは試しました。

白井:ビデオテクスチャを使う方法とか。(デモを指して)これは右目と左目で見る方向が違いますね。オプティカルに正しい鏡などを作ります。

次はバブルカメラ。これはスマホと互換しないといけないということを考えています。「ある日突然、スマホの人全員がHMDになる」という世界がくるわけではないので……。スマホと互換のレイアウトなどを維持しながら、配信している人も『スマホでこう見えるのか~』というレイアウトが見える仕組みです。

これはズーム・広角・コラボ、そして「望まれない角度」です。上からとか、下からとかは見られない。かつ、例えば2人並んだ時などに、ちゃんと2人ともフレームに入るようなレイアウトアルゴリズム。これは数学をたくさん使いましたよね。

やはぎ:そうですね。たくさん使って大変でした。

白井:やはぎさんはまだ大学1年生ですが、(デジタルハリウッド大学大学院客員教授でもある)僕が直々にグラフィックス数学を教えるという夏の1コマでした。さて、これのおかげでオプティカルに正しいレンダリング処理もできるようになります。ただ、レンダリングコストが大きいので、なんでも最高級のものを使えばいいわけではないので、そのあたりも手触り感を見ながらやってもらっています。

多画面視聴プレイヤー

次は多画面視聴プレイヤーですが、これは何でしょう?

やはぎ:これは、VRならではの特有の表現として、ワールドの中でいろいろな人の配信を一緒に同時に見ることを叶えたいなと思って、試しに作ってみました。

白井:これは弊社社員のようてんさんが実際にやっていて、「これだ!」と。これを作らなきゃと思って、たくさんのバーチャルなスマホを並べてみています。

実際にやってみるといろいろな意見があって、「やっぱりHMDだから、3Dのほうがいいんじゃないの?」という意見もあるし、「音をどうするんだ」とか。ただ、みんなで見るとかコラボするとか合唱したいとか「HMDならではの体験」という意味ではそうだよね、という感じにはなっています。YouTubeを一緒に見たりとか、楽しいですよね。

オブジェクトとのインタラクション

次にいきましょう。これはけっこういっぱいあるんですけど、これは何でしょう?

やはぎ:これは他のVR SNSでは物を掴めたりします。手に触れていないのに、謎のパワーでオブジェクトを持ったまま移動できたりするんですが、それは何か違うかなと思っていて……。ペンだったら、ちゃんと正しい手のかたちでペンを持ったり、コップもちゃんと取っ手を使って持ったりするようになったらいいなと思って作っています。

白井:なるほど。オブジェクトとのインタラクションというのは、具体的にはギフトなどですよね。物をくっつけるではなく、持つ。ペンを持ったりギフトを送ったり、箱を持ったり缶を持ったりして「みんなで乾杯!」のようなことができないかなということで。

多様な手の大きさをスタジオでグローブ作ったりしてわかっていますが、これをアニメーションで動的に生成したり。コップとかマグカップ、鉛筆などは持ち方がぜんぜん違うので、まだまだ研究要素があります。アーティストさんが全部それを作ったら死んでしまうので、そこをどうアルゴリズム化するかが研究要素です。

ということでまだまだ課題は残りますが、やっていて楽しいですか?

やはぎ:けっこう大変です。

(一同笑)

やはぎ:でも楽しいです。

白井:ということで、REALITYの中でプラットフォームの人たちと、それからREALITY XR cloudというBtoBの人たちと一緒に、研究開発部門としてやっています。知財創出や普及、促進とか。こういった場でお話ししたり、学生さんたちを発掘したりしています。

求められる未来への選択肢を作る

だいたいこういう研究所は、オモチャっぽいものを作っていると思われていると思いますが、新奇ではなく、珍しいんじゃない、輝いているものを作ろうということで“新輝”。今のREALITYのユーザーさんに愛されそうなUXを優先して、開発して発信していくサイクルをやっています。

「今のお客さんに愛されるか愛されないか?」と、「新しい機能」はけっこう相反していますが、「コレジャナイ感」みたいなのを明らかにして、「求められる未来への選択肢」をどんどん作っていこう!という感じでやっています。

HMDならではの合理的な体験で、それが品質高くやれるのは大事なことです。(メタバース内の)鏡によって体感できる「身体所有感」とか「運動主体感」といった専門用語がありますが、「自分の身体であることがわかるような設計」や「自然な物理現象」、メタバース内のサイエンスなどの言語化をREALITYのブログやYouTubeチャンネルで動画化して発信したり、今日みたいなイベントで対話できればと思っています。

スマホアプリのREALITYが、HMDになったりARになったり、WebXRになったりしていくというようなところを今後も開拓していくので、VR Studioラボをよろしくお願いいたします。

学生向けにはグリー新卒採用、学生向けの新プロジェクトなどをやっています。というわけで発表はここまでで、わくわくの投票タイムです。

何を発表したかというと、WebXR Hubs互換のエディタ、3DUIの配信リスト選択メニュー、3DUIのミラー。それからバブルカメラ。あとはオブジェクトのインタラクション。

やはぎさんは(お気に入り)どれですか?

やはぎ:僕のお気に入りは、やはり物を掴むやつ「オブジェクトごとのインタラクション」です。

白井:もっと作りたいですけどね。

やはぎ:もっと作りたいですけどね。

白井:自分の首が締まる。ミラーとバブルカメラは意外と反応が良かった。インタラクションをがんばれと。これはもう、がんばれというメッセージですかね。いかにアルゴリズムをやるか。これ、実はMeta社とかも研究していないようなのです。メタバース界でのユーザーインタラクションみたいなものは、世界で我々が一番まじめに研究をやっているのかもしれない。

かつ、映える絵を作っている研究グループになっているので、こういうのが大好きな人は、ぜひTwitterなどで絡んでください。さて、そろそろ決着したかな。ベストオブベストはオブジェクトごとのインタラクションということで、次はクリスマスパーティでも作りましょうかね。

やはぎ:そうですね。

白井:以上です。発表ありがとうございます。

続きを読むには会員登録
(無料)が必要です。

会員登録していただくと、すべての記事が制限なく閲覧でき、
著者フォローや記事の保存機能など、便利な機能がご利用いただけます。

無料会員登録

会員の方はこちら

関連タグ:

この記事のスピーカー

同じログの記事

コミュニティ情報

Brand Topics

Brand Topics

  • 孫正義氏が「ノーベル賞もの」と評価する最新の生成AIとは “考える力”を初めて身につけた、博士号レベルを超えるAIの能力

人気の記事

新着イベント

ログミーBusinessに
記事掲載しませんか?

イベント・インタビュー・対談 etc.

“編集しない編集”で、
スピーカーの「意図をそのまま」お届け!