スマホARアプリのUI/UXはコックピットに似ている　視覚・聴覚・触覚から考える、xRによる体験の定義

xRによる体験はどのように分類定義されるのか

小林佑樹氏（以下、小林）：続いてはUI/UXのセッションです。ARサービスのUI/UXをどう考えるかみたいな内容のセッションがいくつかあったので、それをまとめたものをENDROLLの大島くん中心に話していただきます。よろしくお願いします。

大島佑斗氏（以下、大島）：よろしくお願いします。会場のみなさんの顔をうかがいながらやってるので、もしわかりにくかったら質問いただけると嬉しいです。ちょっと緊張しております（笑）。

お伝えしたいことなんですけど、エンターテイメントやゲームを中心に見てたんですが、そこで語られることはUI/UXがメインだったなと思ったので、ちょっとここにトピックを絞って今回はお伝えしようと思っております。

その中でもとくに以下のトピックが印象的だったりわかりやすかったのでお話したいと思ってます。1つがAR/VRに関わらずxRの体験はどうやって分類定義されるのかというところです。

その結果、UX/UIというよりも、体験がどうやって変わっていくのかのご紹介と、最後にそこに関してどういう意見だったりノウハウが紹介されていたかについてご紹介できたらと思っております。

まず最初なんですけど、分類の定義です。もしかしたらゲームとかの界隈の方は知っている方いらっしゃるかもしれないですけど、大きくはこの3点によって分かれています。

まず視点が1人称、2人称、3人称とあります。よくゲームとかでFPS、TPSって呼ばれるように、1人称と3人称ってわかりやすいと思うんですけど。2人称というのは、この右上のマリオとかのパターンですね。自分を自分以外の視点から俯瞰し直すという現象です。

TPSだと後ろのカメラが見えるはずなんですけど、そうではない自分みたいなところのVRとかがメインで出てるという話ですね。その中で、次は自分の見ている視点で身体があるのかないのかといったところですね。それは人の形をしているかだけではなくて、例えば空間の中で常に視野として手が見えてるということは自分の体を主観的に見ていることになります。

最後、外界との関わり方。それによって自分が、さっきの見えてないパターンだと、存在していない。その中に自分が存在するが関われない。自分が存在し、関われるというパターンがあります。

エンターテイメントから始まったUX/UIの歴史

大島：このように3種類に分かれるよというのが次のスライドです。

1つはRobot（ロボット）と呼ばれるパターンですね。あらかじめプログラムされていたとおりに動いて、常になにかを見ている状態です。

もう1つがDeity、つまり神です。知らない人の視覚を持って、超能力が使えたりしていて、わりとインタラクション性がある。最後はMortal、生き物系なんですけど。実体験のようにこの世界と別次元の世界がAR/VRの先にあるという状態です。

この3つを理解したうえでUX/UIを考えるのが重要で、これをごちゃ混ぜにしちゃうとUXが気持ち悪くなってしまうから気をつけましょうというセッションがありました。

そうしてUX/UIはどう変わるのかという話なんですけど、UX/UIがエンターテイメントから始まるパターンが今までの歴史にはあったと思っています。テレビからガラケー、ガラケーからスマホという流れですね。

そのインターフェースのシフトがどう変わってくるのかと言うと、一番最初は右上の図なんですけど、ストーリーテリングは映画や劇場などから始まっていて、そこでインタラクションが生まれていって、ゲームのようなになっていったと。

ここ数年間でそこの在り方もちょっと変わってきたと言われています。『ブラック・ミラー』というNetflixの映画を観たことありますか？　ストーリーを自分で選べて、いろんなエンディングがあるみたいな。

ああいったように自分がその世界の中の住人として関われるようなエンターテイメントが始まってきた中で、次にAR/VR、それこそxRはどうなっていくか。

例えば何かと言うと、spatial computingの時代に起きてくるもので、簡単な例としては『ポケモンGO』がありますね。あれはARと言われるけど、実はARじゃないというのはよくあるじゃないですか。でもストーリーだったり、世界観の話だと、かなりAR的です。もしかしたらそこにあるかもしれないものが本当にある状況は、人を没入させる手がかりになります。

xRで重要なのは「視覚」「聴覚」「触覚」

大島：こういった説明をしたうえで、じゃあ「ストーリーとしてのARとメカニクスとしてのARは別だよね」と。これの例としてあがっていたのが、最近出た『Angry Birds』がわかりやすいと思うんですけど。こういったものが次のメカニクスとしてのARをもたらすキーになるんじゃないかなという話がありました。

小林：『Angry Birds』ってMagic Leapの？

大島：Magic Leapじゃなくてスマホのやつですね。

小林：あ～、はいはい。

大島：あれはすごい技術というわけではないかもしれないけど、真ん中に建造物があって、そこの後ろにもしかしたらなにかいるかもしれないみたいなUXになっているので、メカニクスとしてAR的だ、となったかたちですね。

そのうえで、それを感覚的に分類するMODALITYという言葉があります。これは感覚様相という言葉に訳せるんですが、視覚・触覚とか味覚などの五感をベースに、平衡感覚であったりとか内部知覚みたいなものを表す言葉なんですけど。

xRで何が重要かと言うと、視覚、聴覚、触覚の3つです。視覚はグラフィックだったりUI、アニメーションみたいな今までのWebとかで見ていた情報です。聴覚は音楽とかトーンなど、なにかアクションを起こしたフィードバックとしてサウンドを入れるとかが重要ですね。

最後は触覚。スマホが出てきたことによって、ガラケー時代のようにデバイスが震えるだけじゃなくて、起こした行動に対してレスポンスするみたいな説明をしていて。

（スライドを指して）例えば1分間で人がどれだけ言葉を処理できるかを感覚ベースで分けたときに、視覚がこのくらい、聴覚がこのくらい。触覚の場合は点字です。点字をベースにしたときに、人がどれくらいの情報を処理できるのかを計算したときなんですけど。この各WPMに応じたフィードバック情報をコンテンツに付与していく話がありました。

視覚・聴覚・触覚それぞれの、UI/UXへの活かし方

大島：視覚に関しては認識までの速度がめちゃくちゃ早いですし、けっこうビジュアルが使いやすいので汎用性が高いものの、一方でユーザーはバイアスがかかるから間違えやすい話があったりします。

聴覚はけっこうおもしろくて、360度どこから鳴っているのかがわかりやすいんですね。ARって目の前だけじゃなくて、後ろからなにかアクションがあるかもしれないときので音を使うと指示しやすいんです。これが印象的だったんですけど、第三者の天の声というベースがあるので、第三者の声に従わなくなちゃいけないものに誘導しやすかったりします。

触覚に関しては、認識の精度が高いです。触ったら「これは四角だ」「丸だ」ってわかるのでわかりやすい。一方そこに関して人間は疲れます。

これを一番わかりやすく言っているのが右の図で、コンソールゲームのチュートリアルというものは人に対して与えるのがわかりやすい事例として出ていて。ちょっと和訳する時間がなくて英語になっちゃったんですけど。

Affordanceは、人がなにかをできると思えるような感覚。下はInputで、ある機械に対して自分がどういうインプットをするか。最後はその機械からのFeedbackといったものの分類で。この右の色が左に対応している感じですね。

なにかをできると思わせることに関しては、わりと最新のVisualが多め。あとはAudioですね。一方、人が起こすことに関してはVisualは無理で、言葉でなにか言うんじゃなくてコントローラーいじってみたいな。Feedbackはそこの中のバランスを整えていくことを、コンソールゲームではUXを提供してるらしいんですけど。

それをxRにしたときの特徴が左の図ですね。Affordance、Input、Feedbackは見ての通りなんですけど、上と下で変わっているのがけっこうある。Affordanceの部分はけっこうデザイナーの方だときれいにしようと、言葉を入れずにデザインすることも多いと思うのですが、それはxRだと厳しい印象です。

だから、そこに関してはVisualで説明してあげて、UIのプレイのときはそれをPhysicalで表現しましょう、みたいなかたちのセッションがありました。このセッションを説明していたのがUnityの3D系の部署のチームの方だったんですけど、かなりここに関しては熱量があってすごく盛り上がったセッションでした。

スマホのARの特徴は、コックピットに似ている

斉藤：本当にそのとおりだなと。すみません、『ペチャバト』の話がすごく身に沁みていて。今実際起きていることとして、ユーザーオンボーディングとユーザープレイの差異で、Visualのところが落ちるじゃないですか、Affordanceで。

今は、プレイしたことある方だったら体力バーが画面上に出るのがわかると思うんですけど、あれをプレイしているときって、見ている暇がないですよね。けっこうユーザーから声があがっていて、何が起きているのか、「どうしたってわからないよね」みたいな話があるんですよ。

ただ、それをPhysicalで返すのはできないですよね。HPが100残っていたらバイブレーションで100回鳴らすことは無理じゃないですか。ここは、めちゃくちゃ今後の、VRよりARかなと思うんですけど、スマホ時代の課題になるなと思っていて。今めちゃくちゃUIを研究中です。ぜひいいアイデアがある方はお願いします（笑）。

大島：あとスマホのARの特徴で、なにかのセッションであがってたんですけど、けっこうそこの作り方はコックピットのUIと似ている話があって。

見えてるコントローラーとディスプレイのかたちがかなり近いのと、なにかアクションを起こすとそこの中ですぐフィードバックが返ってきて。情報量が一番少ないけれども、重要なところには配置しなくちゃいけない。そことスマホのARが似ている話がちょっとありました。

各スライドに、最後にカジさんからの一言スライドが入るので（笑）。カジさんにここでバトンを渡したいと思います。

すぐにプロトタイプをつくろうとせず、アナログの力を使う

梶谷：ぜんぜん別のトピックなんですけど、GoogleのARチームがRapid Prototyping for ARというセッションをやっていて、すごく参考になったのでシェアしたいなと。

まず彼らは、ARサービスを作る際に必ずRapid Prototypingが重要だという話をしていて、それが1つ目のところの話なんですけど。ARサービスにおいて作る前にサービスデザインをfixする。つまり仕様を決め切るみたいなことは、AR/VRにおいては無理だから諦めろと断言しています。

なぜかと言うと、普通のフラットなアプリやWebなどと違って、空間的・立体的な体験なので、実際に作ってやってみないといいか悪いかわからないことが彼らが言っていたことです。僕らが実際メザンでいろいろ作っている中での感覚とも一致するなぁと思いますね。

その際に高速でプロトタイピングをして、作りながら設計の解像度を上げていくRapid Prototypingの手法をチームの中に取り入れるのが重要だという話をしていました。

その中でおもしろかった話が2つあって、1つがその真ん中のやつなんですけど。「すぐプロトタイプを開発しようとするな」という話がすごくおもしろいなと思いました。Googleなのでエンジニアがすごく多いんですが、Rapid Prototyping＝すぐUnity開発しようとなりがちだと思うんですけど。それは絶対やめたほうがいいと断言しています。

やっぱりUnityを作るにしても、どんなにいいエンジニアでもある程度時間がかかってしまうので。それよりはSketchで2Dデザインしたものをデザインのモックアップツールで動かしてまず確かめてみることだったり。Googleみたいなテック企業でも、けっこうアナログでRapid Prototypingをしているのがすごくおもしろくて。

AR体験をレゴで見立てて作ってみて、それで実際ユーザー体験がどうかをやったり、紙とペンで、実際のりんごの上に紙をピンで立ててみて、情報が出てきたときにユーザー体験はどうかみたいなことをやったりしました。

それは本当数分くらいでできちゃうので、そのくらいの早いオペレーションでRapid Prototypingを回して、ある程度だんだん確度が高くなってきたら徐々にUnityでプロタイピングをしてさらに解像度を詰めていくのがいいよねということでした。

延々と続けられるトライアンドエラーは「終わり」から始める

梶谷：3つ目でおもしろかったのが、質問で上がったんですけど「プロトタイピングでどこまでいったら完成なのか、どこにいったらゴールだとわかるのか」ということがすごくいいなと思って。そこで彼らが言っていたのが、「終わりから始めろ」ということで。

どういうことかと言うと、プロトタイピングによるトライアンドエラーは延々とできちゃうんですよね。延々できてしまうので最初に期限を決めて、その時点までの最適解を選択する。最初に終わりを決めて、終わりから始めることが大事だと言っていて。これはかなり重要なマインドセットだなと思いました。

斉藤：それ、スタートアップにめちゃくちゃ大事ですよね。たぶんこのトピックだけで各社全員1時間くらいしゃべれる（笑）。

梶谷：僕らもけっこうRapid Prototypingよくやっていて、それこそパートナー企業とやる際でも毎週モック持って行って、それで体験してディスカッションしてというのをよくやってるんですけど。ここまでアナログでというのは、あんまりやってなかったので。

斉藤：うちもアナログはあんまりやってなかったですね。強いて言うなら、それこそ今『ペチャバト』のリニューアルかけるときに、旧『ペチャバト』でどこまで再現できるかというのはやったりとかしてるんですよね。旧というか、今App Storeでみなさんダウンロードいただける『ペチャバト』を使って。

例えばローカルでこういうふうに制限加えてやろうとか、それくらいはやるんですけど。それでも結局『ペチャバト』を本気でアナログでやろうとしたら、水風船作ってお互いに投げ合うみたいな話になっちゃうので（笑）。それはできないなぁみたいな感じですね。

本当に無限にできるし、すぐ作りたくなっちゃうし、めちゃくちゃそのとおりだなと思いますね。

大島：うちはけっこう物から始めることが多いんですけど、物から始めるとみんなの意見が合致しててやりやすいです。折り紙を作って、こうやって重ねてみたいなゲームを作ったりしました。昔ドローンのゲームを作ろうとしてて、実際にドローン買ってきて飛ばしてバトルさせるとか。「あ、こういう知見あるな」とか、やったうえで開発するみたいな感じで。

斉藤：そういう意味では仕様の共通化というか、アナログでやったりすると、認識の共有ですごく有効ですよね。AR/XRはfixもできないし、たぶん仕様のイメージの共有がすごく難しいものなので。

大島：本当に延々と続けられる（笑）。すみません、長々と失礼しました。