Microsoftの「Hololens」がホログラムを作る過程を実際に体験してみた

MicrosoftのHololensを体験

ハンク・グリーン氏：ハイテクな未来についてのストーリーのなかでは、しばしばAR（拡張現実）についての話が繰り広げられます。例えばハイテクガジェットで浮かぶ3Dモデルを検査するエンジニアや、常にコンピュータスクリーンのプロジェクションを研究する科学者チーム。あるいは人間サイズのホログラムなど……。

SciShowでそのような未来をご紹介するため、今回のエピソードでは2人のホストが登場します。現在のホログラムテクノロジーで作られた1人はデジタル版のマイケル（SciShowのもう1人のホスト、マイケル・アランダ氏）で、基本的に人やモノを3D映像としてレコーディングし、新たな環境で再生します。今回の場合それが、SciShowのスタジオになります。

このマイケル・アランダのホログラムは、Microsoftのデバイス「HoloLens」で見ることができる3D映像です。

これはホログラムイメージを目の前の透明レンズに投影するパワフルなコンピュータ一体型のデバイスで、まるでその人が部屋のなかにいるように見えます。ただし、映画『スター・ウォーズ』でレイア姫をR2-D2がレコーディングした、スタンドアローンのホログラフィックイメージとは違います。

しかし、別のアングルから見られる3D映像であることには変わりありません。自由視点映像として知られるタイプの映像です。

多くの最新テクノロジーやクリエイティブな考えを駆使して作られたガジェットで、Microsoftはホログラムの制作や見え方を実際に体験させてくれました。

これまでの技術では不可能だったことが可能に

3D映像を作成するためには、撮影するシーンについて多くを把握する必要があります。とくに、すべてのアングルからどのように見えるのか、そして3D空間にどのようにアレンジすべきなのかが重要です。

個々のカメラは色や質感など、多くのビジュアル情報を捉えることができますが、3D形状の奥行きや、スペースでの動き方や変化を伝えることができません。

映画の撮影に使われている伝統的なモーションキャプチャでは、俳優が特別なスーツを着たり、顔にドットを装着したりしていますね。

それらの装置が、カメラが俳優たちの細かい動きを追跡するのを助けています。しかしモーションキャプチャだけでは、色や質感などのほかのビジュアル情報を得ることはできません。

そのためHoloLensチームは、俳優の表情と、3D空間でどのように動いくのかの2つのタイプの情報を同時に捉えられる3Dキャプチャテクノロジーを備えた特別なスタジオ装置をセットアップしました。

このスタジオ装置を使うことで、パフォーマンスを忠実に再現した3D映像の作成が可能になったのです。では、実際にどのようにできるのかを見てみましょう。

100個のカメラで撮影し、1つのファイルに変換

グリーンスクリーンを円形に囲ったステージは、直径2メートル程度のパフォーマンススペースです。周りには100個の同期カメラが設置されています。

すべてのカメラのイメージをつなげるため、コンピュータは対象物が3Dスペースのどこにあるのか、どのように見えるのかを判別します。そして、それらのデータを元に3Dホログラフィックイメージが作成されるのです。

カメラの半分はRGBカメラで、可視光からイメージを捉えます。主な役目は正確な色と役者のアウトラインを捉えることです。もう半分のカメラはIRカメラで、対象物に反射する赤外線を捉えることで、奥行きを把握します。これらのカメラで3Dイメージの大部分を作成でき、顔や生地など対象物の質感を捉えることができるというわけです。

チームはすべてのカメラを調整し、俳優や動物などをデジタル化するために録画の準備をする。カメラはすべての同期映像を生データとして送信し、データは1つのコンパクトな3Dビデオファイルとして生成されます。

セントラルコンピュータの役目は多くありません。すべてのカメラ映像を1つの3Dイメージに変換するだけです。しかし、3Dモデルは膨大な細部データを含み、モバイル機器はパワー不足なので再生できません。

そのためコンピュータソフトウェアが手や顔の重要な場所のディテールはキープしながら3Dモデルを単純化し、注意の向かないそれほど重要ではない場所の細部は削除します。

そして、カラーとイメージを追加します。ついに、コンピュータやWi-Fi経由のストリーミング、もしくはHoloLensで再生できる、十分小さくシンプルでコンパクトな3Dビデオファイルが生成されるのです。

こうすることで映画や好きな環境に登場させられる自分自身のホログラムを作り、ARを生み出せます。

今のところ、このテクノロジーが補足できるディテールには限界があります。また、水やガラスなどの半透明の素材や、きめ細かいレース生地などのホログラムの作成は難しいようです。このような場合、深さを捉えることが難しいからです。

さらに、ホログラムの作成には高価なスタジオやコンピュータのパワー、最新テクノロジーが必要になります。

しかし、救いなのは、自分自身のホログラムを作るのはそれほど難しい作業ではないということ。単にカメラを取り出し、YouTubeビデオを作るぐらいは簡単にできるようになるでしょう。

スタジオを使わせてくれて、ホログラムの作成に協力してくれたMicrosoftとActiongram、ありがとうございました。