アーティスト？ それとも起業家？ 映像と物質の間を目指す、“現代の魔法使い”落合陽一の挑戦

今世紀こそ「魔法の世紀」

落合陽一氏（以下、落合）：こんにちは。落合陽一です。

僕はふだん筑波大学という大学でデジタルネイチャー研究室という、自分の研究室をやっているか、メディアアーティストとして作品を制作しているか、「ピクシーダストテクノロジーズ」という自分の研究のIPを使って製品化するようなベンチャーをやっています。つまり、三足の草鞋を履いている人間です。

今日は「魔法の世紀」というタイトルで、お話させていただきます。僕は20世紀のことを「映像の世紀」と定義しています。自分自身がメディア教育をするとき「今世紀って、魔法の世紀だよね」という言葉をよく使っているんですね。その世界観、もしくは「それが産業とどう関わっていくのか」をお話できればと思っています。

僕がよく肩書きとして用いているのは「メディアアーティスト」という職業です。たぶん、この言葉にはみなさん聞き慣れていないと思うので、まずはそこから説明しようと思います。

僕は一応、芸術家です。美術館などに、インスタレーション作品といった空間芸術、彫刻のような分野で、システムやディスプレイなどのカタチを作ったものを納めることをしています。油絵とカンバスは使ってませんが、コンピュータや電子回路、光学系や造形物を用いて表現物を作っています。

今の世のなかにあるインスタレーション作品には、動かないものが多いです。様々な素材でできた彫刻や、テレビモニタに表示した映像などですね。そのなかで、僕はシステムを用いた動くもの、例えば新しい「映像」装置やコンピュータを使ったインタラクション……人と作品がどう対話するか自体を芸術表現にしていく活動を行っています。

例えば、これはつくば市美術館につい先日まで置いてあった「Looking-glass time」という作品です。

ひとつひとつ、鏡時計が置いてあり、鏡時計と照明、レンズがセットになった投影光学系があります。それが12個並んでいて、照明が光る位置を制御することによって、実物から投影されたものが、壁にアニメーションとして出てくる作品です。

これがどういう作品かちょっと解説させてください。今までの映像装置には、フィルムを使って投影するものや、メモリから画像を読み出して投影するものが多かったと思います。そうではなく、昔あったOHP、Overhead Projectorのようなものが12個並んでいて、その1つひとつがフィルム代わりに映像を投影していく作品です。フィルムを使わないで光源独立の装置を作ることで、光の空間への広がり、時間方向の動きは普通のプロジェクタ作品と異なり、光源と人間の関係、展示された作品ハードウェアとしての物質と投射される映像との関係、コンテンツとして設定されている鏡時計からなる時間と光が分布する空間の関係に鑑賞可能な複数の状態を作り出すことができます。それによって、複数の時間軸のある空間装置を作り、現在の個別のタイムライン社会を批評するつもりで作りました。

こういうような人間が使っているような映像装置、もしくは鑑賞装置のようなメディア装置そのものを「どういうかたちで再発明できるか」「それによって新しい表現や美しさがどう開拓できるか」「そしてそれはどのように形で批評性を持ちうるか」を見ていくという作品スタイルを取っています。

もっと簡単にいえば、例えば先ほどの作品のように、来場者が近づいてくると、その人の影が作品の作る影と一緒に投影され、異なる関係性を作りだしたりするような作品や、テクノロジーを研究することで空間自体にこれまでになかった演出効果みたいなものを作っていくことでそこに新しい見方を与えることをテーマにしています。

映像と物質の間には垣根がある

メディア装置というものは、13世紀から18世紀に大きく発展しました。僕はメディア装置の歴史や撮影と表示＝「イメージング」の歴史は、「バーチャライゼーションの歴史」及び「バーチャルリアリティの歴史」の1つだと思っています。

我々はどうやって物質をその物質以外のもので表現するか？　例えば、人と人とが直接会うのではなく人の肖像画を見ることでその人の姿形を追体験したり、時間と空間の記録として映画を作って表現したり、ごはんの絵を描いて「このごはん、おいしそうだね」と実際に食べてないものを見ることで思ったり。物質ではなくとも、物質から切り離された「イメージ」として表現されることで、それがまるで物質として存在するように受け取ることができる。そういった「実質化」＝バーチャライゼーションを、ここ700年くらいで発展させてきたんだと思っています。

そのなかで僕は、一番顕著な発展をしたのは、19世紀の終わりから20世紀の間に発明された映像装置だと思っています。例えば、みなさんから見て左の装置がなにか知っている人はいますか？

（会場挙手）

あまりいないですか。左にあるこれはエジソンが最初に作った「キネトスコープ」という映像装置です。上にある穴から覗き込むと中のフィルムが動いて、連番のフィルムを通じて、映像として見えるような装置です。

右にあるのが「キネマトグラフ」という装置で、あのおじさんがくるくるとハンドルでフィルムを巻き取ると、光源からフィルムに光があたり、レンズから投影されて壁で光が拡散し映像が見える装置です。

これはなにかというと、今のシステムでいえば、左がヘッドマウントディスプレイ、そして右がプロジェクターです。

商業的に最初に成功したのは、プロジェクター式のほうです。多人数で画面を共有する仕組みが最初に成功しました。テレビ、映画館、など様々な応用が生まれました。しかし今、スマートフォンの普及以降、小型液晶ディスプレイの価格が下がってきています。そのため、ヴァーチャルリアリティゴーグル自体も非常に安い価格で手に入るようになっているんですね。これについて僕は、ひとえにエジソン式の逆襲だと思っています。

あのサナダムシのように複雑にフィルムが収納され、回転していく装置はエジソンが作ったのですが、装置のコストが減ったことによるエジソンの逆襲をVRで垣間見ているなと最近では思っています。

そんなふうに、イメージとマテリアル、そしてヴァーチャルと物質として表現されているものの垣根を、メディア史のなかから探求していくことをしています。

例えば、1902年の『月世界旅行』という映画では、人類は月には行っていたわけです。だけど、今の人類がこれを見ると「ああ、これは嘘だな」となる。「宇宙服も着てないから窒息するし、しかも、生身の人間が砲弾で行ったら、たぶんミンチになって助からないだろう」など、現代に生きている教養ある人ならわかるわけです。

最初に人間はイメージのなかで「月に行けたらいいよね」「月に行ってみたいよね」をそれはどんな姿だろうかという共有可能なイメージを作って、それが扇動的に人々のモチベーションを喚起したあと現実に、アポロ計画を使って月に着くなどをくり返してきました。

しかしながら我々は、アポロが本当に月に行ったかどうかを、実際に誰もその場で見た人はいないわけです。僕らは全世界に中継された映像装置を通じて、それが現実だと信じ込んでいる。

つまり、映像装置というものが最初「ヴァーチャルリアリティの一種」と言ったのは、映像によって我々は無条件にものを信じてきたわけですが、そうじゃなくて、映像と物質の間には垣根があるわけです。映像は映像、改変できるものです。物質は物質として存在しているものです。その垣根をどうやって越えていくかが、僕のプロジェクトのモチベーションです。

新しいメディア装置で、人類の未体験な表現を作る

これは2015年に発表した「Fairy Lights」というプロジェクトです。

このプロジェクトのモチベーションは「どうやって映像みたいな物質を作れるか」、そして「物質みたいな映像を作れるか」というような垣根を、フェムト秒レーザーという超時短パルスレーザーで作ることです。

いわゆる半導体加工などに使うフェムト秒レーザーというものがあります。おそらくみなさんご存じだと思うんですが、そのレーザーは比熱加工分野でよく使われていて、熱を伝えないで、例えば、穴を空けるだとか表面を削るときに使うようなレーザーです。

それを使うことで、比較的低エネルギーで空中にプラズマを作ることができます。そうすると、そのプラズマとして作った映像は触れるんですね。つまり、触覚があって、形があるものをどうやってそこに描くかということに、すごくモチベーションを感じています。

なんでフェムト秒レーダーを使っているかというと、エネルギー総量を低くできるので。普通にプラズマをナノ秒レーザーとかで起こすと、指がこんがり焼けちゃったりするんですけれども、そうじゃなくて、低エネルギーでプラズマを作ると、まさに妖精みたいに植物の周りを飛んでいるようなものを作ったり、形を作ってそれとインタラクションしたりすることができる。

先ほどの映写装置を、例えば再構成したレンズが並んだ作品は、もっとアナログなものです。僕は、これもメディアアートだと思っています。

新しいメディア装置を作ることで人類が今までできなかった、もしくは体験したことなかったような表現をひたすら作っていく。アート的な側面も理系的な側面も組み合わせながら、ものを作っていくことをしています。

そうすると、我々が持っているこの物質性、例えば、種が並んでいるようなところに、ヴァーチャルだけれど触覚があるようなものが出てきたり、「なんか固いな」を感じたりすることができたりします。

そうすると、実際に世のなかにあるものからにょきにょきと空間に、AR表示じゃないですが、実際に触覚があって、目で見えるものを3次元的に描くことができるプロジェクトをやっています。

これは、2006年に産総研が空中プラズマ描画の研究をしていて、それの10年分進歩したようなものです。低エネルギーなので、例えばこんなふうに植物の体を貫いても焼けることがなかったり。比較的、低エネルギーで安全性が高い状態で運用することができるような、新しい描画装置です。

これがなにかというと、昔からある塑像や彫像で作っていた形あるもの、もしくは3Dプリンターで作られているようなもの、メカで作られているもの。または、イメージや映像のなかにあるもの、ARで表示されているものの間に、「形があって質量がある、触覚があるようなものなんだけど、一瞬で消えるようなものはどうやって作れるんだろうか？」をモチベーションにしています。

つまり、この3次元空間に直接物質的に振る舞うものを作ることを、メディアアート活動の1つにしています。それをホログラフィで実現することが、僕の1つ、理系的なモチベーションです。

位相差を作って、空間に特定の形を作り出すことが専門

具体的に、僕の専門はなにか。「魔法使い」とか言われてチャラチャラしているように見えるんですけれど、やっていることというと、FPGAを書くなど、意外に堅めの作業をしています。

なにをしているかというと、位相差を作って、空間に特定の形を作り出すことが専門です。音響分布を使って音響焦点を作って、それでホログラムを作るなど。例えば、spatial light modulator、光位相変調器を使って空間にプラズマで形を作ったりします。

この裏側ではなにをしているかというと、簡単にいうと、フーリエ変換をしています。特定の形を作って、例えば触覚を定義するときに、「レーザーのホロと超音波のホロを足し合わせたらどんなふうになるんだろう？」を表現したりしているわけです。

これは大学1〜2年生くらいで習う、ちょっと計算がややこしいけど、よく使う数学なんです。こんなものを使ってやっています。

結局、なにがしたいかというと、「なにかをヴァーチャライズする」という、なにかをイメージに変えるという作業と、それを実際に物質に変えるためのマテリアライズする作業をどうやって反復していけるのか。これが、1つの大きなモチベーションになっています。

例えば、モルフォ蝶ってみなさん見たことありますか？　モルフォ蝶は、表面がキラキラした金属光沢を持っている構造色の蝶々です。

例えば、その表面光沢みたいなものをどうやって作るかを考えたときに、すごく薄い薄膜の表面を高速で振動させて表面のきらめきを変えてみよう、もしくは「どんな反射分布を持ってるんだろう？」を、コンピュータグラフィックスの数式でまず定義します。

コンピュータグラフィックスの数式で定義したあとに、それを表面振動させてみる。そうすると、確かにキラッとなったり金属光沢になったり、そういった見た目のものが作れる。

このような「どうやってコンピュータ上で光の動きを定義したようなものを現実に出してくるか」「それによってどういうきれいな見た目が作れるか」を研究かつ作品表現にしています。

そのモチベーションは、目で見て「きれいだな」と思うものなんだけど、例えばスマホの画面やほかのプロジェクターの画面だけじゃなくて、そこに物質的な表面反射やものの光り方が含まれているものをどうやって作っていくかがモチベーションです。

だから、視覚のプロジェクトをやったりする。例えば、これは触覚のプロジェクトです。

先ほど表面のコロイド膜が振動してたのは超音波ですが、これは金属素材や木の素材などを超音波振動させることで、「木を触っているけど、金属の触覚になる」、もしくは映像を当てはめることで、「紙なんだけど、見た目は木の触覚になっている」「指先で感じる振動を金属の触覚になる」など。もしくは、眼球を触ることはないでしょうけど、「目みたいなヌルヌルした触覚になる」などですね。

このように「今、物質としてここにあるものをどれだけ触覚を変えられるか」「視覚的な反射分布を変えられるか」をテーマに作品表現やものづくりをしています。

僕らも20〜30年後のビジョンを持つべき

なぜこんなことをやり始めたのか。

1991年に、ゼロックス・パロアルト研究所にいたマーク・ワイザー博士が『The Computer for the 21st Century』という論文のなかで、1991年にこんな図を描いて論文発表しています。

これは今、我々が見るこの会場とまさしくそっくりな見た目です。誰かが画面に向かってペンを使ってプロジェクションしながら描いている。その後ろで聞いている人は、例えば、タブレットを使ってメモを取ってる人や、ノートを使ってメモ取っている人、ノートパソコンを使ってメモを取っている人がいる。「それらのコンピュータの間の垣根は今後、感じなくなっていくだろう」という論文が出ています。

でも、ここから24年経ったんだから、僕らはもう20年後、30年後のビジョンを持ってもいいよねと、僕は思うわけです。

画面ベースのコンピューティングに対して、僕が次にやらないといけないと思っているのか。今の画面は、目と耳の視覚と聴覚の解像度によっています。例えば、眼球は目の解像度。眼球がハイビジョンもしくは4K、8Kの解像度で、耳は超音波以下の音が聞こえるような状態です。

これをどうやって、より高い強度で、もしくはより高い解像度で、より3次元的な結像をするような振る舞いを作れるかを、音と光を使ってできないかというプロジェクトをしています。

このプロジェクトでは、空中に一定以上の超音波をホログラフ合成すると、物が空中に浮いて固まったり、その形自体を操ったりすることができます。そこに手を持ってくると、例えば触覚を感じたり、もしくは細かい部品のマニピュレーションをしたりすることができる。

どうやってコンピュータシミュレーションで計算できて、どうやってその波動を音で形に作れるのかをプロジェクトとしてやっていたりするんですね。

これはあくまで音なんですけれど、人間の聴覚周波数よりも高い音、かつより強度の高い音を使って、物質的なアクチュエーションや触覚をどうやって出すかをプロジェクトにしています。

そうすると、今はロボットアームでものを運んだり、力はそれほどないけど解像度が高い搬送手段みたいなものを作って、それと人間がどうインタラクションするかを考えたりすることができるんじゃないかというプロジェクトをやっています。これは音です。

先ほどお見せしたプラズマは光なんですが、これは赤外光レーザーを使って、指先のちょい先のところに、ホログラフィックに形を結像させています。

それを、例えばボタンにしたり、形を作ったり、触るとインタラクションできるような形状を作ったりなど、画面の外にどうやって音と光の能力を持ってくるか。「空中に置いたボタンがあり、これを触ってみたらチェック入る」みたいなことをしてみたりしています。