人工知能の次に進化する”身体性技術”とはなにか メディアアーティスト・落合氏が語る、3Dプリンティングの可能性

3Dプリンターで骨・筋肉みたいな素材を作れる

ほかにも、マテリアルはいっぱい研究しています。もう1つは「加工によってそれができるか？」、そして「プリンティングで対象の形状に変化できるか？」をテーマに、「ロボティクスで使うアクチュエーター自体を3Dプリンターでどうやって出力できるんだろう？」といったプロジェクトをずっとやっています。

これはコンピューターのなかで有限要素法解析をして、CGの手法でものの変形を作って、「それどおりに形状記憶合金が入った素材をに電気を流して変形するとと特定の形になる」というプロジェクトです。

そうすると、「骨」かつ「筋肉」みたいな素材を作ることができる。自分の形を骨格的に支えながら、筋肉として動くような素材を作ると、ある方向に対して柔らかく変形が自由なんです。

これはぬいぐるみですが、触ると突然耳が固くなって、この状態で固まります。傍から見ると「一体なにが入っているのか？」「なかに固いものも入っていないのに、なんでだろう？」と思うのですが、そういった振舞いをするようなものを作ったりしています。

これはクアラルンプール展での動画です。クアラルンプールで僕は今、大規模な個展をやっていまして、そこに展示しているプロジェクトでバラに巻き付く触手を作ってみたんです。まあ、これはあまり実用的な例ではないのですが。

実用的な例だと、3Dプリンターで刷れる素材は、可動範囲を設定してやれば、ロボットのように動くことができます。

そうすると、今は動きがないマテリアルに、「どういう骨と筋肉の構造を同時に与えるか？」はけっこうおもしろいプロジェクトだなと思って、こんなことをしていたりします。東大の大嶋さんという方とコラボレーションしているプロジェクトです。

僕らの研究室でもう1つ考えているのは、ヴァーチャルなものと実際のものの区別をつかなくするために、ディスプレイをやらないといけないということ。

プラズマのディスプレイなどをなぜやるかというと、今までは機械部品でプラズマの位置を生成していました。それをホログラフィックに、計算機処理によって対象の焦点系など、空中ディスプレイを作る。これは今後重要になっていく試みだと思っています。

これをすることで、例えば、空中にボタンが現れて、触るとチェックが入るようなものを作れたりするんじゃないかと考えています。

ディスプレイから触感を与える

ディスプレイの一種として、今後は触覚ディスプレイがキーファクターになると思っています。どうすればハプティクスを心臓みたいに柔らかくて、かつ、触感として「ぬる・ざら」を出せるディスプレイを作れるのか。これも1つのテーマにしてやっています。

これをやる理由は、より高解像度な触覚が今、触覚界隈のテーマになっているからなんですね。なかには磁性流体が入っていて、それを包む表面素材に電荷をかけることで、指のざらざら感を変えていく。その組み合わせによって、心臓みたいに脈打つけれど、表面のザラザラつるつるが変わるような素材を作ったりしています。

今のものは接触触覚、ものの触り心地を触った面で変えるプロジェクトです。空中に触覚を出したい用途もたくさんあります。例えば、空中に心臓の絵が浮いてて、心臓の像を触ったときには、触覚があって、なかに腫瘍があったときに指先で固いのを感じる……など。空中触覚の高解像度化にも挑戦しています。

つまり、ローレゾリューションとハイレゾリューションを同時に組み合わせたいというときに、空中に超音波とプラズマを発生させて、そこを触ったら触覚を感じるようなプロジェクトもやっています。

これは、単純な重ね合わせではないです。触覚の難しいところは、超音波を感じるときとレーザーを感じるときで触覚閾値（しょっかくいきち）が変わるため、それをどうやって組み合わせるとリアルな触覚になるのかです。もしくは、点字みたいなものを空中にどうやって出したらいいのか、をプロジェクトにしています。

そうすると今、ヴァーチャルリアリティの上には視覚情報と聴覚情報ばかりで触覚情報がなかなかないですが、「あの手にどうやって触覚を出すか」も、問題としてホログラフィックに解けるんじゃないかと考えているんです。

映像と身体のコミュニケーションは多様化しています。例えば、ディスプレイは、用途に応じて色々なものが存在してもいいと思います。これは、うちの学生に「空中ディスプレイを作ってよ」と言ったものですね。

これは、冷却ガスを空中で噴射するディスプレイです。プロジェクターを内蔵した筐体自体を数百グラム以下に抑えることができるので、「ドローンから空中に照射して、あそこに像を出したい」というイメージを作ることができます。ガスの分布をコンピュータシミュレーションで解くと、目的の視野角に応じたスクリーンが作れる。空中にポンって飛んで特定の形の像を出すことができる。既存のものと違って、風に強いフォグスクリーンみたいなものをやっています。

こういうものを作るときに、それにまつわる基礎実験をして、コンピュータプログラムのなかにそれをコンピュータシミュレーションとして応用して作るプロセスをずっと取っています。

ディスプレイについて僕が一番重要だと思っているのは、情報と身体の接点だと考えることです。人間にとってロボティクスもディスプレイなんですよ。触ったり力学的な関係性をもたらさないかぎりは。アクチュエーションで自分でなにか触らないかぎりは、身体性があるものも身体性を提示するディスプレイなので、形あるものの動きや筐体それ自体をコンピュータプログラムから直で生成できないかをずっとやっています。

例えば、このテレプレゼンスのロボットプロジェクトは、人間の動きを入れた場合。その動きに必要最低限のモーターと関節は、どうやってコンピュータシミュレーションを使って外で出力できるのかというプロジェクトなんですね。

そうすると、VRでコミュニケーションするための身体自体は、「人間の体を入力したときに、この関節があったら出力できる」というようなプロジェクトに置き換えることができる。

テーマパークなどにあるようなロボット、あとは人とコミュニケーションするようなロボットは、3Dプリンティング技術によって、ソフトウェアから出力できるようにすぐなると思います。

我々はそういったテレプレゼンスのためのロボ設計の自動化と出力自動化によって、ロボットが動いてるところと、裏で演技している人間を切り離すことができます。それによって、いろんなところに人の存在が出てくるんじゃないかと思っています。

人間をどうやってロボットとして扱うか

最後、僕らがやっている研究室のプロジェクトは、「人間をどうやってロボットとして扱うか」というプロジェクトです。これは、VRゴーグルをつけて現実を見ながら歩いている人を、後ろからリモコンで操ってやろうというものです。

人間がシースルーで「A」に向かって歩いているんですけど、「B」に着いちゃう。

なにをやっているかというと、人間に気づかれないように視覚処理をして、その人の歩き方・動き方を変えるにはどうしたらいいか。あの人は「A」に向かって歩いているから、視点をこうずらしてあげる。そうすると、この人は「A」に着いたと思っているけど、実画像では「B」に着いているわけです。

人間は目で見ているフィードバックを信じるので、自分では気づかないうちに足が勝手に動いていきます。

そうすると、「本当かよ!?」と思うかもしれないですけど、600人で試したのでだいぶデータは正確だと思うんですけど、ほぼ100パーセントの人に効果があります。

人間は視覚フィードバックで動いているので、普通はまっすぐ歩けるところを無意識のうちにガンガン曲がります。これ、まっすぐ歩いています。これをかけると、壁にぶつかっても止まりません。普通にガンガン歩きます。

視覚情報をどうハックするかによって、無意識に人間を操作するというのは非常におもしろいプロジェクトだと思っています。IoT単体ではこんなことを考えないかもしれないですが、人間と機械の組み合わせを考えると、人間をどこまで制御できるかは、1つの大きなプロジェクトなんじゃないかと思っています。

（動画を見ながら）これは今、柱の画像をわざわざ目の前に出して、それを避けるので、曲がったところです。こんなのやったりしています。

人間がどういったロボティクスで扱われるか、それにコンピュータを通じた指示をどうやって出すのかという制御手法を見繕っていくかというのは、すごく重要です。例えば、利き目の方向に体が曲がり過ぎちゃったりするので、キャリブレーションしたりするのも、大変ですけど、やっています。

あと、最近は筋肉にすごく興味があります。この女の子、腕にパッドがついています。リズムが取れない女の子の上に直接電気を流すことで、リズムを取れるようにするプロジェクトです。ある程度補正してあげれば誰でもリズムが決められるようになります。

これは一見するとすごく人体実験っぽいんですけど、ただ右手で三拍子、左手で四拍子が普通にできるようになります。人間は頭で意識したあと、筋肉が動いている状態が普通です。筋肉が先に動く状態を頭が認識すると、あっという間にリズムは覚えられます。そういった研究をしたりしています。

あと音楽がけっこう好きなので、人によって声を打ち分けるというプロジェクトもやっています。左と右と真んなかにド・ミ・ソが鳴っています。そうすると、指向性スピーカーでガイドメロディを打ち分けることができるので、人間自体を制御して、「じゃあこの人たちを楽器にしよう」「ハーモニーを作らせよう」「人間ピアノを作ろう」とできる。

例えば、この後ろにいる人たちは『Let it be』のギターはゆっくりなので、誰も練習したことないんですよ。ですが、そこに立って聞いてる音を真似するだけでハーモニーが作れる。

しかし、これを外国でやると「Let it beされてないじゃないか」とすごく笑われるんですけど、まあ、Let it beはしてると僕は思っています（笑）。

人工知能技術の外周部にあるのは「身体性技術」

そろそろまとめに入りたいと思っていますが、Internet of Thingsと言われているものの中心に人工知能技術があると思います。では、その外周部がなにかと考えたら、僕は身体性技術だと思うんですよね。

人間の体が触るところ自体、例えばモノの質感自体、触覚自体、オーディオ、ヴィジュアルをどうやってハックしていくかを考えてもいいんじゃないかと僕らは思っています。

つまり、我々は身の回りに囲まれているものとものの間に、体と体で支えられるような身体性メディアが存在して、そのなかで我々はものを考えたりしている。人間は五感と筋肉、脳で会話で通信するような表現系を持っていますけど、機械はセンサーとアクチュエーター、プロセッサー、電信で処理をしていくわけです。

例えば「Amazon IoTボタン」などで考えると、人間がパット見て「あ、洗剤がもうない」となり、筋肉を作ってボタンを押して、脳で発注しようと思う。最後の電信のところだけがIoTになっていると。

こういった世界になれば、人間の精神や身体、データ、空間を計算機が統一的に記述していくんじゃないかと思っています。

最後に、うちの研究室から1つ実物になった例です。これは、例えば最近はSiriを使って検索するじゃないですか。なにかを検索したいときに、音声の聞き分けをSiriはできるわけです。僕が「Hey Siri」と言っているか、誰が「Hey Siri」と言っているか、たぶんSiriはわかっている。 ただ、打ち分けができない、話し分けができないので、そんなプロダクトを作っています。これを紹介します。これは、共同研究者の星先生と一緒に実用化を行うプロジェクトとして初めて、Pixie Dust Technologiesという僕の会社で作っています。

このプロジェクトは、今までお見せしたような、例えば空間にホログラフィックにものを合成する技術を、どうやったら音声信号に使えるかをやっているものです。

これが実現すると、空中のある一点の位置に位相差をつけたスピーカーで音響点を作ることができる。この点は、プログラムを変えることによってXYZ方向に動かすことができるので、人の耳元でなにかをしゃべりかけたり、触覚を作り出したりすることも可能になります。

これをすると、例えば、あの人の右耳に必要な情報、「右、こっちですよ」と言ったり左耳に「左、こっちですよ」って言ったり、もしくは、日本人とアメリカ人が同時にいるときに、日本語と英語を別々の空間位置に出したりできます。

これは、我々がやってきた空間音響技術と超音波位相技術をうまく組み合わせて作った、最初の製品です。今ちょうど製品プロトタイプができていて、SEMICONのイノベーションブースにも置いてあります。もし興味のある方がいれば、ぜひお試しになっていただければと思います。

人・機械・実質・物質の区別のない世界

なぜこんなことしたいかというと、情報過多になったスクリーンの上で、指を用いたダイレクトマニピュレーションは限界になってきていると僕は思っています。ボタンを押して、メニューを入って、奥までいって、という階層と選択じゃなくて、言葉で、「〇〇して」とコンピュータに言う時代がきたときに、逆に、人に向かってどうやって音を返すのかが、次の目標です。

僕らは2050年のくらいのプロジェクトをすごくやりたいんですけど、それをマーケットインしていく段階で、産業化しないといけないものもたくさんある。

例えば、フェイズドアレイ技術や空間位相技術は、マーケットインしないと素子自体の価格が安くならないから、それをやっていかないといつまでたっても空間ディスプレイの世界はこない。これはなんとかしないといけない。

例えば、このスピーカーは、既存技術では空間に1.6メートルくらいのばらつきを持って出る指向性スピーカーを5cm×5cmの域に収束できるものです。

これをすることによって、会議室で使ったり、車載に使ったり、盲導犬に使ったり、エンタメに使ったりできると思うんです。

僕の野望は、やがて宇宙船のなかでこういった技術を使って、ものの空間位置を制御することです。僕は宇宙に……あと30〜40年かかるかもしれないけど、まだ生きていると思っています。僕、今29歳なんです。きっとまだ生きてるだろうなと思っていて。物質が重力から解放された世界は、今バーチャルリアリティの向こうにしかないけれど、地球の外には広大に広がっているんです。そこでは物質と実質は自由な関係性になる。

例えば、宇宙でものが整列するテーブルを作るには、ポテンシャル場がいる。重力がないため、空間にポテンシャル場がいる必要があるんですね。それをできる技術に育てたいと思って、研究室よりも資金がかかるので、会社で事業化という形でをやっています。

今日ご紹介した研究は、うちの会社の4人、僕、星先生、田子さん、村田さんと、うちの学生たち25人くらいと、あとは東大・宇都宮大の共同研究者の8人の方々と一緒にやっています。重ね合わせて謝辞とお礼を申し上げます。ありがとうございました。

つまり僕がなにをずっとやっていることは、リサーチを大学でやって、プロトタイプをして、それをスタートアップにして、マーケットに出していく。アーティストというのは、この3方向全部に関わり合いがあり、かつそれをやっていくことがすごく大切だと思っています。社会性と感性と文化の結節点を自分の中に持つことで、ビジョンが見える。

今、ここにどれだけの若い人がいるかわからないんですけど、僕がこれをここ10年くらいやってきた教訓は、小さなチームを作って、たくさん仲間を作って、研究をすることが重要ということです。たくさんの人間でチームを作るとわからなくなっちゃう、だから、小さなチームがいいんです。ビジョンを共有できて走れるくらいの小さなチームが。

そしてサービスを作って、社会実装するところまでがんばってやっていくのが、キーワードです。

僕らはデジタルネイチャーという世界観のなかで、「人」「機械」「実質」「物質」の区別のない世界が本当に来ると思っています。

僕らはCGをバックグラウンドに持っているので、計算量で考えるんですが、ポリゴンを計算してスタンフォードバニーやスタンフォードドラゴンを作るように、やがてはショウジョウバエ、もしくはハツカネズミみたいな、遺伝子が多い、計算量がポリゴンよりも多いもののプログラミングもやがてできるようになってくるんじゃないかなと思っています。そのあたりも今、積極的にコンピューティングで虫を制御したりしています。

最後のまとめです。僕らの今の時代は、映像イメージが画面のなかにあった時代ではなく、「それを越えて、どうやって物質同士のコミュニケーションに変えていくのか」がもう1つのキーワードなのだと思っています。身体性のあるメディアとメディア性を持った身体。

それを時間と空間のなかに、ある物質とモノの対話関係をどうやってコントロールしていくのか。映像ではなく、魔法の世紀になるための1つのキーワードだと思っています。

ありがとうございました。

（会場拍手）