自分の赤ちゃんを実験台に!
MITメディアラボ研究員が、25万時間の撮影で「言葉の誕生」を追う

The birth of a word #1/2

MITメディアラボで認知機械グループを率いる研究者のDeb Roy(デブ・ロイ)氏。彼は自分の赤ちゃんが言語を習得するまでの過程を明らかにすべく、家中にカメラを取り付けました。25万時間にも及ぶ撮影データから導き出した、言語習得までの道のりとは?(TED2011より)

もしも人生のすべてを記録できるとしたら

デブ・ロイ氏(以下、ロイ):想像してみてください。もし人生の全てを記録できるとしたら、どうでしょうか? 発言や行動の全てがお手元の記憶装置に残り、いつでもその瞬間に戻って大切な思い出を再生したり、時間をさかのぼって、気付かずにいた生活パターンを見直すことも出来ます。私たち一家は、5年半前からまさにその挑戦を始めました。

これは妻と協力者のルーバルです。この日、この瞬間に私たちは第1子を授かりました。かわいい男の子です。家にはとても特殊なホームビデオカメラを取り付けておきました。

(ビデオが流れる)

ルーバル:準備はいい?

ロイ:これから起きる、ありとあらゆる特別な瞬間はすべて撮影されます。

家中にカメラとマイクを設置しており、このように俯瞰で部屋を一望できるようになっています。

ここが我が家のリビング。赤ちゃんの寝室、キッチン、ダイニング、などなど。部屋からの映像は全てディスクに送られて、継続的に記録されます。これによって、朝日がでて、白熱灯の光る午後を過ぎ、夜になって家が暗闇に包まれるまでの一日の流れを撮影しました。

丸々3年間で毎日8〜10時間撮影しました。マルチトラックの音声と映像は合計約25万時間にも及ぶでしょう。これは史上最大のホームビデオコレクションなのです。

(会場笑)

この記録は私たち家族にとってかけがえのない象徴であり、その影響は計りしれません。今でもその価値をかみしめています。意識せず身構えない自然体の様子が永遠と記録されていて、私たちはその中からある瞬間をどのように探し出すのかを検討し始めました。

空間や時間の使い方を把握する「時空の虫」

そして、このプロジェクトには科学的理由もありました。私は、この長期的な生データから子どもの言語習得の過程を理解したいのです。研究対象は私の息子で、撮影される全ての人のプライバシー保護のために、多くのプライバシー保護規定を設け、要所のみを信頼できるMIT研究チームに渡しました。このようにして、一連の膨大なデータの中からパターンを抽出し、言語習得過程における社会環境の影響の調査が始まりました。

これは私たちが最初に解析した映像です。キッチンで妻と私が朝食を作っています。空間や時間の使い方から、キッチンでの毎日の生活パターンが見受けられます。私たちは、9万時間分の不透明な映像を整理するために動作分析を用いました。この効果によって、空間や時間の使い方が把握できます。これを「時空の虫」と呼んでいます。

このツールによりデータ位置を把握できるようになりました。さらにこれにより、息子が家の中を動き回るパターンを追跡できたため、私たちは息子を取り巻く会話の書き起こしに専念できました。私や妻、ベビーシッターが発する言葉は、やがて息子が発する言葉になります。

このテクノロジーとデータ、技術そして補助装置によって、家族の発した700万以上の言葉を書き起こすことが出来ました。その研究結果が詰まったデータの旅へと、みなさんをお連れしましょう。

言葉が開花する瞬間

早送りで開花の様子を見る低速度撮影(タイムラプス)映像は見たことありますよね。今回は言葉の開花をお見せしたいと思います。息子は1歳になってすぐウォーター(water)をガガ(gaga)と言いました。それから半年間で徐々に大人が発音する正確なウォーター (water)を言えるようになりました。

ではその半年を40秒で振り返りましょう。映像はありませんので音声に集中してみてくださいね。これがガガ(gaga)からウォーター(water)への進化の軌跡です。

(音声が流れる)

赤ちゃん:がが がが がが がが がが がが ぐが がが がが わだ がが がが ぐが がが がが ぐが ぐが がが がが うぉーらー がが がが うぉーらー うぉーとぅー うぉらー うぉーらー うぉーつー うぉーつー ウォーター。

ロイ:よくできましたよね。

(会場拍手)

ウォーターだけではないのです。私たちが注目していた最初の24ヶ月、つまり2年間に渡って習得できた言葉を時系列にリストアップしてみました。すると、全ての音源の解析によって息子が2歳になるまでに習得できた言葉は503語にも及ぶことがわかりました。

息子は比較的、言語を習得するのが早いでしょう。そして、私たちはなぜある語が他の語よりも先に習得できるのかという分析も始めました。これはほんの1年前くらいに出た最初の研究結果の一例です。これにはとても驚かされました。

このシンプルなグラフの見方ですが、縦軸が周囲の人が話す会話の複雑さになっています。複雑さの基準は会話の長さです。横軸が時間です。データはすべて息子が言葉を習得するたびに過去の会話を振り返って、その言葉に関連する他の言葉を含めて調べ、導き出しました。発話を相関的な長さで区切り、図表化しました。

すると興味深い現象がわかりました。保護者たちは一貫して最小限で出来る限り簡単な表現を選び、徐々に複雑な言葉を使うのです。さらに、このグラフの跳ね上がりの時はその言葉を口にした時期とほぼ一致しています。その後のどの言葉も一貫していました。

つまり私、妻、ベビーシッターの保護者3人全員が、きっと常に無意識的に言葉をコントロールしながら息子の言語習得をサポートし、息子がその言葉を口にしたらより複雑な言葉へとステップアップしていたのです。

ここには素晴らしいフィードバック・ループが成り立っているということです。これは今日伝える中でも一番大切なことです。もちろん息子が周囲の言語環境から学習している一方、周囲の環境もまた息子から学習しています。

周囲の言語環境、つまり人々がこの密接なフィードバック・ループの中におり、気付かない間に足場を固めていたのです。

言葉の習得を視覚的に捉えることで見つかった、ソーシャルホットスポット

これまでは話の内容について話しました。では、視覚的な内容はどうでしょうか? 家をドールハウスのように断面的に見てみましょう。魚眼レンズで撮影した映像に光学補正を加えて三次元のようにしてみました。我が家へようこそ! これは複数のカメラで捉えたある瞬間の我が家です。

(ビデオが流れる)

この目的は、過去のある瞬間に戻って空間を動き回ることができる究極の記憶装置を作って、映像上の異次元生活をシステムに加えることでした。では、これからある日のリビングでの30分間の様子を早送りで見ていただきます。

(ビデオが流れる)

私と息子が床に座っています。映像分析で私たちの動きを追って行きます。

赤い線は息子で緑の線が私です。ソファーに移り、窓から外を走る車を眺めています。そして息子は歩行器で遊び始めました。

ここで映像をとめ、この30分間の動きを縦の時間軸で捉えて、線で残した私たちの交流の軌跡を見てみましょう。おもしろい形状が見てとれますね。2色の線が絡み合っているのは「ソーシャルホットスポット」と呼ばれる場所です。螺旋状の場所は「ソロ(単独)ホットスポット」です。

これが言語習得に影響を及ぼすと私たちは考えています。これらの行動パターンと息子が直面する言葉との関係性が把握できれば、言葉を耳にする時期がその言葉の習得に影響するか否かを予測出来るかもしれません。言葉自体と実社会においてのその言葉との関係性がわかるのです。

言葉の地形図を用いて、言語の習得順序を予測する

では、どうやって把握するか。この映像でも息子の動きを追います。赤い線が息子です。ベビーシッターはドアの前にいます。

ベビーシッター:ウォーター(water)ほしいの?

赤ちゃん:ああぁー。

ベビーシッター:はいはいー。

赤ちゃん:ああぁー。

ロイ:彼女は水が欲しいかどうか聞き、この2つの「虫」はキッチンへと向かいます。そして私たちはこの瞬間に「ウォーター」という言葉をタグ付けしました。このようにデータの力を活かして、息子が「ウォーター」という言葉を耳にするたびに、その時間と状況を把握し、全映像からウォーターに関係する全ての瞬間を抜粋しました。

このデータに見受けられるのは地形図です。私たちは「言葉の地形図」と呼んでいます。「ウォーター」という言葉の場合、地形図はキッチンに集中します。左奥の高い山になっている所ですね。

他の言葉と比較してみましょう。グッバイ(goodbye)のバイ(bye)の場合。玄関にズームしてみます。やはりバイという言葉の地形図はより一貫していますね。私たちは現在、この地形図を駆使して言葉の習得順序を予測しようとしています。

「言葉の地形図」を公共メディアに応用する

これはMITメディアラボ内にある私の研究室です。どんな場所でもこんな風にビデオ撮影をするのが私のお気に入りです。

プロジェクトの主要メンバーはフィリップ・ド・キャンプ、ロニー・クバート、ブランドン・ロイの3人です。

今までお見せしてきた視覚化映像はフィリップが協力してくれました。マイケル・フライシュマンは私の研究室の博士課程の学生で、このホームビデオの映像分析を手伝ってくれています。彼は「言語共有基盤を築く出来事がいかに言語と関係しているのかという分析は君の家庭内にも当てはまるし、公共メディアの世界にも応用できるよ」と予測しました。

我々の努力の先には予想外の展開がありました。共有基盤はマスメディアによって提供されますよね。こういったアイデアを一歩前進させる方法はわかっています。そこで私たちは同じ方法を使って、テレビ番組のコンテンツやテレビ信号のイベント構造を分析し始めました。

イベント構造を構築するドラマのストーリーやコマーシャルなどの要素は全て分析しました。現在ではアメリカで放送されている番組の大半は衛星アンテナで受信して、分析することができます。人々の会話を調べるにも、リビングにマイクを設置する必要はもうありません。一般に公開されているソーシャルメディアを使えば良いのです。

月に約30億のコメントを集めました。すると驚きの結果が得られました。テレビから流れてくる言葉が意味する共有基盤であるイベント構造からあるトピックに関する会話を抜き出し、それを言語学的に分析したデータです。これは実際のデータです。黄色の線は、生のコメントとテレビ信号で送られるイベント構造とのつながりを示しています。

先ほどと同じように地形図を作成しました。これらの言葉はリビングから集められたものではありません。今回は、テレビ番組のコンテンツが引き出した共有基盤での活動の会話から抜粋した言葉です。ここに示されている高層ビル群は番組コンテンツに関するコメントです。

同じコンセプトですが、コミュニケーション・ダイナミクスを見てみると、先ほどとは大きく異なった領域です。たとえば、番組コンテンツへの評価をする際に、視聴者数ではなく、番組コンテンツへの関心度に焦点をあてたデータが得られるのです。家庭内のフィードバック・サイクルやダイナミクスと同じように、同じコンセプトを用いてもっと大きなグループを対象にすることが出来るのです。

マスメディアとソーシャルメディアの循環が新たな社会構造を作り出している

これは我々のデータベースにあるデータの一部、数百万人のうちのほんの5万人分です。彼らが一般に公開されているソースを介して交流したデータを示すソーシャル・グラフです。ひとつの層にそのデータを、そしてもうひとつの層に生のコンテンツを置きました。スポーツイベントやコマーシャルなどの番組とすべてのリンク構造とを結んで作成するのがコンテンツ・グラフです。そして重要な3Dグラフです。

それぞれのリンクは、誰かのコメントとその番組コンテンツとを結んでいます。現在こういった数千万のリンクがソーシャル・グラフの結合組織となって番組コンテンツに結びついています。

おもしろい方法でこの構造を探ってみましょう。たとえば、誰かからコメントを引き出したコンテンツの方向性は、コメントの流れに沿ってソーシャル・グラフ全体で活動的な部分を確認し、再度ソーシャル・グラフと番組コンテンツとの関係性をみてみると、このような興味深い構造が明らかになります。

これを共視聴グループと言います。言わばバーチャルリビングルームです。そこには興味深いダイナミクスがあります。一方向ではなく、コンテンツやイベントが誰かのコメントを引き出し、その人がまた他の誰かに話す。その流れがまたマスメディアを動かします。こうして全体の行動は循環しているのです。

その他にも、たとえばデータベース内には少なくとも数百人のプロアマチュア(プロアマ)・メディア批評家と呼ばれる人々がいます。彼らの影響力は高く、多くの人々が彼らの発言を常にチェックします。さらに彼らはよくテレビの話をする傾向にあります。こういった人々がマスメディアとソーシャルメディアとの架け橋になります。

では、最後の例として特殊な番組コンテンツについて話します。たとえば、数週間前のオバマ大統領の一般教書演説。同じデータ内、同じ規模であるにも関わらず、このコンテンツへの関心度は際立っています。

国民がリアルタイムで放送に対し反応を広げています。もちろん、それぞれで様々な話が繰り広げられています。世界の動向をリアルタイムで見ることが出来ます。コンテンツによって誘発された、様々な地域でのまさにその瞬間における社会的反応がソーシャル・グラフで確認することが出来ます。

要するに、この世界が急激に便利になり人々の発言とその発言の背景との結びつきを把握出来るようになるにつれて、今までは見えなかった新たな社会構造やダイナミクスが見えるようになりました。顕微鏡や望遠鏡を組み立てコミュニケーションに関する行動の新構造を発見するようなものです。科学、商業、政府、そして特に私たち個々人にとって、この含意は深いと思います。

息子がはじめて歩いた、思い出の瞬間に戻ってみましょう

息子の話に戻りますが、このスピーチの準備をしているときに肩越しに見ていた息子に今日お見せした動画を使っていいか聞きました。許可がおりました。

(会場笑)

そのあと息子に言いました。「これってすごいよね! このデータベースと映像は全部、いつか君や君の妹に見せてあげられるんだ」2歳下の妹のことです。「君たちは過去に戻って生物学的に考えて絶対覚えていないような瞬間をもう一度体験できるんだ」息子は少しの間なにも言いませんでした。

だから、「俺は何を考えているんだ。まだ5歳じゃないか。理解出来るわけがないのに」そう思いました。すると、少ししてから息子は私を見上げながら言いました。「じゃあ、大きくなったらぼくの子どもにも見せられるね?」その時思いました。

「これはなんてすごいことだろう」

最後にもうひとつだけ、私たち家族にとって思い出深い場面を見ていただきたいと思います。息子が初めて2歩以上歩いたときの映像です。注目して見ていただきたいのは、ある雑然とした普通の日常の中で、母がキッチンで料理をしていた時です。私は廊下にいる息子が2歩以上歩きそうだと気付きました。

私は息子を応援しながら、これから起こる素敵な瞬間を予感し、ついにそれは起こりました。よく聞いてみてください。3段階あって、まず息子はなにか素晴らしいことが起こりそうだと気付き、最高のフィードバック・ループが舞い込んできて、一瞬息をのみ、そして「やった」とつぶやきます。私も本能的に同じことをつぶやきました。思い出の瞬間へ、いざ戻りましょう。

(ビデオが流れる)

ロイ:あら。こっちにおいで! できるかな? おおお! できるかな?

赤ちゃん:やった……!

ロイ:やった……! おかあさん、歩いたよ!

(会場拍手)

ロイ:ありがとうございました。

<続きは近日公開>

Published at

TED(テッド)

TED(テッド)に関するログをまとめています。コミュニティをフォローすることで、TED(テッド)に関する新着ログが公開された際に、通知を受け取ることができます。

このログの連載記事

1 自分の赤ちゃんを実験台に! MITメディアラボ研究員が、25万時間の撮影で「言葉の誕生」を追う
2 近日公開予定

スピーカーをフォロー

関連タグ

人気ログ

人気スピーカー

人気コミュニティ

ピックアップ

編集部のオススメ

ログミーBizをフォローして最新情報をチェックしよう!

人気ログ

人気スピーカー

人気コミュニティ

ピックアップ

編集部のオススメ

そのイベント、ログしないなんて
もったいない!
苦労して企画や集客したイベント「その場限り」になっていませんか?