自動運転技術を実現するために必要なものは？　トヨタのAdvanced Driveに新規センサが採用された理由

Teammate Advanced Driveの概要

板橋界児氏（以下、板橋）：本日はお忙しい中ご参加いただき、どうもありがとうございます。「高度運転支援システム『Teammate Advanced Drive』を実現する自動運転技術大解剖−ソフト＆ハード一体型技術開発チームの開発秘話−」というタイトルで、先日発売したToyota/Lexus Teammate Advanced Driveの技術的な紹介と、開発の苦労点などをお話ししたいと思います。

特に私たちの所属する自動運転・先進安全開発部とWoven Coreでは、一体となって性能の要となるセンサ系ハードと制御ソフトを一気通貫開発するということで、性能を作り上げています。このようなフォーメーションを組んでいる理由についても、触れていきたいと思います。

私は板橋界児と申します。後にも出てきますが、このAdvanced Driveのソフトウェア開発を担当しているWoven Coreで、トヨタ自動車から出向して、技術開発全般を担当しています。私自身は2000年にトヨタに入社して以来、運転支援系システムの先行から量産までと、車両運動制御を主に携わってまいりました。本日はよろしくお願いします。

奥田裕宇二氏（以下、奥田）：トヨタ自動車の奥田と申します。私も2005年の入社以来、運転支援システムの製品開発に携わってまいりました。約4年ぐらい前からAdvanced DriveのLiDARの製品開発を担当しています。今日は短い時間ではありますが、よろしくお願いいたします。

板橋：それではまず簡単な紹介ビデオをご覧ください。

【動画①】

板橋：はい。ただ今ご覧いただいた、Toyota/Lexus Teammate Advanced Driveですが、左側のLexus LSが4月8日、右側のToyota MIRAIが4月12日から発売開始となりました。どちらもおかげさまで、非常にたくさんの方に選んでいただいている状況です。本当にありがとうございます。本日はこの新技術のAdvanced Driveについて、お話しいたします。

まずは概要からです。トヨタは自動運転の開発から得られた技術をより多くのクルマに展開していくことで、すべての人に安全で自由な移動をお届けし、交通事故死傷者を少しでも早く、1人でも多く減らしていきたいと考えています。そこでトヨタは、自動運転に対する考え方を「MOBILITY TEAMMATE CONCEPT」というかたちにまとめています。

この考え方は、人とクルマが、同じ目的地を目指し、ある時は見守り、ある時は助け合う、気持ちが通い合った仲間のような関係を築くというものです。例えば、ドライバーが運転をしたい時には運転を楽しめて、運転をしたくない時、あるいはできない時には安心して運転を任せられる。いつまでも好きな時に好きな場所に移動できる自由を提供していきたい。そのようなクルマを開発していきたいと考えています。

今回我々が開発したAdvanced Driveはこの「MOBILITY TEAMMATE CONCEPT」に沿ったものになっています。そのAdvanced Driveの動作概要について、こちらも動画で紹介いたします。

【動画②開始】

ビデオ：アドバンストドライブが使用可能なエリア内で条件をすべて満たすと、作動可能な状態になり、アドバンストドライブスイッチを押すと、作動します。ナビゲーションで目的地を設定すると、目的地へ向かうための本線上での車線変更や本線からの分岐を支援します。車線変更では、ドライバーによるハンドル保持と周囲の安全確認後、システムが周囲の状況を判断します。

ナビゲーション音声：「左に車線変更します」。

ビデオ：そして目的地方面にあらかじめ車線変更し、余裕のある分岐を支援します。本線からの分岐では、分岐レーンが始まる手前でウィンカーを自動点滅し、車線変更を支援します。また、サービスエリア・パーキングエリアを目的地に設定した場合も車線分岐も支援します。センサで周囲の安全を確認しながら、車線変更を開始。サービスエリア・パーキングエリアに分岐した後、ドライバーの運転操作を促し、システムを終了します。

ナビゲーション音声：「Advanced Driveを終了しました」。

【動画②終了】

板橋：このAdvanced Driveですが、基本的には人の運転と同じことを機械にやらせるという作りになっています。人の運転には認知・判断・操作がありますが、同じように自動運転にも認知・判断・操作（の能力）を持たせています。次のページから個々の開発について、もう少し詳細を説明していきたいと思います。まずは認知の部分から、センサについて、奥田さんお願いします。

前方にいる車両を認識するための「レーダーセンサ」

奥田：はい。最近のクルマには、前のクルマに自動追従したり、ぶつかりそうになると自動でブレーキをかけたり、または車線のセンターをトレースしてくれるといったシステムが付いています。トヨタでは、自動追従をACC、自動ブレーキをTCS、センタートレースをLTAと呼んでいます。

一般的にこれらは、先進運転支援システム、英語で言うとAdvanced Driver Assistance System、省略してADASと呼ばれています。ADASには周囲を走るクルマを認識するためのレーダーセンサ、それから車線を認識するためのカメラが搭載されています。今回のAdvanced Driveでは、これらのセンサに加えて、走路上でより多くの情報を使いながら適切に判断するためのセンサが必要になります。

これが、この上に書いてある「専用カメラ」と「高精度LiDAR」です。さらに車室内には、ドライバーの状態を認識できる「ドライバーモニターカメラ」も追加されています。これらのセンサの特徴を紹介します。

まずはレーダーです。こちらは20年ぐらい前から、前方にいる車両を認識するためのセンサとして登場しました。電波を照射してターゲットから跳ね返ってくるまでの時間やその波長から、距離や相対速度を直接検出できます。最近いろいろな方式があるので、必ずしもこうではないものもあるのですが、基本的に原理は一緒で、電波を照射して跳ね返ってくるものを検波します。そういう原理のセンサです。

比較的長距離まで認識できることや、ターゲットの色や材料に影響を受けにくいという特徴があります。また、電波が減衰しにくいため、比較的天候に対してもロバストに認識できます。

今この写真にあるような、水しぶきを巻き上げながら走行するシーン。目視では非常に見にくいです。それがレーダーでどのように見えているかと言うと、このように先行車も隣接車もはっきり見えていることがわかります。一方で一般的には、横の分解能はそれほど高くないので、遠距離になるほど横方向の精度が悪くなるということもあります。つまり自分のクルマの遥か前方に車両がいる場合、それが自分の車線なのか隣の車線なのかがわかりにくということになります。

物標の属性を認識するための「専用カメラ」

続いてカメラです。この車載カメラも、20年ぐらい前から車線認識用として投入したセンサです。その後、検出対象を車線から車両や人に拡大して、近年では画像処理技術の性能が飛躍的に向上しています。これについては、次のページ以降で紹介したいと思います。カメラの特徴としては、高解像度でかたちを識別できるため、物標の属性を認識できます。

この写真にあるように、白い破線なのか黄色い実線なのか、はたまた乗用車なのかトラックなのか、みたいなイメージです。あとはレンズを変えることで、認識エリアを変えられます。実際にAdvanced Driveでも、3水準の距離を認識するために異なるカメラを使っています。

人の目に近い原理のセンサなので、弱点も人の目と同じです。逆光のように眩しいシーン、トンネル出入り口のような明るさが急変するシーン、夜間、雨といった環境です。

カメラの撮像原理は人の目に近いですが、実は撮像した画像の処理にも、人工知能、AIを用いることで認識性能が各段にレベルアップします。AIを用いるためには高速な画像処理が必要なんですが、これを実現するハードウェアが必要になります。今回Advanced Driveでは、NVIDIAさまのSoC（System on chip）を採用いたしました。

実はNVIDIAさまには、Advanced Driveの開発初期、その当時採用可能なSoCがありましたが、同時に次期型SoCの発売が予告された時期でもありました。ここに示しているグラフは、その2つのSoCの性能を比較したものです。左が当時製品化されていたSoC、右側が次世代のSoCです。どちらを取るかということで、議論になりました。

これまでのトヨタであれば、慎重・堅実路線で不確実な次世代の高い性能よりも市場実績という確実を取っていたかもしれません。ですが、高い認識性能を実現するという強い信念で、次世代SoCの採用を決定いたしました。高いポテンシャルのハードウェアだからこそ、実現できたAI認識。この内容については、次のページで触れます。

このAI認識ソフトは内製をしており、ソフトウェアアップデートにより進化します。これについても、後ほど紹介いたします。このような、ソフトウェアが最大のパフォーマンスを発揮できるためのハードウェア、この選定と開発に関しては今後のトヨタの車両開発のスタイルを示唆するものと言えます。

では、AI認識による画像処理の例を紹介いたします。カメラで撮像された情報は、立体物認識と走路認識、それぞれのAIで利用されます。立体物認識処理では物標を箱として検出されて、位置算出や種別判別が行われます。この左上の写真は、望遠カメラで200m以上前方のものを撮像したものなんですが、このように車両を認識していることがわかります。

一方、写真右側の走路認識では、Semantic Segmentationというアルゴリズムを用いています。この図のように、意味を持った領域に分割することで、この下の2枚の写真にあるような白線がかすれた路面、これはけっこうカメラで苦手なシーンで従来のエッジ検出のみでは認識できなかったのですが、こういう白線に対しても比較的ロバストに車線認識ができるようになりました。

少し話は飛びますが、車両特有の要件として過酷なものに、熱環境というものがあります。クルマは砂漠地帯でも使われます。車載コンピューター、これはECUといいますが、ECUに求められる耐熱性能も、非常に厳しくなります。ECUは、内部で演算処理を行うために発熱します。電子部品に熱は大敵で、一般的に筐体にフィンのようなものを付けて、表面積を大きくして自然に放熱する設計をします。

なぜこのような話をしたかと言いますと、先ほどのAI認識のSoC。これは演算量が多い、イコール発熱量が多いということでして、これを搭載したECUでは、実は熱収支が成立しませんでした。発熱と放熱で、発熱のほうが勝ってしまったということです。ということで、急遽エアコンの冷風を利用して、強制的に冷却するということが検討されました。

この図の右側にあるように、ECUの近くにエアコンのダクト、この青色の部分がエアコンの冷たい風が通るダクトですが、これをECUのすぐ近くに配置するようにしています。このような熱の要件は一例でして、いろいろな環境ストレスに対する耐性を考慮して、問題がある場合には筐体設計や搭載設計の見直しを実施します。

200メートル以上遠いところも認識できる「LiDAR」

少しカメラについて掘り下げましたが、元に戻りまして、次はAdvanced Driveで採用した秘密兵器「LiDAR」です。先ほど「カメラはレンズを変えれば遠くが見れる」と説明いたしましたが、実は夜間はそうでもないです。ヘッドライトをハイビームにしても、照射距離は100メートル強です。それより遠くは可視光が届かないので、カメラでは原理的に検出ができないことになるんですが、LiDARは自ら発光しているので、検出できます。

あとはレーダーの弱点である、方位分解能が高いのも特長です。この写真にあるシーンは夜間の高速道路なんですが、実は前にトラックが走っています。カメラだとほぼ見えませんが、LiDARの目で見ると、このように170メートル前にいることを認識しています。条件によっては、200メートル以上遠いところも認識できます。

ただ、LiDARも良いところばかりではなくて、弱点もあります。LiDARは近赤外領域のレーザーを発光して、ターゲットからの反射を受光することで測距します。苦手シーンその1は、左上にあるようなシーンで「逆光のシーン」です。太陽光にも、レーザーと同じ波長の光が含まれていますので、太陽光に対して受光部が反応してしまいます。カメラが逆光が苦手なのと、同じ原理です。実際にはいろいろな工夫がされていて、カメラよりは少し逆光に強いです。

続いての苦手シーンその2は、右上にあるようなシーンです。これは雨の日によくあるシーンで、このように沸き上がった水しぶきをくらいながら走るシーンです。光の通り道に光を反射するようなモノが高密度で存在すると、あたかもそこに物があるように間違って認識してしまいます。本来、水しぶきは捉えなくても良いターゲットなんですが、LiDARからすると、その区別が難しいということになります。

続いての苦手シーンは下の2つで、センサとターゲットの間の空間に霧や雨があったり、センサ表面が汚れていて光が遮られる。こういう状態では光が届かないので、見えない状態になってしまいます。なので実際に物があったとしても、見えないという認識をしてしまいます。これもカメラと同じ弱点なんですが、汚れに関して言えば、カメラは一般的に車室内に搭載されているので、ワイパーがあれば目の前が汚れ続けることは基本的にはありません。

ではこれはどうすればいいのかというと、汚れたら洗えばいいということで、洗浄システムを採用。また、曇ったら加熱してやればいいということで、光学面ヒータを採用しました。そのままですね。ただ意外と簡単そうで難しいです。先ほど「雨が苦手」と言いましたが、この左の写真を見るとわかりますように、自ら水を自分の目の前にかけていますし、光が遮られるのが苦手と言いましたが、目の前に電熱線を通しているので、ある意味、矛盾したことをしています。

このように新しいセンサなので、経験したことのない課題ばかりでしたが、サプライヤーさまと一丸となって、1つずつ解決していきました。ソフトウェアが最大のパフォーマンスを発揮できるように、ハードウェアが別のハードを使って限界を引き上げるということも、システム開発では必要になってきます。

ハードウェアの弱点をソフトウェアで補う

ハードウェア対策の次は、ソフトウェア対策の例です。この左側の写真、これも高速道路ではよくあるシーンだと思うんですが、実はLiDARにとっては苦手なシーンなんです。このシーン固有の説明に入る前に、トラッキングという機能が鍵を握りますので、まずはトラッキングについて説明します。LiDARも、一般的な電子機器と同じで、一定間隔で撮像と演算処理を回しています。

なので、例えばある周期でクルマを認識したとします。次の周期でもそのクルマを認識しますが、これがさっきと同一のクルマかどうか、これを判断することをトラッキングと言って、同一であることがわかって初めてその物体が動いているのか止まっているのかがわかる重要な機能になります。

では、このシーンの難しさの説明に戻ります。結論から言うと、ポールが等間隔に並んでいると、トラッキングを間違えやすいということになります。ポールという似たようなモノが並ぶので、同じポールか異なるポールかが間違えやすくなるということです。

この右側の図を使って説明します。小さくてわかりにくいかもしれませんが、ある周期でポールAを認識して、次の周期でポールAではない別のポールBと誤って認識、トラッキングしてしまいます。そうすると何が起こるかというと、時間が経つと、ポールAとの距離が近くなるということになります。

つまりポールAが接近してきたという誤った認識をするということになります。ほぼ自車線上に自分のクルマに接近してくる物体があると認識しますので、LiDARの認識結果だけに頼ったシステムを組んでいると、間違えてブレーキが作動してしまいます。このような道路で走っていて、いきなりブレーキがかかったら怖いですよね。ではどうしたら防げるかというと、他のセンサの認識結果を参照するソフトウェアでの対策が有効になります。

これまで見てきた3つのセンサの特徴をまとめました。縦に要件、横にセンサを並べて×から◎の4段階で、ランク付けをした表です。ポイントはどのセンサ、どの列に◎が多いかということではなくて、列ごとに見ると、どれもデコボコがあるんですけれども、行ごとに見るとどの行にも、どれか1つは◎があるということです。

つまり単一のセンサでは何か足りないが、3つを組み合わせることで要件を網羅できるということです。これがAdvanced Driveで新規にセンサを採用した理由です。

ここからは、少し話題を変えて車載部品として特有の難しさという観点でエピソードをいくつか紹介いたします。

（次回へつづく）