NTT技術ジャーナル記事

   

「NTT技術ジャーナル」編集部が注目した
最新トピックや特集インタビュー記事などをご覧いただけます。

R&Dホットコーナー

自動運転レベル4の遠隔監視に向けた物体認識率推定技術

自動運転レベル4では、遠隔管制室および遠隔監視者の設置が求められ、車両から送信される映像を適切に確認できることが安全な運行を支える重要な要件となっています。一方、無線品質の低下に伴う画質劣化や映像フリーズ、車両の走行速度は、遠隔監視者による物体認識に影響します。本稿では、これらの情報から、車両前方への物体の飛び出しを認識可能な映像であるかを推定する「物体認識率推定技術」について紹介します。

川嶋 喜美子(かわしま きみこ)/小池 正憲(こいけ まさのり)
横田 将裕(よこた まさひろ)/恵木 則次(えぎ のりつぐ)
NTTネットワークサービスシステム研究所

自動運転レベル4における遠隔監視システムの高度化

自動運転技術は、交通事故の低減、渋滞の緩和、運転者不足の解消など、さまざまな社会課題の解決に資する技術として研究開発と社会実装が進められています。自動運転レベル5では、走行する場所や条件によらず、システムがすべての運転タスクを担うことが想定されています。その実現に向け、自動運転車両は、カメラをはじめとする多様なセンサから得られる情報を基に、歩行者や周辺車両などを検知し、走行環境を判断します。しかし、車両に搭載されたカメラやセンサを用いた物体検出だけで、死角からの急な飛び出しを含むあらゆる事象を確実に把握することは容易ではありません。
こうした中、特定の走行環境や条件の下でシステムがすべての運転タスクを担う自動運転レベル4の社会実装が進められています。自動運転レベル4に相当する特定自動運行では、安全な運行を確保するため、遠隔管制室および特定自動運行主任者(遠隔監視者)の設置が道路交通法によって義務付けられています(1)(図1)。また、道路交通法施行規則では、自動運転車両から送信される映像が鮮明でない場合や、映像の送受信を正常に行えない場合に、遠隔監視者へ通知することも定められています(2)。
遠隔監視者は、車両から送られる映像などを確認し、危険な状況に応じて車両の停止や減速等の必要な対応を行います。特に、遠隔監視者は前方映像を用い、飛び出し物体を認識するため、車両前方への飛び出し物体を認識できる映像が送られていることを常時監視することが重要です。そこで、本稿では、遠隔監視システムの高度化に資する物体認識率推定技術について概説します。

遠隔監視者の物体認識に影響する要因

自動運転車両から遠隔管制室へ映像を送信する際には、無線通信が利用されます。車両の移動や周辺環境の変化によって無線品質が低下すると、映像伝送に利用可能なネットワーク帯域が減少し、映像のビットレート低下やパケット損失が生じる場合があり、画質劣化の事象によって物体認識に影響がでます。
ビットレートの低下に伴い、映像の細部や動きが不鮮明になり、車両前方に飛び出す物体を遠隔監視者が認識しづらくなります(図2(a))。また、パケット損失が発生すると、映像が一時的に停止するフリーズが生じ、短時間であっても危険事象の見落としにつながる可能性があります(図2(b))。さらに、車両の走行速度も物体認識に影響します。走行速度が速いほど単位時間当りの移動距離が長くなるため、遠隔監視者はより遠方の物体を早期に認識しなければなりません。このため、高速走行時は低速走行時と比較して認識対象の物体が映像上で小さく見える段階で認識する必要があり、認識が難しくなる場合があります(図2(c))。

物体認識率推定技術の概要

遠隔監視者が車両前方への飛び出し物体を認識できる映像が遠隔監視システムに送信されているかを確認するためには、前述した要因を考慮して技術確立する必要があります。そこで、遠隔監視者が衝突回避に必要な時間内に車両前方への飛び出し物体を認識できる遠隔監視者の割合を物体認識率と定義し、当該認識率を推定する技術を物体認識率推定技術として確立しました。

■物体認識率推定技術

物体認識率推定技術を図3に示します。本技術では、走行中に取得する入力情報と、映像コーデック、走行環境(時間帯・天候等)などの前提情報に応じて選択される係数セットを用いて、物体認識率を推定します。
走行中に取得する入力情報には、映像符号化情報、フリーズ映像に関する情報、さらに車両情報があります。遠隔監視システムや車載システムによって取得可能な情報は異なります。そこで本技術では、利用可能な入力情報の組合せに対応した4つの推定モードを設けています(表)。4つのモードは、フリーズの影響をパケット損失率から推定するか、フリーズ映像フレーム数から直接評価するか、さらに走行速度を入力に含めるかによって構成されます。遠隔監視システムの提供者は、既存システムから取得可能な情報に応じて適切なモードを選択できます。詳細な情報を用いるモードでは、精度の向上が期待できます。
係数セットは、映像コーデックや走行環境などの前提情報による物体認識特性の違いを推定結果に反映するために用います。例えば、映像コーデックによって符号化効率が異なるため、同じビットレート、解像度およびフレームレートであっても、物体認識率は異なります。また、夜間や雨天では、昼間や晴天の場合と比べて、飛び出し物体の認識しやすさが異なります。そのため、実際の運行に適用する際には、使用する映像コーデックや走行環境に対応する係数セットを選択することで、それぞれの前提情報を考慮した物体認識率の推定を可能とします。

■技術のポイント

本技術の特徴は、物体認識に影響を与える映像符号化、映像フリーズ、走行速度の3つの要因を数理的に扱う点にあります。本技術の開発に向け実施した主観評価実験では、各要因を変化させた多数の遠隔監視映像を評価者が視聴し、衝突回避に必要な時間内に飛び出し物体を認識できたかを評価しました。各条件について、飛び出し物体を認識できた評価者の割合から物体認識率を求め、各要因と物体認識率との関係を導出し、数理モデルとして定式化しました。
第1のポイントは、映像符号化情報が物体認識率に与える影響の定式化です。同じビットレートでも、解像度とフレームレートの組合せによって認識のしやすさは異なります。そこで、ビットレート、解像度、フレームレートを変化させた映像を用いて主観評価実験を行い、各条件と物体認識率との関係を導出しました(図4(a))。複数の映像パラメータを組み合わせて評価することで、個々のパラメータのみを用いる場合に比べて、遠隔監視者の認識特性に即した推定を可能にしています。
第2のポイントは、フリーズ映像フレーム数の影響を扱うことです。パケット損失によって映像を正常に再生できない場合、直前の映像が表示され続けるなどのフリーズが発生します。遠隔監視では、わずかな停止時間であっても、その間に歩行者や障害物が飛び出すと危険を認識できない可能性があります。本技術では、単位時間当りのフリーズ映像フレーム数と物体認識率との関係を定式化し、見た目には気付きにくい短時間の映像停止についても定量的に評価します(図4(b))。なお、フリーズ映像フレーム数を直接取得できない場合には、パケット損失率を用いて推定することもできます。
第3のポイントは、走行速度の影響を組み込んでいることです。走行速度が速くなるほど、衝突回避に必要な時間を確保するため、より遠方の段階で物体を認識する必要があります。本技術では、速度条件を変えた主観評価結果を用いることにより、同じ映像符号化条件であっても走行速度に応じて異なる物体認識率を算出します(図4(c))。これにより、映像だけを評価する方式に比べて、実際の走行状態を考慮した物体認識率を推定できます。
これらの技術的特徴を備えた物体認識率推定モデルは、2025年11月にITU-T SG12*において新勧告P.1199として制定されました(3)。

* ITU-T SG12:国際電気通信連合電気通信標準化部門(ITU-T)の研究委員会の1つで、音声、映像、データなどのマルチメディアサービスに関する品質評価の勧告を策定。

■物体認識率の活用

物体認識率は、走行中の遠隔監視支援と、調律走行時や運行後の分析に活用できます。
走行中の遠隔監視支援の例を図5に示します。本技術を遠隔監視システムに適用し、物体認識率の推定値が所定の基準、例えば安全しきい値を下回った場合に遠隔監視者へアラートを通知します。これにより、遠隔監視者は、目視では気付きにくい短時間の映像停止や画質劣化の影響を速やかに把握することができます。さらに、通知を車両の減速や停止などの安全措置と連携させる仕組みへの活用も期待されます。
また、調律走行時や運行後の分析にも利用可能です。まず、調律走行時に運行ルート全体の物体認識率を記録することで、本番運行開始前に安全しきい値を満たしているかを確認できます。さらに、運行開始後は、バスの走行位置や時刻と物体認識率を対応付けて継続的に記録することで、物体認識率が低下しやすい地点や時間帯を特定できます(図6)。さらに、物体認識率の低下傾向を走行速度や映像伝送条件と照合することで、発生要因の分析にも利用できます。その結果を基に、無線設備の配置、映像伝送時の符号化条件、運行ルートや走行条件などを見直すことで、遠隔監視の安定化につなげることが期待されます。
このように、本技術は、走行中のリアルタイムの遠隔監視支援に加え、運行後の分析を通じた中長期的な遠隔監視環境の改善にも活用できます。

今後の展望

今後は、本技術を実際の遠隔監視システムへ適用し、実運用における有効性を検証します。具体的には、物体認識率の推定値が所定のしきい値を下回った際に遠隔監視者へアラートを通知し、遠隔監視の効率化や安全な運用に寄与するかを確認するフィールドトライアルに取り組みます。また、実際の自動運転サービスでは、走行場所や通信環境に加え、天候や時間帯などの環境条件も変化します。このため、さまざまな実環境において本技術の適用性を検証し、運用条件に応じた利用方法を確立することをめざします。

■参考文献
(1) https://laws.e-gov.go.jp/law/335AC0000000105
(2) https://laws.e-gov.go.jp/law/335M50000002060
(3) ITU-T Recommendation P.1199:“Parametric object-recognition-ratio-estimation model for remote monitoring of surveillance video delivered from autonomous vehicles,” Oct. 2025.

(左から)川嶋 喜美子/小池 正憲/横田 将裕/恵木 則次

遠隔監視者が映像から物体を認識できる状態にあるかを把握することは、自動運転の安全性を支える重要な要素です。今後も、本技術の実用化を進め、安全で信頼性の高い自動運転サービスの実現に貢献していきます。

NTTネットワークサービスシステム研究所