R&Dホットコーナー
瞳孔径の計測に基づく注意状態推定技術のVR安全研修支援システムへの応用
NTTアクセスサービスシステム研究所(AS研)では、NTTコミュニケーション科学基礎研究所(CS研)と連携し、危険への気付きや判断に直結する「注意状態」を、作業者のアイトラッキング情報等からとらえる技術の確立と応用をめざしています。本稿では、作業者の安全意識向上を目的として開発したVR(Virtual Reality)研修システムを紹介します。このシステムは、瞳孔径変動と短時間の注意状態に関する基礎研究の知見を現場における安全教育の課題に適用することで、目視による危険個所への注意状態を評価し、研修後の振り返りを支援します。
高木 郁子(たかぎ いくこ)†1 /笠松 美歩(かさまつ みほ)†1
竹森 達也(たけもり たつや)†1/山下 純平(やました じゅんぺい)†1
寺島 裕貴(てらしま ゆうき)†2 /丸谷 和史(まるや かずし)†2
南 勝也(みなみ かつや)†1
NTTアクセスサービスシステム研究所†1
NTTコミュニケーション科学基礎研究所†2
オンサイト作業における安全教育の課題
近年、社会全体のデジタル活用が拡大し、通信インフラは人々の生活や企業活動を支える重要な社会基盤となっています。一方で、日本国内では通信設備の老朽化が進行しており、設備の保守・点検作業の重要性がますます高まっています。
通信インフラの安定運用には、通信ビルからお客さま宅まで広範囲に敷設された光ケーブル網や電柱設備等を継続的に保守・点検する必要があります。これらの作業は高所や道路沿いで実施されることも多いため、転倒や高所からの落下、人や車との接触など作業者の安全確保が重要な課題となっています。
そのため、NTTグループでは、現場を支える作業者の安全を守るために、人身事故ゼロ化を目標に、作業者の安全意識向上の取り組みを継続的に進めています(1)。作業者の安全意識を高めるアプローチの1つとして、仮想現実(VR:Virtual Reality)を用いた体験型学習が注目されています。VRを活用することで、実際の現場作業を再現しながら、安全な環境下で危険予知訓練を実施できるため、従来の座学中心の研修と比較して高い教育効果が期待されています。
しかしながら、VRを用いた安全教育を実際の業務現場で活用するには、以下の2つの課題があります。
(1) 受講者が危険個所に注意を向けていたかを十分に評価できない
危険予知においては、危険に関する知識を理解していることだけではなく、実際の作業環境において危険個所に適切に注意を向けられることが重要です。従来のVR研修では、アイトラッキング技術を用いることで受講者の視線が物理的にどの方角に向かっているかを把握することは可能です。一方で、視線が向かう対象に主観的にも注意していたか、すなわち内面的な状態を評価することは困難でした。そのため、受講者が対象となる危険個所を察知できたかを客観的に評価することが難しいという課題がありました。
(2) 実業務に即した研修コンテンツの作成コストが高い
一般的なVR研修では、作業現場を再現するために3DやCGを用いて研修コンテンツを作成します。しかし、通信設備の保守のように現場の状況が多様な業務では、実際の業務を忠実に再現するために専門的な制作技術が必要となります。また、設備や作業内容が更新されるたびに研修コンテンツを更新する必要があり、多大なコストが発生していました。
そこで、NTTアクセスサービスシステム研究所(AS研)とNTTコミュニケーション科学基礎研究所(CS研)は、瞳孔径*1と短時間の注意状態に関する基礎研究の知見を蓄積したうえで、現場における安全教育の課題に適用し、VR安全研修支援システムの研究開発を行いました。
*1 瞳孔径:眼の中央にある瞳孔の大きさ。周囲の明るさに加え、覚醒や注意などの状態によっても変化します。
瞳孔径からの注意状態推定技術
本システムで用いる注意状態推定技術は、瞳孔径変動と短時間の注意状態*2に関する基礎研究に基づくものです。VR研修中に取得されるアイトラッキング情報*3のうち、視線の向きに加えて瞳孔径の変化を活用することで、受講者が危険個所に注意を向けているかを推定します。瞳孔径は、周囲の明るさによって変化するだけでなく、注意や覚醒にかかわる脳内の青斑核ノルアドレナリン系*4の活動とも関連することが報告されています。そのため、ある危険個所に視線が向いているかどうかだけでなく、その時点の瞳孔径の変動パターンを併せて分析することで、受講者が単に対象を見ていたのか、危険個所として注意を向けていた可能性が高いかを評価できると考えられます。
一般に、視覚的なタスクを行っている際の人のパフォーマンスは刻一刻と変動しており、この変動には注意状態が関与すると考えられています。また、瞳孔径の変動パターンにはこうした短時間の注意状態が反映されている可能性があります。そこで、タスクパフォーマンスが良好な状態と関連する瞳孔径変動の特徴をとらえることで、注意状態を推定することを考えました。従来、瞳孔径の変動パターンは、数時間単位で変化する疲労に関連する状態との関係が調べられてきました。一方で、安全研修では、受講者が危険個所に視線を向けた数秒間、あるいは偶然視線が危険個所上を通過した短い時間に、その対象に対して注意を向けていたか判定することが重要です。このような秒単位、あるいはそれ以下の短い時間オーダーで注意状態を推定することは、従来の知見だけでは困難でした。
AS研とCS研は、短い時間単位の瞳孔径変動を定量化する指標としてMicro Pupillary Unrest Index(M-PUI)*5を提案しました(2)。実験の結果、M-PUIが短時間の注意状態と関連する可能性が示されました。今回開発したVR安全研修支援システムでは、この基礎研究の知見に基づき、受講者の視線が危険個所に向いた時刻における注意状態の推定値を算出します。視線が危険個所に向いており、かつ、その時点における推定値から注意状態が良好と評価された場合に、受講者がその危険個所に認知的な注意を向けていた可能性が高いものとして扱います。これにより、従来の視線軌跡だけの評価ではとらえにくかった、危険個所への認知的な注意の向け方を、研修後の振り返りに用いる補助情報として活用できるようになります(図1)。
*2 注意状態:人が特定の対象や情報に認知的な注意を向けている状態。本稿では、危険個所に注意を向けている程度を指します。
*3 アイトラッキング情報:視線の向きや注視位置、瞳孔径など、眼の動きや状態から取得される情報。
*4 青斑核ノルアドレナリン系:覚醒や注意の調整にかかわる脳内の神経系。その活動は瞳孔径の変化とも関連すると考えられています。
*5 Micro Pupillary Unrest Index:短時間の瞳孔径変動を定量化するために参考文献(2)で提案された指標。本システムでは、短時間の注意状態を評価するための情報として用います。

VR安全研修支援システムの実装
AS研では、通信設備の保守・点検作業における安全教育の現場課題を踏まえ、作業現場等で撮影したMP4形式の2Dまたは360度カメラの映像データを用いて、実作業に即した目視確認作業の安全研修コンテンツを簡単に作成・実行することができるVR安全研修支援システムを開発しました。本システムは作成ツールと実行ツールに分かれています(図2)。
作成ツールは、映像データに対して研修コンテンツを編集できるツールです。入力された映像上に矩形の図形を重ねることで危険個所を指定するとともに、各危険個所に対して判定時間や解説文を簡単に編集することができます。実行ツールは、作成ツールで作成した研修コンテンツをVRゴーグル上で再生することができるツールです。映像に対するユーザのアイトラッキング情報から、ユーザが危険個所に対して注意を向けていた可能性を評価し、その結果をフィードバックすることができます。本ツールは個人体験に加え周囲と同時視聴できるため、個別から集合研修まで対応可能です。また、他者の結果と比較表示することができるため、例えばベテランと新人の注意状態の比較が可能です。
本システムの動作には、所定のVRゴーグル(3)とGPU搭載PC、VRゴーグルをPCに接続するための専用の有線キットが必要となります。動作要件を表に示します。


活用事例
本システムは、通信設備の保守・点検作業における安全教育への活用を想定しています。例えば、電柱や道路上での設備保守・点検作業では、作業者の安全のために、安全保護具を装着したうえで、周辺を通行する車両や歩行者、足場の状態、作業対象設備など、複数の対象に注意を払いながら作業を行う必要があります。しかし、経験の浅い作業者はこれらに対する注意が不足する場合があります。
本システムを使うと、通信設備の保守・点検作業における危険予知訓練コンテンツを、実際の作業現場を撮影した360度映像を用いて比較的容易に作成できます。受講者はVR空間内で作業環境を見渡しながら危険個所を探索し、安全確認を体験することができます。また、研修終了後には視線軌跡や注意状態の分析結果を確認できるため、自身が見落とした危険個所や注意が不足していた個所を客観的に振り返ることができます。さらに、経験豊富な熟練作業者と若手作業者の研修結果を比較することで、安全確認における視線の配り方や注意の向け方の違いを可視化できます。これにより、安全作業に関する知識だけではなく、熟練者が持つ危険察知のノウハウを学習するための教材として活用することが期待できます。
今後の展開
今後は、安全教育用途だけでなく、実際の作業現場において作業者の注意状態を推定し、危険個所の見落としや注意低下を検知する技術への発展をめざしています。そのためには、外部環境の変化や作業条件、個人差など、内面状態に影響を与えるさまざまな要因に対しても、リアルタイムかつ頑健に把握できる技術の確立が重要となります。現場業務に関する知見と、人間の注意状態や生体情報解析に関する基礎研究の知見を組み合わせることで、通信設備の保守・点検作業における安全性向上と技能継承を今後も支援し、人身事故ゼロ化に貢献していきます。
■参考文献
(1) https://group.ntt/jp/sustainability/social/safety/
(2) J. Yamashita, H. Terashima, M. Yoneya, K. Maruya, H. Koya, H. Oishi, H. Nakamura, and T. Kumada: “Pupillary fluctuation amplitude before target presentation reflects short-term vigilance level in Psychomotor Vigilance Tasks,” PLoS ONE, Vol.16, No.9, e0256953, 2021.
(3) https://www.vive.com/jp/product/vive-focus-vision/overview/

(上段左から)高木郁子/笠松美歩/竹森達也/山下純平
(下段左から)寺島裕貴/丸谷和史/南勝也




AS研では、安全向上をめざし、作業者の状態を適切に把握できる技術について、CS研と連携して基礎研究の知見を踏まえながら研究開発を進めていきます。