VR/AR技術の進展はめざましく、実世界をモデル化しサイバー空間で精密に再現された仮想世界と実世界が融合した空間において、リアルを超える体験をすることが可能になってきています。しかしながら、実世界と仮想世界の間には通信による“遅延”という時間の壁が存在し、全く違和感なく、自然なインタラクションで実世界と仮想世界とをシームレスに体感するまでには至っていません。また、仮想世界を介して離れた場所にある実世界間をつなぐことが可能になってきていますが、伝送や処理等における物理的遅延はユーザ間での自然な体験の共有における大きな課題となっています。
NTTでは、短期的な未来の状態予測技術と生成モデルを用いた特徴抽出技術により、人が感じる遅延による違和感と、自ら行う脳内予測のメカニズムを解明し、そのメカニズムに即した情報提示を行うことで、遅延を感じさせない自然な体験の創出・共有を実現するゼロレイテンシメディア技術の研究開発に取り組んでいます(図)。

(1)　感覚的遅延のメカニズムの解明
人の感じる遅延には感覚によってさまざまな時間軸を持つといわれています。私たちの脳は五感を駆使して世界を理解しようとしており、これらの感覚は各々が独立に働いているわけではなく「視覚-触覚」、「聴覚-視覚」などの組み合わせによって遅延の違和感の時間軸も異なることが分かっています。
人は「目に見える」「耳できこえる」世界をそのまま知覚できているわけではなく、脳の内部では得られた刺激情報から内部モデルを生成し、現在の運動や行動を使って将来の刺激を予測しています。そこで、単純な物理モデルのみならず、周囲の状況や行動パターンなど、さまざまな情報から感覚的遅延のメカニズムを解明し、遅延から生じる違和感のない、より自然な予測技術を構築するべく、研究開発を進めていきます。
(2)　脳内の予測モデルの確立
人は脳の内部モデルを用い、外界からの刺激を元に外界世界をシミュレートしており、周囲の状況から次に起こり得る状態を予測しているといわれています。その際には、すべての状況を再現シミュレーションして予測しているのではなく、重要かつ特徴的な情報のみに注目し、必要な情報だけを再現シミュレーションしているといわれます。
このように現実の世界と、人の脳の内部では必ずしも同じ時間軸を持っているわけではありません。そのため、人の脳の内部では現実との遅延がゼロではなく、さらに先読みをした時間との遅延をゼロにする必要があると考えられます。
この予測のメカニズムを追求するべく、人が注視する特徴的な情報を抽出し、人の脳の内部で予測している世界との感覚的遅延の解消に向けた研究開発を進めていきます。

今後、NTTの研究開発技術を活用し、ゼロレイテンシメディア技術の各技術要素の確立を進めるとともに、実フィールドにおける検証、ビジネス・サービス化に向けた検討をコラボレーションパートナーとともに行っていきます。