新型コロナウイルス感染症拡大の影響により人々の移動や対面のコミュニケーションが制限される一方で、人のさまざまな活動のリモート化が急速に進展しつつあります。スポーツやエンタテインメント分野においても同様に、無観客によるスポーツ中継やライブ配信イベントが増えつつありますが、現状ではスタジアムやライブ会場だからこそ体感できる迫力や非日常感を遠隔視聴で体感できるまでには至っていません。
NTTサービスエボリューション研究所ではこれまで、精錬なリアルタイム被写体抽出技術（1）、（2）や超ワイド映像合成技術（3）とAdvanced MMTによる映像・音声の同期伝送技術（4）、人の知覚心理を活用した裸眼3D映像表示技術（5）などにより、会場の空間をまるごとセンシングし、現地の臨場感や熱狂をそのままに遠隔地のライブビューイング会場へ伝送・再現する技術の研究開発に取り組んできました。しかし、スタジアムやライブ会場などでは現地での参加が制限され、遠隔地ではライブビューイングのような大きな会場ではなく、自宅などのより小規模で独立した環境へと変化している状況下では、その場での熱狂、盛り上がりを伝えるだけでは十分でなく、会場の臨場感に加えて遠隔の観客どうしのつながりや相互作用から生まれる「一体感・対話性」により、「盛り上がり感」を高めることが期待されます。
そこで私たちは、簡易なデバイス等を利用して観客の情動をとらえ、その変化に応じて適切な情報提示を行う「情動的知覚制御技術」の研究開発に着手し、その要素技術を確立することで、遠隔からの視聴であっても、あたかもスタジアムやライブ会場に多くの人と集まって一緒に視聴しているかのような体験の実現をめざしています。

情動的知覚制御技術は、リモートで視聴している視聴者の反応とその場の状態を同期取得するフィールドセンシング技術、任意の場所にいる多数の視聴者を空間的に自然なかたちで再配置し仮想的な視聴空間モデルを生成するウルトラリアリティ・フィールド生成技術、仮想的な視聴空間モデルにおいて視聴者それぞれの状態に呼応して他者の情動変化を遅滞なくフィードバックするフィールド再現技術の3つの技術に大別されます（図1)。
以下に各技術について説明します。

同じスポーツの試合を見ていても、ある特定の選手の動きに注目している人もいれば、全体を俯瞰して戦況を分析している人、または周囲の観客と一体となって声を出して応援したい人など、人によって注目するポイントや情動が変化するタイミングは異なります。これは音楽などのライブエンタテインメントにおいても同様で、曲や演出によって各視聴者が盛り上がるポイントは異なります。本研究ではスマートスピーカのような音声取得デバイスや、TVに搭載されたカメラ、エアコンなどの人感センサ、スマートウォッチなどのウェアラブルデバイスに搭載されたバイタルセンサなど、複数のセンシングデバイスと連携したマルチチャネルセンシングを実現することで、人の情動をリアルタイムに測定し、可視化・定量化することをめざしています。
具体的には、まずカメラや人感センサなどで、TVの位置や視聴者の位置・姿勢・視線といった視聴環境を把握し、視聴者の集中度や視聴しているコンテンツのどの部分に興味があるかをセンシングします。次にコンテンツの内容と視聴者の動作や声の変化を解析し、どのような場面で視聴者の情動が変化するかを学習します。また、動作などの外面の変化と同時に生体信号（体温・心拍数など)による内面の変化をセンシングすることで、さらに詳細な変化を測定することも可能になります。

本技術では、視聴環境を仮想的な空間モデルに変換するリアルワールドモデル化機能と、その中に多数のリモート視聴者を自然なかたちで再配置する仮想観客空間生成機能を実現します。本技術を確立することで、前述のフィールドセンシング技術で取得した視聴者それぞれの情動情報を集約し、同じような情動を持った視聴者どうしをカテゴライズし、より熱狂を高める視聴空間を構成することが可能となります。また、反対にあまり興味を示していない視聴者を熱狂度の高い視聴空間にカテゴライズすることで、1人で視聴している状態でもよりコンテンツへの興味・関心を高めることも可能となります。また、スポーツやライブコンテンツの内容を解析し盛り上がるシーンに合わせて仮想的な歓声音（フェイククラウド)を合成することで、現実では無観客であったり、数千人しか収容できないスタジアムのイベントでも仮想空間上で数万人、数十万人で視聴・応援しているかのような特別な空間を構築することも可能となります。

前述の仮想空間上で構成した情報を基に、それぞれの視聴者に対し他の視聴者の映像や音声、影や気配などの存在感につながる情報を融合し、遅滞なく適切に情報提示することで視聴者の情動変化や熱狂の増大に働きかけるレイテンシフリー・フィードバック機能を実現します。視聴者どうしの一体感を高める演出や情報提示を実現するために、視聴覚だけでなく、触覚などの五感刺激にも着目し、遠隔地の他の視聴者があたかも隣で一緒に応援しているかのような体感をさりげなく演出する技術について取り組んでいます。また、情報変化を働きかけるタイミングも重要です。膨大な五感情報を双方向に遅延なく伝送する技術とともに、視聴者の情動変化から次のリアクションを予測することで、通信を介さず自律的に情動変化を促す情報や演出を提示する技術などの研究開発にも取り組んでいます。
本技術の研究開発を推進するにあたり、技術実装とその効果を検証するための実験設備を構築しました（6）（図2)。今回は、自宅のリビングルームでのスポーツ観戦をユースケースとし、試合の盛り上がりに応じてリビング空間が複数人の観戦者が集う仮想的なライブビューイング会場へ拡張されるかのような演出や、他の観戦者とのつながり感・一体感を高める視覚的・聴覚的な演出、視聴者をセンシングし、感情の現れに応じて映像効果にエフェクトを加えることでリアクションを返す演出などを提示することで、視聴者の情動変化への影響度の検証や最適なセンシング・フィードバック手法の検証などを実施しました。

今後は、情動的知覚制御技術の確立に向け、スポーツ観戦やエンタテインメント配信などさまざまな実フィールドでの実証実験を通して、リモートワールドにおける新たな価値創出に向けた研究開発を推進していきます。

■参考文献
（1） 宮下・竹内・長田・小野：“4K映像のための高速な被写体抽出，”信学技報，Vol. 117, No. 73, MVE2017-13, pp. 189-190, 2017．
（2） 柿沼・長尾・宮下・外村・長田・日高：“機械学習を用いた任意背景リアルタイム被写体抽出技術，”NTT技術ジャーナル，Vol. 30, No. 10, pp. 16-20, 2018．
（3） 山口・佐藤・小野・外村・難波・菊地・星出・森住・小野・南：“高臨場感ライブビューイングサービスのためのサラウンド映像合成・同期伝送システム，”映像情報メディア学会誌, Vol. 74, No. 2, pp. 402-411, 2020．
（4） 小野・星出・深津：“Advanced-MMT（MPEG Media Transport)を用いた複数映像・音声・照明制御信号の同期伝送システム，”映情学技報, Vol. 44, No. 7, BCT2020-39, pp. 33-36, 2020.
（5） M. Makiguchi, D. Sakamoto, H. Takada, K. Honda, and　T．Ono:“Interactive 360-Degree Glasses-Free Tabletop 3D Display，”Proc. of UIST 2019, pp. 625-637, New Orleans, U.S.A., Oct. 2019.
（6） https://www.ntt.co.jp/news2020/2011/201116a.html