リモートワールドにおける音楽ライブやスポーツ等のイベントへのオンライン参加は、場所や距離を気にせず気軽に世界中から集うことができる新たな手段として、今後も現地参加と並ぶ必須の選択肢になると考えられます。その体験向上に向けて、会場を中継する映像の高解像度化や、複数のカメラを配置することによる多視点化、360度カメラを用いた広視野角化といった臨場感の向上に関するさまざまな工夫が行われています。一方で、現状、実際のスタジアムやライブ会場で観客どうしが感じる熱狂や一体感、熱意の伝染といった現地・対面ならではの情動を伴う体験が大きく失われています。そこで、ユーザ個人の情動の表出特性を推定し、それに基づき情動を制御する情動的知覚制御技術によって、他観客と連動して一体感を感じたい、1人きりの空間で熱中したい、等の1人ひとりの楽しみ方に合わせて最適化したパーソナルバーチャル会場を生成することで、リモート環境においても個人や群衆の情動の増幅・共鳴が活発に行われる世界をめざしています。
情動的知覚制御技術は、人の情動表出特性を理解し、センシングやデータ分析を通じて人の情動特性を推定する「情動推定技術」と、人の情動特性に合わせた知覚刺激によって情動をコントロールする「情動制御技術」の2つの軸となる技術によって、熱狂や一体感のエンハンスといったユーザにとって望ましい情動を導く技術です。2つの軸となる技術において、人そのもの、群衆、そして個人間・個人と群衆の相互作用を含めた情動の推定と制御を組み合わせることにより、各人ごとに最適な体験を導くパーソナルバーチャル会場を構築します（図1）。
情動推定技術は、センシングされた生体情報や画像・音声、コンテンツなどのデータから個人や群衆の情動とその変動を定量的に把握し、モデル化する技術です。一方、情動制御技術は、知覚・認知心理学・HCI（Human-Computer Interaction）分野の知見を活用し、リモート環境でも現地会場と同等またはそれ以上の情動を誘起するインタラクション技術です。図1において、情動推定技術により現地・リモート観客の状態推定・モデル化を行い仮想観客へ反映し、情動制御技術により各リモート観客の特性や情動状態に応じて仮想観客の動作・会場演出を最適化します。
本稿では、音楽イベントなどのリモートライブを1つのユースケースとして、パーソナルバーチャルライブ会場（図2）構築に向けたアプローチを紹介します。リモート観客ごとに仮想観客の提示方法や会場でのインタラクションによる相互作用を最適化することで、観客間に生じる応援の伝搬・同期による一体感や熱狂を知覚的に高めて情動体験をエンハンスします。

音楽ライブやスポーツ観戦などにおいては、観客や視聴者の曲や演出の好み、競技に関する知識に応じて盛り上がるポイントは異なると考えられます。このような観客個人や観客全体の情動の動きを明示的に観客に尋ねることなく推定・把握することができれば、ライブイベントの曲や演出方法、試合映像のカメラワークなどが情動へ与える影響の大きさを測定し、演出方法の評価・改善などに活用することができると期待されます。さらに図2で示した観客ごとにバーチャルライブ会場が生成される世界観においては、推定された各観客の情動を利用して、より情動が高まるように（または抑えるように）会場や演者の演出、周囲に存在する仮想的な観客の動きをバーチャルライブ会場ごとに適応的に変化させることが可能となります。このような活用シーンを念頭に情動推定技術では、ウェアラブルデバイスを用いて観客個人の情動を推定する技術とイベント会場のライブ映像を用いて観客全体の情動を推定する技術の検討を進めています。

近年普及の進むウェアラブルデバイス（スマートウォッチやhitoe^®など）によりセンシングできる生体情報から、デバイス利用者が感じている快・不快、高覚醒・低覚醒などの情動の強さや、喜び・悲しみなどの情動の種類をAI（人工知能）により判定する技術です。ユーザが日常的に装着しているウェアラブルデバイスを利用するため、自宅リビングや外出先などカメラやマイクの設置されていない任意の環境で利用できるという利点があります。この技術の構築には、AIの訓練、すなわちセンシングされた生体情報を入力し、情動の強度または分類結果を出力とする未知の関数（情動モデル）を、ある点におけるユーザの生体情報とその時点の情動に関する回答（例えば喜びの程度を5段階で回答したもの）の組から推定するという問題を解くことが鍵となります（図3）。
この問題では情動のような観測不可能なものがモデルの出力であるために、ユーザの主観回答を利用する必要があります。しかし、単純な5段階での回答では被験者間で各段階の解釈に違いが生まれるなどの問題があることが知られており^（1）、例えばある画像が猫または犬であるかといった主観の入らないデータを用いてAIを訓練する標準的な設定よりも難しい設定となります。また、画像のように大量のデータを収集することも困難です。現在、私たちはこのような困難さに対応できる技術の構築を進めており、主観データを扱うのに適したデータの収集形式およびその形式に合わせたAIの訓練手法などについて検討しています^{（2）（3）}。

観客席を含むイベント会場の映像から抽出できる、演者の登場時に会場全体で声をあげる・ペンライトを振る・拍手やハンドサインをするなどの群衆としての振る舞いから、群衆としての特性、例えば演者からの呼び掛けが各観客の振る舞いに（平均的に）どのような影響を与えるか、あるいは観客全体としてどの程度同期したか、一体感のある振る舞いをしているかなどを推定する技術です。前述のウェアラブルデバイスを用いたアプローチとは異なり、ユーザのデバイス保有を前提とせず、任意のイベント会場で利用できるという利点があります。ただし、推定対象は個人の情動ではなく、あくまで群衆全体としての振る舞いの特性となります。ここで推定した群衆特性を用いることで、例えば、音楽ライブのどの曲が観客全体の一体感ある振る舞いを生んでいるかを把握することや、パーソナルバーチャルライブ会場内の仮想的な観客の振る舞いを現地の振る舞いと類似したものとすることが可能となります。

情動制御技術は、イベントへのオンライン参加においてリモート観客が望む情動へと自然に導くためのインタラクション技術です。音楽ライブ配信などのオンライン参加では多くの場合、自室でPCやスマートフォンから参加するなど、現地会場と異なる点が多々あります。そこで、リモート環境においても、現地会場と同等もしくはそれ以上の情動体験を実現することをめざし、心理的側面と行動的側面^（4）の2つから情動体験を高める研究を進めています。心理的側面の例としては、周囲の観客の熱狂などに引き込まれることによる盛り上がり、行動的側面の例としては、歓声や拍手、ペンライトを振るといったアクションによる盛り上がりが挙げられます。
心理的側面から情動体験を高める取り組みとして、リモート観客に自身以外の観客を最適なかたちで提示する観客提示最適化手法を検討しています。最適化のイメージとしては、リモート観客自身とかけ離れすぎた振る舞いをする観客や、全く盛り上がっていない観客の表示を減らし、自身と同じような振る舞いや盛り上がりを示す観客を提示するパターンや、リモート観客自身が好きなバンドメンバやアイドルメンバを応援する観客の振る舞いを強調して提示するなどのパターンが考えられます。こうした最適化を実現するためにはまず観客の振る舞いをデータとして取得する必要があります。そこで、私たちはイベントにおける典型的なアイテムとしてペンライト（サイリウム）に着目し、加速度などの複数のセンサを搭載したセンシングペンライトを開発しました（図4）。
センシングペンライトは観客のペンライトの振りの有無や大きさ、周期、色変換などのデータを取得することができます。取得したデータを用いてリモート観客ごとに最適な観客提示パターンを生成し、それに対する観客の振る舞いを再度取得し提示パターンをチューニングしていくことで最適化の精度を高めることができます。
また、行動的側面から情動体験を高める取り組みとして、自宅などのオンライン視聴環境では多くの場合、現地会場のように大声での声援や体を大きく動かすアクションを行いにくい点に着目し、マルチモーダルなフィードバック刺激を付加することでリモート観客自身の動作を錯覚させる手法を検討しています。これにより、リモート環境であっても、あたかも現地と同様の身体動作を行っているかのような体験の実現をめざしています。
このように現地会場での体験をリモート視聴体験に盛り込むための方法論について検討を進めることで、複数の情動制御手法やそれぞれの適用パターンが生成されます。それらの選択方法や適用強度、適用タイミングを情動推定技術によるユーザ個人や群衆の情動に基づいて最適化することで、将来的に個人に合わせた仮想現実としての演出や会場設計によって、リモート観客個人がもっとも盛り上がることのできるパーソナルバーチャルライブ会場が構築できます。

各種イベントの対面での開催が再開されても、リモート環境を用いたオンライン参加の併催はスタンダードになってきており、リモート環境ならではの体験をいかに充実させるかは重要な課題です。世界中の観客が集まる無限の観客席、自在に変化する座席配置など現実ではあり得ないオンラインならではの演出効果を活かし、自分のアクションが会場全体に波及するなど、個々のユーザが自身に最適化された空間で主体的にかかわって楽しめる究極のパーソナルバーチャル会場という新たな体験を提供できる技術の創出に向けて、本技術の音楽ライブイベント以外への拡張も視野に入れながら、引き続き検討を進める予定です。

■参考文献
（1）　G. N. Yannakakis, and H. P. Martinez：“Ratings are Overrated！，”Front. ICT, Vol. 30, July 2015.
（2）　南部・幸島・山本: “一対比較データと目的変数分布の分位数を用いた回帰モデルの学習,” 情報処理学会論文誌数理モデル化と応用（TOM）, Vol. 15, No. 3, pp. 19-28, July 2022.
（3）　M. Kohjima:“Uncoupled nonnegative matrix factorization with pairwise comparison data,” ACM SIGIR （ICTIR）, 2022.
（4）　山城・相原・小野智・金村・青柳・後藤・岩垂・中澤：“視覚的情動刺激による交感神経皮膚反応の発達的変化,”第45回日本小児神経学会総会推薦論文, 脳と発達，Vol. 36, No. 5, pp. 372-377, 2004.