2021年3月25日に福島県をスタートした東京2020オリンピック聖火リレーは、全国47都道府県を121日間かけて、1万515人のランナーによってつながれました。聖火リレーは、主に、聖火ランナーの公道走行とその日の最終地点でのセレブレーションからなります。セレブレーションでは、その日の最終ランナーによる聖火皿への点火、地元住民やスポンサーによる歌やダンスのステージ、聖火リレートーチ記念撮影コーナーなどの展示出展が行われ、聖火リレーを盛り上げます。
NTTは、セレブレーションの拡大版として、4月13日の大阪と6月30日の横浜において「NTT Presents 東京2020オリンピック聖火リレーセレブレーション　〜CONNECTING WITH HOPE　ひとりひとりの、希望の光をつなぐ〜」を開催しました。この拡大版セレブレーションでは、聖火ランナーによって聖火が届けられるほか、GENERATIONS from EXILE TRIBEのライブパフォーマンス、中学生とEXILE ÜSA、EXILE TETSUYAによる『Rising Sun -2020-』のパフォーマンス、書道家の武田双雲による「書」を使ったパフォーマンスなどが行われました。当初は、5000人規模の一般観客を招待する予定でしたが、新型コロナウイルス感染拡大のため、両会場とも一般観覧は中止としオンライン配信としました。
NTT研究所は、通信によって、人々をつなぎ感動の増幅と共有をもたらす新しいエンタテインメントやアートのあり方を探るために、超高臨場感通信技術 Kirari!を用いて歌舞伎や音楽ライブ、ファッションショー、スポーツなどの超高臨場感ライブ中継やステージ演出の実証実験を行ってきました（図1）。
今回は、こうした実証実験の結果をベースに、拡大セレブレーションのGENERATIONS from EXILE TRIBEのライブパフォーマンスにおいて、Kirari!を用いたコロナ禍ならではの3つの新しいステージ演出、①リモートパフォーマンス、②リモートビューイング、③リモートファンコラボにチャレンジしました。

コロナ禍においては、アーティストどうしでさえ集まることが難しくなっています。特に海外など遠く離れている場合はなおさらです。こうした環境でも通信のちからを使って、あたかも同じ場所でパフォーマンスをしているかのような体験をつくることがこのリモートパフォーマンスの目的です。
今回のステージでは、離れた場所にいるアーティストたちによって『Choo Choo TRAIN』のロールダンスをつくり上げることにチャレンジしました。本来であれば、遠く離れた会場にいるアーティストどうしをコラボレーションさせるのですが、今回は、模擬体験いただくために、ステージの2カ所を遠隔地として、ステージ上部の透明スクリーンをバーチャルな共有空間として見立てました。具体的には、図2のステージ上の①と②が遠隔地で、③の透明スクリーンが共有空間です。①もしくは②で踊ったアーティストの映像が③に伝送されます。このときKirari!によって背景映像は切り取られ、アーティストのみの映像が伝送されます。③の透明スクリーンに映し出された映像は、立体的に見えるため、あたかも本人がそこで踊っているかのような体験をつくり出します。5人のアーティストが順番に踊っていき、その都度、③の透明スクリーンにアーティストが増えていき（図3（a））、最後、全員が踊り終わると5人の映像が1つに重なり合って一緒にロールダンスをしているような演出にしました（図3（b））。今回は演出を面白くするために、このような時間差をおいた演出にしましたが、技術的には、一斉に踊るアーティスト全員の映像をリアルタイムに抽出し、伝送することも可能です。

コロナ禍においては、ファンも本会場に行くことが難しくなっています。特に、大都市で開催される音楽ライブへ地方のファンが行く場合はなおさらです。こうした環境でも通信のちからを使って、あたかも目の前でアーティストがパフォーマンスをしているかのような体験をつくることがこのリモートビューイングの目的です。
今回は、メインステージにいるアーティストの映像を、ファンがいる別の遠隔ステージに転送することにチャレンジしました。本来であれば、遠く離れた遠隔会場に届けるべきですが、今回は、模擬体験いただくために、横浜会場内の離れた場所に設置したKirari!トラックに転送しました（図4）。Kirari!トラックには、メインステージと同様の透明スクリーンが設置されており、Kirari!によって転送されたアーティストがホログラフィックに表示されることにより、まるで目の前に本人がきてパフォーマンスをしてくれているかのような体験をつくり上げました（図5）。

コロナ禍においては、ファンとアーティストとの交流も難しくなっています。たとえ、ファンが会場に行けた場合でも、これまでのような握手会などの体験は難しくなりました。こうした環境でも通信のちからを使って、あたかも自分の隣にアーティストが来て一緒にパフォーマンスをしてくれるかのような体験をつくることがこのリモートファンコラボの目的です。
今回は、メインステージにいるアーティストを、会場にいるファンの隣に転送する2つのチャレンジを行いました。1つは、ステージ上のアーティスト映像をKirari!によって抽出し、ステージ上のモニターに表示されているファンの映像に重ね合わせることにより、アーティストと観客席のファンとの仮想的な「隣にいる感」を実現しました（図6）。もう1つは、同様にKirari!によって抽出したアーティストの映像を遠隔に設置したKirari!トラックに転送し、その中にいるファンの隣にアーティストが転送されてきたような感覚をつくり上げました。

ここでは、Kirari!を構成する技術の1つである、任意背景リアルタイム被写体抽出技術について説明します。任意背景リアルタイム被写体抽出技術（1）とは、グリーンバック等を使わなくても、映像の中から特定の被写体を抽出できる技術です。NTTは、この技術を用いて被写体抽出をシステム化した「KIRIE」（2）を2018年に開発しており、今回のステージ演出にも活用しました。
KIRIEでは、背景差分のみを用いた方式と、背景差分と機械学習を組み合わせた方式の、2つの方式を切り替えて被写体抽出を行います。
背景差分を用いる方式では、事前に被写体がいない状態の画像を背景として取得しておき、その背景と撮影している映像の差分をとることで、被写体が映っている領域を特定します。
一方、機械学習を用いる方式では、前述の背景となる画像に加えて、被写体と背景が同時に映った画像を複数枚撮影しておきます。そして、背景となる色と抽出したい被写体の色の組み合わせを教師データとして学習させておくことで、どの領域が被写体に相当するかを判定します。
背景差分のみを用いる方式では、事前の学習作業がいらないというメリットがある一方で、背景に近い色の被写体は抽出しづらいというデメリットがあります。さらに、背景が少しでも変化すると抽出精度が低下してしまう、というデメリットもあります。他方、背景差分と機械学習を組み合わせる方式では、背景と被写体の色が近い場合でも抽出できる、背景の変化にも対応できる、などのメリットがある一方、事前の学習作業が必要な点はデメリットとなります。
今回のステージ演出では、出演者の方が前日のリハーサルに参加可能であり、出演者の方が当日着用する衣装の色が決まっていた場合には、背景差分と機械学習を組み合わせた方式を用いることで、より高精度な被写体抽出をめざしました。一方、出演者の方が前日のリハーサルに参加できない場合などは、背景差分のみを用いた方式で被写体抽出を行いました。

オンライン配信となった拡大版セレブレーションですが、YouTubeLiveでは10万回再生、最大同時接続数が1.2万接続、となるなど、多くの方にご覧いただくことができました。また、SNSでも多くの方からご好評をいただき、9割以上がポジティブな反応となりました。
被写体抽出については、リモートパフォーマンス、リモートビューイング、リモートファンコラボのいずれにおいても高い精度で被写体抽出が行えました。前日のリハーサルでは雨が降っていたが当日のリハーサルでは晴れた、といったように背景の色が変化しがちな条件においても、背景差分と機械学習を組み合わせた被写体抽出により、視聴に問題ない精度での抽出が行えました。また、当日急遽演出が変更され、前日のリハーサルと異なる方が抽出対象となったケースもありましたが、背景差分のみを用いた方式でもおおむね良好な抽出結果が得られました。また、KIRIEの処理遅延は平均166 msとなり、低遅延かつ高精度なリアルタイム被写体抽出が実施できました。

聖火リレーの拡大セレブレーションにおいて、Kirari!を用いた3つのステージ演出、リモートパフォーマンス、リモートビューイング、リモートファンコラボを行いました。新型コロナウイルス感染拡大に伴い、一般観覧は中止となりましたが、オンライン配信を通じて、数万人の視聴者に、コロナ禍における新しいリモートエンタテインメントの可能性を示し、好意的な評価をいただきました。NTT研究所は、今回のチャレンジを第一歩として、ニューノーマル時代にふさわしい新しいライブエンタテインメントのかたちの創造に向け、さらに研究開発を推進していきます。

今回のプロジェクト推進にあたり、一緒に検討を進めていただいた、東京オリンピック・パラリンピック競技大会組織委員会、大阪府、吹田市、神奈川県、横浜市、パートナー会社の皆様に感謝いたします。また、拡大版セレブレーションのステージを飾っていただいたGENERATIONS from EXILE TRIBE、出演者の皆様に感謝いたします。

■参考文献
（1）　柿沼・長尾・宮下・外村・長田・日高：“機械学習を用いた任意背景リアルタイム被写体抽出技術，”NTT技術ジャーナル，Vol.30，No.10，pp.16-20, 2018.
（2）　長尾・宮下・佐野・長谷川・井阪：“Kirari! for Arena：奥行感のある4方向イベント観覧体験の創造，”日本画像学会誌，Vol.58，No.3, pp.306-315, 2019.