NTT技術ジャーナル記事

   

「NTT技術ジャーナル」編集部が注目した
最新トピックや特集インタビュー記事などをご覧いただけます。

PDFダウンロード

特別企画

東京2020オリンピック・パラリンピックとNTT R&D:カテゴリ1 東京2020大会を『観せた』NTT R&Dの技術

新しいスポーツ観戦体験に向けた取り組み

木下 真吾(きのした しんご)
NTT人間情報研究所

NTT R&Dがめざす新しいスポーツ観戦のかたち

オリンピックで初めてテレビ中継が行われたのは、ベルリン1936大会でした。テレビといっても、走査線は180本、19インチ相当のスクリーンでした。ベルリン市内の28カ所の会場で100名の観客が、そこに映し出された映像で観戦しました。1940年に予定されていた東京大会では、走査線441本、毎秒25フレーム、縦横比4対5という今のテレビの原型となるような中継が計画されていましたが、第二次世界大戦によって東京大会は返上され、幻のテレビ放送となりました。その後、ローマ1960大会では、欧州18カ国へオリンピック初のテレビ生中継が行われ、米国、カナダ、日本へも1時間遅れですが放送されました。東京1964大会では、オリンピック初の衛星中継が行われ、NTTは、このとき無線中継技術の協力を行いました。その後、札幌1972冬季大会での全競技のカラー中継、ソウル1988大会では初の2Kハイビジョン放送、長野1998冬季大会での全競技2Kハイビジョン中継、ロンドン2012大会での8Kスーパーハイビジョンパブリックビューイングが行われ、NTTも技術協力を行いました。
このように80年間、進化してきた映像中継技術ではありますが、あくまでも四角い枠に囲まれたテレビという装置の中の話であり、スポーツ観戦体験そのものを根本的に変革させるものではありませんでした。NTTは、東京2020大会に向けて、新しいスポーツ観戦体験を再創造すべく超高臨場感通信技術Kirari!の研究開発を2015年から開始しました。Kirari!は、「実際の会場に来られない方にも、あたかも会場にいるかのような体験を届けたい」という想いのもと開始されたプロジェクトで、従来のテレビやパブリックビューイングで視聴する際の四角い枠を取り外し、空間そのものを伝送するという野心的なものです。
2015年以降、Kirari!は、スポーツに限らず、国内外の歌舞伎のイベント、米国オースティン開催の世界的テクノロジーイベント、女性3人組テクノポップユニットによる世界三都市同期パフォーマンス、新国立競技場柿落としイベント、日本のプロサッカーリーグ・米国プロ野球リーグのライブビューイングなどのさまざまな実証実験を積み重ねていきました(図1)。
当初、Kirari!は、遠方の方、チケットを購入できなかった方、病気等で外出できない方などを対象としたものでした。しかし、2020年新型コロナウイルスの感染拡大により、人々の移動制限が強くなっていく中、Kirari!が示すビジョンはますます重要になってきました。会場に行きたくても行けない、テレビやスマホで見ても何かが足りない、この感覚は、2020年になってさらに顕著となりました。2020年は、コロナ禍でコンサートやスポーツ等のイベントが中止となり、オンライン配信が一気に拡がった年でもあります。当初は、会場に行けないストレス、物珍しさ、お手軽さなどの理由から、オンライン配信を体験された方が多くいました。しかし、リアルライブを経験されたことのある方の多くは、リアルライブの方が臨場感、一体感、特別感があり良いと回答しています(調査結果の一例「音楽ライブ配信についての意識調査」SKIYAKI社2020年9月調査 リアルライブの方が良い:77%、リアルの方が良い理由、臨場感: 92.9%、一体感:93.6%、特別感:69.6%)。
これらの感覚をどのようにして再現できるのか? 私たちは、改めてKirari!の持つビジョンの重要性を認識し、今回の東京2020大会にチャレンジすることとなりました。

臨場感

スポーツ観戦における臨場感とは、あたかも実際の会場にいてスポーツ観戦をしているかのような感覚を意味します。実際の会場では、距離があり豆粒程度にしか見えず、オンラインのほうが見やすいのですが、「そこにいる」という実感がリアルの魅力となります。この「そこにいる」という感覚は、主に2つの要素が重要と考えています。①自分が「そこ(会場)にいる」、②選手が「そこ(目の前)にいる」という感覚です。テレビやスマホは、小さな四角い枠に収まっているため、別の空間と認識してしまい、選手との空間の共有や、会場に入って座ったときの空間の広がりも実感できません。
まず、①自分が「そこ(会場)にいる」感覚、すなわち、まるでスタジアムに座っているかのような感覚をつくり出すために、視野角を覆うような空間の広がりの再現を試みました。Kirari!の超ワイド映像合成技術を活用します。4Kカメラを複数台並べ、つなぎ目が自然となるようリアルタイムに合成し、1枚の超高解像度映像を生成します。横幅数十メートルのディスプレイに、20Kを超える解像度の映像を表示します。4Kや8Kカメラの映像を拡大し、視野角を覆うような巨大なディスプレイに投影することも可能ですが、どうしても映像が荒くなってしまい現場の臨場感を再現することは難しくなります。また、競技に応じた縦横のサイズを自在に変更することも難しくなります。NTTはこれまで、米国プロ野球リーグや日本のプロサッカーリーグ、フランスでのテニス四大大会、ウィンドサーフィン世界大会、東京で行われる女性向け大規模ファッションショーなどにおいて実験を行ってきました。
今回、東京2020大会では、セーリング競技にこの技術を適用しました。セーリング競技は、観客席とレース会場が離れています。これまで、双眼鏡で観戦する必要がありましたが、Kirari!を用いることによって観客席近くの海に、レース空間をそのまま伝送し、あたかも目の前でレースが行われているような感覚の再現にチャレンジしました(図2)。詳細は本特別企画『セーリング競技 x 超高臨場感通信技術 Kirari!』で紹介します。
次に、東京2020大会の主役である②選手が「そこ(目の前)にいる」感覚をつくり出すために、彼らの立体映像化を試みました。Kirari!の任意背景被写体抽出を活用します。グリーンバックがない状態でも、選手の映像をリアルタイムに抽出しホログラフィックに表示します。同じ映像であっても、ホログラフィックに表示されることにより、観客は、選手の存在を強く感じられるようになります。さらに、選手映像以外、例えばバドミントンコートや卓球台などリアルな物体を設置することによって、臨場感はさらに強くなります。これまで、空手、柔道、バドミントン、歌舞伎、米国テキサス州での大規模音楽イベントなどにおいて実験を行ってきました。
今回、東京2020大会では、バドミントン競技にこの技術を適用しました。武蔵野の森総合スポーツプラザで行われている試合を8Kカメラで撮影した映像から選手の映像のみを抽出し、ライブビューイング会場である日本科学未来館へ伝送しました。ライブビューイング会場では、コートやネット、スタンドが本会場同様に設置され、そこに選手映像がホログラフィックに表示され、本会場さながらの臨場感をつくり出しました(図3)。詳細は本特別企画『バドミントン競技 × 超高臨場感通信技術 Kirari!』で紹介します。

一体感

選手と観客、観客どうしがつながっているという感覚を意味します。スポーツにおいて、つながりは、観客からの応援であり、選手にとって何よりの力になります。また、観客どうしも声援によってつながり、一体となってさらなる感動を生むことになります。2020年に拡大したオンライン配信では、リモート観客の映像をステージ上に表示したり、コールアンドレスポンスを行うなど、一体感を高める工夫がされてきました。しかし、実際には、応援や歓声のタイミングがバラバラで、つながっている感覚をつくり出すには不十分でした。
その理由は、主に通信の遅延やばらつきにあります。一般的に、遅延が数十ミリ秒を超えると音楽セッションは難しく、数百ミリ秒を超えるとコールアンドレスポンスに違和感が生まれるとされてます。遅延時間の構成要素はさまざまで、光の伝搬遅延は100 kmで約0.5ミリ秒、伝送処理遅延は数ミリ〜数十ミリ秒、映像の符号化処理は数百ミリ秒になります。さらに、映像編集などが加わり、地上デジタル放送やネットライブ配信では、最終的には数秒から十数秒の遅延も珍しくありません。
今回、東京2020大会では、遅延時間を大幅に低減する超低遅延通信技術をマラソンに適用しました。東京の声援を、毎秒5mで走る札幌の選手に遅延なく応援を届け、距離を超えた一体感の醸成にチャレンジしました(図4)。詳細は本特別企画『マラソン × 超低遅延通信技術』で紹介します。

木下 真吾

問い合わせ先

NTTサービスイノベーション総合研究所
E-mail svkoho-ml@hco.ntt.co.jp