特別企画
マラソン × 超低遅延通信技術
- 超低遅延通信技術
- リモート応援
- IOWN
NTTは、東京2020組織委員会が2021年8月7日・8日に札幌で行われた東京2020オリンピック陸上競技 マラソンにおいて実施した、「東京2020 リアルタイムリモート応援プロジェクト」に「超低遅延通信技術」を提供しました。本プロジェクトは、札幌のマラソンコースと東京の応援会場をリアルタイムにつなぎ、遠隔地から観客の応援を選手に届け、安全性・安心感を保ちながら、沿道応援さながらの臨場感と、選手・観客の一体感を創り出す新しいスポーツ観戦の提案プロジェクトです。本稿では、このプロジェクトの取り組みや活用した技術について紹介します。
薄井 宗一郎(うすい そういちろう)†1/深津 真二(ふかつ しんじ)†2
松本 英一郎(まつもと えいいちろう)†2/井元 麻衣子(いもと まいこ)†2
白井 大介(しらい だいすけ)†3/木下 真吾(きのした しんご)†2
NTT研究企画部門†1
NTT人間情報研究所†2
NTT未来ねっと研究所†3
プロジェクトの概要
東京2020リアルタイムリモート応援プロジェクトは、コロナ禍において直接アスリートへ応援を届けることが難しくなってきている中、新たな通信テクノロジを活用することにより、遠隔地の観客とアスリートが、競技会場での興奮や感動、一体感を共有できる世界をめざす取り組みです(図1)。
NTTは、東京2020オリンピック・パラリンピックのゴールドパートナーとして、最先端通信テクノロジの提供を通じた史上もっともイノベーティブな大会の実現に貢献していくことをめざしてきました。現在のコロナ禍の状況をかんがみ、通信サービスを活用した新しいスポーツ観戦のかたちを提案し、レガシーとすることを新たなミッションととらえ、本プロジェクトへの技術提供を実施することにしました。
リモートの観戦体験において、遠隔会場の声援を試合会場に届ける際にもっとも大きな課題となるのは遅延時間です。特にマラソンにおいて、秒速5 mで駆け抜ける選手へ確実に応援を届けるには、わずかな遅延が大きな影響を与えます。これまでのリモート観戦では、光の伝搬遅延に加えて、伝送処理遅延や映像情報の圧縮遅延などメディア処理遅延を加えたトータルの遅延時間は往復数秒レベルでかかってしまい、選手へ応援を確実に届けることができませんでした。NTTでは、「超低遅延通信技術」によってこれらの課題を解決し、伝送処理にかかる遅延時間を片道約100 msに最小化させ、選手への応援を確実に届けることを目標にプロジェクトに取り組みました。
システム構成
全体のシステム構成を図2に示します。
今回のプロジェクトでは、遠隔にいる観戦者があたかも選手が走っている沿道で応援しているかのような空間を創り出すことをめざしました。そのために、札幌のマラソンコース(さっぽろ創世スクエア前)と、東京の会場の両拠点には、それぞれ、観戦者と選手がリアルサイズに表示できるように、幅約50 m、高さ2 mのLEDディスプレイを設置しました。LEDの合計幅は両拠点とも約50 mですが、設置場所の状況などに応じて設置場所や間隔など異なります(図3(a)(b))。観戦者と選手の映像撮影のために、両拠点のLED前に8台のカメラを設置しました(図3(c))。両拠点の4K映像は、「超低遅延通信技術」を構成する超低遅延メディア処理技術を搭載したメディア処理装置、ディスアグリゲーション構成技術を搭載した伝送装置を経由し、20 Gbit/sの高速広帯域回線によって、遠隔地双方へ伝送されます。
超低遅延通信技術
NTTが中心に提唱する次世代コミュニケーション基盤構想「IOWN(Innovative Optical and Wireless Network)」は、光を中心とした革新的技術を活用した高速大容量通信、膨大な計算リソース等を提供可能な端末を含むネットワーク・情報処理基盤の実現をめざしています。その構成要素の1つとして、ネットワークから端末まで、すべてにフォトニクス(光)ベースの技術を導入し、超低消費電力、超大容量、超低遅延をめざすオールフォトニクス・ネットワーク(APN)があります。本プロジェクトで活用した超低遅延通信技術は、APNの要素技術である「ディスアグリゲーション構成技術」と「超低遅延メディア処理技術」を用いています。
(1)ディスアグリゲーション構成技術
「ディスアグリゲーション構成技術」は、従来、一体型で提供されていたネットワーク機能を、機能ごとに分離し、標準化されたインタフェースで制御できるよう構成することで、柔軟な構成変更、付加機能の実現、コストの低減等を可能にする技術です。今回、長距離伝送のための光トランスポンダを有するホワイトボックススイッチに、SDI信号の直収機能を付加するプラグインユニット(VideoPIU)を新規開発したことにより、非圧縮映像・音声を、光の長距離伝送路にダイレクトにSMPTE ST2110形式で送出可能となりました。これにより、送信側での映像入力から受信側での映像出力までの遅延を約1 msに抑えることに成功し、東京と札幌の距離遅延を含む片道の遅延時間を約20 msまで削減しました。また、ホワイトボックススイッチの制御ソフトウェアであるネットワークOS(NOS)にビデオルーチング向け機能群を実装し、ネットワーク機器・映像機器群の統合的な運用の実現を図りました(図4)。
(2)超低遅延メディア処理技術
「超低遅延メディア処理技術」は、カメラから出力されるSDI映像信号をサブフレーム・ライン単位で取り込み、幾何変換や合成などの映像処理を映像信号レベルで実施する技術です。各映像処理をフレーム単位から映像信号レベルで実施することで、従来の映像処理で必要であったフレーム待ち時間を削減し、低遅延化を実現しました(図5)。
また、本構成においては、複数カメラからの映像を伝送するのに際し、各カメラからのSDI映像信号をライン単位でまとめサブフレーム化し、受信したサブフレームを即時分離し複数ディスプレイに表示するかたちとすることで、さらなる低遅延化を実現しました(図6、7)。
取り組みの結果
当日は、低遅延性を実証するデモンストレーションの後、マラソンの応援を行いました。幅50 mのディスプレイを通じて、東京会場ではまるで目の前に選手が走っているかの臨場感を提供し、関係者は拍手や旗を振ることで選手への応援を伝えます。これまで行われてきた遠隔からの応援体験では遅延によって応援タイミングが合わず、選手へきちんと応援が届く一体感を感じつつ応援するというのが難しい状況でしたが、今回、札幌のマラソンコースでは超低遅延通信技術によってその選手が通り過ぎる前にしっかりと応援が届く様子が確認でき、その一体感を東京会場でも感じ取れたことでさらに応援に熱が入っていきました
(図8(a)(b))。
この応援体験を通じて、東京会場側では「普段沿道で応援するのと全く変わらない臨場感とスピード感を体験できた」「多くの人で混み合う普段の沿道よりも、逆に選手に近い位置から応援ができたように感じる」「何よりも選手に応援が届くのが素晴らしく、楽しかった」というコメントが寄せられ、これまで行われていた遠隔からの応援の取り組みではなし得なかった競技会場へ応援がきちんと届くことによる一体感が得られたことに対し、大いに満足感を感じていた様子でした。また、マラソンコースでは世界初となる本ディスプレイによる遠隔地からのリアルタイムな応援に関心を示す選手が見受けられるなど、本取り組みの意義を十分確認することができました。
また伝送処理にかかる遅延時間は想定どおりの片道100 msに収まりました。
8日の男子マラソンの際はあいにく台風10号が首都圏に接近し、雨模様の中での実施となりましたが、安全を確保したうえで東京から札幌へ雨を吹き飛ばす勢いの応援を届けることができました(図8(c)(d))。
今後の展開
本プロジェクトの成果を踏まえ、NTTは競技会場で応援することが難しい人々に対して、安心・安全な方法で、現地ならではの臨場感と一体感を体験していただける新たな競技観戦スタイルの実現をめざしていきます。今回は、東京の特設会場から応援を届けましたが、将来的には本技術を広く普及させ、各家庭からでも同様のリアルタイムなリモート応援ができるよう研究開発を加速していきます。
(上段左から)薄井 宗一郎/深津 真二/松本 英一郎
(下段左から)井元 麻衣子/白井 大介
問い合わせ先
NTTサービスイノベーション総合研究所
E-mail svkoho-ml@hco.ntt.co.jp