平成28年1月22日に閣議決定された第5期科学技術基本計画(1)では、新たな概念「Society 5.0」が掲げられています。狩猟社会(1.0)、農耕社会(2.0)、工業社会(3.0)、情報社会(4.0)に続く、人類史上5番目の社会Society 5.0(2)(図1)は、科学技術イノベーション総合戦略(平成28年5月24日閣議決定)(3)において、次のように定義されています。
・サイバー空間とフィジカル空間を高度に融合させることにより、
・地域、年齢、性別、言語等による格差なく、多様なニーズ、潜在的なニーズにきめ細かに対応したモノやサービスを提供することで経済的発展と社会的課題の解決を両立し、
・人々が快適で活力に満ちた質の高い生活を送ることのできる、人間中心の社会

これまでも情報通信技術(ICT)の進展に伴い、離れた場所の人との音声・映像コミュニケーションが実現され、より高音質、高画質の通信へと遷移してきました。また、各種センサの技術進歩により、人がいるフィジカル空間そのものをセンシングできるようになってきました。センシング情報をサイバー空間でメディア処理して伝送し、“あたかも目の前に人がいるかのように”別のフィジカル空間に再現させることが、Society 5.0では一般的になるかもしれません(図2)。この再現を高臨場感と呼ぶこととすれば、NTTグループが進めるKirari!とは、通信によるメディア伝送の先をいくテクノロジで、高音質、高画質という進化の枠を超えた超高臨場感を実現するものです。

Kirari!によって、離れた場所の人や空間を、距離を超えてリアルタイムに伝送することができます。これにより、例えば、スポーツ観戦のために現地に足を運ぶことなく競技を体験することや、公演会場に遠隔地から演者が参画するような演出も実現可能になります。来るSociety 5.0では、「空間の壁を超える」観点で、Kirari!が貢献できると考えています。
Kirari!の利活用例を図3に示します。観戦が簡単ではない海外でのスポーツ大会を地元でライブビューイングする例では、錯視効果を用いて立体と見まがうような視聴体験や、従来の画角をはるかに凌ぐ視野角いっぱいの視聴体験を提供します。また、公演等へ、今までにないような驚きの演出を提供することも可能です。例えば、実際の演者をセンシングおよびメディア処理し、錯視効果による演者を創出して重畳します。重畳する時刻を制御することで、本来であればあり得ない、現在の演者と少し過去の演者との共演が実現します。このような取り組みを通じて、さまざまなコンテンツを、空間の壁を超えて超臨場感で体験いただくことをめざしています。

Kirari!の技術概要を図4に示します。スポーツや公演をしている現場、通信、視聴会場の3つの観点で考えると、通信で示される領域が超高臨場感通信技術Kirari!になります。カメラ、マイク、センサによって抽出された情報を、ネットワークを介してメディア制御、メディア処理、同期して視聴会場に伝送します。

メディア制御は、カメラで撮像された人物とセンサによって得られた位置情報、および照明情報を関連付ける空間情報と、人物の配信時刻を絶対時刻で制御するための時間制御から構成されます。
メディア処理は、撮像された画像情報から人物の領域を被写体抽出し、マイクの音響情報から波面合成音響技術(4)等により高臨場音声とします。これらは、図3のスポーツ中継や公演において、錯視効果により人物を立体的に表示させるとともに、音を客席まで飛び出させるような音響再現に必要な処理です。一方、超ワイド合成では、図3の視野角いっぱいの画角での視聴体験に向け、複数のカメラ画像を合成します(5)。また、フィールド再構成において、被写体の構造や状態を解析して3次元的に再構成することを可能にします。さらに、効率的な伝送のために符号化処理を行います。
メディア伝送規格MMT(MPEG Media Transport)に独自の拡張を行ったAdvanced MMTにて同期伝送します(6)。絶対時間で同期できることから、世界中の任意の地点に同時刻に伝送可能となります。Advanced MMTは、画像、音響、照明情報等を基に、超高臨場感を実現するための設計図の役割を担います。
視聴会場では、Advanced MMTの設計図に従い、プロジェクション、スピーカ、照明演出等を施します。

超高臨場感を実現するKirari!を多くのユーザに体験いただくため、あたかも目の前で行われているかのようなスポーツのライブビューイング、今までにないICT演出による芸能公演、過去の演者との共演に焦点をあてたダンス、遠隔地の講演中継等のPoC(Proof of Concept)、トライアル等を実施してきました(図5)。これらの施策を推進するためには、Kirari!の高度化として、人が行き交うような環境においても、注目する被写体を高精度に抽出する必要があります。また、より高解像度の映像を超ワイド合成することも課題となります。

一方で、社会実装に向けては、コスト削減施策も重要課題です。例えば、高解像度映像をより圧縮することや、メディア処理のサーバ数削減についても、検討を進めています。さらに、メディア制御が高度化することにより、過去の演者との共演等において、実物の演者の隣に、正確に過去の演者を自動重畳可能となりますので、演出のための人的コスト削減にも貢献できます。
Kirari!のスポーツ、公演等への社会実装を促進すると同時に、Beyond 2020を見据える時期にきています。例えば、保守・監視分野に適用すれば、道路や駅等を超ワイド合成映像で監視できます。あたかも目の前で監視対象が存在しているかのような体験につなげることができます。医療分野における医師の遠隔診断、エンタープライズ分野での受付の無人化、テレワークの促進にも検討を広げていきます。今後もこれらの取り組みを通じて、Society 5.0における「空間の壁を超える」価値創出に貢献していきます。

■参考文献
(1)http://www8.cao.go.jp/cstp/kihonkeikaku/index5.html
(2)日高・長谷川・布施田：“新たな経済社会としてのSociety 5.0を実現するプラットフォーム、”オペレーションズ・リサーチ、Vol.61，No.9，pp.551-555，2016.
(3)http://www8.cao.go.jp/cstp/sogosenryaku/2016.html
(4)堤・高田：“客席まで飛び出す音響を実現する波面合成音響技術、”NTT技術ジャーナル、Vol.29，No.10，pp.24-28，2017.
(5)佐藤・難波・小野・菊池・山口・小野：“競技空間全体の高臨場ライブ中継に向けたサラウンド映像合成･同期伝送技術、”NTT技術ジャーナル、Vol.29，No.10，pp.19-23，2017.
(6)外村・今中・田中・森住・鈴木：“超高臨場感ライブ体験(ILE)の標準化活動について、”ITUジャーナル、Vol.47，No.5，pp.14-17， 2017.