Focus on the News
広域空間での動きセンシングによるハンドボールVR体験の実証実験について
NTTおよびNTT西日本、熊本県は、2019女子ハンドボール世界選手権大会の機運醸成および新たな観戦体験の提供を目的に、熊本県で開催される女子ハンドボールイベントにおいて、試合中の全選手の動きをセンシング(取得)し、空間を再構成することで、あたかも選手になりきったようにプレーの様子を間近で体験できる新たな映像技術の実証実験を実施します。
本取り組みは、“魅力溢れ、暮らしやすさと幸せが実感できる熊本”の実現および国際スポーツの推進に向けて、熊本県、熊本市、NTT西日本が進める「スマート光タウン熊本」プロジェクトの一環として実施するものです。
実施概要
本実証実験では、NTTメディアインテリジェンス研究所が研究開発している「ダイナミックフィールド3次元動きセンシング技術」により、ハンドボールコートに設置した8台のカメラから試合中の全選手の動き情報を解析し、3次元仮想空間を再構成することで、コート内選手になりきった位置で、躍動感ある選手の動きを3次元360度映像で体験できます(図)。
(1) 「ダイナミックフィールド3次元動きセンシング技術」の概要
広い実空間を複数台のカメラで撮影し、空間中にある複数人物のダイナミックな3次元的な動き情報を高精度に取得します。NTT独自の深層学習を活用した骨格推定と3次元動き解析により、広い空間内で複数人物の交差がある等の複雑なシーンであっても、各人の3次元的な動作を精度高く解析できます。
従来の映画の製作等で利用されるモーションキャプチャーでは対象が特定の環境と人物に限定されていましたが、本技術により、広い空間の中で複数人が動き回る場面でも、各人物の3次元動きを取得することが可能となります。
① 骨格推定：人物のシルエットも同時に推論する独自の深層学習により、遮蔽により人体の一部が撮影されていない場合であっても映像から人物の骨格(関節位置)を精度高く推定します。
② 3次元動き解析：各カメラ映像から得られる2次元の関節の動き情報から、各カメラのレンズ歪を補正しつつ統合して、3次元的に正確な動き情報を解析します。
(2) 実施期間
2019年5月中旬～2019年12月(予定)
※熊本県内における女子ハンドボールイベント実施日のみ
(3) 実施対象
イオンモール熊本(1Fイベントスクエア)、熊本県内の体育施設等
図 VR体験イメージ
実証実験の協力体制
(1) NTT
・実証実験に必要な機材等の手配および実験用データ取得
・取得データからの3次元動きの取得と高精細な仮想空間の再構成および評価等
(2) NTT西日本
・実証実験に必要な環境整備および本視聴スタイルのサービス性評価
(3) 熊本県
・実証実験用データ取得支援および評価会場の手配
今後の展開について
本実験の検証で得られる知見を活かし、動きの取得の精度向上や自動化を進め、ICTを用いた次世代のスポーツ観戦やエンタテインメント鑑賞等に関する取り組みをより一層加速するとともに、2019年に熊本県で開催予定の国際スポーツ大会での新たな取り組みや観光振興など、おもてなしの取り組みを強化していきます。
問い合わせ先
NTTサービスイノベーション総合研究所
企画部広報担当
TEL 046-859-2032
E-mail randd-ml@hco.ntt.co.jp
URL https://www.ntt.co.jp/news2019/1905/190513a.html
担当者紹介
熊本から、高臨場なVRで国際スポーツ大会の機運醸成
椎場 泰三
熊本県 企画振興部 交通政策・情報局 情報政策課 課長
谷口 英樹
NTT西日本 熊本支店 ビジネス営業部 スマートひかりタウン推進室 室長
(左から)椎場泰三／谷口英樹
熊本県、熊本市、NTT西日本は、2012年2月から「スマート光タウン熊本」プロジェクトをスタートさせ、ICT等の新しい技術を活用し「魅力あふれ、暮らしやすさと幸せが実感できる熊本」の実現のため、さまざまな取り組みを行っています。
熊本県は、2016年4月に発生した熊本地震で甚大な被害を受け、現在も、復旧・復興に向け、一歩ずつ歩みを進めています。今年は、熊本県内において、国際スポーツ大会(ラグビーワールドカップ 2019および2019女子ハンドボール世界選手権大会)が開催されます。大会の機運醸成につなげるためICTを活用した新たなスポーツ観戦のスタイルを提供すべく、NTTメディアインテリジェンス研究所様の技術および多大なるご協力により、「広域空間での動きセンシング」によるハンドボールVR体験の実証実験を行いました。
このVRは、2019年5月に熊本県の蒲島郁夫知事へ完成報告会を実施し、その後、「2019熊本に国際スポーツイヤーがやってくる！」イベントにおいて、約1000名の方々に、高臨場なVRの体験をしていただきました。VRを視聴された方からは「試合中のコートの中にいるかのような迫力を感じ、その臨場感に大変驚いた」等の感想を頂戴し、スピード感あふれるハンドボールの魅力を伝えることができ、大会の機運醸成にも寄与できたと思っています。
この国際スポーツ大会を通じて、国内外の皆様におもてなしを届け、今後も、熊本県の創造的復興を成し遂げる一助となるよう、IoT・AI等を活用した取り組みを推進していきます。
研究者紹介
自然な空間センシング実現に向けた第一歩
能登 肇
NTTメディアインテリジェンス研究所 環境情報処理プロジェクト
主任研究員
私たちは、実空間のヒトやモノの情報(動き・形・色など)をセンシング(取得)し、仮想空間に再構成する技術の研究開発を進めています。仮想空間内で実空間の事象を観察・分析することにより、普段気付かなかった現象を感じることや、新たな発見を得ることができる世界が実現します。このときの情報取得方法は、自然で負担がないものであるべきです。もし体にセンサやマーカを付けることが必要であれば、煩わしいだけでなく、特にスポーツではプレーに影響を及ぼすでしょう。
しかしスポーツのコートのように広い空間で、たくさんの選手が入り乱れた状態でのセンシングは、我々にとっても経験がなく、技術的にも困難でチャレンジングな試みでした。さまざまな課題を創意工夫で解決し、最終的に仮想空間に実際のプレイシーンを再構成できたことは、自然な空間センシング実現に向けた大きな前進であり、貴重な実験の機会をいただいたことに一技術者として感謝しています。
仮想空間内で間近からシュートを受けると、観客席からの撮影では決して知ることのできない迫力があり、ハンドボールの魅力の1つを感じることができます。実空間では見ることができない視点からプレーを観察したことにより、正に新たな発見を得ることができた事例となりました。本実験で明らかになった技術課題もありますので、それらを解決するとともに、さまざまなシーンに適用できるよう研究開発を続けていきます。
