街頭TVからはじまりライブビューイングに至るまで、一堂に会した観客がスポーツ中継を楽しむメディアは観客どうしのつながりを重視することで感動を共有してきました。また、2020年には、4K・8K放送の普及により、世界中の多くのスポーツがTV中継されるだけでなく、インターネットによるライブ配信や街中での手軽なライブビューイングといった多様な視聴スタイルによって、一層多くの感動が場所や時間を問わず広く共有されると予想されます。
こうした世の中の視聴スタイルの多様化を踏まえ、NTTサービスエボリューション研究所では、あたかもその場にいるかのような高臨場なライブビューイングをあらゆる場所でリアルタイムに実現するイマーシブテレプレゼンス技術“Kirari!”の研究開発を推進してきました。
“Kirari!”における映像提示手法については、いくつか研究が進められています。その中でも虚像を活用する2D空中像表示手法は、汎用の2Dディスプレイと入射光の一部を透過・反射するハーフミラーなどの光学素子を組み合わせることで、簡易な構成にもかかわらず等身大の人をあたかもその場のステージ上に存在するかのように提示できます(図１)。この手法では映像が提示される位置が表示装置から離れることから、観察者は自分と同じ空間に映像が浮かび上がったかのように見え、映像中の被写体を実物として知覚します(1)。本手法をスポーツのライブビューイングに応用すれば、競技を実際に目の前で観戦しているかのような高い臨場感を与えることができます。

ライブビューイングでは、複数の観察者が同じ場に集まりコンテンツを同時に視聴することが多いため、広い視点範囲に対して被写体の空間位置を正しく提示する必要があります。しかし、これまでのTVやスクリーンでは全観察者に同じ視点の映像を提示するため、被写体の正しい位置や距離感まで再現することができませんでした。これは、2D空中像を用いた場合でも同様の問題が生じます。
これまでに、広い視点範囲に被写体の空間位置を提示可能なディスプレイ技術が多く研究されています(2),(3)。しかしこれらの研究では、多くのプロジェクタや特殊な光学系を必要としており、装置構成が複雑で大規模になり、表示面の大型化も困難なため、目的とするライブビューイングへの適用は困難です。
一方、私たちが注目している2D空中像表示手法では、装置構成がシンプルなため、大型化はもちろん、スマートフォンやタブレットと組み合わせた手軽な空中像表示も可能です(4)。
2D空中像表示では、虚像の表示面の位置が固定されるため、奥行き方向の移動表現はできません。これまでに、2D空中像表示に対して奥行きを付与する研究も行われてきましたが(5)、観察者は1名に限られ、特殊なメガネも装着する必要があります。これまで、広い範囲にいる複数の観察者に対して、被写体の奥行き移動を表現するという試みはされていません。
本稿では、シンプルな構成で複数の観察者に対して被写体の奥行き移動を表現するため、心理的な奥行き知覚の効果を積極的に用いる手法を提案し、全周囲から取り囲んで観察できる表示システムへの適用について紹介します。

心理的要因による奥行き表現手法として、遠近法が古くから広く知られています。遠近法は、被写体の大きさや位置を眼に映るものと同様に描くことで、絵画等の固定された2D平面への描画であっても観察者に大幅な距離感を認識させることが可能です。この遠近法を2D空中像表示に適用することで、奥行き方向への移動を提示することができます。
遠近法では、被写体までの奥行き距離が遠くなるほど描画される位置や大きさはある１点に収束します。この点は消失点と呼ばれ、例えば奥行き方向に無限に伸びる床面が持つ左右の稜線も消失点で１点に交わります。被写体がまっすぐに奥行き方向へ移動する場合も、被写体の移動方向はこの消失点に向かいます。複数の視点がある場合、視点ごとに消失点が異なるため、被写体の移動方向はそれぞれの視点ごとに設定しなければなりません。2D空中像表示ではステージ等の実物体による消失点は視点ごとに正しいものが与えられますが、空中像として表示する被写体には１つの視点の消失点しか設定できず、異なる視点位置から見た際に本来の向きへの奥行き移動が表現できないという問題がありました。

図２のように、破線と四角形で示す被写体の移動方向が、丸印で示す床面が持つ消失点に向かう方向と一致せず誤差を有する場合でも、経験的に人は奥行き方向への移動を認識します。この奥行き移動が認識される誤差の許容範囲を、被験者実験により検証し定義しました(6)。そして、視点ごとに許容範囲を設定し、それらの共通範囲に収まるように被写体の移動方向を決定することで、複数の視点に対して奥行き移動を表現する手法を提案しました。
奥行き移動が認識される誤差の許容範囲は、被写体と床面との位置関係に大きく依存します。被写体が被写体領域の足元、床面奥側の左右2端点を結ぶ三角形の領域内に向けて移動している場合は、実際の奥行き方向への動きに違和感が小さくなります。この知見に基づき、2D空中像の奥行き移動を表現するための手法を、被写体の位置、観察範囲の情報から、フレームごとの被写体位置を決定するアルゴリズムとして定めました。また、ステージ等の実空間の床面に虚像による被写体が接地しているかのように表現するための調整も行います。

本手法によって、被写体を違和感なく床面に接地させつつ、奥行き移動を表現できるようになりました。奥行き付与手法の適用前後における被写体の移動軌跡を図３に示します。実線が被写体の移動軌跡を、破線と床面で囲まれる領域が許容範囲を示しています。この図から、提案手法の適用前では移動軌跡が許容範囲から逸脱しますが、適用後は許容範囲内に収まることが分かります。これは、等身大の被写体が10 m×10 mの床面内を移動範囲とするとき、約7.5 m～9.0 m相当の奥行き移動を表現できる可能性を示しています。

2Dディスプレイとハーフミラーから構成される光学構成を１つの床面を共有するように４つ組み合わせ、それぞれの虚像面に４方向から撮影された被写体を表示することで、全周囲から観察可能な“Kirari! for Arena”のプロトタイプシステムを構築しました(図４)。このシステムでは、被写体のみが抽出された映像と、LiDARにより計測した被写体の距離情報を入力とし、本手法による画像処理をリアルタイムに行って表示します。多数のプロジェクタや特殊な光学素子が必要な従来の表示装置に対して、汎用のディスプレイとハーフミラーだけの簡易な構成で全周囲への表示を実現でき、高い実用性を備えていることから、複数人で競技空間を取り囲んで観戦するスポーツのライブビューイングなどへの応用が期待されます。

今回、ディスプレイとハーフミラーを組み合わせた簡易な構成で実現できる2D空中像表示に着目し、心理的奥行き効果を積極的に活用して被写体の奥行き移動を複数の観察者に対して提示する奥行き表現手法を提案しました。また、それを応用し、全周囲から空間位置も含めた被写体を観察可能な“Kirari! for Arena”のプロトタイプを構築しました。
今後、被写体位置のより正しい表現や表現エリアの拡大について、陰影表現など多くの映像表現手法の適用によって実現していく予定です。

■参考文献
(1)宮崎：“三次元像の空中表示技術の現状と展開、”光学、Vol.40，No.12，pp.608-615，2011．
(2)S. Yoshida:“fVisiOn: 360-degree viewable glasses-free tabletop 3D display composed of conical screen and modular projector ar-rays,”Optics Express, Vol. 24, No. 12, pp. 13194-13203, 2016.
(3)B. Alex, H. Otmar, I. Shahram, H. Steve, M. David, K. David, and K. Danny:“Vermeer: Direct Interaction with a 360°Viewable 3D Display,”Proc. of UIST 2011，pp.569-576，Santa Barbara，U.S.A.，Oct. 2011.
(4)巻口・高田・新島・松井・横山：“モバイル端末で利用可能な小型多層空中像投影装置の提案と実装，”情処学論、Vol.58，No.11，pp. 1787-1798，2017．
(5)O. Bimber, B. Frohlich, D. Schmalstieg, and L.M. Encarnacao:“The Virtual Showcase,”ACM SIGGRAPH 2005 Courses，No.3，Los Angels，U.S.A.，July-August 2005．
(6)井阪・巻口・高田・小野：“2D空中像の奥行移動知覚に関する一考察，”2017年映像情報メディア学会年次大会予稿集、34D-5，2017．