NTT技術ジャーナル記事

   

「NTT技術ジャーナル」編集部が注目した
最新トピックや特集インタビュー記事などをご覧いただけます。

PDFダウンロード
超高臨場感通信技術Kirari!

360度テーブルトップ型裸眼3D映像表示技術

NTTサービスエボリューション研究所では、遠隔地の競技空間などを取り囲んで観察する視聴体験の実現に向け、3D映像をテーブル上に浮かび上がらせる360度テーブルトップ型裸眼3D映像表示技術を開発しました。本稿では本技術の基本となる視覚的な知覚メカニズムとプロジェクタ配置の光学構成を中心に紹介します。

巻口 誉宗(まきぐち もとひろ)/高田 英明(たかだ ひであき)

NTTサービスエボリューション研究所

裸眼3Dによる超高臨場感な映像提示

将来の究極の映像提示手段の1つとして、3Dメガネ等を必要とせずに運動視差も含めた自然な立体視が可能な裸眼3Dディスプレイが期待されています。特に、表示対象があたかもテーブル上に実在するかのように提示できるテーブルトップ型の3D映像表示技術は、スポーツ競技のフィールド全体を俯瞰して観戦するライブビューイングや工業製品のモデリング等、幅広い応用が期待されます。複数人でテーブルを囲んでスポーツを観戦できれば、各自が自分の応援するチームのプレーを望む方向から自由に覗き込むことが可能となり、観察者どうしのコミュニケーションも飛躍的に高まります。こうした体験を実現するには、観察者の表情やアイコンタクトを妨げる特殊な3Dメガネなどを用いずに3D映像を観察でき、さらに360度の視点移動にも対応した裸眼3D映像表示技術が必要となります。
360度の視点移動が可能な裸眼3D映像表示技術としては、円錐形の特殊スクリーンに対し、微小な間隔で設置した数百台規模のプロジェクタで3D映像を提示するシステムなどが提案されています(1)。こうした、複数のプロジェクタで各視点位置に応じた視点映像を投影する手法では、3Dコンテンツを複数人が同時に裸眼で視聴できるという利点がある一方、視点移動に伴う映像の切替えをなめらかにするためにプロジェクタを密な間隔で大量に配置する必要があり、機材コストの増加や装置が複雑かつ大規模になるという問題がありました。
NTTサービスエボリューション研究所ではこれまでに、隣り合う視点映像の輝度を視点位置に応じた輝度比率で合成し提示することで、中間視点の映像を視覚的に補間して知覚させる「リニアブレンディング」という視覚系による知覚メカニズムと、そのリニアブレンディングを光学的に実現する「空間結像アイリス面型光学スクリーン」を用いることで、従来よりも4分の1~10分の1の少ないプロジェクタ数でなめらかな視点移動を実現する裸眼3D映像表示の基本技術を確立し、対角50インチスクリーンと13台のプロジェクタを用いた垂直型の視点移動対応裸眼3D映像スクリーンシステムを開発してきました(2)。また、そのスクリーンを水平方向に応用したテーブルトップ型の実現に向けた検討を進め、プロトタイプの実装によってテーブルトップ型に対してもリニアブレンディングのプロジェクタの削減効果があることを示してきました(3)。しかし、これまでの検討では垂直型に向けて開発したスクリーンと投影システムをテーブルトップ型に展開したため、光学設計の制約から視域が1方向の左右約65度に限られ、360度の全周囲化には至っていませんでした。
本稿では、リニアブレンディングを用いたテーブルトップ型裸眼3Dスクリーンシステムの視域を360度に拡張するための新たな光学構成と、60台のプロジェクタを用いたテーブルトップ型の新たなプロトタイプについて紹介します。

視覚系による知覚メカニズムの活用

左右方向に微小にずれて重なり合った同一の2つの像において、それぞれの像の輝度の比率を変化させると、人の網膜上には図1(a)のような2重エッジが左右についた像として映ります。しかし、人の視覚系では、像の2重エッジの幅がある程度小さい場合には、2重エッジではなく1つのエッジとして知覚されることから、図1(b)に示すように輝度の比率に応じてエッジの位置がなめらかに遷移することが知られています(3)。この2つの像の輝度の比率分配に応じた像のエッジ知覚のメカニズムを隣接するプロジェクタの映像の重ね合わせに適用した表示原理をここではリニアブレンディングと呼んでいます。

図1 リニアブレンディングにおけるエッジ知覚メカニズム

これまで提案されている複数のプロジェクタを用いた裸眼3D映像表示では、両眼視差となめらかな運動視差を提示するために図2(a)のようにプロジェクタを両眼間隔よりも狭い間隔で設置するため、広視域化するほど大量のプロジェクタが必要になります。一方、リニアブレンディングでは、視差が融合限界内に収まる2つの視点映像を視点位置に応じた輝度比率で合成して提示することで、中間視点が知覚的に補間されるため中間視点分のプロジェクタが不要となります(図2(b))。これにより、両眼の間隔より広いプロジェクタ間隔でも両眼視差となめらかな運動視差を持つ3D映像を表示することができるようになりました。

図2 従来の裸眼3D映像表示と提案手法(リニアブレンディング)との比較

テーブルトップ型に向けた光学構成最適化

リニアブレンディングを実現する空間結像アイリス面型スクリーン(2)は反射層、フレネルレンズ層、拡散層から構成され、プロジェクタから投影された光はスクリーン上で反射し、テーブルトップ型の水平配置ではスクリーンを挟んで対面に位置する空間上に集光します。これによりプロジェクタのアイリス面(投影光学系の絞り相当の部分)が空中に結像され、観察者はこの範囲内でのみ投影映像を視認できます。これまでに検討を進めてきたテーブルトップ型の構成(4)では、プロジェクタを空間結像アイリス面型スクリーンに対し水平方向に直線に並べた直線状のプロジェクタアレイを用いていました。しかし、この直線状プロジェクタアレイでは視点がプロジェクタアレイの中心から水平方向に離れるほど投影する視点映像の歪みが大きくなり、全周囲化に向け直線状プロジェクタアレイを4方向に組み合わせて拡張するだけでは全視点に対して対象な3D映像を提示することができません。
そこで今回、視域の全周囲化をめざし、図3のようにプロジェクタを円形に配置する円形プロジェクタアレイの光学系を設計しました。観察者とアイリス面との位置関係の側面図を図4に示します。アイリス面の輝度分布は拡散層の特性によって、中心を最大とし中心からの距離が離れるにつれて減衰するように制御できます。隣り合う視点映像が視点位置に応じた輝度比率で合成されるように拡散層の拡散角θ2とプロジェクタの水平方向の配置間隔を最適設計することで、リニアブレンディングの効果によって中間視点映像を補間できます。

図3 視域の360度化に向けた光学構成

図4 観察者とアイリス面との位置関係

360度テーブルトップ型裸眼3D映像表示システムのプロトタイプ実装

前述した円形プロジェクタアレイの光学系を用いた全周囲360度裸眼3D映像表示システムのプロトタイプを構築しました(図5)。空間結像アイリス面型スクリーンの直径は110 cm、スクリーンの床面からの高さは70 cmとしました。プロジェクタは解像度1280×800 px(輝度600 lm)を60台、6度間隔で設置しています。各プロジェクタから投影する視点映像は、それぞれのプロジェクタに対応する60台のクライアントPC上でリアルタイムに時刻同期してレンダリングしました。各クライアントPCは共通のCG空間を有しており、対応するプロジェクタ位置に設置した仮想カメラの映像をレンダリングします。視点映像の時刻同期は3Dモデルのアニメーションのスタート情報や位置情報をサーバPCからUDP(User Data-gram Protocol)パケットで送信することで行いました。
構築したプロトタイプの周囲5視点から撮影した写真を図6に示します。この写真から視点位置の変化による運動視差が再現されていることが分かります。

図5 360度テーブルトップ型裸眼3D映像表示システムのプロトタイプ

図6 周囲5 方向から撮影した3D映像

今後の展開

今回、全周囲へなめらかな視点移動を伴う自然な裸眼3D映像を提示する技術の実現性をプロトタイプにより実証しました。しかし今回のプロトタイプでは、リニアブレンディングの原理上生じる隣り合うプロジェクタの映像が重なる微小な2重像に加え、隣接したプロジェクタ以外の映像が視認されることによる多重像が画質の劣化の原因となっています。原理上生じる2重像を視覚的な効果に影響のない範囲で打ち消す取り組み(5)も開始しており、今後、スクリーンの光学特性の見直しや最適化によるさらなる画質改善を進め、将来的にはスポーツバーのような場所でのテーブルを囲んだ超高臨場感スポーツ観戦などの実現につなげていく予定です。

■参考文献
(1)S. Yoshida:“fVisiOn: 360-degree viewable glasses-free tabletop 3D display composed of conical screen and modular projector arrays,”Optics Express, Vol.24, No.12, pp.13194-13203, 2016.
(2)M. Makiguchi, T. Kawakami, M. Sasai, and H. Takada: “Smooth Motion Parallax Glassless 3D Screen System Using Linear Blending of Viewing Zones and Spatially Imaged Iris Plane,” SID 2017 Digest of Technical Papers, Vol.48, No.1, pp. 903-906, 2017.
(3)S. Suyama, S. Ohtsuka, H. Takada, K. Uehira, and S. Sakai:“Apparent 3-D image perceived from luminance-modulated two 2-D images displayed at different depths,”Vision Research, Vol.44, No.8, pp.785-793, 2004.
(4)巻口・高田:“光学リニアブレンディングを用いたテーブル型裸眼3Dスクリーンシステムの提案と基礎検討,”マルチメディア、分散、協調とモバイル(DICOMO2018)シンポジウム予稿集, pp. 509-513, 2018.
(5)M. Makiguchi, H. Takada, T. Fukiage, and S. Nishida:“Reducing Image Quality Variation with Motion Parallax for Glassless 3D Screens using Linear Blending Technology,” SID 2018 Digest of Technical Papers, Vol.49, No.1, pp.251-254, 2018.

(左から)巻口 誉宗/高田 英明

超高臨場感を実現する自然な裸眼3D映像は人々の生活を変革するインタフェースの1つとなり得ると考えています。あたかもそこに実在するかのような体験をどこでも手軽に実現できるように研究開発を推進していきます。

問い合わせ先

NTTサービスエボリューション研究所
ナチュラルコミュニケーションプロジェクト
TEL 046-859-2539
E-mail 3dsc-mem-ml@hco.ntt.co.jp