ICTのめざましい発展により、膨大なIoT（Internet of Things）データの収集や分析が可能となりつつあります。これに伴い、政府やさまざまな企業が、Society 5.0等で提唱されるようなサイバー空間とリアル空間を高度に融合させたシステムの実現をめざして研究開発に取り組んでいます。NTTでは、緯度・経度・高度・時刻の4次元の情報を可能な限り精緻に、リアルタイムに把握し、そこから社会実装に資する未来予測を実現できる基盤をめざして、4Dデジタル基盤®の研究開発に着手しています。
4Dデジタル基盤®は、高精度で豊富な意味情報を持つ「高度地理空間情報データベース」上に、人・モノなどのセンシングデータを統合し、多様な産業分野における高度な予測・分析・シミュレーション・最適化を可能とします（図1）。道路交通の整流化や、都市アセットの最適活用、社会インフラの維持管理等、さまざまな領域で活用の可能性があると考えています。「高度地理空間情報データベース」を整備するには、LiDARなどでリアル空間をデータ化しサイバー空間を構築する必要があります。この処理は一般的には以下の流れとなります。
・ステップ1　データ収集：LiDARなどでリアル空間をデータ化
・ステップ2　空間・物体認識：計測データから空間・物体を認識し、その正確な位置を取得
・ステップ3　データ保管：完成データおよび、更新作業や他用途利用に備えて元データも保存
各ステップの省力化・効率化に向けて、私たちが取り組んでいるMMS点群処理技術geoNebula™の最新の研究成果について、以降で紹介します。

現在、LiDARなどで計測された三次元点群からの実空間構造化技術として以下2つの技術の確立をめざし、研究開発を進めています（図2）。
①　3Dデータ高解像度化技術
②　3Dシーン理解技術
3Dデータ高解像度化技術は、前述の「サイバー空間構築までの3ステップ」のうち、「ステップ1：データ収集」に位置付けられます。3D点群はその構造上、空間的に隣り合う点と点の間に一定幅の空隙ができてしまいますが、この空隙に対して新たな点を複数生成して補間することで、より高精細な3D点群を取得できる技術になります（1）。一方、3Dシーン理解技術は「サイバー空間構築までの3ステップ」のうちの「ステップ2：空間・物体認識」に位置付けられ、高密度な点群のすべてに対し、点単位で大規模かつ高精度に意味ラベル（「路面」「建物」など）を自動付与できる技術になります（2）。
ここでは2つの技術の詳細について説明します。まず、3Dデータ高解像度化技術についてです。一般に、安価なLiDARほど、点と点の間の空隙は大きくなる傾向にあります。そのような場合、対象の3次元的な形状情報の多くは失われ、細部の特徴が不明瞭なものとなってしまいます。一方、カメラ画像は近年高精細化が著しく進み、安価なカメラでも比較的密な2Dデータを取得可能となりました。そのため、別途撮影されたカメラ画像の情報をうまく活用できれば、疎な3D点群を補うことが可能と考えられます。そのための市中技術がいくつか存在しますが、前提としてLiDAR点群とカメラ画像との位置合わせ（キャリブレーション）を厳密に行っておく必要があります。両センサの位置合わせは一般に難しく、極めて高度なスキルが要求されます。そこで私たちは、比較的簡易に行ったラフなキャリブレーションでも安定して高密度な点群を生成できる手法を提案しました。導入コスト（装置の安価さ）だけでなく運用コスト（キャリブレーションの簡易さ）まで意識した手法はほとんどなく、他の既存手法と一線を画する特徴となっています。
次に、3Dシーン理解技術です。近年、3D点群のような非グリッド型のデータに適用可能な深層ニューラルネットワーク（DNN）がいくつか提案されています。3Dシーン理解技術は、まさにこの非グリッド型データ向けDNNの1つであり、「セマンティック・セグメンテーション」と呼ばれるタスクを解くために提案された手法になります。3D点群におけるセマンティック・セグメンテーションとは、点群を構成するすべての点に対し、意味のあるラベルを付与することで複数のセグメントに分離する処理のことです。DNNであらかじめ学習しておくことで、未知の3D点群において各点に付与すべきラベルを推定できるようになります。しかし従来の手法は、屋内など限定された空間内での点群データが対象であるものが多く、街全体など広範囲にわたり、かつ高密度な点群を扱うには、それに見合ったハイスペックな計算機が必須となります。私たちは、比較的安価な計算機でも大規模な点群データを効率的にセマンティック・セグメンテーションできる手法を提案しました。これを前述の3Dデータ高解像度化技術と組み合わせることで、安価に高密度な点群を取得し、3Dシーン全体を細部まで隈なく理解することが可能となります。

「4D点群符号化技術」は、LiDARやステレオカメラなどから得られた3D点群データを高圧縮して蓄積・保存する技術です（3）。本技術では、「高度地理空間情報データベース」で収集される道路や都市などの3D点群データをターゲットに、それらの高効率な圧縮と利活用時の利便性をかんがみた技術に関する研究開発を進めています。
広域な都市の3D点群データを蓄積し、活用するうえで課題となるのは、まずそのデータサイズです。大量の点群データを効率的に保管するためには、高効率な圧縮技術が不可欠となります。また車載LiDARなどにより時々刻々と収集される3D点群データは、計測車両の走行軌跡に沿って断片的に生成されていくため、それらを広域な都市の3D点群データベースとして蓄積、管理するためには、これらの断片的な3D点群データを統合する処理や、過去データからの時間変化を検知する機能が必要となります。さらには、このように統合された都市データの利活用においては、任意位置の3D点群データを取り出すランダムアクセス機能も備わっている必要があります。そこで私たちは圧縮機能に加え、データの統合・時間変化検知機能、およびランダムアクセス機能も含めた3機能をメインに研究開発に取り組んでいます。
まず圧縮機能に関してですが、本技術ではMPEG （Motion Picture Ex­perts Group）で標準化が進められている点群符号化技術G-PCC （Geometry based Point Cloud Com­pres­sion） に準拠することで、データサイズが大きい3D点群データを高効率に圧縮します。このG-PCCでは、空間を階層的に分割しながら、8分木構造を用いて点が存在する空間位置を効率的に表現することで、元データと比較してデータサイズを最大約10分の1にまで圧縮することが可能になりました（図3）。
次に3D点群データの統合および時間変化の検知機能についてです。ここでは個々のファイル自体のデータ圧縮に加え、それら圧縮されたファイルどうしのデータ統合や、データ間の差分比較などを簡易に行える機能についても検討を進めています。前述のとおり、G-PCCで圧縮した3D点群データは、点の存在する空間位置が8分木構造により階層的に保持されています。この階層構造により、データ内に写っているオブジェクトについて、その大まかな概形を符号化データから簡単に抽出することができます。この概形を抽出することで、例えば取得時刻が異なる3D点群データどうしの変化個所の検出や、オブジェクト境界を考慮しながら断片データどうしを結合させる処理を高速に行う機能を実現しました（図4、5）。
そしてランダムアクセス機能についてですが、本技術でもG-PCCの階層的な構造を利用することで例えば空間の一部のデータだけを取り出す機能に加え、高密度な点群データから低密度な概要データを取り出すスケーラブル機能も検討を進めています。これにより、部分的なデータの取り出しだけではなく、より広域なデータの概形把握を簡単に行うことが可能になります。
現在、これら3つの機能を統一的に扱えるようなソフトウェアエンジンの研究開発を進めているところです。このエンジンを活用することで、広大な都市の3D点群データをコンパクトに保存しつつ、任意の位置・時刻のデータを容易に取り出すことが可能となります。また、今後はさらに3D点群データの流通量が増大していくことを踏まえ、より高速かつ高効率な符号化処理の実現をめざして研究開発を続けていく予定です。

今後、これらの技術をベースにリアル空間を精緻に再現可能なサイバー空間を構築する技術を確立するとともに、リアル空間とサイバー空間の高度な交錯による価値創造の仕組みを具現化し、誰もが快適で活力に満ちた質の高い生活を送ることのできる人間主体の社会の実現に貢献していきます。

■参考文献
（1）　Y. Yao, M. Roxas, R. Ishikawa, S. Ando, J. Shimamura, and T. Oishi:“Discontinuous and Smooth Depth Completion With Binary Anisotropic Diffusion Tensor,”IEEE Robot­ics and Automation Letters, Vol.5, No.4, pp.5128-5135, 2020.
（2）　K. Kurata, Y. Yao, S. Ando, N. Ito, and J. Shimamura:“Aggregative Input Convolution for Large-Scale Point Cloud Semantic Segmentation，”The 7th IIEEJ IEVC 2021, Sept. 2021.
（3）　渡邊・五十嵐・谷田・木全：“あの日あの時あの場所へ：任意の時刻・場所の点群データを作るための圧縮された点群の効率的マージ手法,” DICOMO2021, pp.357-362, June 2021.