近年、スマートフォンやグラス型デバイスを用いた空間認識型のAR（Augmented Reality）サービス*1が登場し始めています。空間認識型のARサービスでは、空間に紐付くAR体験をユーザに提供することができるため、現実世界の街や商業施設といった特定の空間における、バーチャル広告やクーポンなどのデジタル情報の提供やエンタテインメントコンテンツの提供などのさまざまな用途が期待されます。その一方で、画像認識型のARサービスと比べて、サービス提供の敷居が高いことが課題となっています。これは、デジタルツインを構築するための現実空間のデータ取得技術、ARコンテンツを空間に紐付けて配置する技術、ARコンテンツを共有・配信するためのサーバ準備など、複数の技術やシステムを用いる必要があるためです。
このような課題を解決するため、NTTコノキューではARクラウド*2の研究開発を進めており^（1）、これらの研究成果および実証実験を通して培ってきた知見を基に、ワンストップで開発可能な空間AR開発パッケージを開発しました。本パッケージでは、空間認識型のARコンテンツ開発に必要な技術・システムを1つのパッケージとして提供しているため、サービス提供者は必要技術やシステムをそろえて実施する従来の開発と比較して、短期間・低コストでARサービスを提供することが可能です。本パッケージを用いることで、例えば以下のようなAR体験を提供するARサービスが開発できます。
・グラス型を含む多様なデバイスでの共通的なAR体験
・同一空間内にてユーザ属性に応じて広告やクーポン、表示言語が切り替わるAR体験
・友人や家族間でのインタラクティブなコンテンツ共有
・IoTセンサ（人感センサなど）で取得されたリアルタイム情報を活用したAR体験
本稿では、NTTコノキューにて開発した空間AR開発パッケージを構成する特徴的な技術について解説します。

＊1　空間認識型のARサービス：特定の場所にARコンテンツを登録しておき、その場所に来た人に、ARデバイスを通して、ARコンテンツを現実空間に重畳して表示させるARサービス。
＊2　ARクラウド：現実空間にARコンテンツを重畳表示し、複数デバイス間で共通のARコンテンツをインタラクティブに共有可能にする技術基盤。

空間AR開発パッケージの構成図を図1に示します。本パッケージはデジタルツインを構築するためのスキャンツール、ARコンテンツを開発するためのオーサリングツール*3、ARコンテンツを配信・共有するためのARクラウドサーバ、ARコンテンツを体験するためのビュワーアプリから構成されます。さらに、ARクラウドサーバは、自己位置指定サーバ、空間構造サーバ、コンテンツサーバ、同期サーバ、ログ管理サーバにより構成されます。各機能ブロックを用いたARサービス開発のフローは以下のとおりです。
①開発者は、スキャンツールにより現実空間のデータ取得を行います。取得されたデータは、自己位置推定に用いる情報（点群やアンカー*4）とARコンテンツ開発に用いる空間構造情報（メッシュ*5）の2種類です。取得したデータについては、データ間の座標系*6を統一したうえで、それぞれ自己位置推定サーバ、空間構造サーバに保存します。
②開発者は、オーサリングツールによりARコンテンツ開発を行います。オーサリングツールは、空間構造サーバから空間構造情報を取得して参照することによりARコンテンツの配置場所を決定します。ARコンテンツは、コンテンツサーバに保存します。
③ビュワーアプリはグラス型を含む多様なデバイスで動作するアプリで、ARコンテンツおよび自己位置推定に用いる情報を自己位置推定サーバ、空間構造サーバ、コンテンツサーバから取得します。ユーザは、ビュワーアプリを通してARサービスを体験します。
このARサービス開発のフローにおいて、特に重要な検討すべき技術要素として「自己位置推定技術」「ARコンテンツ開発」「ARコンテンツ管理・配信技術」があります。

＊3　オーサリングツール：文字や画像といった異なる種類のデータを編集して、1つのソフトウェアやコンテンツをつくるためのアプリケーションソフトウェア。本稿ではARコンテンツをつくるための空間AR開発パッケージ独自のアプリケーションソフトウェアのこと。
＊4　アンカー：ARコンテンツを配置する際の基準とする現実の場所を示す情報。
＊5　メッシュ：三角形や四角形などのデータの集合により3次元の物体形状を表現する空間モデルデータ。
＊6　座標系：任意の座標を表現するための、原点と座標軸の取り方。座標と座標系の組より。唯一の点を表すことが可能。

「自己位置推定技術」は、ARデバイスの現実空間内の位置と方位を推定する技術です。この技術により、現実空間の任意の場所にARコンテンツを重畳表示できます。空間認識型のARサービスでは、一般的な測位システムであるGPS（誤差10m程度）よりも高い精度が求められるため、本パッケージではカメラ画像を使った測位を採用しています。また、ロケーションに応じて最適な自己位置推定技術が使えるように、本パッケージではカメラ画像を基にしたマーカー方式、アンカー方式、点群方式の複数の自己位置推定技術に対応しています。
①マーカー方式とは、開発者が基準となる画像（マーカー）を事前に登録し、ユーザのカメラにてそのマーカーを認識した際に、その位置を推定する技術です。この方式では、画像に関連したARオブジェクトを表示するなど、簡易な利用を想定しています。
②アンカー方式とは、開発者が事前にARコンテンツを配置したい場所周辺を撮影することによりアンカーとして登録し、ユーザのカメラにてそのアンカーを認識した際に位置を推定する技術です。この方式では、狭域でのAR体験を提供するために利用することを想定しています。
③点群方式とは、開発者が事前に取得した「特徴点マップ」とユーザのカメラにて取得した特徴点の比較により自己位置推定を行う技術です。この方式は、広域でのAR体験を提供するために利用することを想定しています。具体的には、開発者が事前にARコンテンツを配置したい場所を含む広い範囲を撮影することにより特徴点マップを作成し、ビュワーアプリによりユーザのカメラに写った画像を定期的（数秒に1枚程度）に自己位置推定サーバに送信することで、自己位置推定サーバでは、ビュワーアプリから送信された画像の特徴点を抽出し、特徴点マップと照合することにより、位置を推定します。

本パッケージでのARコンテンツ開発は、オーサリングツールにより実施されます。オーサリングツールは、PC上にて動作するアプリケーションです。開発者は、オーサリングツールを用いることで空間構造サーバに保存した空間構造情報（メッシュ）を取得し、空間構造情報に紐付いたARコンテンツの開発および配置が可能です。
本パッケージでは、ARコンテンツ開発の難易度を下げるため、プログラマ以外でもARコンテンツ開発ができるよう、ビジュアルスクリプティング*7を採用しました。ARコンテンツ開発では一般的にプログラミングの知識を必要としますが、ビジュアルスクリプティングの採用により、本パッケージでは提供されたノードをつなげるだけでARコンテンツ開発が可能になりました。さらに、ビュワーアプリ間の位置情報の共有や、ARコンテンツの連動のような複雑な機能もノードとして提供しているため、マルチプレイやネットワーク連動コンテンツも容易に開発できます。2021年3月に行った実証実験^（2）では図2（a）に示すように、この同期機能を用いたARコンテンツであるドラゴンバトルを開発しました。このARコンテンツは複数のユーザが同時にドラゴンと戦うというものであり、他ユーザの位置や行動がリアルタイムに反映されています。さらに、2021年7月に行った実証実験^（3）では図2（b）に示すように、VR（Virtual Reality）にてARコンテンツと同一空間をリアルタイムに体験できる機能を開発しました。これにより、遠隔地から会場を回遊したり、現地のAR体験ユーザと一緒にドラゴンバトルなどのフィールドゲームを楽しんだりすることができます。この機能を用いて、現地でのAR体験に加え、PCやVRゴーグルを介した遠隔地でのVR体験が可能であることを実証しました。このように、本パッケージでは、場所を問わず、同じ体験の共有を可能とするXR空間の開発が可能です。
また、ARコンテンツは現実空間に紐付くため、当該地に設置された開発中のARコンテンツの確認・調整ができることが求められます。オーサリングツールでは、ビュワーアプリおよびコンテンツサーバと連携することによりこれを実現しています。開発者は、ビュワーアプリで実際に現地にてARコンテンツを表示させながらARコンテンツの位置調整を行い、その結果をコンテンツサーバに保存します。その後、開発者はコンテンツサーバからオーサリングツールに調整されたARコンテンツの位置情報を取得・反映させることができます。さらに、オーサリングツールには下書き機能も取り入れています。下書きとして保存されたARコンテンツは開発者のビュワーアプリ限定で表示され、すでに公開されているARコンテンツには影響を与えません。そのため、下書き機能を活用することにより、気軽にARコンテンツの調整が可能となります。

＊7　ビジュアルスクリプティング：視覚的に分かりやすいオブジェクト（ノード）を組み合わせて接続していくことでさまざまなロジックを記述する手法。

「ARコンテンツ管理・配信技術」は、物体や場所に紐付いたARコンテンツを管理・配信する技術です。本パッケージでは、コンテンツサーバがARコンテンツの管理を行い、ビュワーアプリに対して配信を行います。
一般的なアプリケーションの場合では、ARコンテンツを変更する場合はアプリケーションをつくり変えて再ビルドし、再インストールが必要になります。一方、本パッケージではARコンテンツをオーサリングツールとビュワーアプリ共通で管理することができるため、オーサリングツールから登録されたARコンテンツは再ビルド不要でビュワーアプリにてすぐに確認できます。ビュワーアプリは多彩なデバイス環境に対応しており、現時点ではiOS/Android/MagicLeap/Windows（VR）に配信できます。なお、ビュワーアプリからは各種ログを出力することもできるため、自己位置推定結果をトレースした詳細な回遊ログや、ARコンテンツの視聴回数などをログ管理サーバに保存し、開発者が取得することが可能となります。
また、本パッケージでは環境をセンシングするIoT（Internet of Things）センサ（人感センサ、ビーコン、開閉センサなど）と連携するノードも提供します。センサ情報はゲートウェイ経由で収集され、ビュワーアプリに配信されます。図3に示すようにセンサと連携することにより、例えば館内エリアの混雑状況やビーコンを持った子どもの位置情報、トイレの空き情報をリアルタイムにARで表示するといったことが可能です。
さらに、ARコンテンツはレイヤという単位で管理されており、ビュワーアプリは複数のレイヤを同時に、または切り替えて表示できます。レイヤを切り替えることにより同一空間に異なるARコンテンツを表示した例を図4に示します。このレイヤ機能によって、ARならではの多層的な空間表現を実現することができます。

本稿では、空間に紐付くARサービスをワンストップで開発可能な空間AR開発パッケージについて解説しました。また、本パッケージの構成と、本パッケージの特徴的な技術要素として「自己位置推定技術」「ARコンテンツ開発」「ARコンテンツ管理・配信技術」について紹介しました。今後もNTTコノキューでは、本パッケージを活用したARサービスの展開と、ユーザからのフィードバックを基に継続的な機能改善およびアップデートを行っていく予定です。本パッケージにより、ARサービスがより普及していくことを期待しています。

＊　本特集は「NTT DOCOMOテクニカル・ジャーナル」（Vol.30, No.2, 2022年7月）に掲載された内容を編集したものです。

■参考文献
（1）　林・後藤・木村・山本:“マルチデバイスでの共通のAR/MR体験を提供可能なAR/MRクラウド技術,” NTT DOCOMOテクニカル・ジャーナル,Vol.28,No.4,pp.39-44,Jan. 2021.
（2）　https://www.docomo.ne.jp/binary/pdf/info/news_release/topics_210309_00.pdf
（3）　https://www.docomo.ne.jp/binary/pdf/corporate/technology/rd/topics/2021/topics_210706_00.pdf