NTTはアートとテクノロジの融合による新たな体験創出に取り組んでおり、その研究成果の1つがディスプレイ・ボットを用いた空間表現“Art of Swarms”です。この空間表現は、多数のディスプレイを搭載したロボット群が地上を協調的に動き、有機的に形を変えながら映像空間を生成していくものです。床面全体をプロジェクションする表現とは異なり、物理的な質量を持ったディスプレイ・ボットが“群れ”として動きながら映像空間をつくりあげることにより、従来にないタンジブルな映像体験を行うことができます。
NTTでは、この空間表現のコンセプトを2018年のNTT R&Dフォーラムで初めて紹介しました。これを皮切りに、2018年にはオーストリア・リンツで行われた世界最大のアートフェスティバルでのデモンストレーション、2019年7月の「スポーツ観戦の再創造展」での展示など、規模を拡大しながらディスプレイ・ボットの演出効果を検証してきました。特に、「スポーツ観戦の再創造展」では30台を超えるディスプレイ・ボットの群れと、中山晃子氏（1）、和田永氏（2）といった著名アーティストとのコラボレーションを行いました。ディスプレイ・ボットの群れを用いたスポーツの表現も行い、鑑賞された多くの方から高い評価を得ることができました。
これら実証実験の知見を活かし、この空間表現“Art of Swarms”を東京2020オリンピック聖火リレーに適用し、聖火ランナーの瞬間をより感動的に体験してもらい、多くの人にNTTの通信テクノロジとアートの融合の可能性を感じてもらうことにチャレンジしました。具体的には、「NTT presents東京2020オリンピック 聖火リレーセレブレーション」において、会場に到着する聖火ランナーを迎え入れる祝祭を演出しました（図1、2）。

大阪：2021年4月13日　万博記念公園・太陽の広場前
横浜：2021年6月30日　赤レンガ倉庫・イベント広場
当初この2つのイベントでは、現地で多くの方々に見ていただく予定でしたが、新型コロナウイルス感染拡大の影響で一般応募による現地観覧は中止となり、オンラインで楽しんでいただきました。
演出においては、世界的なメディアアート研究機関であるアルスエレクトロニカと連携し、感動的なシーンの創出をめざしてきました。当初は、アルスエレクトロニカのメンバーも来日して、NTTのメンバーと現地でオペレーションなどに携わる予定でした。しかし、新型コロナウイルス感染拡大の影響で来日できず、オンラインでオーストリアからのサポートとなりました。

ディスプレイ・ボットは、六角形のディスプレイを搭載した地上走行型のロボットです（図3）。上部のディスプレイ部と、下部の走行機能部からなり、それぞれ独立に動作します。この機構により、ディスプレイ面を一定の方向に保ちながら、任意の方向に移動することが可能となり、空間映像表現の幅を広げます。上部は、ディスプレイのほかに、通信、測位、ディスプレイ・ボットの動作制御のための装置が配置されています。下部には、走行機構とバッテリーが配置されています。
ディスプレイ・ボットを含むシステム全体の概要図を図4に示します。編集システムとは、最終的に表現したい空間全体の映像表現を基に、複数のディスプレイ・ボットの動かし方、割り当てる映像コンテンツがプログラムされているシナリオを生成するためのシステムです。次に、制御システムから、そのシナリオや映像コンテンツをディスプレイ・ボットに配信し実行します。このようにして、ディスプレイ・ボットによる群れとしての有機的な動きを実現しています。
ディスプレイ・ボットどうしが10数センチのレベルで近接しながら動作をするために、各ディスプレイ・ボットの位置を正確に計測する必要があります。従来の実証実験は屋内で行われたため、測位には赤外線搭載カメラと反射マーカーを用いたモーションキャプチャを用いましたが、今回の聖火リレーイベントは、屋外となるため、適用が困難となりました。屋外では、GPSの利用が一般的ですが、通常のGPSの測位精度は数メートル以上になり、そのまま適用することはできません。そこで今回は、RTK-GNSSという高精度測位システムを採用しました。しかし、RTK-GNSSは、まだ利用実績も少なく、しかも、今回のように60台規模の同時制御は、世界初のチャレンジとなります。RTK-GNSSは、通常のGPSアンテナから取得される測位情報に加えて、基準局と呼ばれる別の位置での観測データを基にリアルタイムで作成される補正情報を用いることで、屋外においても高精度（数センチの誤差）な測位を可能にします。今回は、RTK-GNSSに、NTTドコモのサービスである「docomo IoT高精度GNSS位置情報サービス（3）」を適用しました。RTK-GNSSを用いれば正確な位置情報を取得することが可能となりますが、正確な方向を計測することはできません。正確な方向が把握できない場合、各ブランドボットのディスプレイの方向がバラバラとなり全体の映像が乱れてしまいます。今回、ディスプレイ・ボットに、対角上に2本のアンテナを搭載し、その差分情報を用いて方向取得を行いました。
ディスプレイ・ボットは、制御システムとの通信用に独自規格であるLaird通信（2.4 GHz）とWi-Fi通信（2.4 GHz/5.2 GHz）を、docomo IoT高精度GNSS位置情報サービスとの通信用にモバイルルータでの4G LTE通信を使用しています。
走行開始時には、オペレータの操作を契機に制御システム側からシナリオが各ディスプレイ・ボットに無線通信で一斉に伝達され、各ディスプレイ・ボットがシナリオに沿って走行を開始します。ディスプレイ・ボットは、シナリオに沿った動作をしますが、制御システムとも常に協調して動作することで、万一の場合の一斉停止や減速などのオペレータ指示によるリアルタイムでの制御も可能になっています。

100台のディスプレイ・ボットを用いたテストには、それを保管、充電、走行が行えるほど十分に広く、RTK-GNSS用の衛星電波が受信できるほど見通しの良い空間が必要となります。今回は、その条件を満たすNTT筑波研究開発センタ（茨城県つくば市）でテストを行いました。東京2020大会の開催延期決定後、テストを再開した時点では、アルスエレクトロニカのメンバーと共同でイベント本番に臨む予定でした。しかし、新型コロナウイルス感染は、私たちの期待どおりに収束することはなく、本番に来日できない可能性が日増しに高まってきました。その結果、早い時期に以下の方針転換を行いました（図5、6）。
・本番および筑波での制御や準備は、NTTを中心とする日本側のメンバーのみで実施
・アルスエレクトロニカのメンバーは来日せず、オンラインでオペレーション等をサポート
この結果、本来、アルスエレクトロニカのメンバーが担当する予定であったハードウェアのトラブル対応、問題発生時の状況把握や分析など、NTTの担当者では不慣れな作業も多く、オーストリアへの問合せ対応を遠隔で行う稼働が多くなりました。オーストリアとの時差の問題もあり、時間的にも制約が多い中、テストや問題分析・対処を効率的に進める必要がありました。

2021年4月13日、万博記念公園の太陽の広場前で第1回目のイベント本番を迎えました。万博記念公園を象徴する太陽の塔が正面に見える場所において、その日の最終聖火ランナーによるトーチキスの瞬間をディスプレイ・ボット群による空間表現で迎えます。
準備のため大阪入りした4月7日ごろ、大阪府内の新型コロナの新規感染者数が急増しはじめ、3回目の緊急事態宣言発令が懸念されるようになりました。結局、4月7日に、公道での聖火リレーの中止と、代替となる万博記念公園内での聖火リレー実施が発表されました。これに伴い、4月13日のイベント本番の中止は避けられましたが、無観客での開催となりました。また、緊急事態宣言中につき日没後に赤くライトアップされた太陽の塔前での演出を避けるようにとの大阪府からの要請がありました。それにこたえるため、本番開始時間を日没前に早める必要がありましたが、ディスプレイ・ボットは暗闇の中で映像群が動くことによって、不思議な空間表現をつくり上げるため、日没前の実施は、その魅力を大きく損わせてしまう可能性がありました。また、大阪に到着してからディスプレイ・ボットのハードウェア故障が多数発生したことや、現地でのGPS受信状況が悪く事前リハーサルで測位に失敗したことなどを踏まえ、大阪での本番は安全を考慮しディスプレイ・ボット48台を静止した状態で行うことにしました。本番は、雨天の厳しい中、静止したディスプレイ・ボットが聖火ランナーを迎え入れ、トーチキスに合わせてディスプレイ・ボット上に光が連動して広がっていく表現となりました。
大阪イベント終了後、6月30日に行われる横浜イベントに向けて、大きく２つの課題を解決する必要がありました。１番目は、故障したディスプレイ・ボットの修繕です。全体の半数以上に何らかのトラブルがあり、本番に向けてはトラブルの解析や修理などを迅速に行い、なるべく多くの動作可能なディスプレイ・ボットを確保する必要がありました。ディスプレイ・ボットの修繕に関しては、オーストリアに返送して修理を行う必要があるもの、日本で対応できるものなどを、切り分けたあと、全体の演出に必要な台数、修理にかかる日数、テストに必要な日数など、あらゆる状況を考慮し、修繕計画をつくり上げ、日々の状況によって、計画をダイナミックに変更していきました。その結果、本番までに48台の正常なディスプレイ・ボットを確保することができました。
２番目は、不安定となる測位の改善です。測位は、本番当日のGPS衛星の配置や周辺環境による影響が大きく、同じ場所で事前テストを行い、良い結果が得られたとしても、本番でも同様の結果が得られるとは限りません。そこで、２つの方法で、測位の確実性を高めました。１番目は、アンテナ設置方法の改善です。大阪の経験から、アンテナの位置を高めることが、測位の安定化につながりやすいことが分かっていました。しかし、あまり高すぎるアンテナの設置は、アンテナ固定を難しくしたり、見た目を悪くしたりするなど課題も多いため、バランスの良い高さを見つける必要があります。さまざまなテストを行った結果、ディスプレイ面から15 cm程度の高さが最適となりました。２番目は、フェイルセーフな測位の実現です。もしRTK-GNSSによる測位が失敗した場合でも、測位を続けられるようにします。そのために、私たちは、ディスプレイ・ボットの車輪の回転量等を用いて位置と方向を推定するオドメトリ手法を利用しました。
2021年6月30日、横浜赤レンガ倉庫で第2回目のイベント本番を迎えました。新型コロナの状況を踏まえ、大阪同様、一般応募による現地観覧は中止となり、オンライン配信のみでの実施となりました。ディスプレイ・ボットは、リハーサルから本番までの間、故障することはなく、また、測位も、安定しておりほとんど失敗することがありませんでした。ディスプレイ・ボットのプログラムは、赤レンガ倉庫１号館・２号館に挟まれたエリアで、その日の最後のトーチキスを48台のディスプレイ・ボットが動きながら映像とともに幻想的な空間を演出し、最終ランナーを聖火皿への点火へと送り出すことができました（図7）。

今回、大阪・横浜ともに一般応募による現地観覧は中止となったことで、一般の方々には現地でディスプレイ・ボットの演出を体験いただくことができませんでした。しかしながら、オンラインの配信を通じて、聖火ランナーの周囲を彩るディスプレイ・ボットの群れの光と動きによる演出を楽しんでいただくとともに、東京2020オリンピック聖火リレーの象徴的なシーンとして開会式など多くのメディアで取り上げられたことは大きな成果でした。
今後も、アートとテクノロジの融合のさらなる可能性について検討を進める予定です。

今回のディスプレイ・ボットによる聖火ランナー応援プログラムの実施にあたっては、イベントの実施に理解をいただいた大阪府や神奈川県の皆様、本番だけでなく事前のリハーサルや検証でもご協力いただいた電通・電通ライブの皆様、アルスエレクトロニカのメンバー、その他多くの皆様にご協力いただきましたことを深く感謝いたします。

■参考文献
（1）http://akiko.co.jp/akikoweb
（2）https://eiwada.com
（3）https://www.nttdocomo.co.jp/biz/service/highprecision_gnss_positioning/