NTT研究所では、スポーツを通じた共生社会の実現をめざし、視覚障がい者がスポーツ観戦を楽しむための観戦手法の研究を行ってきました。これまで、視覚障がい者向けの観戦方法は、ラジオやテレビの実況中継が主流でした。しかし言葉による解説では動作の詳細（例えばラリーのリズムや打球のインパクトなど）が伝わりにくく、プレーの迫力をそのままに感じられないという課題もあります（1）。視覚に障がいを持つ方がスポーツを観戦するためには、視覚以外の感覚情報を使う方法があります。その1つとして、「音」があります。本プロジェクトでは、音が主役のゴールボール競技を対象に、超高臨場感通信技術 Kirari!を用いて、競技コートの音響空間を100台のスピーカーにより再現しました（図1）。この音を用いたゴールボール観戦体験（「耳で見るゴールボール」）では、音だけでボールの動きを追えるようにすることで、視覚に障がいを持つ方にも、ゴールボール観戦を楽しむとともに、あたかも競技コートの中にいるかのような臨場感のある観戦体験を届けることを可能とします。

「耳で見るゴールボール」では、実寸大の競技コートを模した観戦エリアをつくり、体験者はゴール前の選手が位置するエリア（チームエリア）の音響を体験することができます（図2）。観戦席の前後にはそれぞれ50台からなるスピーカーの列（スピーカーアレイ）が配置され、競技コート上のボールの位置を反映して、ボールのバウンド音と選手の動作音を逐次合成します。これによって、観戦体験者は、音だけで選手やボールの動きを追うことができ、かつ、あたかも競技コートの中にいるかのように、ボールが自分に向かって飛び出してくるような迫力ある音の体験をすることができます。

Kirari!とは、観戦者が競技会場から離れた場所にいても、あたかも競技場にいるかのような観戦体験を実現するための通信技術です（2）。本プロジェクトではKirari!の技術要素の1つ、「高臨場音像定位技術」を使った音響体験の実現を試みました。高臨場音像定位技術は、音の空間的・物理的な波面を物理モデルに基づき再現する音響再生技術の1つです（3）。競技会場で1本のマイクで集音された音声を分離し、特定の音が任意の位置で発生したかのように再生します。本技術のポイントは、直線状に密に並べた多数のスピーカー群（スピーカーアレイ）にあります。各スピーカーから放射する音の再生タイミングとパワーを調整して任意の位置に音の焦点をつくることにより、あたかもそこに音源が存在するかのような音場を再現します。
本取り組みのシステム構成を図3に示します。競技運営上の制約があり、私たちの中継用カメラを設置することはできなかったため、放送映像を活用する構成としました。ゴールボール競技会場で撮影された試合映像は、放送局の放送設備を通じて遠隔会場に放送波として伝送されます。遠隔会場では、受信した放送波の映像から、ボールや選手の位置、また球種情報をリアルタイムに入力し、それらの時空間情報に基づいて音響空間をつくりあげます（図4）。
この放送映像から、ボールや選手の位置と球種情報を抽出することをめざしました。しかしながら、放送映像はカメラや画角が頻繁に変わるため、ボール位置を人手で入力するUI（User Interface）を採用しました（図5）。チームA、Bを担う担当者2名が本UIを実装したタブレット端末2台を用い、放送映像を視聴しながら、各チームの攻撃ごとに投球開始位置や時刻、投球種別（バウンド、グラウンド）、投球結果（防御、ゴール、アウト）などをボタン押下で入力します。入力結果に基づき、事前に用意した投球音の音源ファイルから音響情報を生成し、ネットワーク経由で高臨場音像定位技術へ入力することにより、ボールの投球状況をリアルタイムに再現します。

（1）　音像定位させる音の選択
選手が競技コートの中で聞いている音響空間を再現するとともに、その卓越した聴覚センスの一端を非競技者である体験者にも感じてもらうため、ゴールボール選手や視覚障がい者を設計の上流に巻き込む開発手法（インクルーシブ・デザイン手法）を用いて、音響制作を行いました。具体的にはインタビュー、投球シーンの観察、音響評価のプロセスにより、音響の要件定義および制作を行いました（図6）。競技会場ではさまざまな音が鳴りますが、その中で、特に選手は相手チームのかく乱音（床をたたくなどして投球位置を分からなくするために出す音）を意識から除外し、ボールを持った選手の助走音、ボールと床の接地音といった一連の「投球音」を“一筆書きのように”追って、常にボールの所在を探索することが明らかになったため、「投球音」（助走音・ボール音・防御やゴールなどの投球結果音）に着目して再現することとしました。つまり、物理的な競技会場の音響空間をそのまま再現するのではなく、鳴り響くさまざまな音から選手が選択的に感じ取っている音の再現を試みたのです。そうすることで、非競技者である体験者でも「選手の卓越した聴覚センス」を疑似体験できることをねらいとしました。
（2）　音像定位簡易化の工夫
まず投球コースについて、選手はゴールの端から端の距離（9m）を1m間隔の9分割で区別します。しかし非競技者の音による空間分解能は選手の能力に及ばないため、投球コースの位置情報をありのままに音像定位すると、位置の把握が難しいという問題があることが分かりました。そこで、ゴール方向の空間分解能を9分割から３分割（レフト・センター・ライト）に低減したところ、非競技者の音によるボール位置の認識率が向上しました。
さらに、非競技者である観戦体験者に、より音の定位に慣れていただくために、音による定位のレクチャーを目的とした「導入コンテンツ」を制作しました。導入コンテンツでは、試合観戦に備えて、さまざまな投球コースで投球音を音像定位します。非競技者からは、「徐々に音だけで投球コースが分かるようになった」という意見が聞かれ、観戦前に導入コンテンツを視聴することが試合理解に有用であることが示唆されました。以上のように、投球コースのシンプル化および導入コンテンツの制作によって、非競技者でも選手が試合中に聞いている音を追体験できる観戦システムが実現されました。

当初「耳で見るゴールボール」は、2021年の障がい者による世界最大のスポーツ大会の観戦イベントで実現されるはずでしたが、コロナ感染予防の観点からイベントを中止しました。しかし本番を見据えた体験検証においては、非競技者である視覚障がい者の方から、高い評価をいただきました。評価の観点は、「試合状況が理解できるか」「ゴールボールらしい音の質感を感じるか」「迫力・臨場感を感じるか」の3点で、評価協力者からは、「音の質感がリアルである。ボールが行き交う音の再現性が高い。本物の試合みたい」（競技者）といった声や、「TVと違ってボールがどこからどこへ向かっているかが分かった」「スタジアムだとコートの外から聞くので、本システムの方が競技コートの中にいるような臨場感を感じた」（視覚障がい者）といった声が聞かれました。一方で、「ボールを持った選手が移動する音も聞けるとさらにボールの位置が追いやすい」や、「選手の会話が聞けると戦略が分かってより良い」といった意見も聞かれ、複数音源の制御や、音声入手の工夫といった今後の改善点が得られました。総論としては、インクルーシブ・デザインにより、選手が感じるゴールボールらしい音に着目することで、非競技者でも試合状況を理解できる音響観戦システムを実現することができました。

今回、ゴールボールを音で楽しむ「耳で見るゴールボール」を試作し、視覚障がい者を含む方々に対して体験評価を行いました。当初は、高臨場音像定位技術を利用してコートを動くボールの音を再現する計画でしたが、評価を通じて、ボールの移動音だけでなく、選手の動きの音や一連の音のつながりが観戦体験に重要だという新たな気付きがありました。
本技術を提供する予定であった観戦イベントはコロナ禍において中止となりましたが、ゴールボール大会やパラスポーツ普及施策と連携して、本施策の成果を多くの人に体験していただく予定です。そして、さまざまな属性の方がICTの価値を享受できるように、今後もインクルーシブな視点を忘れずに研究開発を続けます。

本技術実証の実現に向け、安達阿記子選手（リーフラス株式会社）をはじめ音響評価にご協力いただいた選手や視覚障がい者の方々、また体験設計にご意見・協力いただいた横浜市および横浜市立盲特別支援学校の教員の皆様、一般社団法人日本ゴールボール協会や公益財団法人日本パラスポーツ協会の皆様に感謝申し上げます。

■参考文献
（1）　林・伊藤・渡邊：“スポーツ・ソーシャル・ビュー：競技を身体的に翻訳し視覚障がい者と共有する生成的スポーツ観戦手法，”日本バーチャルリアリティ学会論文誌，Vol.25，No.3, pp. 216-227, 2020.
（2）　https://group.ntt/jp/magazine/blog/kirari/
（3）　https://www.ntt.co.jp/journal/1710/files/JN20171024.pdf