超高臨場感通信、Kirari!については『IOWN構想—インターネットの先へ—』に次のように載っている。
「遠隔地にネットワークを介して、リアルタイムに競技空間やライブ空間を『丸ごと』伝送し、遠隔地においてもあたかも本会場にいるかのような体験を可能にする技術」。
これだけ読んでも何のことかまったくわからない。そこで、私は2年近くの間、数回にわたって、同技術の試演を見に出かけた。
大画面で空間を再現する技術、背景から人物だけを浮き出し、目の前の空間に転送する技術、現場にある音を再現する技術が達成されている。
開発したのは常務執行役員、研究企画部門長の川添雄彦、現場は木下真吾とそのチームである。
まず、川添がKirari!を構想したのは、現地へ行って見るライブでなく、自宅で見るテレビ放送でもない、第3の楽しみ方があるのではないかと、ふと思いついたからだ。
「圧倒的多数の方はスポーツを見る時はテレビを利用します。テレビの画面は決まったサイズです。縦と横の比率は9対16。そして、テレビのスポーツ中継はライブのそれとは違うものです。感動を呼ぶための演出、工夫があるのです」。
たとえば、野球中継の場合、ピッチャーやバッター、フライを追う選手の姿や顔がアップになる。だが、スタジアムの観客席にいたら、どの席でもアップになった選手の表情は見えないのである。また、スローモーションでもう一度、ホームランを見ることはもちろんできない。スタジアムの大画面ビジョンに映ることはある。しかし、ライブの映像をそのままスローモーションで見せることは、今のところ、まだできない技術なのである。
つまり、テレビのスポーツ中継には演出がある。テレビのスポーツ中継とは劇場中継を下敷きにして生まれた演出された動画表現なのである。
川添は演出のないスポーツ現場をそのまま持ってきたいと考えた。
「テレビ中継の分野の映像ではプロにはかないません。ですから、僕らはまるごとウインドサーフィンが走る海、野球をやる球場を再現しようと思ったのです。
現場に行ったら、観客はいろいろなところを見ています。つねに何かを発見しています。テレビ放送は見るだけです。発見はありません。たとえば野球場へ行ったら、選手だけでなく、三塁コーチのサインの出し方を見たりしています。アンパイヤがストライクとかボールとコールしている様子を真剣に見ていたりします。あるいはビールが飲みたいからと売り子さんを探していたりします。ライブの面白さは発見です。自分が主体的に何かを発見することなんです」。
川添は技術者だ。発見することが仕事だから、ただ、映像を与えられるだけのテレビ中継には不満があったのだろう。彼はどこへ行っても何かを発見したかったのである。
現場を丸ごと持ってくること、つまり、臨場感を出すには現場にいるのと変わらない環境を作らなければならない。
現場の空気感がいる。音もまた単なるステレオ再生ではまったく足りない。現場に漂うかすかな音もすべて拾ってこなくては現場そのものにはならない。球場であればビールの売り子の声、隣の観客が叫ぶ声も必要だ。こういう音声はテレビ、ネットのスポーツ中継では絶対に入らない。しかし、Kirari!では再現されている。
なお、彼自身がウインドサーフィンの選手だったこともKirari!を開発するための大きな動機ともなった。
ウインドサーフィンやヨットの競技はそもそもすぐそばで見ることができない。間近で見ようと思えばお金を払って船を出さなくてはならない。それに、船酔いする人は乗船すらできないのである。ウインドサーフィンだけではない。冬季の登山、スキーといったエクストリームスポーツは現場に行くことが不可能だ。しかし、この技術があればリアルタイムに臨場した気分になることができる。
川添は「コロナ禍でも通用する技術です」と言った。
「Kirari!はライブとテレビ視聴の中間にあるものです。二極化された世界におけるもうひとつの解答ともいうべきでしょうか。今回のコロナ禍で、私たちは二極化された状態にいます。リモートもしくはリアル、安全かそれとも経済か。しかし、私たちが望んでいるのはどちらかではなく、ふたつとも、もしくは2極が融合した場だと思うのです。スポーツやエンタテインメントにおける融合ポイントがまさにKirari!なんです。Kirari!の実験は中村獅童さんが出た歌舞伎、Perfumeが出演したコンサートでも行いました。コロナ禍でミュージシャンが困っている今こそ、もっと役立てたいと思っています」。

Kirari!は大画面のスクリーン、スピーカーを使う。だが、技術の根幹は光ファイバ、中継網、無線技術といった通信技術であり、その運用技術だ。それこそ日本の通信技術のすべてがKirari!を支えている。
明治維新後に電線を引いて、電信を始め、電話が登場し、やがてインターネットが始まる。NTTの前身の逓信省、電電公社が日本の津々浦々に電柱を立て、電線を引いた。それを光ファイバに引き換えたからこそ可能となった技術である。開発したのは川添、木下たちが中心だけれど、電柱を立てた明治期の人々の努力がなければこの技術は生まれなかった。もっと簡単に言えば全国に張り巡らされているのが電線だったら、超高臨場感は実現できなかった。
さて、木下が数十名のチームとともに開発しなくてはならない具体的な技術は4つあった。
ひとつは「超ワイド映像合成技術」だ。4Kカメラでスポーツの現場全体を分割して撮影し、それをリアルタイムでつなぎ合わせる。すると、高精細な180度のパノラマ映像ができる。
木下は「海の上を映したウインドサーフィンの映像を例に取り上げます」と説明を始めた。場所は何度目かの横須賀研究開発センタである。
「カメラ自体は4Kのカメラで、扇形に4台から5台を並べて撮影します。対象はどんなスポーツでもいいでしょう。問題は画像のつなぎ目なんです。映像自体をAIで処理しています。つなぎ目のところの形、色、照度をすべて補正して、つながっているように映像を作り直しているわけです。
録画した映像でしたら、時間をかけてコンピュータで補正すればいい。リアルタイムで自動的に行う技術を開発するには時間がかかりました。我々は通信会社なので、カメラの性能を上げたわけではありません。複数台の4Kカメラであれば原理的にはOKです。通信とシステムの技術です」。
2番目は「任意背景被写体抽出技術」だ。競技場を映した場合、選手の背景には観客席が映る。その映像から選手の姿だけを切り出すことができる技術である。
映像からの被写体抽出技術といえば、クロマキー撮影が一般的だ。バックにブルーやグリーンのスクリーンを張り、その前に人物を立たせて撮影する、いわゆるブルーバック合成である。
だが、Kirari!の技術は観客席をブルーバックにしなくとも、選手だけを切り出すことができる。それが任意背景からの抽出だ。
木下はこう説明する。
「雑多な背景から人物だけを抽出して、あたかもそこにいるかのような像にすることもできます。たとえば、バドミントンの試合です。選手の背後には観客席があります。リアルタイムで背景から選手だけを取り出すのです」。
選手だけを抽出した映像を作る場合、現場の設備を再現すると、さらにリアルに感じる。わたしは本物の卓球台が置かれた場所で、抽出技術を見た。部屋のなかに薄い膜のようなスクリーンがあり、その向こうには本物の卓球台があった。遠隔地で行われていた卓球の試合から選手ふたりだけが転送されてきて、目の前で卓球の試合をするのである。選手は立体的に映っていた。
しかし、ピンポン球が卓球台に当たる音、スマッシュの音などがリアルだったのが印象に残る。
卓球に限らず、バドミントン、ボクシングといった競技をKirari!を使ったパブリックビューイングで見る場合は本物と同じ卓球台、ネット、リングを用意するだけで臨場感がぐっと増すのである。

3番目は画像を同期する技術、「超高臨場感メディア同期技術」である。
この技術は映像や音声など複数のデータを絶対時刻を基に同期して伝送する技術だ。
撮影対象の大きさや位置関係、音声の方向などの三次元情報、そして照明などの環境情報を同期する。すなわち、撮影した瞬間に照明の明るさなどをすべて均一にしてしまうから、複数のカメラで撮影しても、つなぎ目が現れないのである。コンピュータで編集しているのだが、録画ではなく、撮影と同時に自動的に同期してしまうところが画期的なのである。
4番目の技術は音響だ。
「スピーカーを置いていない客席近くにまで音が飛び出したり、実際には映っていない観客の声を再現するなど、音響効果だけで競技会場との一体感を感じる演出を可能にしてある。
直線状の2次音源（スピーカアレイ）を制御して、会場中に任意の音場を作り出す高度な音響再生技術」。
音響技術もNTT横須賀研究開発センタの一室で試聴した。野球の試合を超ワイド映像で映したもので、撮影カメラがあった位置は監督や選手たちがいる3塁側のダッグアウト横だった。わたしはダッグアウトのすぐ横にいるような錯覚を覚えた。
選手の目線で試合を見ていた。バットでボールを打つ、カーンという音も観客席ではなく、ダッグアウトで聞く音だった。自分自身が選手のひとりになったのと同じなのである。
驚いたのは選手の話し声だ。マイクをカメラの位置に置いておくと、ダッグアウトにいる選手がバッターを応援する声もちゃんと聞こえてくるのである。
「超高臨場」とはそういうことだ。
しかし、この技術は追求していくと、きりがないのではないか。たとえば、野球場をKirari!で映し出すとする。映像、音声はこのままでいい。ただ、さらに臨場感を出そうとするならば、美術、大道具、小道具も設営してしかるべきではないか。ビールの売り子も用意して、ビールを飲めるようにする。清涼飲料、ピーナッツなども用意する。客席もスタジアムのような傾斜をつけた席に座る。キャラクターグッズの売店もある…。野球場へ行った時と同じようにしてほしい。
木下は苦笑しながら「いいですね、そのアイデア」とうなずいた。
「スポーツもいいけれど、エンタテインメントの可能性も十分あります。コロナ禍ですから、どこの会場も客席を減らしているでしょう。ミュージシャンのみなさんはさぞ困っていることと思います。ライブ会場の他に、いくつかの場所でKirari!を使ったパブリックビューイングをやればミュージシャンの方々も助かると思います。演劇やミュージカルも可能です。
また、超ワイド映像ですけれど、床にLEDパネルを貼ればプールを再現することもできます。水泳の競技をパブリックビューイングすることもできます」。
木下の話は続いた。
「超ワイドの場合だと、野球、サッカーのように広がりがあるスポーツがいいでしょうね。テレビ画面でずっと引いた映像だと視聴者は面白く感じないと思います。ただ、ライブスポーツの醍醐味は面白くない時間もあるということなんです。球場の客席に座って、ぼーっと空を眺めたりして。広い空間をそのまま感じることも発見の楽しみですね。特にメジャーリーグの球場へ行くと私はそう感じます。ホットドッグの売り子さんを見たり、周りを眺めたり…」。

木下は言った。
「ウインドサーフィンの映像なんて、これまで誰も撮ったことはないと思います。漁船の舳先に小型の4Kカメラを4台、扇形に並べます。そのまま撮ったものを5Gの無線通信で船から伝送して、陸上にある編集基地のところで受けて、それを光ファイバ網で送る。高速で低遅延、高品質だからできることです。また、スクリーンにプロジェクターで映す場合は光の重なりがある部分が画像の切れ目のように見えてしまいますけれど、LEDのモジュールを並べたものであれば、すべてきれいにつながった映像が画面上に流れます（図）。
江ノ島の海岸でテストをやった時は60メートル級の台船を海に浮かべました。実際の競技会場では横50メートル、縦5メートルのLEDモジュール(50 cm×50 cm)で作ったスクリーンを置きます。海の上にスクリーンがある感じです。等身大もしくはそれ以上の大きさのウインドサーフィンが海を疾走するから、見ている人たちは感激するでしょう」。
木下は付け加えた。
「いずれは家庭でもKirari!の映像がそのまま見られるようにしたいのですが、その場合は光ファイバや5G、6Gの無線通信が普及していることが前提です」。

特別連載は今回が最終回ですが、超高臨場感通信Kirari!の続編を企画中です。