万博においてNTTが掲げるビジョンの1つである「まるで隣にいるような、存在を感じる未来のコミュニケーションを創出」をめざし、NTTパビリオンではIOWN（Innovative Optical and Wireless Network）を活用した新しい体験が提供されています。その1つが、リアルタイムに空間をまるごと伝送することで、五感を通して遠く離れた空間を感じるコミュニケーションの体験です。私が所属するチームでは、遠隔地にいる人がまるで“そこにいる”かのように存在感を振動で伝える「触覚振動音場提示技術」を担当しました。
具体的には、万博記念公園で行われる音楽ユニットPerfumeの皆さんのパフォーマンスを、約25km離れた夢洲の会場へIOWNを通じてリアルタイムに伝送する試みです。私たちのチームでは、ダンスのステップにより発生する振動をセンサでとらえ、夢洲の観客席の床裏に設置した128個の振動子により振動を提示し、あたかもその場で本人がダンスをしているかのような存在感の提示をめざしました。
私はHCI（Human-Computer Interaction）を専門とし、近年ではマルチモーダルなUI（User Interface）/UX（User Experience）、つまり複数の感覚を通じた人とコンピュータのデザインについて研究を行っています。今回扱った触覚は、人の身体や空間認知に深くかかわる感覚です。今回は「映像や音楽に加えられた振動が、観客に演者の存在を感じさせるのか」という点に着目し、探求しました。
事前の実験段階では、振動を提示する床のプロトタイプを複数タイプ構築し、歩行やダンス等を行った際の映像と振動を収録・提示しながら検証を進めました。検証の中で、「今、後ろに誰かが歩いていた気がした」という声や、移動する振動を避けるような被験者の動きが観察され、床から提示される振動がただの物理刺激ではなく、存在感や没入感に影響を与える可能性を強く実感しました。一方で、こうした存在感を実際に質の高いコンテンツとして実現するには困難もありました。振動は出力装置の物理特性に依存します。加えて、客席は90平米ほどあり観客は好きな位置に立って鑑賞できます。触覚提示デバイスとしては大規模なため、実装コストやシステムの実現可能性の観点から振動子数を間引きながらも、振動を床全体へ伝播させる方法が求められました。そこで、振動子の選定・システム構築だけでなく、振動を効率よく伝播させる床の構造や施工方法について設計を行い、施工期間には実際に工事現場に入り、関連メンバと協力しながら自分達の手で振動提示のための床を実現させました。
また、映像と振動から知覚される印象にギャップや、時間的なズレがあると違和感が生まれ、存在感に影響があることも問題となりました。センサで収録した振動をそのまま提示するとモコモコとした印象を受け、ハイヒールでダンスをしている映像から受けるカツカツとした印象とは異なります。こうした映像との違和感や不一致を音響処理の手法やパラメータを試行錯誤しながら突き詰め、最終的には映像や音楽と調和した振動提示により、存在感を感じさせる質の高いコンテンツを実現しました。
さらに、社外のパフォーマー・演出家・運用・技術チームとの共創も大きな挑戦でした。リハーサルを重ねる中で「振動に広がりがほしい」「カツカツとした感じがもっとほしい」「振動とスピーカのタイミングがずれている」などのフィードバックをいただきながら、毎日全体で連携しシステムの改良、各処理の見直し、パラメータの再調整を行いました。逆に、演出家やパフォーマーの方とは振動を意識した、普段とは異なるステップについて相談させていただくこともありました。公演直前のギリギリまで一丸となり細部を詰めていく時間は技術的なハードルやそれを乗り越える苦労もありましたが、極めてクリエイティブでエンジニアリングであり、貴重な体験でした。NTTパビリオンの来場者からは、「足音の振動がすごくてそこにPerfumeいる？って錯覚した」「振動は鳥肌……ライブよりリアル」「振動も合わさると、ふと“存在”を感じる瞬間があってゾクッとした」「振動ありのライブビューイングをもっとやってほしい」という振動への高い評価を多数いただきました。社内外のプロフェッショナルとの共創により「振動が新しい意味を生む」という新たな体験を実現できたことに大きな喜びと感謝を感じました。
こうした振動を使った存在感の拡張はエンタメ領域だけでなく、多様なシーンへの応用可能性を秘めていると考えています。さまざまな場面で人と人が距離を超えてつながる感覚や体験を、HCIをベースとして共創により実現していきたいと思います。