特集
パーソナライズドサウンドゾーン実現に向けた取り組みとその展望
- パーソナライズドサウンドゾーン
- 究極の音空間
- 新たな音響体験
パーソナライズドサウンドゾーン(PSZ)とは、「聴きたい音だけが聴ける世界、聴かせたい音だけが聴かせられる」を可能とする究極の音空間であり、場所を選ばずに仕事やエンタテインメント体験が享受できる新たなライフスタイル、実空間・バーチャル音空間融合による新たな音響体験、リビング並みに静かで離れた席どうしで快適に対話ができる自動運転カー、聴力の能力拡張による生活の質の向上などの実現をめざしています。本特集では、このPSZの実現に向けた挑戦について紹介します。
阪内 澄宇(さかうち すみたか)
NTTコンピュータ&データサイエンス研究所 所長
新たなライフスタイルに向けた音響環境
働き方改革および新型コロナウイルスの影響により、従来のようにオフィスに出社する働き方が見直され、場所や時間にとらわれない柔軟なワークスタイルが注目を浴びています。また、感染症対策をきっかけに始まったリモート応援・観劇も新たな文化として根付きつつあります。こういった新たなライフスタイルの実現のためには、どんな場所でも快適に仕事やエンタテインメント体験をするための環境を整えることが大切であり、特に「音」の環境(音空間)がその重要なファクタを占めると考えています。
在宅勤務を題材に、理想的な音空間を例として示します。図1の例では、Web会議中の相手の声が外に漏れず自分にだけ聴こえる、外の子どもの騒ぎ声は遮断され自分にも通話相手にも聴こえず、玄関のチャイム音などの外部の聴きたい音は通過する、というシーンを描いています。このように、聴きたい音だけ聴ける、聴かせたい音だけ届けられるといった音空間を実現できれば、快適な在宅勤務ができるようになると考えられます。
こういった理想的な音空間の実現は、単に世の中を「便利」にするだけではなく、さまざまな困りごとを持つ人たちの助けにもなると考えています。現在、全世界で4.3億人(人口の5%)を超える人が難聴であるといわれています。このような人たちに対して、目の前にいる話し相手の聴き取りづらい声を適正な音量で聴こえるように強調する、不快に感じる過敏な音を抑制したり、聴き逃してしまう危険な音を検知し通知したりといったことが実現できるようになります。
パーソナライズドサウンドゾーン(PSZ)技術とは
このような1人ひとりに最適な音空間を「パーソナライズドサウンドゾーン(PSZ)」として提唱しました(1)。PSZとは、周囲の音から聴きたくない音を遮断し、自分の聴きたい音だけを聴き、他の人へ自分の音を「漏らさない」といった、まさに自分専用の音空間、サウンドゾーンの実現をめざす概念です。この音空間を1人ひとりに合わせて制御することにより、個人個人が望む快適な生活空間が享受できる世界をめざしています。
PSZの実現に向けては、周囲の音情報を把握し、それを理解したうえで、適切に音を制御する技術を組み合わせて実現する必要があり、人の音の感じ取り方を扱う音響心理・音波の伝搬を記述する波動方程式・実際に音の入出力を行う音響デバイス(マイク・スピーカ)の構造などのハードウェア・信号処理・音響シーン把握に至るまで、さまざまな技術領域への取り組みが必要になります。これらに対してNTTコンピュータ&データサイエンス研究所では、「ハードウェアとソフトウェアの融合」というアプローチで、以下4つの技術要素「スポット再生技術」「音響XR技術」「能動騒音制御技術」「所望音選別技術」に取り組んでいます(図2)。
(1) スポット再生技術:聴きたい人にだけ聴かせる技術
周囲に音を聴かせないように音を聴くためには、これまではイヤホンやヘッドホンを装着する手段が用いられてきました。しかし、着用の煩わしさ、長時間使用による疲れや難聴のおそれ、周囲の状況や危険の察知しづらさなど、多くの問題がありました。このため、イヤホンやヘッドホンを用いずに対象の受聴者のみが聴こえるようなスポット再生ができれば、これらの問題を解消でき、より便利になります。スピーカ筐体やハードウェア構成の工夫により逆相の波を放射することにより音漏れ音を打ち消し、音を耳元近傍に閉じ込めるスポット再生技術に取り組んできました(2)(図3)。
(2) 音響XR技術:音を自分好みにする、新たな音響空間を創り上げる
これまでイヤホンやヘッドホンから提示される音を楽しむ、またスピーカから聴こえてくる音を楽しむことが一般的でした。耳を塞がず音を漏らさない音響デバイスの特徴である周囲の音を自然に取り込む構造を利用して、周囲で発生する実世界の音とデバイスの音を組み合わせて融合させて聴くことで新しい音響体験を享受できる音響XR技術を提唱し、スピーカの音とイヤホンからの音を融合したステージの音響演出、実空間の音についても考慮した音声ガイド重畳に取り組んでいます(2)(図4)。
(3) 能動騒音制御技術:不要な音が聴こえない
現在、広く実用化されているイヤホンなどのノイズキャンセリングは、音を消す空間が狭く、また騒音の耳への到達の経路も単純なため、実現が容易です。しかし、長時間イヤホンを装着するのは、外耳炎などのリスクを高めますし、快適性が損なわれます。身体に装着しなくてもよい機器で、不要な音を消す技術が実現できれば、より便利になり利用シーンも広がります。そのような課題に対して、従来の技術として多数のマイク・スピーカを使って実現する方法がありますが、NTTでは高速低遅延処理とスピーカ筐体・マイク配置の最適化により少マイク数・スピーカ数で耳を塞ぐことなく騒音を打ち消す技術に取り組んでいます(3)。
(4) 所望音選別技術:所望の音のみが聴こえる
PSZを構成する要素である、「必要な音は通す」技術です。例えば自動車の車室内では、外からの騒音は遮断したいが、緊急車両のサイレン音などはできるだけ早く気付きたいので車室内に届けてほしいというニーズがあります。私たちはマイクで観測した音響信号から、深層ニューラルネットワーク(Deep Neural Network:DNN)を用いて「どの方位から・どんな音が発生したか」を推定する技術を開発し、車にも応用し、所望音とその方位を抽出して音を再現することで「必要な音は通す」ことを実現しました(図5)。また、こうした応用では遠方から到来する所望音を瞬時に分析する必要がありますが、これらは多くの雑音や残響の影響を受けて変化するために方位と種類の識別が困難です。そこで、反響音と背景雑音の分析に基づく周囲環境への適応により環境変化に頑健な推定を可能とし(4)、マイクロフォンアレイ信号処理に基づく音波の物理的特徴の活用により精度維持したままの実時間動作を可能としています(5)。
これら要素技術の1つひとつは、多くの企業や研究機関において研究がなされています。しかし、多くは単独の技術の性能向上に主眼が置かれたもので、耳を塞ぐ音響デバイスを利用するものであったり、多数のハードウェアを必要とするような、実応用に向けてはハードルのある取り組みも多くあります。NTTコンピュータ&データサイエンス研究所では、「耳を塞がない」「ユーザに負担をかけない」という価値を軸として技術検討を進めており、現実の音空間とサイバーな音空間を融合することで新たなライフスタイル実現・エンタテインメント体験を生み出すことをめざしています。
NTTソノリティの設立
NTTコンピュータ&データサイエンス研究所が開発したPSZ要素技術などを用いて音響関連事業を行うNTTソノリティを2021年9月1日に設立しました。PSZ要素技術の航空機シート、自動車シート、オフィスチェアなどへのB向けの展開と、ポータブルスピーカ、ウェアラブルデバイス(イヤホン、ネックスピーカ)などのC向け展開、法人向けの次世代音声DX(デジタルトランスフォーメーション)サービスの事業を行っています。2022年7月には、研究所で開発した耳元に音を閉じ込める技術をイヤホンに応用した製品化を成し遂げ、さまざまなイベントの音響演出にも活用できており、PSZ要素技術をより早くお客さまの元に届けることができています。
PSZ実現による「音に紐付く人々のライフスタイルの変革」
PSZ実現に向けた技術的な課題はまだまだ残っており、今後もハードウェア・ソフトウェア融合のアプローチで、研究開発を行っていきます。またPSZの実現に向けてNTTソノリティをはじめとして、社内外と連携し、音響演出など実フィールドでの検証を進め技術のフィジビリティを高めていきます。将来には、まるで眼鏡のように日常生活に溶け込むかたちで、耳を塞がない音響デバイスを常時身に着けて音響サービスを受け続けられる新たなライフスタイルを実現し、リモートワークやオフィス、エンタテインメント、モビリティなど幅広い利用シーンで「音に紐付く人々のライフスタイルの変容」を促すような大きなインパクトを生んでいきたいと考えます。そして音響デバイスを着けた方が「より楽しめる」世界を実現したいと考えています。
■参考文献
(1) 福井・齊藤・小林:“究極のプライベート音空間を実現するメディア処理技術,”NTT技術ジャーナル,Vol. 32, No. 10, pp. 52-56, 2020.
(2) 加古:“逆相音波の放射により音漏れを最小限に抑えるオープンイヤー型イヤホンの開発と音響XRのサービス実現に向けて,”信学技報,Vol. 123, No. 170, EA2023-27, pp. 53-60, 2023.
(3) 伊藤・小塚・川瀬・鎌土:“耳をふさがない騒音制御システムの実用化を目指して,”日本音響学会誌,Vol. 80, No. 5, 2024.
(4) M. Yasuda, Y. Ohishi, and S. Saito:&”Echo-Aware Adaptation of Sound Event Localization and Detection in Unknown Environments,&”Proc. of ICASSP 2022, pp. 226-230, 2022.
(5) M. Yasuda, Y. Koizumi, S. Saito, H.Uematsu, and K. Imoto:”Sound Event Localization based on Sound Intensity Vector Refined By DNN-based Denoising and Source Separation,”Proc. of ICASSP 2020, pp. 651-655, 2020.
阪内 澄宇
問い合わせ先
NTTコンピュータ&データサイエンス研究所
企画担当
TEL 046-859-4003
E-mail cd-koho-ml@ntt.com
PSZを実現し、リモートワークやオフィス、エンタテインメント、モビリティなど幅広い利用シーンで「音に紐付く人々の生活スタイルの変容」を促すような大きなインパクトを生んでいきたいと考えます。