私が研究している「感性コミュニケーションの実現に向けた脳科学応用技術」とは、脳科学の知見や技術を用いて、伝えたい情報を相手に100％正確に伝わるコミュニケーションの確立をめざす技術です。従来の言語を用いたコミュニケーションでは、多少の行き違い（ミスコミュニケーション）や対話として成立しないこと（ディスコミュニケーション）が発生してしまい、情報を100％正確に相手に伝えることはできません。例えば「もう少しスマートな感じでお願いします」と伝えたとき、「スマート」という言葉から頭に思い浮かべるイメージは人によって異なり、その結果コミュニケーションに齟齬が生まれてしまいます。この従来の課題を解決するために、脳科学の知見を応用して脳の状態を可視化して、より正確に情報を伝達できる「感性コミュニケーション」の実現をめざして研究を始めました。この感性コミュニケーションを実現して情報がより正確に相手に伝わることで、新たな解決策やより良い合意をすることができ、コミュニケーションの成果と当事者の満足度が最大化されると考えています。
この研究の背景として、現代ではさまざまな人の考え方を尊重して多様性を理解することが重要視されているという点です。そこで多様性を認めるためには、まず「他の人がどのような考え方をするのか」を理解することが最初の第一歩です。そうすることで他人の考え方をより正確に理解可能になり、新しいものや価値観の創出につながると考えています。またこの研究を始めた時期は、新型コロナウイルスが流行してリモートでのコミュニケーションの機会が増えたころでした。普段のコミュニケーションであれば場の空気感を含めたコミュニケーションが可能ですが、リモートではそれができないという課題を解決することも短期的な目標として1つ掲げました。
最終的な目標として「感性コミュニケーション」が電話・メール・チャットなどを超えた新しいコミュニケーションツールの一部となることをめざして日々研究を進めています。お互いの感情や物事の感じ方・とらえ方をより正確に知ることができ、相互理解を促進する技術の実現をめざして日々研究をしています。

感性コミュニケーションを実現するための具体的な研究アプローチとして、脳の表情を多次元的な表現でリアルタイムに知覚可能にする「脳内表象可知覚化技術」を構築しました。コミュニケーション時の脳波の状態に基づいて幾何学的な図形を表示することによって、コミュニケーション相手の内面状態をより正確に理解できるだけではなく、自分自身の感情状態を把握できるようになります。現在の研究では、脳波から数百次元で推定する「脳の表情」から特徴的なものだけ抜き出して低次元の情報として表現することで、これまでは伝えられなかった内面状態の一部を伝達することに成功しています。
脳波は脳の中にあるニューロンの活動に伴って発生しているため、「人が何かを考えたり感じたりするときにはその内容に応じてニューロン群が特徴的なパターンで動いているだろう」と仮説を持ち、さまざまな状況での脳波計測に取り組んでいるのが現在の研究段階です。計測の方法として、私個人の「技術を世の中に出していきたい」という想いからコンシューマ向けの脳波計を用いた計測方法を検討しているのですが、それでは波形にノイズが乗ってしまい信頼できるデータの収集が難しいという課題に苦労しています。一方で、基礎データの収集のために研究用途の脳波計も使用しているのですが、脳波計測の際に電極と頭皮との間の電気抵抗を抑えるためにジェルや電解液をつける必要があるため、データ収集にも手間と時間が多くかかってしまっています。
また人間の感情は複雑でその数は細分化すれば際限がなく、また感情には「楽しい」「悲しい」というように分かりやすいカテゴリだけでは表現しきれない複雑な感情のグラデーションがあって、脳波から感情を認識することは非常に難しいです。そこで私は人の「違和感」に注目しました。その理由は「相手がうまく理解できたのかどうか」や「自分の中で引っかかりがあったのかどうか」、そして「新しい発見があったかどうか」というように、多くの場面での「違和感」を理解することがコミュニケーションの役に立つと考えたからです。
この取り組みの研究成果として、他者からの提案に対して自分の考え方と一致しない際の脳反応として、N400やN600といった陰性の電圧変化を示す脳波（事象関連電位）が生じることを発見しています。さらに自分の考えと一致しない提案を受け入れられる場合は、受け入れられない場合に比べてこの事象関連電位の陰性反応が小さくなることを確認しました。この「違和感」に対する脳反応に関する研究は従来存在していたものの、研究の対象は「地球は四角い」や「ひまわりの色は青色である」というように誰もが違和感を得る文章での反応でした。そこで今回の私の研究では、「人によって考え方が違うときに先行研究と同じ違和感の反応が出るのか」「違う反応が出る場合にはどのような反応が出るか」を調査することで新しい反応を見つけながらさらに知見を深めています。
元々この技術を立ち上げるにあたって最初の構想としては、特定の方々を対象とせずにコミュニケーションを拡張することをねらっていました。しかし検討を進める中で、筋萎縮性側索硬化症（ALS）患者の方の脳波を読み取って表情をつくり出し感情を相手に伝達することができないかと考えました。ALS患者の方のコミュニケーション支援として、文字入力やコマンド選択などで意思伝達を行うようなブレインマシンインタフェース（BMI）の研究開発が盛んになっている中で、意思伝達を補助するために「感情を表現できないだろうか」と考えたのが研究の出発点です。さらに時代の流れとして、表情画像を生成する生成AI（人工知能）の機能が格段に発展したことも追い風でした。このような経緯から「脳波からどのような表情をつくろうとしているかという情報さえ読み取ることができれば、生成AIがそれを解釈して人の表情を生成することができるのではないか」と着想を得たのが研究開始のきっかけです。
結果的に、この研究は生成AIとのコミュニケーションにおいても役立つ技術の検討にもなりました。生成AIは強力なツールである一方で、ユーザが正しく意図を伝えてあげる必要があります。生成AIでは、命令を言語化してAIに伝える必要があるのですが、そこで自分の意図と異なる伝わり方をしてしまうという問題が往々にして発生します。そこで「脳内表象可知覚化技術」を用いて脳波から直接AIに伝えることで、言語表現の能力に左右されずにAIの恩恵をすべての人が享受できる世の中を実現したいと考えています（図）。

私の研究テーマは「脳情報処理モデリングによる人のデジタル化」であり、NTTが提唱するIOWN（Innovative Optical and Wireless Network）構想のデジタルツインをつくるための基礎的な研究になります。ヒトの内面は未知の部分が多く課題は山積みで、長期間にわたる研究になると予測しています。今後は人をデジタル化して情報処理可能にするという大きな目標に対して、脳科学をベースに脳メカニズムを解明してモデル化することをめざしながら、その過程で得られた知見の工学的な活用方法検討を並行して進められるようにしたいと考えています。もし人の脳を情報として表現できるようになれば今よりさらに脳を理解できるだけでなく、従来では人を対象にして試してみないと分からなかったようなことも、デジタル化したモデルを用いてシミュレーションすることが可能になるため、「どのような人を組み合わせてチームをつくって、どのような役割を与えると仕事が効率的に行えるか」というようなことが事前に分かるようになります。脳科学の分野はまだ発展途上で、私自身もその目標に向けた具体的な道筋がはっきりと見えているわけではないため、これからさらに発展させていきたいと思っています。
そのほかにも、今後は脳の状態を外部から導くような技術の研究も検討しています。物事のとらえ方は人によって異なるだけでなく、例えば調子が良いときには世界が明るく見えるように、自分自身の状態によっても大きく変化します。そのためアプローチとしては、脳を直接刺激してコントロールするのではなく、人の感性メカニズムを脳科学的に明らかにし、そのメカニズムを利用して物事のとらえ方を変容させることで、脳の状態を導く方法を模索していきたいと考えています。

私がNTTを志望した理由は、「世の中で実際に使われるサービスを開発したい」や「自分のつくった技術だと胸を張って言えるようなサービスを世の中に出したい」という想いからです。実は、研究にあまり詳しくない私の親に自分のつくった技術を伝えてあげたいと思ったのが原点で、今では自分の子どもが大きくなってきたときや未来の子どもたちに自分の研究を伝えてあげたいと思っています。自分の仕事として胸を張って伝えることができ、実際にいろいろな人が触れられる技術をつくりたいというのがベースにあり、そのスタンスは今も大きくは変わっていません。
元々、私自身の研究は「基礎」と「応用」という意味ではかなり「応用」寄りでした。そのため、今でも持っている知識を組み合わせて新しいことができないかを考えるのは、研究者として非常に面白いなと思っています。脳科学の分野でも、長年基礎研究を続けてきた脳科学者の方には今から勉強しても追いつけない部分というのはあるだろうと思っている一方で、私のようにさまざまな経歴を持つ研究者は少ないため、その経験を活かしてメディアの話や信号処理・画像処理など今まで携わった分野の知識の使い方を見つけて知見を活用できるのは楽しい瞬間です。
一方で現在従事している脳科学分野ではまだまだ基礎研究が十分とはいえないため、実現したいことがあっても知見が足りずに達成できないことが多くあります。現在ではNTTで長いスパンの基礎研究を進められる環境をいただけているので、着実に研究を進めて目標に近づけていると感じています。また基礎研究では新しい発見をして知的好奇心を揺さぶられる瞬間が非常に面白く、応用研究では世の中からフィードバックをもらえるのが非常に嬉しいため、その研究者冥利を味わえる経験を得られる環境は非常に貴重です。
私は元々脳科学の専門でないため、いろいろな方の講演を聞き、論文や書籍を読むことで脳科学の基礎的な知識を身につけるように努めています。今後も胸を張ってこれが自分の研究だと言えるようになるために、研究において大切な「基礎」から着実に研究を積み上げていきたいと思っています。この記事を読んでいる中で技術に携わる方がいらっしゃれば、ぜひ「うしろめたさを持つことなく人に伝えられる」技術研究に取り組んでいただき、そして自分が胸を張って「これは正しいんだ」「これは新しい発見だ」と言えるように信念を持ち続けて研究に臨んでいただければと願っています。