デジタルツインコンピューティング（DTC）における感性コミュニケーションでは、経験や感性などの個々人の特性の違いを超えた相互理解の実現、それによって相互尊重が促進される世界や、協調性・創造性が強化される世界の実現をめざしています。その中でも私たちは、心の中のとらえ方や感じ方などの感性を直接的に理解し合える新たなコミュニケーションモーダルの創出をめざし、感性の情報そのものが含まれるヒトの脳情報を扱うことで感性コミュニケーションを実現しようと考えています。現在私たちは、コミュニケーションの現場へも適用可能で、一般利用にもっとも近い脳情報である頭皮脳波（脳波）に着目し、脳波から得られる脳情報を活用したさまざまな研究開発に取り組んでいます。

相手の発話に対する違和感、受容などの反応は、コミュニケーションにおける重要な感性情報です。しかし、現状のコミュニケーションでこれらを適切に相手に伝えることは容易ではありません。例えば、指導者が何らかのアドバイスを行う場面においては、受け手が感じた違和感を適切に伝えられない場合や、アドバイスに従ったものの実は納得できていない場合などが存在しており、これらのコミュニケーション齟齬が効率的な指導を妨げていると考えられます。そこで私たちは、脳波計測によって違和感、受容などの感性情報を検出するための「感性デコーディング研究」の取り組みを進めてきました。
先行研究では、極めて不自然な文章を提示したときに生じる違和感によって特定の脳反応（事象関連電位＊1）が発生することが報告されており、違和感に関連する事象関連電位としては、違和感を発見したときに生じるN400＊2と呼ばれる反応が明らかになっています。しかし、これらの研究で提示される文章はコミュニケーションで用いられるような自然な文章ではなく、明らかな意味誤り文（例：彼は温かいパンに靴下を塗った）や、世界知識誤り文（例：タンポポの花は黒い）などでした。また、先行研究のような言語的なコミュニケーションに限らず、非言語的なコミュニケーションにおいても他者の感性の理解は極めて重要となります。そこで本研究では、より自然な文章で書かれた指示短文を提示するタスクと、将棋の差し手アドバイスを提示するタスクで脳波計測実験を実施しました。
短文タスクの結果（図1（a））、より自然な指示文の場合でも、受け手が違和感を覚えたときには先行研究と同様のN400がみられ、受け手が違和感を覚え提案を受け入れない選択をした場合、つまり提案に対する強い拒絶を示したときには、より強いN400がみられることを確認しました。また、将棋タスクの結果（図1（b））、将棋の指し手アドバイスにおいても、想定した手と一致せず受け手が違和感を覚えたときに短文タスクと同様のN400がみられ、自分の意見と一致はしないがその手を受け入れる場合にはN400が減弱することを発見しました。さらに、将棋タスクではN400の反応と併せて、N600と思われる反応が生じていることを確認しました。N600は論理的思考やルールの理解における矛盾に対して、解決策を見出すプロセスで生じることが報告されていることから、今回は違和感のある差し手を解釈しようと働いた認知プロセスによって反応が生じたのではないかと考えられます。
先行研究を発展させたこれらの新しい知見から、より自然な文章をやり取りする一般的な言語コミュニケーションの場面や、非言語コミュニケーションの場面において、違和感の有無や、違和感が生じたときに最終的に合意できるかどうかを、脳波から推定できるようになる可能性が示唆されました。今後は、各反応が生じる正確な条件などを詳細に調査し、脳波データから感性状態を検出するリアルタイム感性デコーディングの実現をめざし、取り組みを進めていきます。

＊1　事象関連電位：内的・外的事象に時間的に関連して生じる、脳の一過性の電位変動。
＊2　N400/N600：事象の発生から約400/600ms後にみられる、脳波の陰性（Negative）の電位変動。

従来の言語・非言語コミュニケーションでは、感情や認知状態などの感性情報を100％正確に他者に伝えることは不可能です。また、自分自身のことであっても、感性の状態を完全に理解することは容易ではありません。感性伝達に関するこれまでの研究の多くは、感性情報の中でも特に知見が多く扱いやすい「感情」のみに焦点を当てており、さらに、感情は数種類のカテゴリや2軸の次元で評価するものがほとんどで、新しい感情や詳細な感情の違いを表現しきれないという課題がありました。この課題に対して私たちは、感情に限らずさまざまな感性状態はそのときの脳の状態に表現されていると考え、“脳の表情”を多次元的な表現でリアルタイムに知覚可能にする「脳内表象可知覚化技術」を構築しました。
本技術では、多様な感性状態を伝達可能にするため、脳波データから感性に関する脳情報（＝脳内表象）を抽出し、7次元に圧縮、これを可知覚化用パラメータとして用いることで、感性の状態に応じたさまざまな幾何学図形を描画し、リアルタイムでアニメーション表示します（図2）。また、脳内表象については脳の個人差を考慮し、事前に取得したモデル作成用脳波を用いて脳内表象の個人モデルを作成します。モデル作成用脳波は、目的に応じてどのような感性情報を持たせるかを決定し、例えばさまざまな感情を想起しているときや、さまざまな味を味わっているときの脳波データを取得します。さらに、図形化には感性状態を多次元的に表現する手法の1つとして、“Rose of Venus＊3”と呼ばれる幾何学図形を採用することで、さまざまな感性の状態を図形の大きさや色、模様の形として表現することを可能にしました。
また、本技術を用いた効果検証実験の結果、相手が美味しいと感じたかどうかを推定するタスクでは、相手の脳内表象を見ながらタスクを行うことで推定誤差が減少し、脳内表象によって他者の感性の理解が促進されるといった効果を確認しました（図3（a））。さらに、感情的なエピソードを話した後に、自分でそのときの感情を説明するタスクでは、自分の脳内表象を見ることで自己の感情特定の難しさが減少し、脳内表象によって自分の気持ちを特定できるようになるといった効果を確認しました（図3（b））。今後は、本技術をコミュニケーションの場面で使用し続けたときの脳内表象の読み取り精度の変化などを調査する、長期的な効果検証や、より適切な可知覚化手法の検討を進めるとともに、ALS（筋萎縮性側索硬化症）等の諸疾患を持つ方やVR環境などの表情をつくれない場面のために脳内表象から表情を生成する取り組みを進めていきます。

＊3　Rose of Venus： 金星と地球の公転周期の差を利用して、それぞれの位置を一定時間ごとに線で結ぶと描ける「五弁花」の図形。

私たちは、感性状態の検出や、感性を伝達可能にする取り組みだけでなく、お互いに理解し合い、協調し合える環境をつくる取り組みを行っています。先行研究では、互いに共感しているときや協調作業を行っているときの2者の脳活動に同期現象がみられることが報告されています。そこで私たちは、介入によって同期状態を誘発することで共感しやすい状態や協調し合える状態をつくり出すことができるのではないかと考えました。また、介入の方法として、現在の同期状態をフィードバックするニューロフィードバック＊4を行うことで、脳波の同期状態を引き出せるのではないかと考え、コミュニケーションの質や量の増加、それに伴う円滑な作業の実現をめざした「脳波カップリング技術」の取り組みを行っています。
本技術では、脳波データを4つの周波数帯域（δ波、θ波、α波、β波）に分離し、各周波数帯域のカップリング率をリアルタイムで計算、出力することでニューロフィードバックを行います。これによって、使用者は現在のカップリング率やその全体的な推移を画面上で確認しながら、協調タスクやコミュニケーションを行うことができます（図4）。
また、本技術を用いた効果検証実験では、脳波に含まれるα波のカップリング率と協調作業効率に関係があることが確認されました（図5）。今後は、カップリング率の向上がコミュニケーションの質・量の増加、協調作業時のタスク効率へ与える影響を確認するとともに、カップリング率を向上させるための適切な介入方法の検討を行っていきます。

＊4　ニューロフィードバック：脳波計、fMRIなどで取得した脳情報やコンピュータを用いて、脳活動の調整を行うバイオフィードバックの一種。

頭の中に思い描いたイメージ（＝心的イメージ）を正確に表現することは非常に難しいことですが、これはコミュニケーションの場面においても、相手に伝えたいイメージを正確に伝えられないという問題に直結します。また、近年の画像生成分野におけるAI（人工知能）の発展により、テキスト情報を基にしたさまざまな画像生成技術が確立されていますが、テキスト情報のみから心的イメージを生成するには限界があります。そこで私たちは、磁気共鳴機能画像法（fMRI：functional magnetic resonance imaging）や皮質内脳波（ECoG：Electrocorticogram）に関する心的イメージデコードの先行研究を基に、より計測が容易な脳波を用いた心的イメージデコードの実現をめざし、取り組みを行っています。
私たちは、取り組みのファーストステップとして、先行研究でも実施されているカテゴリ分類課題を採用し、知覚・想像した画像の内容を推定する検証実験を実施しました。実験で用意した3カテゴリの画像（風景、乗り物、人の顔）の推定精度は、知覚課題においてチャンスレベルを上回りましたが、想像課題では改善の余地があるという結果となりました。今後は、知覚・想像のデコードに最適化したモデルの検討や脳波特徴量の選定を行うことでカテゴリ推定の精度向上を行うと同時に、カテゴリ以外のデコードを検討することでイメージの再構成の実現をめざします。

私たちは、本稿で紹介したさまざまな脳科学応用技術によって、互いの違いに気付き、共感し、思いやりを促進するコミュニケーションや、これまでは表現したくてもできなかった感性を表現可能にし、互いに通じ合えるコミュニケーションの実現をめざしています。そのため私たちは、ヒトの本音や内面すべてを伝達してしまうのではなく、相互理解や相互尊重に必要な感性情報を共有可能にすることで、違ったままでも分かり合える、違ったままでも協調し合える世界をめざして、今後も取り組みを続けていきます。