NTT人間情報研究所（人間研）では、長年コミュニケーションを円滑に、そしてリッチにする研究に取り組んできました。例えば、頭でイメージしただけでコンピュータの操作ができるといった、生体信号を使ったインタフェースのコンセプトは昔から存在しました。一方、近年では、脳波や筋電などバイタル情報を取得するデバイスや、筋肉に直接電気刺激を与え運動を発生させるデバイスの小型化、高精度化が進み、研究成果を社会実装する土壌が整いつつあります。私たち人間研は、こういったデバイスの進化を追い風として、ニューロテック・サイバネティクスの研究を加速しています。本稿では、近年の研究成果の例として、①脳波に含まれる情動等を可視化しコミュニケーション促進に活用する「脳内表象の類似度に基づく感性分析技術」、②微弱な電気刺激で表情をコントロールしコミュニケーションを円滑化する「表情認知傾向変容技術」、③脳波や筋電といったバイタル情報を使って自分や自分のアバターを思いどおりに動かす「運動能力転写技術」の3つの技術を紹介します。

私たちは言葉、行動様式や慣習などの枠を超えて直接感性を伝え合えるコミュニケーションの実現をめざし、脳波データから感情や認知状態などの多様な脳情報（＝脳内表象）を読み取って表現する「脳内表象可知覚化技術」の研究に取り組んでいます。これまでも、脳波データを入力・変換してメタバース空間のアバターが纏うオーラとして可視化するシステムを開発するなど、脳内表象を直接的・視覚的に理解させるインタフェースを提案してきました。この一環として、私たちは脳波から個人の感性や他人との感じ方の違いを明らかにする「脳内表象の類似度に基づく感性分析技術」を開発しました。
本技術では、脳波計を装着したユーザに順番に画像を提示し、それぞれの画像を見たときの脳波データから脳活動の類似度解析を行います。その解析結果に基づいて、類似度が高いものは近く、類似度が低いものは遠くなるように要素を直線状に並べた感性マップを作成します（図1）。この感性マップにより、例えば、「近くに位置したものどうしは似たような印象だった」「1つだけ遠くに位置したものは独特に感じられた」といったように、画像・コンテンツのスタイルや特徴に対するユーザの主観的なとらえ方を視覚的に示すことができます。
感性マップ上では、十分に類似度が高い要素は1つのグループとして描画され、ベン図のようにグループの重なりや包含関係が表現されます。また、包含される複数画像のキャプションからそれぞれのグループを俯瞰的に言い表すようなラベルを生成・付与することで、ユーザ自身がどのように画像群をとらえているか、その切り口や観点の言語化を容易にしています。加えて、創造的な活動や能力（クリエイティビティ）への応用例として、感性マップ上の複数の画像を入力とし、それらの意味的な特徴を組み合わせて新しい画像を生成する機能を盛り込んでいます。生成AI（人工知能）の発展により、プロでなくても高いクオリティの表現ができるようになりましたが、自身の表現したいことを具体的に想起して指示文（プロンプト）に書き起こすことは、一般的なユーザにとっては困難です。本技術では、脳波解析と可視化による感性の理解と画像の再生成を通じて、自身の感性を生成AIにダイレクトに反映することが可能となり、より良いアウトプットの創出が期待できます。
本研究では、絵画やラベルデザインなどいくつかのカテゴリの画像を対象として複数の評価実験を行いました。特に風景画の生成においては、通常の指示文による入力に比べて、脳波解析を利用する本技術が優れていることが確認されました。ユーザが「自分が表現したいことを表現できた感じがする」と述べるなど、表現精度や生成主体感、生成結果への好みといった点で有意に高い評価を示しました。これは、写実主義や印象派といった時代区分で説明される風景画の画風・印象が比較的言語化しにくいことが背景にあると推察されます。また、脳活動の類似度解析結果と主観評価（画像から受ける印象の形容詞）のデータを比較したところ、相関が出る項目について個人間に大きなばらつきがあることが分かりました。一方で、「明るい」「かたい」といった知覚的な表現や、「美しい」といった主観的な評価など、個人間で共通して相関がみられる項目もありました。
以上の結果から、脳内表象から審美的な価値観に加えて個人固有の印象を汲み取ることができる可能性が示唆されました。こうした脳波解析を利用した生成手法を洗練させることで、これまで生成AIを使えなかった人でも思いどおりの表現ができるようになると考えます。
本稿で紹介した「脳内表象の類似度に基づく感性分析技術」を含む脳情報を利用したインタフェースは、人々のクリエイティビティと表現意欲を向上させ、より豊かなコミュニケーションを促進する情報基盤になると考えています。異なる特性を持つ個々の人が感性を共有し、AIと相互に刺激・成長しながら創造性を拡張する社会の実現に向けて、今後も研究開発に取り組んでいきます。

表情認知傾向変容技術は、人に対して負担の少ない刺激を与えることで、表情認知傾向を変容させ、円滑なコミュニケーションを支援する技術です。人が他者の表情から感情を読み取る表情認知傾向には個人差があるため、この個人差がコミュニケーション齟齬の要因となる場合があります。そこで、表情認知傾向を変容させ、望ましい認知を促す方法を検討しています。
その方法として、表情フィードバック仮説に着目しました。表情フィードバック仮説とは、表情をつくるための表情筋の動きが脳にフィードバックすることで、人の感情に影響を与えるという仮説です^（1）。表情フィードバック仮説に関連する先行研究では、表情筋を動かすことで対応した感情が誘発され、その結果、対応した感情の表情認知を誘発することが示唆されています^（2）。例として、頬の表情筋である大頬骨筋を動かすことで、幸福をはじめとするポジティブな感情が誘発され、その結果、他者の表情をポジティブな感情と認知しやすくなります。この現象を応用し、表情筋に対して微弱な刺激を与えることで、表情フィードバックが発生し、表情認知傾向を変容させることができるのではないかと考えました。
これまで私たちは、流れていることが感じられない程度の電気刺激を表情筋に与えた際の表情認知傾向の変容について調査する実験を行いました。実験では、参加者に対してさまざまな強度の怒りや笑いの表情を表示し、表情がポジティブかネガティブのどちらであるかを答える課題を行い、電気刺激を与えた条件と電気刺激を与えない条件の2条件で課題の結果を比較しました。実験の結果、頬の表情筋を電気刺激した条件では、電気刺激のない条件と比べ、表示された表情をよりポジティブな表情認知傾向に変容することが示唆される結果が得られました（図2）。今後は刺激の種類や刺激する部位と表情認知変容との関係解明を進めていき、より負担の少ない効果的な刺激の解明に取り組んでいきます。

私たちは長年、筋電センサ等で人の筋肉の動きを測定・記録し、筋電気刺激により測定した動きを自分や他者へ転写する、運動能力転写技術の研究を進めてきました。この技術により、例えば楽器演奏やスポーツなど、習熟が難しいとされる動きに関して、熟練者の動きをセンシングし、それを初心者に転写することで、効率的に正しい動きを身に付けることができることを実験により確認しました。この技術は、加齢や障がいによって思ったとおりに動くことができなくなった際に、過去の自分を含む健常者の動きを転写することで、運動能力を再獲得するといった応用が考えられます。そして近年では、筋肉の動きから筋肉の動きへの運動転写にとどまらず、脳波からの運動制御や、メタバース空間内のアバターの運動制御へと研究を広げています。
まず脳波からの運動制御では、「脳の指令で筋肉が動き運動が行われる」という複雑なメカニズムをモデル化した「Neuro-Motor-Simulator」を開発し、脳波から精度良く運動を再現する技術の創出をめざしています。この技術は、将来的には、脊椎損傷などで四肢の運動に障がいを持った方が運動能力を取り戻す「人工脊椎」に発展する可能性を有しています。また、脳波や筋電をセンシングし、人の運動を制御するのではなく、メタバース空間内のアバターを制御する研究にも取り組んでいます。この研究では、全身の筋肉が少しずつ動かしにくくなるALSを抱えたDJ・アーティストと連携し、わずかに動く筋肉から筋電をセンシングすることで、メタバース内のアバターをコントロールし、ライブパフォーマンスを行う試みを実施しました（図3）。

人間研では、本稿で紹介した技術以外にも、さまざまなニューロテック・サイバネティクス研究を推進することで、心と心、体と体、そして心と体が直接的につながり合う、新たなコミュニケーション技術の創出を加速します。これらの技術によって、性別、年代、文化、志向等のさまざまな違いを乗り越えて、誰とでも分かり合える世界、そして年齢や障がいの有無にかかわらず、誰でも思い描いたとおりに体を動かし、運動可能とする世界の実現をめざします。

■参考文献
（1）　F. Strack, L. L. Martin, and S. Stepper：“Inhibiting and facilitating conditions of the human smile: A nonobrtusive test of the facial feedback hypothesis,”J. Pers. Soc. Psychol., Vol. 54, No. 5，pp. 768-777, May 1988.
（2）　W. Sato, T. Fujimura, T. Kochiyama, and N. Suzuki：“Relationships among Facial Mimicry, Emotional Experience, and Emotion Recognition,”PLOS ONE，Vol. 8, No. 3, p. 57889, March 2013.