一般にコミュニケーションにおいて、ある人物が発した情報が、相手に対して100％の精度で伝わることはあり得ません。多少の行き違い（ミスコミュニケーション）や、そもそも対話として成立しないようなこと（ディスコミュニケーション）が往々にして発生します。これらを回避するコミュニケーション手段として、伝達したかった気持ちそのもの（すなわち感性）を伝えることを目標とした「感性コミュニケーション技術」の確立をめざしています。言い換えれば、「感性コミュニケーション技術」とは、伝えたいことが伝わり、それによって、新たな解決策やより良い合意がなされ、コミュニケーションの成果と当事者の満足度が最大化される技術です。まず、伝えたいことが伝わり、より良い合意を実現するには、感性の2つの観点を考慮する必要があります。それは「送り手の感性」と「受け手の感性」です。つまり、「伝えたい感性」が送り手の感性によってどのように表現され、受け手の感性によって、どのように解釈されるかを予測するということです。次に、実際に行われたコミュニケーションに対して、当事者が満足するためには何が必要かという検討が必要です。なぜならコミュニケーションが何らかの課題解決や合意形成をめざすものである場合、客観的により良い合意形成だけでは不十分であり、主観的に（すなわち感性的に）当事者が満足し、合意できるということが必要不可欠な要素だからです。
私たちはこの2つの課題について、以下の検討例を本稿に示します。
①　相手に合わせて伝えたい感性をどのように伝えるか。生体信号から熟練度を求めて提示情報を切り替えるインタフェースの検討
②　対話参加者の参加姿勢が対話結果の満足度に与える影響。特に積極的な対話参加の満足度に対する貢献度に関する基礎的実験結果について
これらをきっかけに、「感性コミュニケーション技術」に関する議論が活性化すればと考えています。

さまざまな人々が一丸となってコミュニケーションを取りながら同一のタスクに取り組む共同作業の場面では、相手に合わせて情報を伝えることは非常に重要です。私たちは、ヒトのデジタルツイン（ヒトDT）を用いることで従来よりも相手に合わせた情報伝達を実現し、より円滑な共同作業を可能にすることをめざしています。これまで、共同作業を支援する技術・サービスとして、一方のユーザから別のユーザに対して作業指示や補足情報を伝達するものが数多く提案されています。こうした技術・サービスの多くは各ユーザに一律の支援（例えば、共同の作業空間内の特定の場所に印を表示させるなど）を提供するものでした。
しかし、作業中に必要な支援はユーザの熟練度などによって異なり、情報を与えられること（あるいは、与えられないこと）による認知的な負担も異なります。例えば、2人で意見交換しながら手を決めるペア将棋の場面を考えます。熟練者や中級者に対しては、「将棋盤上の重要な場所に印を表示する」といった、簡易な情報提示でも十分だと考えられます。しかし、初心者に対しては、「図などを用いて駒の動かし方や一手の持つ意味を伝える」といった、より丁寧な説明が必要になると予想されます。熟練者から初心者までさまざまなレベルのユーザを対象としたとき、その違いをシステムが汲み取って、それぞれに合わせた適切な支援を提供する技術が求められます。
本技術では、作業中のユーザから得られる生体情報や過去の作業経験に関する情報からユーザの熟練度を推定し、その側面を該当のユーザに対応するヒトDT上に再現します。そして、熟練度が再現されたヒトDTを用いて、作業を邪魔せず、かつそのユーザにとって必要な情報を推定し情報提示の切り替えを行います（図1）。これにより、熟練度に起因する直感や理解力などの感性が異なるユーザどうしでも、円滑なコミュニケーションが取れるような共同作業支援を実現します。
現在、作業中の視線の動きは作業に対する熟練度によって異なるという既存研究（1）の知見を参考に、アイトラッキング＊を主軸としたセンシングデータを活用する取り組みを進めています。視線の移動量や移動パターン、ユーザの作業経験、作業の難しさなどを組み合わせて機械学習を行い、ユーザの熟練度を推定することをめざしています。また、ユーザに合わせた情報提示については、利用するモーダル（図示や音声など）や情報の粒度、空間内の配置といった情報提示を幅広く検討し、ユーザに適した提示方法の設計も進めています。
熟練度に関する取り組みとして、視線データを用いた熟練度推定とそれに基づいた情報提示を行うインタフェース技術を紹介しました。今後は、NTTデジタルツインコンピューティング研究センタでこれまで培ってきたUI・UXに関する知見（2）なども取り入れ、情報提示方法に関する検討を深め、より人間中心なシステムの実現に向けた取り組みを推進していきます。

＊　アイトラッキング：人の目の運動を分析し、視覚的注意などを明らかにする生体計測手法。

対話を通じて合意形成をする際、その対話に満足しているのか、合意結果に納得しているのかは、参加者によって異なります。例えば、「たくさんしゃべることができて楽しかった」と自身の積極的な姿勢を重要視し、発言回数に基づいて対話の満足度を評価する人もいれば、「自分の意見が合意形成に役立った」と自身がどれくらい貢献できたかを重要視し、合意結果に自身の意見が反映されているかどうかに基づいて評価する人もいます。これは、参加者の対話に対する価値観が影響しており、対話に対して何を求めていたのか、どんな要因で満足感や納得感が変化するのかによって違いが生じると考えられます（3）。私たちは、これを人の内面にある価値観としてデジタルツインの中に再現し、対話参加者各々の対話満足度を推定することを試みています。本技術を用いることで、対話参加者各々の満足度や納得度とその理由を推定し、その人の感性に合った表現でフォローをしたり、参加者全員の満足度が上げられるようなチーミングや対話への介入など、合意形成における創造性を上げるための手助けをしたりすることができると考えています。対話満足度に影響を与えると考えられるさまざまな要因のうち、本稿では参加者の積極性と発言の影響度に着目した推定手法について述べます（図2）。
まず、参加者がどれくらい積極的に対話に参加できたかどうかは、満足度に影響を与える要因の1つであると考え、これを積極性スコアとして数値化しました。最初に、参加者自身の発言を「内容発言」と「非内容発言」に分類しました。内容発言とは、対話の話題についての内容を含む発言で、名詞・動詞・形容詞を多く含む長い発話を指します。非内容発言とは、相手の発言に対する相づちなどの発言で、名詞・動詞・形容詞をあまり含まない短い発話を指します。対話データを特定の時間枠で区切り、各区間において参加者本人による内容発言と非内容発言がどれくらい発言されたかを用いて積極性スコアを定義しました。
次に、参加者自身による発言がどれくらい対話を活性化し、合意形成に貢献したかが、満足度に寄与すると考え、これを影響度スコアとして数値化しました。影響度スコアは、参加者自身が提案した話題について、対話がどれくらい継続したかに基づいています。まず、対話を行ったグループの合意結果をまとめた文書に基づいて、重要単語のリストを作成しました。次に、参加者自身の発話の中に重要単語が現れた際、そこからグループ内で関連する単語を含む発話が何ターン続いたかなどを求めました。また、その重要単語を対話中で初めて発言したのが参加者自身なのか、あるいは他の参加者なのかによって重み付けをし、これらを基に影響度スコアを計算しました。
実験では、4名の初対面どうしの参加者で模擬対話を行い、満足度についてのアンケートを正解として前述の２つのスコアを用いて満足度を推定しました。その結果、対話の序盤に行われる各自のエピソード出しでは、積極性スコアを用いることで推定精度が向上しました。また、中盤から終盤のアイデア出しと合意形成では積極性スコアによる影響は少なく、影響度スコアによって推定精度が向上しました。このことから、対話開始からの経過時間や合意形成の段階においても、満足度に影響する要因が異なる可能性が示されました。今後は、初対面どうしだけでなく、すでに人間関係が構築されている参加者どうしの対話において、満足度に影響する要因を検討し、推定精度の向上をめざします。

「感性コミュニケーション」の実現をめざして、本稿では2つの重要な観点から考察と検討を行いました。まず、感性を伝えるために、何をどのように伝えるべきかという観点について、受け手のテーマに対する熟練度を測定し、熟練度に応じて受け手にとって有用な情報を切り替えて、伝えたい感性が伝わりやすくする検討について述べました。熟練度の測定にはアイトラッキングを主軸としたセンシングデータを用いることで、本人の自己申告といった不確定な要素ではなく、必要な熟練度と情報を切り替え可能とする仕組みを考案しました。次に、感性コミュニケーションの結果について、どのように感じる（と予測する）か、という観点について、対話参加者の積極性スコアが対話結果の満足度に与える影響を分析しました。当初の仮説では、積極的な対話参加は対話結果に満足度をもたらすとの仮説を立てましたが、実験結果は両者の関係について明白に示すには至りませんでした。しかし、これらの検討は、全人類が相互理解可能な統一的なコミュニケーションを可能にすることをめざす「感性コミュニケーション技術」の実現が、まだ緒に就いたばかりであり、必要な試行錯誤であると考えています。
今後は、本稿の検討をさらに押し進め、全人類がお互いの感性に合った表現によって相互理解し、多様性が真の価値を発揮して、全人類に価値をもたらす技術としていくことをめざしますので、是非、今後とも、共に議論・検討いただければと考えています。

■参考文献
（1）　松原：“いつも学習し続けるシステムを目指して,”人工知能学会誌, Vol. 18, No. 5, pp. 564-567, 2003.
（2）　西條・佐藤・永徳・渡辺：“情報閲覧のための視線移動に着目した割り込み情報表示方法,”ヒューマンインタフェース学会論文誌, Vol. 23, No. 1, pp. 51-64, 2021.
（3）　中谷・石井・中根・高山・林：“グループ対話における 参加者満足度向上とアウトプットの質向上に向けて,”ヒューマンインタフェース学会研究報告集,Vol. 22, pp. 67-74, 2020.