ハリウッドのSF＊映画などで表現される未来世界のシーンでは、主人公が空中像を巧みに操作することがあります。「空中像の触り心地ってどんな感じだろうか」、そのような素朴な疑問が本研究を始めた動機でした。空中像提示は、もはやSFの中の話ではなく、光学的な装置やヘッドマウントディスプレイによって実現されています。NTTが開発した技術である「Kirari!」 も空中像提示を実現している手法の1つです。
その一方で、空中像、いわゆる、バーチャルな対象に対する触覚の提示技術については、今まさに研究が進められている段階です。さまざまな手法が提案されていますが、その多くが物理的な触覚提示装置を利用するものです。
本研究では、装置を利用せず、ユーザのアクションを外部から読み取ってバーチャルな対象の見掛けを操作することで、ユーザが感じる対象の質感を変化させることはできないかと考えました。もちろん、バーチャルな対象に直接触れることはかないません。そこで本研究は、ユーザのアクションと因果的につながった対象の変化をユーザが観察した際に、脳で生じる対象の質感を推定する特性、つまり錯覚を利用することにより、バーチャルな対象に触覚的な質感を与えられないかと考えました。

＊ SF：Science Fictionのことで、科学的な話題を題材にしたつくり話のこと。

本研究の詳細を説明する前に、疑似触覚について説明します。例えば、コンピュータ画面上に表示されたカーソルをマウスで動かす場面を想像してください。マウスの動きは変わらないのに突然カーソルの動きが遅くなったとします。そのような場面では、そのマウスを用いているユーザは「マウスカーソルが重くなった」「抵抗感を感じた」などの印象を持つことが過去の研究で報告されています。この印象のことを疑似触覚と呼びます。疑似触覚は視覚、触覚、筋運動感覚、自己受容感覚といった複数の感覚モダリティがかかわって生じる錯覚ですが、特に視覚情報が他の感覚モダリティに及ぼす影響に関して議論されます。疑似触覚を用いることで、重さや抵抗感だけではなく、対象の形状や硬さの印象を操作することができます。

先行研究では、ユーザが触覚提示装置に触れた条件で生じる疑似触覚を調べてきました。一方で本研究では、ユーザが装置に対して物理的に接触しない条件下において、ユーザに疑似触覚を与えることができるかを調べました。何も装置を持たない条件下で生じる疑似触覚のことをここでは空中疑似触覚（1）と名付けました。空中疑似触覚を実現するためには、2つのクリアすべき課題があります。1つはどのようにしてユーザの手の動きをトラッキングするかという課題です。これについては、Leap motionなどの簡易な装置を利用することで解決できました（図１（a））。次に、トラッキングした手の動きに伴ってどのような変化をバーチャルな対象に与えたらどのような質感が得られるか、という問題です。この問題は人間の知覚特性に絡んでいるのでその解決は一筋縄ではいかないのですが、その反面非常に、面白い問題だといえます。

本研究ではこの知覚特性の問題に取り組むため、以下の3つのポイントについて調べました。

本研究では、バーチャルな対象を「引っ張る」というシチュエーションを調べました。弾性体を水平方向に引っ張ると、垂直方向には圧縮が生じます。例えばゴムを引っ張ると、その中央部分の厚みが薄くなることは日常生活でも体験されることでしょう。この物理現象のことをポアソン効果と呼びます。本研究では、ユーザがバーチャルな対象を水平方向へ引っ張るようなアクションをしたときに、手の移動量に応じてバーチャルな対象が水平方向へ伸張する仕掛けをつくりました（図１（b））。その際に、ポアソン効果に基づき、垂直方向には圧縮変形をかけました。ポアソン効果は、ポアソン比によって記述できます。ポアソン比は、力のかけられた方向への歪みと、その方向とは直角方向に発生する歪みとの比のことを指します。自然界ではポアソン比は0.5を超えることはないといわれています。本研究ではユーザがアクションをした結果として生じるバーチャルな対象の変形のポアソン比を操作することで、ポアソン効果がバーチャルな対象の柔らかさに影響するかどうかを調べました。

疑似触覚を調べた過去の研究では、ユーザのアクションの量に対する画面上の対象の変化量の比が小さくなるにつれて、抵抗感や重さ感が高まることが知られています。本研究でも、バーチャルな対象の変形量とバーチャルな対象を引っ張るアクションの量との比を操作し、その比が対象の硬さにどのように関係するかを調べました。この比が大きくなるにつれて、わずかなアクションの量で対象が大きく変形するようになるので、より対象が柔らかく感じられるのではないかと予想しました。

ユーザがバーチャルな対象を水平方向へ引っ張るアクションを行い、その対象が水平方向へ変形した場合、アクションと対象変形との関係は整合しているといえます。一方で、アクションと対象変化との整合性が対象の質感操作に必要かどうかは明らかではありませんでした。本研究では、アクションと対象変形との整合性を調べることでこの問題に取り組みました。整合条件しない条件では、ユーザが水平方向へ引っ張るアクションを行った際に、対象が垂直方向へ縮みました。

図2は実験参加者に、対象の硬さを5段階で評価してもらったときの結果を示したグラフです。各グラフとも、対象の変形量とアクション量との比の関数としてバーチャルな素材の硬さ評価値がプロットされています。まず、ポアソン比の効果がみられました。ポアソン比が0.5のときは他の条件に比べて柔らかく感じられました。次に、変形量とアクション量との比が大きくなるにつれ、対象が柔らかく感じられました。また面白いことに、アクションと対象変形との方向が整合しても整合していなくても、同様の柔らかさ評価のパターンが得られました。
これらの結果は以下のことを示しています。
・ユーザのアクションと対象との変形との関係を操作することで、空中疑似触覚をユーザに与えることが可能。
・ポアソン効果や、ユーザのアクションとの比に基づいて対象の変形量を操作することで、対象の柔らかさを操作可能。
・ユーザのアクションと対象変形との整合性はバーチャルな対象の硬さ印象に影響しない。

IOWN（Innovative Optical and Wireless Network）により、2030年には高速大容量通信が実現されます。その未来では、大容量の情報をユーザに自然に提供する技術が必須となっていると考えられます。IOWN構想（2）で述べられているとおり、NTTでは「身の回りの個々のデバイスを意識せずに、人と環境が調和したナチュラルな世界」を実現するためユーザインタフェースの未来形であるPoint of Atmosphere（PoA）の開発をめざしています。
本研究で提案した空中疑似触覚技術では、ユーザが実世界で行う「引っ張ると実対象が伸びる」という関係性を「引っ張るとバーチャルな対象が伸びる」という場面に拡張し、その拡張された現実感の中で対象の素材感を変容させることを実現しています。このような拡張現実における対象の操作ならびに質感印象は、未来におけるユーザインタフェース設計には必要となる要因です。空中疑似触覚技術はもとより、知覚に根差した提示技術の開発およびその開発に向けた基礎研究を推進させることで、PoAの実現に近づければと思います。

■参考文献：
（1） T. Kawabe: “Mid-Air Action Contributes to Pseudo-Haptic Stiffness Effects,” IEEE Transactions on Haptics, Vol. 13, No. 1, pp. 18–24, 2020.
（2） 澤田・井伊・川添：“IOWN構想―インターネットの先へ，”NTT出版，2019．