私は人間の錯覚を利用した情報提示技術に関する研究を行っています。錯覚を利用することにより、物理的には困難な表現を知覚上実現することができると考えています。前回の本誌記事（2020年9月号）では、「変幻灯」や「浮像」といった、プロジェクションマッピングの技術で、止まっているものに動きを与えたり、止まっているものの質感を変えたりすることを紹介させていただきました。
現在取り組んでいるテーマは「非接触インタフェースにおいて仮想対象の質感印象を操作する技術」と「タンジブルインタフェースとバーチャルインタフェース」です。
「非接触インタフェースにおいて仮想対象の質感印象を操作する技術」は、前回の記事で少し触れた「質感」について、より直接的に操作する技術・方法に関する研究です。特に、横坂拓巳特別研究員、宇治土公雄介特別研究員とともに、人が物を持ち上げる動作を行った際に、どのようにしたら直接触ることのできない画面上の対象の重さをその人に伝えることができるか、という問題を研究しました。実験では、人の持ち上げ動作と同期させて画面上の縞模様を動かしたのですが、縞模様が動く速度を遅くすると、実際には人の手に力はかかっていないにもかかわらず、その縞模様を「重く感じる」ことが分かりました。さらに、縞模様の動きの方向がそれを持ち上げる動作の方向と必ずしも一致している必要はなく、例えば上に持ち上げる動作に合わせて横に動く縞模様のスピードを遅くしても人はその縞模様を「重く感じる」ことも分かりました（図1）。この成果を利用することで、人が非接触に操作する仮想対象に重さ感を与えることができますし、リアリティの高い操作印象を実現できるのではないかと期待しています。
図2はノートPCの前に人が手をかざして左右に動かすと、画面の左上にあるようなテクスチャのついた仮想対象が伸びるように感じます。人の手が動いた量に応じて仮想対象が引き伸ばされる量が変化し、多く伸ばされるとやわらかく感じ、少ししか伸ばされないと固く感じます。そして、手がカメラの検知する範囲外に出ることで、手の動作が途中で仮想対象に反映されなくなる（引き伸ばされる状態が途中で止まる）と、何か変な感じがするのですが、その詳しい部分は分かっていませんでした。そこで、私と宇治土公雄介特別研究員は、仮想対象を引き延ばすような手の動きに対するセンシングが機能する有効範囲（カメラの検知範囲）を設定し、その有効範囲によって仮想対象の印象がどのように変化するのかを調べた結果、途中で引き伸ばしが止まる場合、その対象は硬く、重く、摩擦を伴っているように感じられることが分かりました。これにより、非接触デバイスをつくるエンジニアは、このような有効範囲が質感印象に与える効果を理解しておくことが必要ですし、逆にこの有効範囲の効果を利用することで、対象の付加的な質感印象を人に提供することができるかもしれません。
これらの「非接触インタフェースにおいて仮想対象の質感印象を操作する技術」に関して、学術雑誌へ数多く論文投稿しており、中でも最新の研究は、Impact Factorの高い、「IEEE（Institute of Electrical and Electronics Engineers） Transactions on Visualization and Computer Graphics」という論文誌に採録が決定しています。
そして最近は、非接触にロボットを動かすというテーマで、キューブ型のロボットを非接触で動かして（手の動き）、物を動かすときの因果知覚や質感についての研究も始めました。
さて、「タンジブルインタフェースとバーチャルインタフェース」については、人間の特性や物性に関する科学的理解を活用しつつ、人と情報とのインタラクションを支える次世代インタフェース開発をめざしたもので、それぞれのインタフェースを融合させた新しいインタフェースの形の研究として、2022年10月から開始したテーマです。タンジブルインタフェース（実体を伴うインタフェース）は実物を触りながら情報にアクセスできるので、日常生活の延長上で直感的に情報とインタラクションできますが、実物を使う以上、造形時間や物理制約がかかってきます。一方、バーチャルインタフェース（実体を伴わないインタフェース）では、多くの情報が仮想的に与えられるので、造形時間や物理制約はあまりかかりませんが、ヘッドマウントディスプレイを装着したり、見慣れない装置を利用したりと、日常生活の延長上でのインタラクションは難しくなります。このタンジブル・バーチャルインターフェースを融合させる新しいインタフェースは、例えばXR（Cross Reality）のアプローチに、タンジブルインタフェースを加えるイメージです。XRをいかに自然に人に体験させるか、その問いに対する1つの解としてタンジブルインタフェースをとらえていこうと考えています。

非接触な動作と映像との組み合わせにより、物の重さ、硬さといった質感を提示できる可能性を示してきました。今後はその提示のリアリティを高めていくフェーズに入ります。将来的には、一連の研究成果をオンラインショッピング等における情報提示で活用できるのではないかと考えています。例えば、オンラインショッピングで購入した枕の硬さがイメージと異なっていたとか、買った服の素材の感触がイメージと異なっていたといった話はよく耳にすると思います。映像を利用することである程度の素材イメージは表現できるのですが、質感を正確に買い手に伝えるには至っていません。質感を伝える情報提示技術をさらに発展させることで、買い手に質感を含む情報を正しく伝えることが可能となり、イメージと合った買い物ができるようになります。また、遠隔地に住んでいる家族等との間で肌のぬくもりや掌の感触といった質感を伝え合うことで、より深いコミュニケーションが可能になります。非接触インタフェースによる質感の操作技術を、その視覚表現技術と連動させていくことで、錯覚を利用した情報提示をよりリッチに、より精緻にすることができます。

人間の錯覚・知覚は、日本では心理学分野で研究されています。錯覚・知覚現象を心理学的なアプローチを駆使して解明し、工学的技術との連携により日常生活の中に応用していく、といったアプローチで現在研究を進めています。
心理学は人間を対象とした研究なので実験に時間がかかること、機械系とは異なり人間は同じ刺激や対話等に対して常に完全に同じ反応をするわけではないので、データの再現・収集が困難であり、こうしたデータを使った理論構築にも時間がかかります。一方、工学については、その研究が目まぐるしく進化しており、そのスピードのギャップをどのように埋めていくか、というところが人間の錯覚・知覚研究のポイントになると考えています。近年はAI（人工知能）の発達が目覚ましく、これを使うことで、このギャップをうまくコントロールできるのではないかと思います。もし、AIを駆使したDTC（Digital Twin Computing）により人間の完全なモデルをつくってそれを解析していくことができれば、こうした課題も解決されるとは思います。しかし、人間どうしは相互に影響し合うし、環境によっても反応が異なるため、すべてのデータを取り込んで学習させて人間のモデルをつくるというのは、なかなか一筋縄ではいかないだろうと思います。
心理学の研究においても、例えば視覚だったら視覚、聴覚だったら聴覚、対人認知だったら対人認知といった部分だけ取り出して、個々にどのような仕組みになっているかということを解析しています。そういった部分的なところをAIでモデル化することは十分可能であると思いますし、実はそういう取り組みはすでに行われてきています、こういったモデルを近接領域間で融合させていくことで、将来的には人間のこころの全容解明のような話になるのではないかと思います。
インタフェース研究におきましても、情報の受け取り手である人の心理特性を科学的に理解することは大変重要です。伝えるべき対象の本質をどのようにインタフェースで表現できるのか、それがなぜ人に伝わるのかをトータルに理解して初めて、インタフェースを取り巻く科学研究が成立すると考えています。

研究者は、研究に没頭するほど自分の論理にとらわれ、自分の価値観が正しいと考える傾向にあると思います。そういった自分の価値観にだけ閉じこもって研究を続けていると、逆に自分自身本当にこれでいいのかという感じで苦しくなってきたり、壁に突き当たったりするのではないかと思います。私は、3年前にグループリーダーになって、他の方の価値観をいろいろと知る機会が多くなりました。もちろん、自分の持っている価値観と合わないなと思うこともありますが、他の方の価値観を理解し、認め、そのうえで自分の価値観と融合させて新しい価値観をつくっていくことが大事だし、そうすることで自分自身も成長できるのではないかということを、最近強く思っています。
例えば、AIの研究においては最近の学術研究スピードは目覚ましいものがあり、昨日まで解けなかった問題が今日いきなり解けるようになることも少なくありません。その問題に取り組んでいた研究者にとって、その問題が解かれてしまったときには次の研究目標を探さなくてはなりません。自分の研究領域がいきなり陳腐化してしまうことで目標を見失ったり、新たな技術のわずかな先を行こうとして、近視眼的に小さな目標設定してしまったりするケースも出てくるのではないかと思います。ここで大切になるのは、多領域に関する知識の習得とそれらを結び付け、そして自己の研究領域の拡張だと考えています。そのためにも他者と自分の価値観を融合させて新しい価値観をつくることが重要なのです。問題の答えは1つでも、その解き方は1つではなく、ほとんどの場合複数あります。スピードや効果がそれぞれの解き方で違いますし、複数を組み合わせることでシナジーが生まれる場合もあるでしょう。そして、組み合わせることで新たな問題が発見されるかもしれません。それと同様に、複数の領域の知識を習得しつつ組み合わせながら、問題解決に挑むことで、おのずと自己の研究領域が拡張していき、研究者としての幅も出てくるのではないかと考えています。
将来的にも研究者を続けていきたいと思っていますが、多様な価値観を許容し、ブレンドし、新たな価値を創造・提供し続けることができる研究者になりたいと思います。新しい価値観をつくり出す中で、別の領域やテーマに目が向くこともあるかもしれません。このような場合であっても、よりどころ・原点になるところがあり、それを土台としていくことで大きく前進できるのではないかと思います。私のよりどころ・原点は「心理学」であり、それをベースにしてさまざまな新しいことも吸収していこうと思っています。そして、心理学と工学をうまく融合させて、世の中への貢献として一石投じることができるよう、研究を続けていきたいと思います。

上司や周囲からいろいろと期待されることはあると思います。もちろん、それにこたえることは重要なのですが、その期待を超えて突き進む、尖っていくことが大切だと感じています。「期待どおり」というのは上司や周囲の枠の中にとどまることですから、どうしても成長の範囲が狭まったり、機会が少なくなったりします。期待を突き破って進んだ瞬間には、上司をはじめ各方面とも議論が発生すると思います。ただ、議論をすることで周囲も巻き込んで全体が前進するので、ぜひ尖って議論を進めてもらいたいと思います。そのためには、その土台となるもの、よりどころになるものが必要で、それは自分の経験等を含む知見であったり、他者の知見であったり、こうした知見の蓄積です。
上司や周囲の枠を突き破り、発想の外に行くくらいまで素敵に尖って、ともに前進していきましょう。