錯覚を利用した情報提示技術の提案が私の研究テーマです。錯覚は実際の世界で生じている事象とは異なるものを感じてしまう人間の知覚特性を指します。一般的には錯覚は「望ましくないもの」ととらえられがちで、これは人間が正しい世界を見ることを錯覚により阻まれると感じるためです。しかし、私は錯覚を利用すれば、これまで不可能だった表現が可能になる、錯覚を利用することで、いわゆる正しい世界では生じることのなさそうな知覚体験を提供できるのではないかと考え、「変幻灯」という技術を開発しました(1)（図1）。この技術は、私が現在の研究テーマを始めたきっかけでもあります。
変幻灯は光投影技術（プロジェクションマッピング技術）を利用して、静止した対象に見掛け上動いているかのような印象（錯覚）を与えることができます。変幻灯では錯覚が生じるように計算された明暗の映像を、対象にぴったり重なるように投影します。人間の脳にある動きを検出する仕組みは、低いコントラストでも動作しますので、変幻灯で投影する映像は低いコントラストのもので構いません。
また、人間の動き検出器は明るさには敏感ですが色には鈍感なので、変幻灯で投影する映像は明るさの変化のみで十分です。このため、ほのかな明暗映像しか投影しないので、投影された対象の色味や風合いをほとんど損なうことなく、動きの錯覚だけを対象に与えることができます。この変幻灯は成果提供先である、NTTコミュニケーションズと大日本印刷株式会社との協業により商用化され、スーパーや美術館などさまざまな分野で利用されています。
変幻灯の次に開発したのが「浮像（うくぞう）」です(2)（図2）。浮像は実対象の影に見えるパターンを投影することで、あたかも実対象が宙に浮かんでいるように錯覚させる技術です。もともと影をつけることで対象が浮いて見えることはよく知られており、コンピュータのインタフェースや漫画、アニメなど多くの分野で使われています。浮像はその強力な影の錯覚効果を実世界へ持ち込み、カメラで実対象を取り込むだけで、自動的にその実対象の影にみえるパターンを生成・投影することで、実対象に奥行き印象を与えることができます。
もう1つ、「変幻灯」「浮像」の次に「踊る紙人形」に取り組みました(3)（図3）。静止した対象の輪郭に明暗の線を加えて明るさが時間的に変化する背景上にそれを提示すると、その対象が動いているように錯覚することは以前から知られていましたが、あくまで画面上での話として考えられてきました。私は実際の紙の対象に明暗の輪郭線を加えて、それを明暗が変化する画面上に置くこと、その紙対象が動いているような印象を与えることができることを研究報告し、国際的な錯覚コンテストである2018年のBest Illusion of the Year Contestで入賞いたしました。現在、この技術の商用化に向けて取り組んでいます。

1年半ほど前から、視覚的な「柔らかさ」を伝える錯覚技術の研究に取り組んでいます。「柔らかさ」というのは主に触覚を通じて認識されると思いますが、人間が映像のみからどのようにして「柔らかさ」を認識するかという問いについてはまだ完全には明らかになっていません。
こうした中、私は「ポアソン効果」という物理現象に注目しました。ポアソン効果というのは素材を横に引っ張ると縦に縮む（もしくは横方向に押し込むと縦方向に延びる）物理現象です。ポアソン効果は、ポアソン比という数値で記述することができ、例えばゴムのポアソンン比は0.5に近く、コルクのポアソン比はほぼ0です。ゴムを横に伸ばすと縦方向に縮みますが、コルクを横に伸ばしても縦にはあまり縮みません。ポアソン比はこの物理的性質をうまくとらえた指標です。メタマテリアルを除く日常的な素材でのポアソン比は0.5を超えないことが分かっています。
私はこのポアソン比が見た目の柔らかさにどのように関与するのかについて検討を始めています。まず、ポアソン比を人間がどのように知覚するかを調べました。その結果、人間はポアソン比が0.5を超えてもポアソン効果に違和感を持たないことを発見しました。検討を重ねた結果、人間は変形前後の画像面積変化に基づいてポアソン効果の違和感を判断していることが分かりました。
さらに最近はポアソン効果が疑似触覚に影響を与えることを示しました。疑似触覚とは、視覚的な映像を操作することでユーザに生じる触覚的な錯覚のことを指します。例えばコンピュータのマウスを動かしているときに突然カーソルの動きが鈍くなったら、重くなったような印象を持ちます。その印象は疑似触覚の一種だと考えられます。私は対象を持ち、それを横方向へ広げるような動作を空中で行っているときに、画面上で対象が横方向に延びるような仕掛けをつくり、そこでポアソン比を操作してみました。すると、ポアソン比が高い対象ほど柔らかいと評価されることが分かりました。将来的には、この技術を遠隔地にあるものの柔らかさを伝え、それをコントロールし、その作業過程を見せるシーンで活用できるのではないかと考えています。

これらの技術は2018年に海外で開催された学会に参加したとき、帰りの飛行機の中で映画を見ていてひらめきました。たしか、『アイアンマン』だったと思いますが、映画の中では立体的なホログラムを主人公が操作していました。実社会ではホログラムは映像だけですから触ることはできませんが、私はこの主人公はホログラムを触っている感覚を得て、それで操作しているのだろうと想像し、疑似的な触感を与えることで質感を高められるだろうと考え研究を始めました。
さらに幼いころまでさかのぼると、豆電球に手をかざすと手が透けて見えたように思え、それはもしかしたら超能力ではないかと思っていました。成長するにつれ、徐々に現実が分かるようになり、後知恵バイアスかもしれませんが、実際にはないものがそう見えることがあるのだと考えたことが現在の研究活動につながる原体験かもしれません。それから時を経て、大学で心理学を専攻し視覚について学んでいました。また、テレビゲームが好きでゲーム上で壁にぶつかったときに衝撃を受けたような感覚になること等にもヒントを得て、錯覚を利用した情報伝達ができないかと考えました。

上席特別研究員になってから２カ月しかたっていないことと、新型コロナウイルス対策のために在宅勤務が続いていたため、役割の変化を肌で感じたことはまだありません。一方で、持つべき視野については日常的に考えるようになりました。私は10年前まで大学で勤務しておりました。そこでは科学の「ビルディングブロック」になるんだ！科学に対して貢献しよう、と考えていましたが、NTTでの業務を通じて、大学とは異なったかたちで研究ができるのではないかと思い始めました。実際に錯覚の実世界実装を研究しそれを使ってもらうことで社会に貢献することができることが分かると、自分の研究は科学の礎だけではなく、具体的に世の中に貢献することにもつながるのだと考えるようになりました。NTTの上席特別研究員として、科学にも社会にもどちらにも価値ある研究成果を提供できる人材でありたいと考えています。
また、研究者にとって、テーマ探しはいくつになっても苦労する側面の1つだろうと思っています。今でも「次何しようかな」と思うことはあります。私が大学院生のころテーマ探しで悩んでいたときに、現在は大学教員をしておられる先輩から「何をするか決まらないのは努力が足りないからだ」というお叱りを受けたことを覚えています。確かに「何をするべきか分からない」という状態は、「何が当該研究領域で問題となっているのか、それを構造化して理解していない」ということにほかならず、結果的に先輩がおっしゃっていた「努力していない」という言葉はもっともだと思っています。とにかく自分の研究領域で何が問題になっているのか、自分は何が分かっていないのか、を把握するために、この領域のテーマに関する文献を毎日4、5本、隙間時間を利用して必ず読むことを心掛けています。
それから最近は、ドラえもんの歌のようですが「こんなこといいな、できたらいいな」と考えるようにしています。例えば、錯覚を使ってこんな素晴らしいことができたらいいなと想像し、それが実現可能か、実現するための最先端の知見・技術は何か、という順番で考えています。一通り考えを巡らせると具体的に研究の話まで落とし込むことができ、日ごろ読み込んでいる文献が役に立ちます。このようにボトムアップ（研究領域で分かっていないことを把握する）に研究を進めつつ、トップダウン（世の中で何が実現できるかに思いを馳せる）に考えることを続けることで、課題や研究テーマは見つけやすくなるのではないかと思います。
こうした研究のテーマ設定や取り組み方については大学院時代のとある出来事が影響しています。進路に悩んでいたとき、私が所属した研究室の隣の研究室の先生に「河邉君、研究は好きな人が好きなだけやればいいんだ。やらないといけないことではなく、やりたいことをやるものなんだ」という言葉をかけていただきました。この言葉を聞いてから、やらないといけないことは私ではなくても誰かやるだろうから、自分はやりたいことを誰にも負けないように頑張ろうと思って研究を続けてきました。そして、研究が軌道に乗り始めたのはこの言葉がきっかけでした。
もう1つ。自分の研究分野を限定しないように常に考えています。世の中にある問題を解決するためには、1つの研究分野の知識で足りることは稀で、ほとんどの場合複数の研究領域の知識が必要となります。そのようなとき、「自分の研究分野とは別の分野の話だから解決は無理だな」と考えずに、まずは他の分野の論文でも読んで知識をつけることを考えています。一方で「餅は餅屋」という言葉もあるように専門分野の人には勝てませんから、その分野の人にも積極的に意見を聞くようにしています。知識を蓄えておけば議論や将来の連携もスムーズになると思います。

私の場合はまだ後輩よりも先輩のほうが多いので、後輩と同じ立場に立って大切だと思うことをお伝えします。常に研究のボトムアップとトップダウンの精神を忘れないでいてほしいと思います。そうすることで、自分が研究領域や社会にどのように貢献できるかもおのずと見えてくるのではないかと思います。これまで誰もやっていない研究テーマでも、やりたかったらやれば良いと思います。やったら認めてくれる人がいます。そうすることで、たくさんのスペシャリストが生まれることに期待しています。
さらに、基礎研究を研究者が直接アウトプットに結び付けるのはおそらくそう簡単なことではないと考えます。例えば、変幻灯も研究成果を見た方がこんな使い方があるのではないかとヒントをくださったことで実用化につながっています。一方で、トップダウン的な意識や希望を研究者自身が持っていることがアウトプットに結び付きやすいのではないかとも考えています。その意味では、NTTにはR＆Dフォーラムのような良い機会があるので、これを積極的に活用して他者の意見をいただくことは大切だと思います。私は積極的に展示をしています。

今後の課題は、錯覚の実世界実装の拡張です。錯覚は視覚だけではなく、聴覚や触覚といった他の感覚でも生じます。また、複数の感覚を組み合わせることで生じる錯覚も存在します。さまざまな感覚で生じる錯覚を技術に落とし込むことで、感覚を利用した技術の幅と深さを変えていけるのではないかと思います。例えば「柔らかさ」をキーワードにとっても、視覚・触覚の組み合わせによる柔らかさ表現や、光投影を用いた実物体の柔らかさ操作、さらには、バーチャル空間での柔らかさ判断などさまざまな切り口で研究ができると考えています。
NTTの研究所にいると、なぜこの研究をしているのかと問われることが多くあります。外界とあまり接触のなかった大学時代とは研究スタンスが違うと感じています。これはNTTの研究所で研究をすることは、世の中に貢献できる可能性があるから問われているのだ、と考えるようになりました。科学的に貢献するだけではなく、自らが考えた技術を使って社会貢献をすることも大事なのではないかと感じています。新型コロナウイルス感染拡大防止に伴う緊急事態宣言を経て、どのような社会貢献ができるかいろいろと考えました。例えば、感染防止のために非接触を推進するため、錯覚によってATMやエレベータのボタンなどに触れている感覚を持たせられるようなディスプレイの実現なども模索しています。
こうした社会問題を1つずつ解決していくこと、そして、これから社会に起きるだろう問題を先取りして提起していくことは非常に大切だと考えています。実は、非接触ディスプレイのアイデアはコロナ禍以前から考えており、錯覚を利用した奥行きのある豊かな情報提供を提案しようとしていたところ、今回の感染症拡大防止に役立つ可能性がみえてきました。
はたからみると研究者は何をしているのかよく分からないけれど、知恵を絞って社会を良くしてくれる存在だと思われているのではないでしょうか。私は研究者以外の仕事を知りませんし、また、研究者を辞めたいと思ったこともありません。今後も2つの視点を携えて好きなことをずっと研究していこうと思います。

■参考文献
(1)https://xtech.nikkei.com/dm/article/NEWS/20150629/425500/
(2)https://www.ntt.co.jp/journal/1809/files/JN20180920.pdf
(3)http://www.kecl.ntt.co.jp/openhouse/2019/exhibition24/index.html