情報端末を通じたユーザへの情報表示はあらゆる場面において活用され、私たちの生活においてなくてはならないものとなっています。情報端末としては、公共空間に設置されたディスプレイや持ち運び使用するスマートフォンといったモバイル端末が主に用いられています。そして現在、新たな情報端末の形態として、スマートグラスやAR（Augmented Reality）グラスといったユーザが身に着けて使用するウェアラブルな眼鏡型端末の実用化をめざし、各社において検討が進められています。眼鏡型端末のこれまでの端末と異なる特徴は、ユーザが見ている視界へ直接情報を重畳表示できる点だと考えています。
眼鏡型端末によってユーザの視界へ直接情報を重畳表示できるようになると、あらゆる情報を現実世界に重畳させ、ユーザごとに異なる情報を表示可能になることも考えられます。これまでは、駅や公園といった公共空間における情報表示には駅の案内板およびサイネージ等、各地に設置された物理的に存在するディスプレイ等を介して、誰に対しても画一的な情報表示がなされてきました。しかし、眼鏡型端末を活用し各ユーザに異なる情報を表示できる特徴を活かせば、これまで現実世界に固定され存在したあらゆる情報を各ユーザの特性に応じて動的に変化させ、各ユーザが求めている情報を表示可能となることや、各ユーザが求める情報量もユーザにとって心地良い情報量に調節し表示可能になることも考えられます。
情報はこれまで以上に私たちと密接な存在となるため、スマートフォンを画面上において操作しているように、眼鏡型端末を介して現実世界に重ねて表示される情報を操作する技術はこれまで以上に重要になると考えられます。私たちはその未来を見据え、表示される情報を扱うための操作方法に関する研究を行っています。本稿では、現在研究を行っている技術の１つである手を用いた操作方法に必要となる手指形状認識技術に関する研究を紹介します。

眼鏡型端末を介して表示される情報の操作方法に関して有力視されている方法として、手の状態もしくは動作を用いる、ジェスチャ操作が挙げられます。ジェスチャ操作を行うためには、まず手のジェスチャを認識する方法が必要となり、例えば、カメラを用いたジェスチャ認識に関する研究が行われています（1）。しかし、カメラを用いる場合、カメラの設置位置や画角に応じて認識できる範囲が限定される点や、対象とカメラの間に障害物があると認識が難しい点、プライバシ問題等の課題があります。
また、手のジェスチャを検討する際には、認識手法だけでなく操作に用いるジェスチャのデザインも重要となります。ジェスチャといえば腕を大きく上下左右に動かす、腕を長時間上げているような動作が想像されますが、これらの腕を大きく動かす必要のあるジェスチャを用いる場合、いくつかの課題があります。例えば、腕を大きく動かし、上げ続ける必要があると腕への疲労が蓄積し、長時間使うとユーザへの負担が大きくなってしまいます。また、大きな身振り手振りによる操作だと周囲にいる人たちから目立ってしまうため、社会受容性が低い点や、周辺に人や障害物があるとジェスチャを行えない点、周辺の人から何をしているか操作を盗み見られてしまう等の課題もあります。これらの課題を踏まえ、NTTサービスエボリューション研究所ではユーザへの負担を軽減できる手指の細かなジェスチャを用いる操作方法に着目し、これを実現するための手指の細かな状態を認識可能とする装着型センサを活用した手指形状認識技術の研究を行っています。次に、本技術アクティブ音響センシングに基づく手指形状認識技術AudioTouch（２）について紹介します。

AudioTouchは、指の動きに追従し変化する手の甲の筋肉や骨といった構造の変化を超音波エコーのような原理を用いて音波によってとらえ、手指の状態を推定する手指形状認識手法です。一般的にあらゆる物体は、形状、材料、境界条件等に依存した独自の共振特性を持っています。先行研究（３）では、センサを貼り付けた物体をタッチインタフェースとするために、ユーザが物体に触れたことに伴い、物体の境界条件が変化するとともに共振特性も変化することに着目し、物体へのユーザからのタッチを認識する手法を提案していました。これに対して、AudioTouchは、手の内部構造を含めた手自体の形状変化による共振特性の変化に着目しました。ユーザが手指の姿勢を変える場合、手の骨および筋肉等が動くために手の共振特性が変化し、手指の姿勢の変化を異なる共振特性を計測することにより認識することができます。この共振特性の変化は、物体に振動（音波）を伝搬させて周波数応答を得ることにより計測することができます。AudioTouchはこれを基に、手の周波数応答を観測し、手指の形状変化を認識します。具体的には、手の甲に貼りつけた2つの圧電素子を用いて（図1）、一方の圧電素子から手の表面と内部の両方に超音波を放射し、もう一方の圧電素子を用いて手の表面および内部を介した超音波を取得し、取得した音波の周波数応答を解析します。そして、得られた周波数応答から特徴量を生成し、機械学習を用いて手指の形状を認識します。
AudioTouch では、図2に示すような3つのジェスチャセットを認識できるかどうか実験を行い確認しました。ジェスチャセットとしては、親指を指の節に合わせるものや、親指の左右動作、他方の指による掌へのタッチの3つのジェスチャセットとなります。そのほかにも、親指と人差し指を合わせた際の力の入れ具合の強弱を2段階にて区別できることも調査しました。これらのジェスチャを用いて、掌をタッチパッドのように用いるテンキーやメニュー選択のアプリケーション例が考えられます。

本稿では、眼鏡型端末向け操作方法に関連した技術の概要を述べ、これを実現するための要素技術である手指形状認識技術の現状の取り組みについて説明しました。技術的、社会的な課題はまだまだ残されており、NTTサービスエボリューション研究所では、今後も研究開発を継続的に行っていきます。
本研究は、JST ACT-I JPMJPR16UA の支援を一部受けたものです。

■参考文献
（1） D. Kim, O. Hilliges, S. Izadi, A. D Butler, J. Chen, I. Oikonomidis, and P. Olivier: “Digits: Freehand 3D Interactions Anywhere Using a Wrist-Worn Gloveless Sensor，”Proc. of UIST 2012, pp. 167-176, Cambridge, U.S.A., Oct. 2012．
（2） Y. Kubo, Y. Koguchi, B. Shizuki, S. Takahashi, and O. Hilliges: “AudioTouch: Minimally Invasive Sensing of Micro-Gestures via Active Bio-Acoustic Sensing，”Proc. of MobileHCI 2019, p. 13, Taipei, Taiwan, Oct. 2019.
（3） M, Ono, B. Shizuki, and J. Tanaka: “Touch & Activate: Adding Interactivity to Existing Objects using Active Acoustic Sensing，”Proc. of UIST 2013, pp. 31-40, St Andrews, U.K., Oct. 2013．