NTT技術ジャーナル記事

   

「NTT技術ジャーナル」編集部が注目した
最新トピックや特集インタビュー記事などをご覧いただけます。

PDFダウンロード

特集

新たなライフスタイル「リモートワールド」の実現に向けた研究開発

新しい「リモートワールド」実現に向けた人間能力拡張の取り組み

NTT人間情報研究所では、リモートならではのユーザ体験を創出する新しい「リモートワールド」の実現に向け、人間の能力拡張を実現する技術開発に取り組んでいます。言語化が難しい運動能力・身体知を対象に、表面筋電や脳波のような客観的に観測できる情報を収集し、その情報を基に、筋電気刺激を用いて人に直接伝えるような伝達・共有をめざす運動能力転写技術と、その人自身の内で発生している主観的な感覚をとらえ、それと同様の感覚を他の人が自身の感覚として形成できるように伝達・共有をめざす身体知技術に取り組み、リアル・サイバーを超えた能力拡張実現をめざします。

井上 照久(いのうえ てるひさ)/小池 幸生(こいけ ゆきお)
NTT人間情報研究所

リモートワールドにおける人間の能力拡張の取り組み

新しいリモートワールドにおいては、単にリアル空間をリモートで、すなわちサイバー空間で接続するだけではなく、リアル・サイバーが融合し新たなユーザ体験が創出される世界であると考えています。私たちは「教育」、特に楽器演奏やスポーツのように身体運動を伴う教育・トレーニングを対象とし、これまで人と人がリアルで直接伝達・共有していた技能・身体技術を、時間と場所によらず伝達・共有できるようにすることで人間の能力拡張を可能とし、リモートワールドにおける新たなユーザ体験を創出することをめざしています。
実現に向けて私たちが取り組んでいる研究開発の中から、プロスポーツ選手や職人の方が持つ技能・身体技術(コツなど)に対して、表面筋電や脳波のような客観的に観測できる情報を収集し、その情報を基に、筋電気刺激を用いて人に直接伝えるような伝達・共有をめざす「運動能力転写技術」と、その人自身の内で発生している主観的な感覚をとらえ、それと同様の感覚を他の人が自身の感覚として形成できるように伝達・共有をめざす「身体知技術」を紹介します。

運動能力転写技術の取り組み

リモートワールドにおける新たなかたちの教育・トレーニングの実現に向け、運動能力転写技術に取り組んでいます。時間や物理的な距離にとらわれずにさまざまな人々が教え合い、今までにない指導・学習体験を得られる世界の実現に向け、特に対面でも難しい運動の学習に取り組んでいます。
運動能力転写技術は、熟練者の運動を再現・転写することをコンセプトとし、人体の運動制御に対しセンシング・介入することで、運動支援する取り組みです(1)(図1)。人体における運動制御と運動支援の関係を次に示すように考えています。人の運動は、脳からの運動指示が筋肉に伝達され、筋肉が収縮することで実行され、その結果を刺激として感覚器を通じて脳が知覚・認知し、新たな運動の計画・指示を繰り返します。これに対して、センシング個所とフィードバック個所の組合せと、具体的なセンシング手法とフィードバック手法により運動支援する内容が変化します。運動能力転写技術は、この人体における通信や制御に対し、主に脳波や筋電位等の生体信号のセンシングに基づく解析や電気刺激フィードバックにより支援する技術です。現在、脳から筋肉への運動指示とその結果である運動に対するセンシング・介入として、筋活動(筋電図)、運動状況のセンシングとそれに基づく筋電気刺激(EMS)による運動支援(介入)の取り組みを開始し、さらに、感覚器からの入力に対する脳における知覚のセンシング・介入として、運動の基本である姿勢制御において重要な、視覚、体性感覚、前庭感覚に着目した取り組みを開始しています。
運動能力転写技術を用いた新たなかたちの教育・トレーニングについて記載します。通常、特に運動の教育・トレーニングにおいては、指導者やトレーナーと生徒は同じ空間に対面で存在し、言葉や身振りなどによって指導を行っています。これに対し、生体情報のセンシング・介入による運動能力転写技術によって、時間や物理的な距離にとらわれずに指導できるのみならず、対面での教育・トレーニングを超えた、より効果的な空間(リモートワールド)の実現をめざします。リモートワールドにおけるトレーニングの事例として、ピアノのトレモロ演奏支援の遠隔指導を記載します。
ピアノのトレモロ演奏において、初心者と熟練者では腕の筋肉の使い方が異なり、初心者は指を動かすことを意識するが熟練者は手首を回転させることを意識するといわれています。この差異、すなわち筋活動の差異に着目し、EMSを用いることで熟練者の筋肉の使い方を初心者の筋肉に直接伝える技術に取り組んでいます。熟練者の効率的な身体の動かし方を身体で直接学習することができ、前腕の無駄な力みを減らして演奏することができるようになることを確認しました(2)
この技術を基に、リモートワールドにおけるトレーニングに向けたシステムコンセプトを開発しました。熟練者側には簡易なモーションセンサを設置し、手首の回転運動を計測しシステムに送信します。初心者側にはシステムを介したEMSを腕に接続し、熟練者の動作に合わせて手首の回転を交互に繰り返すようEMSを提示します。熟練者は単に音声や映像で指導するのみならず、システムを通じて熟練者の奏法を直接体験させながら指導することができ、双方にとって新たな指導・学習体験を実現します。今後に向けては、演奏時に複数の筋肉が協調して動作することに着目し、複数の筋肉をEMSで協調して動作させるシステムの検討を進めています。このシステムにより初心者でも滑らかで質の高い演奏が可能となるように支援することをめざしています。
今後は運動能力転写技術で取り組んでいる各種センシング・介入技術を基に、日常動作やスポーツ・楽器演奏等具体的な事例に対し、リモートワールド時代における新たなかたちでの教育・トレーニング実現に向けて取り組みを進めます。

身体知技術の取り組み

私たちは、人が言語による理解では獲得できない非言語の知(技能=身体知)の抽出・共有をめざした研究を推進しており、スポーツにおける「身体知の獲得」の仕組みを明らかにし、遠隔地にいる人に対して他者が持つ身体知を獲得できるよう支援することを目的とした技術の確立に取り組んでいます。身体知の獲得とは、ある身体的な行為において、自身に生じる固有の体感を基に身体(筋肉や骨)の動かし方を修正、より適切で良いパフォーマンスを発揮できるようになることと考えています(図2)。しかし、固有の体感は身体的な行為を行ったその人自身の中に閉じており、主観的なその感覚を直接とらえ、他者に伝達することは困難です。
本取り組みではウインドサーフィンを題材に、高い競技パフォーマンスを発揮する際のプロ競技者の固有の体感を身体活動と自然環境や道具の挙動(状態情報)をとらえる、それらを再現することで同様の体感を形成し、他者の身体知を獲得することができるのではないかと考え、それを実現するための抽出・共有技術の研究開発を行っています。
抽出技術開発の一例として、実際の競技者の競技中の映像・挙動データをセンシングし、身体動作の意図や、意識していることなどを取得したデータとともに振り返りのインタビューを行い、高いパフォーマンスを発揮した際の固有の体感が生じる状況を特定、そのときの状態情報と体感を表現するオノマトペや模型といったメディアを組み合わせて、身体知を抽出する技術を提案しています。抽出した情報を競技者自身が本当に体感しているか、意識しているのかを実際の競技の中で評価し、フィードバックをすることで抽出精度の向上をめざしています(図3)。また、競技者どうしでそれぞれの固有の体感を形成する状態情報・メディアを共有し、比較することで共通している部分、異なっているものを抽出することで、身体知の獲得支援に向けてより有効な情報の抽出ができるように手法の改善を行っています。
共有の技術開発では抽出した情報を基に、他者が持つ固有の体感の再現を試みるために、状態情報を再現するための身体感覚再生シミュレータを構築することで身体知の獲得支援に向けた技術の具体化を始めています(図4)。身体感覚再生シミュレータでは、実際に競技者が行ったウインドサーフィン(道具)の挙動、風(自然環境)、競技者が見ていた映像を連動して再生することで、他者が持つ固有の体感を形成できることをめざしています。これにより、本来は共有することが困難な、その人の中で閉ざされている主観的な体感を、他の人へ体験として共有することができるようになると考えています。現在は競技者自身やそのほかの競技者が実際に使用することで評価を行い、フィードバックを行っています。
これらの取り組みにより、今後ウインドサーフィン競技において最大60km/h以上の速度を出せる身体知を獲得することを目標に、日々抽出・共有技術の改善に取り組んでいます。
身体知技術では現在はウインドサーフィンを題材に抽出・共有技術の研究開発を進めていますが、将来的にはスポーツだけではなく身体的な動作を伴う技能が用いられる他分野への展開も視野に入れて、技術検討を進めていきます。

NTTドコモ人間拡張基盤との連携

リモートワールドにおいて人間の能力を拡張する取り組みは、NTTドコモが6G(第6世代移動通信システム)時代の新たな提供価値の1つとして挙げているネットワークで人間の感覚を拡張する「人間拡張」を実現するための基盤「人間拡張基盤®」との連携も進めています(3)(4)。人間の感覚をネットワークによって伝送、拡張するNTTドコモのネットワーク技術と連携することにより、私たちがめざすネットワークを介して人間の能力の拡張を効果的に実現できると考えています。
docomo Open House'22(2022年1月17〜19日開催)ではNTTドコモの人間拡張基盤との連携状況を可視化する展示として、運動能力転写技術ではアクティブ生体音響センシングを用いた手指形状のセンシング(5)を行い、別の人間の手やロボットで再現、熟練者の指の動きでピアノのトレモロ演奏を実演する展示を、身体知技術ではウインドサーフィンのプロ競技者の技能を初心者やアマチュアの方が体験できる身体感覚シミュレータを展示し、多くのお客さまにNTT研究所とNTTドコモとの将来の連携のかたちを体験していただきました(図5)。
今後は6Gにおける超低遅延性などを活かしたリアルタイムでの人間の能力の拡張の実現に向けたNTTドコモとの連携や、さらなる外部パートナーとの連携によるリモートワールドに向けたより価値の高い技術検討を推進していきます。

今後の展望

新しい「リモートワールド」実現に向け、新たなユーザ体験としての人間の能力拡張、特に運動における技能・身体技術を時間と場所によらず伝達・共有するための取り組みについて、客観的側面と主観的側面に着目した取り組みを進めていきます。将来的にはこれらの技術を組み合わせ、さらに外部パートナーと連携することで、より価値の高い技術を提供できるよう検討を進めていきます。

■参考文献
(1) 青野・瀬下・松村・小池・松村:“人と機械の共生をめざすサイバネティックス技術,”NTT技術ジャーナル,Vol. 33, No. 10, pp. 53-56, 2021.
(2) A. Niijima, T. Takeda, K. Tanaka, R. Aoki, and Y. Koike:“Reducing Muscle Activity when Playing Tremolo by Using Electrical Muscle Stimulation to Learn Efficient Motor Skills,”Proc. ACM IMWUT,Vol. 5, No. 3, Sept. 2021. https://doi.org/10.1145/3478110
(3) https://www.docomo.ne.jp/info/news_release/2022/01/17_00.html
(4) 石川:“人の動きや感覚を共有する人間拡張基盤とは,”ITUジャーナル, Vol.52, No.7, pp.16-18, 2022.
(5) 久保:“ハンドジェスチャ操作を実現する手指形状認識技術,”NTT技術ジャーナル,Vol. 33, No. 1, pp. 62-65, 2021.

(左から)井上 照久/小池 幸生

新しいリモートワールド時代における人間の能力拡張実現に向けて、取り組み中の技術を基に、日常動作やスポーツのほか、身体的な動作を伴う技能が用いられる他分野への展開も視野に入れて技術開発を進めていきます。

問い合わせ先

NTT人間情報研究所
サイバネティックス研究プロジェクト
E-mail cyberne-hosa-p-ml@hco.ntt.co.jp

DOI