NTT研究所では、さまざまなモノやヒトどうしが実世界の制約を超えて高度に相互作用することで多様な仮想社会をつくり出し、仮想社会と実世界の融合によりヒトの活動範囲や可能性の拡大するサービスを創出する、デジタルツインコンピューティング（DTC）構想の実現をめざしています。本稿では、実世界とサイバー世界をつなぐサイバーフィジカルインタラクション層で取り組む技術のうち、ヒトのデジタルツインにおける演算処理の結果を実世界のヒトへフィードバックすることにより運動機能における能力拡張を実現する生体信号デコーディング・フィードバック技術と、世界の物理的な距離と、ヒトに認知的な時間感覚を超え、遅延を解消させる予測提示をフィードバックすることで違和感のない操作を実現するゼロレイテンシメディア技術について紹介します（図）。

DTCにおけるヒトのデジタルツインは、実世界の自分がサイバー空間上のさまざまなデジタルツインと、またさらにその先にいる実世界のヒトとインタラクションするためのインタフェースであるという側面を持ちます。具体的には、HMI（Human Machine Interface）を通じて、サイバー空間での経験を実世界の自分に伝えることを可能とするものであり、HMIがデジタルツインと実世界とのインタラクションにおいて重要な役割を担うものです（１）。デジタルツイン演算のキーコンセプトの１つである「交換・融合」によって、ヒトのデジタルツインは単なるヒトの再現でなく、サイバー空間での能力拡張が可能となります。その能力をヒトが実世界で発揮する際にも同じくHMIが重要な役割を担います。
私たちは、人の能力拡張、特にサイバー空間と実世界ともに重要な要素となる運動機能における能力拡張の観点から、それを実現するためのHMI技術（生体信号デコーディング＊・フィードバック技術）への取り組みを開始しました。
人体における運動制御は一般的に、感覚器で受けた刺激が神経系を通じて脳によって知覚され、脳内で行動計画等の認知的活動が生じ、遂行すべき運動の指令を筋骨格系に対して神経系を通じて伝達し、信号を受けた筋肉が収縮することで成立します（２）。これら感覚系機能、神経系機能、筋骨格系機能および機能間を伝達する生体信号のヒトのデジタルツイン間における交換・融合、およびその結果を実世界のヒトへフィードバックすることによる各機能の強化、信号の流通の実現が、めざす運動機能における能力拡張です。熟練者の運動制御機能や生体信号を訓練者へ投影しての訓練や物理的な支援による運動能力拡張が可能となります。
運動機能における能力拡張を実世界のヒトへフィードバックし、ヒトの運動能力拡張を実現するために、生体信号のデコーディングとフィードバックを中心とした以下の技術が重要と考え、これらを生体信号デコーディング・フィードバック技術として取り組みます。
・人間の運動制御における各機能要素間の生体信号（脳波、筋電図等）と動作の関係性の解明およびデジタル化(デコーディングによるデジタル情報化および再現性の高い感覚・運動信号の時空間特徴量抽出手法とパタン化)
・デコード情報を元とし矛盾・ギャップを検知・吸収し最適な身体動作を実現する運動制御技術(「調停」機能)
・動作/感覚の再現と身体に知覚させる技術、および物理的な機能拡張を含めた運動制御技術(外骨格活用とその制御方式)

特に「調停」機能はデジタルツイン演算による能力拡張実現において重要な役割を果たすと考えています。人の運動制御における各機能および信号をデジタルツイン間で「交換・融合」する場合、単に実世界にフィードバックを行うだけではなく、実世界にフィードバックを行う際に生じることが想定されるデジタルツイン情報と実世界との矛盾・ギャップを検知し調整する必要があるからです。より具体的には、各機能および信号における個人差の吸収や、デジタルツインと実世界のヒトとの状態の差異の吸収が必要です。例えば運動熟練者の生体信号を未習熟者にフィードバックする場合、未習熟者の筋力、関節可動域限界や現状の姿勢からそもそも期待どおりに動作しない可能性や、筋繊維断裂や関節の損傷など安全面でも問題がある可能性があります。そのためその人に合わせて信号強度を調節することや、より適した動きになるよう信号の変換を施したうえでフィードバックする「調停」機能を備えた新たなHMI技術実現により、能力拡張されたヒトが、あたかも自分の身体そのものであるかのように動作させることができる世界をめざします。
DTC構想の中核であるデジタルツイン演算「交換・融合」をヒトに適用し、ヒトの能力拡張実現に向け、生体信号デコーディング・フィードバック技術研究開発を進めます。

実世界においては、ヒトやモノにはそれぞれ固有の空間的座標軸と時間軸が定まり、空間と時間の概念は密接に紐付けて考えられています。視覚情報であれば光速で、聴覚情報であれば音速で情報の交換が行われており、情報伝達は物理的に光の速度を超えることはできません。そのため遠隔のモノを操作する際には必ず遅延が生じ、同じ空間として認識するには物理的な制約を超えなければなりません。またヒトは、感覚器情報から脳内に信号が送られ、認識、判断を行ってから行動を移すなど、認知的な情報伝達の遅延が発生します。そのため同一空間で起こる事象でさえ、ヒトの認識・判断には認知的な制約を超えなければなりません。私たちは、モノを操作する際に生じる通信などの物理的な遅延に加え、ヒトの認知による遅延に注目し、DTCにおける空間的な距離の制約を超えた「距離非依存の能力拡張」と、ヒトに依存しない認知の世界に踏み込んだ「ヒト非依存の能力拡張」の観点に注目し、ゼロレイテンシメディア技術の取り組みを開始しました。以下、この２つの能力拡張のめざす方向性と、技術概要を紹介します。

■距離非依存の能力拡張
ヒト・モノが融合し協調を行うDTCにおいて、サイバーフィジカルインタラクション層を通じて実世界へのフィードバックを行う際には、デジタルワールドプレゼンテーション層における単純な同期的時間進行ではなく、サイバー空間のフレームワークにおける時空間の概念を定めなければなりません。実世界へフィードバックを行うときには必ず物理的な通信遅延が起こり、この遅延がさまざまなアプリケーションにおいて問題となります。例えば、映像配信におけるリップシンクのずれによる違和感（３）、また近年ではVR/ARなどにおけるシステム処理による遅延から生じる映像酔い（４）、（５）などがあげられます。これらは、人が期待している情報と異なる感覚器情報が与えられることによる違和感から生じる（４）ことが分かっており、DTCにおいても大きな課題の１つとなると考えられます。
実世界へのフィードバック時もさることながら、遠隔にいる“ヒトとモノ”や“ヒトとヒト”のインタラクションにはさらに遅延が大きくなるため、融合する２つの異なる時間軸を合わせる技術が必要になります。例えば遠隔機械操作などの信号処理であれば、入力に対して生じる環境変化の予測を行うことにより、原理的にはサーバ空間では同じ時空間上の同じ時間軸に合わせることが可能です。しかし、単純な物理予測だけではヒト・モノが融合する世界にはたどり着きません。ヒトはモノを操作する際にも操作に対する感覚的なズレが生じ、訓練や慣れによって解消されることが知られています。例えば車の運転では、50 km/hで運転する状況と、300 km/hでレースを行っている状況では、ハンドリング操作とタイヤと路面の抵抗から受ける操作感は異なる処理能力が使われ、認知的な時間感覚が全く異なります。
そこで私たちは、ヒトが身体を動かし、モノを操作する際に生じる認知上の遅延（感覚的遅延と呼ぶ）と、モノを操作する際に生じるシステム的な問題と遠隔通信における遅延（物理的遅延と呼ぶ）を合わせ、環境変化の予測のみならず、脳内で行われる予測モデルに関する研究を進め、物理的遅延と感覚的遅延から生じる違和感の解消により、実空間における距離の物理的ギャップを、サイバー空間を通じて克服し、遠隔のモノを自在に操作する能力拡張の実現をめざします。

■ヒト非依存の能力拡張
ヒトがモノを操作する際に生じる認知上の遅延許容量や予測能力はヒトによって大きく異なります。例えば、外科医、飛行機パイロット、カーレーサー、プロスポーツ選手など、訓練されていないヒトと訓練された卓越技能者ではこの能力に大きな差があり、この認知的な能力差は、慣れや訓練によって習得することができます。この技能習得課程には多大な訓練を要するものもあり、一方卓越技能者の体感する世界を疑似的に体験させることが有効とされています。例えば、飛行機やカーレーサーは初めから実機による操縦を行って訓練するのではなく、フライトシミュレータやドライブシミュレータを用いて十分な訓練を行いますし、また、競泳ではロープで引っ張ってもらうことにより高速な水泳状態を体感させ、野球ではピッチングマシンの高速球にて練習を積むことにより速球の対応能力をあげる訓練を行います。近年では、筋肉にEMS（筋電機刺激）を与えてヒトの反射神経を強化した体感をさせる能力拡張の研究もあり（6）、ヒトの認知的な遅延量を超えた反応が可能になります。この研究では落ちてくる棒を掴むことや、飛んでくるボールの写真を撮るなどの行為を、刺激量の変化によってあたかも自分自身で行った（行為主体感）錯覚をさせることを可能としています。
そこで私たちは、ヒトの身体的な反射機構と、推論的意思決定が行われる脳の内部モデルによる予測機構の両側面から研究を推進し、ヒトの予測能力の研究に取り組みます。さらにはこの予測能力の交換を可能とすることにより、自身の限界を、さらにはヒトの能力の限界を超えた、ヒト非依存の能力拡張の実現をめざします。

■めざす世界とその応用
距離非依存の能力拡張とヒト非依存の能力拡張により、サイバー空間における時空間を操り、実空間における距離の物理的ギャップを克服し、遠隔の物を動作するかのごとく、自在に操作する世界の実現をめざします。例えば、宇宙空間や地球の裏側にあるロボットアームなどの遠隔操作を行い、このアーム操作をリアルタイムに、人の手で「掴む」「動かす」「工作する」という感覚で動作させます。さらには、遠隔における周囲環境のヒトとモノの相互作用を考慮した予測により、ゼロを超えたマイナス遅延の世界に必要となる半自律制御技術にも取り組み、DTCにおける能力拡張技術に取り組んでいきます。

脚注（用語解説）：
※　デコーディング：生体信号の解析・理解（脳波からの感覚再現等）。

■参考文献
（１）　https://www.ntt.co.jp/svlab/DTC/whitepaper.html
（２）　伊藤: “運動制御ネットワーク,” 計測と制御, Vol. 56, No. 3, pp. 161–162, 2017.
（３）　池田・由雄：“ マルチメディアにおける同期,” 電学誌, Vol. 126, No. 5, pp. 288-291, 2006.
（４）　K. M. Stanney, R. R. Mourant, and R. S. Kennedy：“Human Factors Issues in Virtual Environments: A Review of the Literature,”in Presence, Vol. 7, No．４，pp. 327-351, August 1998.
（５）　氏家・鵜飼・斎田：“映像酔いに対する運動パタンと映像コンテンツの影響(<特集>サイバー空間の安全・健康・快適性)，”日本バーチャルリアリティ学会論文誌，Vol．９，No．４，pp. 377-385，2004．
（６）　S．Kasahara, J．Nishida, and P．Lopes：“Preemptive Action: Accelerating Human Reaction using Electrical Muscle Stimulation Without Compromising Agency，” CHI 2019, pp.1-15, Glasgow, Scotland，U.K.，May 2019.