2020年、瞬く間に世界中に広がった新型コロナウイルス感染症により、私たちの価値観や常識は大きく変化しました。そのうちの1つが、仕事を実施する場所を1つの場所に固定しない、リモートでの働き方（リモートワーク）が一般的な概念として定着したことであると考えます^（1）。リモートワークの浸透により、これまで対面で行われてきたさまざまな業務が、必ずしもその場に赴かずに実施可能となることで、固定の場所での業務に伴う地理的、時間的な制約から解放され、居住地を自由に選択可能となったことや、これまでの移動時間を他の活動に充てられることなど、さまざまなメリットを享受することができるようになりました。一方で、エッセンシャルワークなどリモートでの対応が難しい職種があること、リモートワークが可能な業務においても、遠隔化や分散化によるコミュニケーション不全や心理負担増等の問題が顕在化するなど、必ずしもメリットばかりではないことも事実です。
NTT人間情報研究所では、あらゆる業務において必要に応じてリモートという選択肢を持つことができる「リモートワールド」の実現をめざし、リモートでの業務における課題解決に向けた「身体遠隔化技術」の研究開発に取り組んでいます。

リモートワークを選択できない理由として、現場業務が中心で現在のリモートの手段では効率や生産性が低下してしまうこと、対面コミュニケーションが求められることが挙げられます。
現場での作業が求められる業務のリモート化には、遠隔からの操作に基づき現地で実際に作業する実態（機械やロボットなど。本稿ではこれを「義体」と呼ぶこととします）が必要となります。しかし現状では、遠隔地の本人が意図して操作した作業内容と実際に行われていた現地での作業の結果が、操作インタフェースや義体の再現能力の欠落や反応遅延により、実施内容やタイミングに差分が発生し、作業効率や生産性に大きく影響する課題があります。また、遠隔地から現地の状況を正確にとらえることができることも求められますが、現地の環境変化や対応する人の振る舞いを認知するための情報が対面時に比べて不足することや、現地に存在する人にとって、遠隔からの作業に対して違和感や不安が発生することも課題となります。
私たちが取り組んでいる「身体遠隔化」は、遠隔地に存在する人が、現地での人や環境との相互作用が発生する作業において、義体を通じて現地作業時と同様に状況をとらえることができ、その人の意図どおりの活動を可能とすることに加え、現地で義体とともに活動する人が不安や違和感を抱かないかたちで、対面同等のコミュニケーションを可能とすることをめざしています。この身体遠隔化を実現するために必要な技術として、動作予測や反応予測により遅延や操作情報の補正を行うことで遠隔地の操作性を向上させる「ゼロレイテンシメディア技術」、遠隔地においても対面と同質の体験を実現する情報提示方法を実現する「Lifelikeコミュニケーション技術」、遠隔地の操作者や現地の環境の変化の予測や、遠隔地から操作に必要な現地の情報を把握するため、知識や経験と身体行動のつながりを解明し体系化する「身体行動体系化技術」について現在研究開発を進めています。本稿ではこれらの取り組みについて紹介します。

ゼロレイテンシメディア技術は、ロボットの遠隔操作を支援することで、人の持つ作業能力を遠隔でも100％以上発揮することができるシステムの実現をめざしています。遠隔操作による作業能力の発揮を阻害する主要因は、遅延、情報欠落、人とロボットの身体の構造の違いであると考えられ、それぞれの対策が必要となります。現在は、特に影響が大きい遅延への対策を中心に研究開発に取り組んでいます。
遠隔操作では、操作者が遠隔地から送られてくるカメラ映像などのフィードバック情報を基に、ロボットの位置・力・速度を適切な値に制御を行います。この際に遅延が発生すると、遠隔操作での制御に必要なフィードバックが必要なタイミングで得られずに、位置・力・速度の制御精度が低下し、結果として作業を失敗してしまう、作業効率が低下するなどの問題が起こります。例えばロボットアームでモノを把持しようとした場合、位置がずれると対象物の把持に失敗します。力がずれると、対象物を破壊してしまうことや、逆に力が弱いとうまくつかむことができません。対象物を加工したりペイントしたりする場合には、速度がずれると対象物に与える影響が変わってしまいます。
ゼロレイテンシメディア技術では、このような遠隔操作における遅延の問題に対し、作業効率を高め、作業者の負担を減らすために、人と環境の理解に基づく「動作補正」と「認知補正」により対策を行います（図1）。「動作補正」では、操作者から送られてくる操作情報を補正したうえでロボットを動作させることで、遅延の影響の緩和を行います。補正の手段として、予測制御、半自律制御という２つのアプローチを検討しています。予測制御では、操作者の動作を予測し、予測された動作に基づいてロボットを制御し、先行的に動作させることで系全体の遅延の短縮をめざします。半自律制御では、操作者の意図を推測し、推測された意図に基づいてロボットを半自律的に制御することで、遅延による操作のしづらさの解消をめざします。「認知補正」では、遠隔地の作業環境から送られてくるフィードバック情報を補正して操作者に提示することで遅延の影響を緩和します。補正の手段として、制御対象の補正および作業対象の補正という2つのアプローチを検討しています。制御対象の補正では、制御対象であるロボットに関するフィードバック情報をAR（Augmented Reali­ty）などで補正を、作業対象の補正では、遠隔作業を行う作業対象に関するフィードバック情報の補正を行います。
動作および認知補正による遅延緩和効果を確かめるため、簡易的なペン型ロボットを遠隔操作し、紙の上に記載された点をタッチする位置合わせタスクでのタスク達成時間を計測しました。実験の結果、補正を入れなかった場合には遅延時間の増加に伴いタスク達成時間が増加してしまうのに対し、補正を入れることで遅延によるタスク効率の悪化を防ぐ効果があることが確認できました。現在は、遠隔操作が可能なロボットアームやヒューマノイドロボットを用い、より実用的なタスクでの遅延緩和効果の検証を行うとともに、人と環境の理解を深めることで各補正技術を改良する取り組みを行っています。

身体遠隔化における、人と人の間で行われるコミュニケーション体験に着目したLifelikeコミュニケーション技術を紹介します。近年、Web会議ツールなどを用いて、遠隔地にいる対話相手と映像や音声をやり取りしながら、オンラインでコミュニケーションを実施する機会が増えました。しかし、直接、対話相手と対面してコミュニケーションする場合と比較すると、どこか物足りなさが残る体験だと思うことはないでしょうか。Lifelikeコミュニケーションでは、こうしたオンラインコミュニケーションの物足りなさが発生する要因を紐解きながら、対面と同質の体験を得るためのオンラインならではの情報提示方法の実現をめざしています。特に、オンラインコミュニケーションでは、画面越しに対話相手の存在感や距離感を把握することが難しくなります。こういった問題を解決するのに、従来アプローチでは、現実空間で感じている映像や音声を高品質・高精細に再現することが行われてきました。一方で、本技術では、コミュニケーション中の映像や音声を現実空間に則して忠実に再現するのではなく、“目や耳に入る情報が現実に則さなくても、最終的に利用者が満足・納得したと思えればよい”というアプローチの下、その情報提示方法を検討しています。そして、オンライン上でも遠隔にある対話相手の身体がまるで近くにいるかのような直接対面している体験を利用者に与えることを実現します（図2）。
昨年度はこうした技術コンセプトを基に、オンラインで開催される技術展示会の高度化に向けたケーススタディを実施してきました^（2）。現在行われているオンライン展示会では、来場者が興味のある展示ページに記載された内容を一方的に閲覧する形態となり、対面の展示会のように、説明員から説明を受けたという満足感を得ることができません。そこで、本技術では、閲覧しているページ個所に対応した説明音声を、立体音響を活用して来場者に提示することで、対面の展示会で感じ取れる説明者やアテンダントとの距離感や位置関係を感じさせながら、それらの人から直接説明を受けているような体験を与える新しい実施形態を考案しました。そして、この考案した形態の有効性について、オンライン展示会への参加経験や展示会企画の経験があるさまざまな来場者に評価してもらい、主観的に満足感・納得感の向上に寄与することを確認しました。今後は、技術展示会だけではなく、オンラインで行われる接客や、美術展示などにも応用することを検討しています。

身体遠隔化を支える取り組みとして身体行動体系化の取り組みについて紹介します。身体遠隔化でエッセンシャルワーカーの身体行動を伴う業務を遠隔化するには、義体やロボット上でエッセンシャルワーカーの技能を再現することが求められます。近年では、コンビニでの商品入れ替え、データセンターでのLANケーブル差し替えといった業務ではロボット化の検討が進んできています。しかし、エッセンシャルワーカーでも専門性の高い看護師や介護士等の専門職の複雑な業務は現場で体得する暗黙知として取り扱われている技能が多く存在し、ロボット化が困難です。これらの身体知ともいえる技能はデジタル上で取り扱うための要件が明確でないため義体やロボット上で再現ができず、遠隔化が困難となっています。看護行為、介護行為などの人間にとっても複雑な業務において発揮される技能を義体、ロボット上で再現するために、どのように技能をデジタル上で表現するかが課題となります。
高度な専門業務で発揮されている技能をデジタル上で表現していくためには、その技能がどのような専門知識に基づいて身体行動として表出しているのかを解き明かし、体系化することが必要です。例えば、病棟という環境での入院患者への対応時に、“入院患者が喘息を持っている”という状況の知識と“喘息の患者の場合は聴診器で呼吸音を必ず確認する”という業務知識があって“聴診器で喘息患者の呼吸音を聞く”という身体行動につながっていきます。このように、どのような環境、状況でどのような知識を用いているか、その知識に基づいてどのような身体行動が表出しているかを体系的に整理することで、義体、ロボットがどのような環境、状況でどのように動けばよいかが定義できます。
身体行動体系化の取り組みでは、義体、ロボットが動作するために必要な身体行動情報を体系的に定義するとともに、どのように取得して表現するかについて研究開発を進めています。身体行動情報の対象となる身体行動は、マニュアル化されて言語化が進んでいる身体行動もあれば、マニュアル化されておらず、現場の暗黙知として存在する身体行動もあります。また、マニュアルで記載されている行動と現場の行動が乖離している場合もあります。これらの身体行動の実態を把握して専門知識等と結びつけてデジタル上で取り扱えるようにすることで専門職の技能を義体、ロボット上で再現することをめざしています。昨年度はコンビニの業務において顧客や従業員の行動をマニュアルより細かい粒度で把握することでマニュアルのみでは把握できない身体行動を把握する技術^（3）や通信建設における高所作業での作業者の行動を1人称視点で認識し、マニュアルで定義されている安全規則に基づいて行動しているかを評価するデータセット^（4）の開発を行ってきました。今後はこのような現場実態を把握する身体行動認識技術に加え、専門知識と身体行動を結びつける方法を確立することで、これまで義体、ロボット上で再現できていなかった専門性の高いエッセンシャルワーカーの技能を再現可能としていきます。

本稿では、遠隔地に存在する人が現地での人や環境との相互作用が発生する作業において、義体を通じて現地作業時と同様に状況をとらえることができ、その人の意図どおりの活動を可能とすることに加え、現地で義体とともに活動する人が不安や違和感を抱かないかたちで、対面同等のコミュニケーションを可能とする身体遠隔化技術の実現に向け、現在の取り組みである「ゼロレイテンシメディア技術」「Lifelikeコミュニケーション技術」「身体行動体系化技術」について紹介しました。今後はリモートでの対応が現状では困難である医療介護業務や設備メンテナンス業務などの具体的な領域での技術開発と検証を進めるとともに、身体遠隔化を、現実の身体の制約からの解放、能力の拡張を含めたものである概念として拡大し、研究開発を推進していきます。

■参考文献
（1）　https://www.mhlw.go.jp/wp/hakusyo/roudou/20/dl/20-1.pdf
（2）　内田・後藤・瀬下：“オンラインコミュニケーションにおける立体音響を活用した満足感・納得感向上の検討, ”信学技報, Vol. 121, No. 423, MVE2021-88, pp. 255-260, 2022.
（3）　https://www.rd.ntt/_assets/pdf/forum/2021/C27_j.pdf
（4）　古田・高木・菅野・佐藤：“現場作業映像における作業指示マニュアル逸脱行動検知のためのデータセット,”信学技報, Vol. 121, No. 304, PRMU2021-30, pp. 37-42, 2021.