近年、人間と協調動作するロボット（協調ロボットまたはコボット）の需要が高まっています。これらのロボットは、複雑な認識や知識に基づく意思決定を要する操作や微細な感触に基づく操作を人間によって補完できるため、多岐にわたる産業にて活用が期待されています。例えば、建設業では、人手では困難な重作業を建設ロボットが担当する一方、操作者が品質管理や機械のコントロールを行うことで生産性の向上と労働環境の改善が実現できます。医療分野では手術ロボットが精密な操作を可能にする一方で、医師は手術を執刀しながら臨床的な判断を下すことができます。また、操作者にロボットの力覚（物を触る際の圧力や重さを感じる感覚）をフィードバックすることでより微細な操作を行うこともできます。力覚のフィードバックを可能にする方式はさまざまありますが、操作者側のロボットと動作する側のロボットを協調動作させるバイラテラル制御が有名なため、本稿では本ロボットを「バイラテラル制御ロボット」と呼ぶことにします。
このように協調ロボットのニーズは高まっていますが、パンデミック等の影響による人との接触に対する制限や労働力の不足を補う動きとして協調ロボットをより離れた場所から制御する遠隔ロボット制御も注目されています。例えば、東京にいる医師が地方の患者に対して遠隔手術を行う、というのもその一例です（図1）。この場合、医師と患者の物理的な距離の制約を超えて手術を実施できますが、高品質なネットワークで拠点間を結ぶ必要があります。
ネットワークやアプリケーションに対する要求条件は実施する内容によって大きく異なることが予想されます。上記の建設ロボット、遠隔手術ロボット、バイラテラル制御ロボットの要求条件をまとめました（表）。表より、扱う対象が大きい建設ロボットと比較して精密な操作が要求される遠隔手術の要求条件は厳しくなり、さらに、同期を取ることで力覚をフィードバックできるバイラテラル制御ロボットの要求条件が高くなることが分かります。バイラテラル制御ロボットではマイクロ秒単位でロボットの同期を維持する必要があるためです。

遠隔ロボット制御を実現するにはロボット技術と通信技術を融合することが不可欠です。そこで、NTT研究所とソニー株式会社のそれぞれの技術を持ち寄り、触覚を伴った遠隔ロボット制御の実証にチャレンジしました。ここでは、NTT研究所が進めている低遅延トランスポート技術とソニーが進めている精密バイラテラル制御技術について概要を述べます。

NTT研究所では、次世代の通信技術としてIOWN（Innovative Optical and Wireless Network）＊1の実現に向け、オールフォトニクス・ネットワーク（APN）の研究開発を推進しています。APN IOWN1.0では、ミッションクリティカルなサービスを実現するためにエンド・ツー・エンドで光波長を専有することにより、低遅延で安定した物理的なネットワークを提供できますが、ロボット側のアプリケーションにまで低遅延で安定して情報を届ける必要があります。そのため、私たちはIOWN APNの特性を最大限発揮すべく、アプリケーション側にまで高品質にデータを届けられる低遅延トランスポート技術の研究開発に取り組んでいます。
（1）　非圧縮映像伝送技術^（1）
非圧縮映像伝送技術は、遠隔にあるロボットの視覚情報を低遅延で操作者にフィードバックできる技術です。近年のネットワークの大容量化に伴い、映像フレームをバッファリングした後に圧縮処理を行うよりも伝送帯域は大きくなりますが、低遅延に映像を伝送できることのほうがメリットとなるケースが現実のものとなってきました。
従来の光伝送装置は、ハードウェア・ソフトウェア機能を含めて単独製造者によって一体型で提供されていたため、サービス事業者が映像伝送の付加機能を柔軟に追加することは困難でした。これに対し、光伝送装置の各種機能を分離し、標準化されたインタフェース制御により、柔軟な構成変更や付加機能追加ができるディスアグリゲーション構成のオープン光伝送装置が出始めました。私たちは本潮流をとらえ、ディスアグリゲーション構成のオープン光伝送装置で用いることができる非圧縮映像伝送プラグインユニット（VideoPIU）を開発しました（図2）。
VideoPIUは、SDI（Serial Digital Interface）信号＊2を映像のIP伝送標準規格であるSMPTE ST2110ストリーム^（2）に直接変換することで、オープン光伝送装置にて映像信号を直接伝送することができます。また、VideoPIUはハードウェア実装されており、送信側での映像入力から受信側での映像出力までの遅延を1ms以内に抑えられるほか、1枚当り8K60p映像＊3の処理が可能で2枚を連携して動作させることで8K120p伝送を実現できます。また、シームレスプロテクション（SMPTE ST2022-7^（3））にも対応しており、2つの異なる光パスを用いることでネットワークの不具合や一時的な障害が発生しても映像やオーディオの品質を維持しつつ途切れることなく配信を続けることが可能になります。
（2）　RDMAアクセラレーション技術
コンピュータ間での高帯域かつ低遅延なデータアクセスを実現する方式としてデータセンタなどのハイパフォーマンスコンピューティング分野でRemote Direct Memory Access（RDMA）通信が広く使われています。RDMAはCPUの介在なくメモリ上のデータを直接ネットワークへ転送できる特徴を持っているため、時間制約があり、リアルタイム性の高いサービスを実現する高速低遅延データ転送方式として有望です。しかし、RDMAにて信頼性のあるデータ転送を行うRDMA RC（Reliable Connection）は、データセンタ内など短距離のデータ転送を想定しているため、中長距離通信に適用しようとするとパフォーマンスが出ない問題がありました。
この問題は、ネットワークの長距離化に伴いACK受信が遅延し、Requesterにて送信待ち待機状態が長くなることで発生していました。そこで、Requesterの近傍で疑似ACKを生成することでRequesterのWork Queue Element（WQE）を早期に解放し、次のWork Request（WR）を受け入れ可能にすることで性能劣化を防ぐ仕組みを考案しました（図3（a））。
考案方式は、Requester、Responder近傍において長距離ネットワークを挟み込むかたちでアクセラレータを設置し、コネクション確立フェーズに取得した情報とRequestパケットから疑似ACKを生成して返送することで、Requesterで送信待ちの待機状態を回避しています。しかし、パケットロス検知や再送機構を無効化してしまうという信頼性に対する問題が発生してしまいました。そこで、通信セグメントに適した再送機構も考案しました（図3（b））。本再送機構はアクセラレータを基点として再送セグメントを定義し、セグメント単位でGo-Back-N方式と選択的再送方式を用いることで、長距離高速性を維持しながらパケットロス時も短時間で再送完了できようにしました。
次に考案方式のシミュレーション評価を行いました。評価では長距離ネットワークにおける伝搬遅延を模擬し、従来のRDMA通信とのスループットの比較を行いました。結果より、メッセージサイズ128KiBの条件では1000km相当の遅延挿入条件においてパケットロスあり・なしにて、それぞれ平均10倍・平均40倍のスループット改善を確認できました（図4）。また、パケットロス時の再送完了時間の評価では、パケットロスのない場合の通信完了時間にRTT分の時間増加でパケットロスから回復しデータ通信を完了させることができ、従来のRDMAに比べて再送を含む総処理時間を約82％短縮できました。

＊1 IOWN：IOWN Global Forumにてオープンにアーキテクチャ策定が行われているフォトニクス技術をベースとした革新的ネットワーク。
＊2 SDI信号:放送設備で一般的に使われている同軸ケーブルを利用した映像伝送方式。
＊3 8K60P映像：解像度が7680×4320ピクセルの8K超高解像度映像を、毎秒60フレームのリフレッシュレートで伝送する映像フォーマットを指します。

ロボット技術に関しては精密バイラテラル制御技術を開発しているソニーに協力を求めました。ソニーは、人の操作に応じて外部環境の変化に柔軟に適応でき、さらには微細な力を極めて正確に制御できる精密バイラテラル制御技術を有しています。ここでは、精密バイラテラル制御技術の概略を述べます。
精密バイラテラル制御技術は、リーダーロボットとフォロワーロボットという2つのロボットを同じように協調動作させることで実現されます。リーダーロボットの動きに連動してフォロワーロボットが動作し、フォロワーロボットが物に触れた場合に、その反発力がリーダーロボットにも返ってくる仕組みが知られています^（4）（図5（a））。
（1）　高感度力覚センシング技術^（5）
人体の柔らかな組織に触れた感覚を操作者にフィードバックするためには、ツール先端に加わる1gf（グラム重、ニュートン換算で0.0098N）の微小な力の変化をセンシングする手段が必要になります。しかし、既存の力覚センサをシステムに搭載すると慣性力がノイズとして観測されてしまい、先端力（tip force）のわずかな変化を検出することができない問題がありました。この問題に対して、ソニーでは光ファイバの一部に回折格子が刻まれたFBGセンサ（光学式歪みセンサ）を応用しています。FBGセンサは超細径なファイバ形状でありながらセンサ部の歪み量を高感度に測定できる特殊なセンサです。超高感度なFBGセンサをツール先端部に搭載し、センサの歪量よりツール先端に加わる3次元の力を推定するアルゴリズムを改善することで動的ノイズを大幅に低減し、1gfという極めて微小な力の変化さえも正確にとらえることに成功しています（図5（b））。
（2）　位置と力の精密制御技術
精密バイラテラル制御を実現するためには位置と力の制御も必要となります。従来のアルゴリズムでは、ロボットの姿勢変動に伴うモデル化誤差による影響を受けてしまい、操作中の位置追従性能の劣化や外部環境への接触時の振動が問題となっていました。この問題に対しては一般化逆力動学ライブラリ（GID：Generalized Inverse Dynamics）＊4と呼ぶソニーの技術アセットをアルゴリズムに組み込むことで、ロボットの姿勢変動によるモデル化誤差の影響を最小限に抑え、反応速度と操作の安定性を大幅に向上させることで1mm未満の位置精度を実現しました。また、精密バイラテラル制御の信号処理では高速なリアルタイム処理が不可欠です。従来、これらの信号処理はホストPCの汎用CPUに実装していましたが、通信遅延や割込処理遅延などの影響により、制御システムの要求仕様を満たすことができませんでした。そこで、ソニーでは電気的処理の一部を高速並列処理に適したFPGA（Field Programmable Gate Array）上で論理回路を実装し、併せてホストPCとFPGA間の通信のための独自プロトコルを開発することにより、従来システムよりも50倍の高速化を実現しました。複数のFPGAを光ファイバでカスケード接続することにより、リーダーロボット・フォロワーロボットで構成される精密バイラテラル制御システムのような多自由度システムに対しても遅延の少ない信号伝達が可能となっています。

＊4 一般化逆力動学ライブラリ：ある動作を実現するために拘束条件を考慮しながら最適化計算を行いロボットの駆動量を算出するモデルベース制御アルゴリズムとそれを実行するライブラリ。

100kmを超えた距離にて力覚を伴う遠隔ロボット制御が機能するのか実証実験を行いました。実験では、APNテスト用環境をNTT武蔵野研究開発センタ内に構築して評価しました。APNテスト用環境ではIOWN Global Forumで議論されているAPN-G（Gateway）やAPN-I（Interchange）^（6）を含んだ構成を用意しており、将来のサービス環境を現時点で想定したものとなっています。APNテスト用環境を挟み、光ファイバで約120kmをつないで実験しました。実験の構成と実際の様子を図6に示します。
実証実験では、リーダーロボットとフォロワーロボットはソニーの精密バイラテラル制御ロボットを接続し、リーダー側およびフォロワー側のロボット制御PCにはRDMA転送機能を実装し、RDMAアクセラレータを通じてバイラテラル制御信号の送受信を行いました。フォロワーロボット側の映像に関しては、サイドバイサイドのステレオ映像をVideoPIUにて伝送し、裸眼立体視ができるソニーの空間再現ディスプレイELF-SR2で表示して操作できるようにしました。なお、今回の実験では力覚フィードバック評価以外の実験も行う必要があったためFBGセンサは用いませんでした。
まず、通信に関する評価結果を述べます。APNを介した120kmにわたる長距離実証実験では映像はトータル1.6msの低遅延で伝送することができました。内訳としては、映像処理遅延として1msと120kmのAPNの伝送遅延0.6msでした。RDMAを用いたバイラテラル制御信号の通信ではトータル遅延が1msで、遅延内訳としてはアクセラレータの処理遅延が0.4msでAPNの伝送遅延0.6ms、ジッタは10μsでした。RDMA通信では処理遅延も小さくでき、CPUが介在しないために非常に安定した低ジッタでの通信が確認できました。総論として、表に記載したバイラテラル制御ロボットに求められる高い安定性が満たせることが確認できました。
バイラテラル制御ロボットの操作評価では、フォロワーロボットが遠距離にあるとは全く感じられない操作感を得ることができました。今回、硬さの異なる物体を遠隔側からバイラテラル制御ロボットを通じて触る操作をしましたが、物体表面のべたつき具合をも感じることができました。また、空間再現ディスプレイELF-SR2はヘッドトラッキングにより自然な立体視が実現でき、操作者が空間的な奥行きを認識した自然なマニュピレーションができました。

今回、距離を感じさせない触覚を伴った遠隔操作の実現に向けて、NTTの低遅延トランスポート技術とソニーの精密バイラテラル制御技術を融合した共同実証をAPNテスト環境で実施しました。その結果、120km離れた地点間を結んで遠隔操作した場合も、バイラテラル制御ロボットに求められる高い要求条件をクリアでき、あたかも目の前で触れているかのような操作感が得られることが確認できました。
今後は、具体的なユースケースを想定した実証実験を実施し、場所の制約を超えた精密遠隔操作の適用範囲を拡大することでより良い社会の実現に寄与していきたいと考えています。

■参考文献
（1）　Y. Mochida, D. Shirai. and K. Takasugi：“Ultra-Low-Latency 8K-Video-Transmis­sion System Utilizing Whitebox Tran­sponder with Disaggregation Config­u­ra­tion,”IEICE Transactions on Electron­ics, Vol. E106.C, No. 6, pp. 321-330, 2023．
（2）　SMPTE ST 2110-10：“Professional Media Over Managed IP Networks: System Timing and Definitions,”2017.
（3）　SMPTE ST 2022-7：“Seamless Protection Switching of RTP Datagrams,”2019.
（4）　K．Ohnishi, S．Katsura, and T．Shimono: “Motion Control for Real-World Haptics,”IEEE IEM, Vol. 4, No. 2, pp.16-19, June 2010．
（5）　H. Suzuki, H. Masuda, K. Hongo, R．Horie, S. Yajima, Y. Itotani, M. Fujita, and K. Nagasaka：“Development and Testing of Force-Sensing Forceps Using FBG for Bilateral Micro-Operation System，”IEEE Robot．Autom. Lett., Vol.3, No.4, pp. 4281-4288，Oct. 2018．
（6）　https://iowngf.org/wp-content/uploads/formidable/21/IOWN-GF-RD-Open_APN_Functional_Architecture-2.0.pdf