生体を計測して得られる生体情報には、生体の機能・形態・動特性などが反映されています。私たちはさまざまな生体情報を信号としてとらえ、信号処理や機械学習の技術を用いて、観測された信号を元に人それぞれの身体や心の状態をモデル化し、疾病の早期発見をはじめとするウェルビーイングの向上をめざす「バイオデジタルツイン」構想を掲げて研究開発を進めています。以降ではその中から、まず、生体から発生する音に注目した取り組み事例を紹介します。

医師や看護師は聴診により異常の有無や緊急度などを判断します。熟練した医療者は、呼吸、心臓の弁の動き、血流などといったさまざまな生体音の発生や伝達の様子を頭の中でイメージすることができるともいわれています。このような医療者による聴診にヒントを得て、またそれをさまざまなかたちでサポートすることもめざして、私たちは「テレ聴診器」と呼ぶウェアラブルデバイスの研究開発を進めています（図1左上）。
テレ聴診器は多チャネルのマイクロフォンからの生体音（音響信号）と心電を取得することができるウェアラブルデバイスです。取得した音響信号と心電はネットワークを介して遠隔地にある端末に送信することができます。端末では、画面上の操作によって、さまざまな個所の音を聴くことができます。テレ聴診器が実用化されれば、医療者は患者と直接対面することなく離れた場所から聴診することができるので、感染症の患者の診察や、遠隔（在宅や医療過疎地など）の患者に対する緊急性の判断などに有用であると考えられます（図1右上）。また、生体音の記録や共有が可能であるため、オフラインで繰り返し聴診したり経緯を追ったりすることも可能です。このように医療者の方の使用に加えて、次に述べるように、一般の方による健康のセルフケアなどでの使用を想定した研究も進めています。

非専門家にとって、生体音だけを聴いて生体の情報を知るのは容易なことではありません。しかし、信号処理・機械学習技術を用いると、生体音を多くの人が理解しやすいかたちに変換することができます。その1つとして、生体音を直接文章に変換（翻訳）することを試みています（図1左下）。
もっとも端的な説明の方法は、生体音が「正常である」「正常でない」という分類を示すことでしょう。しかし、「正常でない」と分類された場合、どのような異常があるのか、すぐに病院に行くべきなのか、など、より詳細な説明が望ましい場合もあるでしょう。そこで私たちは、生成する説明文の詳しさを表す「詳細度」という数値を指定できるようにして、条件付き系列変換と呼ぶ手法を提案しました（1）。これにより、例えば心音と詳細度とをシステムに入力すると、望みの詳しさで説明文を出力することができるようになりました。

生体音を分かりやすいかたちへ変換するためのもう1つの試みは、生体の機能をリアルタイムに表現する動画像の生成です（図1右下）。これまでに、心音からの心臓の動きの再構成を試みています。正常な心臓は周期的な動きをすることが知られており、心房収縮期、等容性収縮期、駆出期、等容性拡張期、充満期の順に状態が遷移します。そこで、心音の観測から心臓の遷移状態を推定し、三次元形状の動きを推定・再構成しすることをめざしています。心臓は全身に血液を送るポンプの役割を果たしていますので、状態遷移を通じて、その圧力と体積とは物理的に特定の関係を保っています。私たちはこの物理的性質に着目し、心音から推定される状態遷移に連動する心臓の動きを心臓らしい動きに従うように拘束しながら三次元形状の動画像を構成する手法を考案し、精度の良い形状推定を可能にしました（2）。
個々人の身体や心理の状態を、音に代表されるような観測しやすい身近な生体情報から精度良く推定したり予測したりするためには、このほかにも、多くの新たな工夫が必要になると考えられます。今後も音の情報や、後述する心電の情報をはじめとして、生体の機能や動態を多面的にとらえるための信号処理・機械学習技術の研究開発を進めていきます。

心電図は心臓の生理機能検査として、医療機関における診断、バイタルモニタ、健診、AED（自動体外式除細動器）など広く活用されています。心電図はインターネット、スマートフォンなどのICTの発達と機械学習等の情報処理技術の進歩により、ヘルスケアなどの新たな領域に活用の場を広げつつあります。さらに超高齢化社会における心疾患の増加により、心電図を活用した在宅・遠隔医療（テレメディシン）のニーズは急速に高まっています。私たちはhitoe®を用いたウェアラブル心電計の開発経験を活かし、臨床心電図に関する医学的な知見と近年の情報処理技術を組み合わせて、心電図の常時計測・解析システムの構築に取り組んでいます（3）。

心電図は、四肢および胸の表面の規定の位置（標準12誘導）に設置した複数の生体電極から取得した電位差（スカラー量）とその心電図の形状（パターン）を基に判定を行っています。心電位をより立体的に記録する方法として3軸の直交座標を用いたベクトル心電図では、胸部、頭部、下肢の電極と抵抗の補正回路を用いています。標準12誘導もベクトル心電図も四肢に電極を設置するため、体動の影響を受けやすく安静状態の計測が基本となります。一方、胸部の電極は体動の影響を受けにくく比較的大きな心電位が得られるためホルター心電図、運動負荷心電図、スポーツ心拍計に用いられています。
私たちは、立体的な心電図を長時間安定記録する目的で、心臓が胸郭ともっとも近接する心尖部領域（心尖部―左前壁）を基準点とし、ほぼ線形独立な3方向に対極を備えたウェアラブル心電計を考案しました（4）（図2（a））。水平方向の2つの誘導＊1は胸郭の反対側に、垂直方向の誘導は心起電力の基軸＊2に合わせ右上前胸部に設置した双極誘導＊3により、立体的な心電位を安定記録します（図2（b））。電極と配線は伸縮性のベルトと一体化し、肩ベルトとウエストベルトを締めるだけで簡単に装着できます。さらにこの立体心電図とともに心拍出量・深部血管脈波の同時計測機能を備えたポリグラフ（心機図）を開発しました（図2（c））。

＊1　誘導：心電図は心臓内の電気の流れを記録するものですが、このとき心臓を挟んで電極を取り付けることにより、マイナス電極からプラス電極に電気の流れをつくることを誘導といいます。
＊2　心起電力の基軸：心臓は立体的構造物のためにその電気変化もまた時々刻々と立体的に変化します。心電図は心臓全体に発生する起電力を記録するものだととらえることができ、その起電力ベクトルの方向を基軸といいます。
＊3　双極誘導法：2点の電極を用いて心電図を取得する方法を指します

心電図の異常には定型的な異常波形（パターン）が示されるだけではなく、形状のわずかな歪や電位の変化にとどまる場合も少なくありません。このような非定型的な心電図の異常を定量的に評価する方法は確立しておらず、疾病やパターンごとに個別に基準を設けて対応しているのが現状です。
心電位の起電力は心筋の集合的な活動電位であり、脱分極の持続するプラトー相（3相）を有しますが、体表面の心電位には通常プラトーは認められません。私たちは活動電位の0相から4相の各周期の膜電位の分子生物学・生理学的な制約を利用し、体表面の心電位から心筋の集合的な活動電位の推定（逆問題）を行っています（図2（d））。活動電位への変換により、非定型的な歪は拡大され、明瞭に可視化されます（図2（e））。心筋の活動電位への変換の際に得られるパラメータが心電図の複雑な異常パターンや微細な歪を定量化し、統一的に評価する際の指標として有効であるかを検証しています。
マルチモードのデータ計測・解析を特徴とする、このテンソル心電図が心不全や虚血性心疾患、心臓突然死と関連する不整脈の診断に役立つことを期待しています。

ウェアラブルデバイスは、疾病の早期発見や正確な診断への応用にとどまらず、発症後においても有効です。その一例が、2017年から藤田医科大学、東レ株式会社と取り組んでいるリハビリテーション品質向上のためのシステム開発ならびに医学検証です（5）。脳卒中リハビリは、発症後の訓練機会が多ければ多いほど良好な経過が期待できます（6）。しかし、療法士との訓練機会には限りがあるため、患者はベッドからの離床や自主トレなどを通じて、日常をできるだけ活発に過ごすことが望ましいとされています。しかし、片麻痺をかかえる身体に自ら精力的に負荷をかけることは容易ではなく、より良い回復を実現するには支援が必要です。こうした背景から、私たちはウェアラブルデバイスにより脳卒中患者の活動データを24時間スケールで精緻にモニタリング可能なシステムを開発しました（図3）。このシステムでは、片麻痺の患者でも独力で着脱できるウェアを身に着けると、スマートフォンやゲートウェイといった中継器を介して、データが自動的にサーバに集約されます。データを処理するアルゴリズムに特徴があり、活動の特徴を保持しつつ病院施設のネットワーク負荷を避ける高度なダウンサンプリングと、データの一部欠損を想定した補償処理を備えています。また、それらの処理によって最終的に得られる指標の医学的検証が進められています。
このシステムは3種類のアウトプットにより活用されています。1番目は、患者ご本人やご家族向けのレポートです。活発に動ける時間が次第に延びていく様子が数値で記録されており、回復過程を具体的に伝えることができます。毎回の進展に合わせてイラストが変わるので、「今回はここまで来ました」といった会話を療法士と交わしながら、次の訓練につなげます。2番目は、医療チームの会議などで用いられる詳細な計測結果です。大勢の患者を担当する医療者は、特定の個人の様子を追い続けることはできません。しかし、このシステムによる24時間の記録を閲覧すれば、チーム全員が患者の生活活動の変化を共有することができます。3番目は、計測データの一覧情報です。医学研究では、多数の計測結果から導かれる統計的な確からしさの検証によって事実が明らかになります。しかし、24時間の活動データは量が相応に大きいため、前処理を自動化することで医学研究に活用しやすいよう設計しています。また本システムは6分間歩行試験などのリハビリ医療で広く用いられる検査に対応しています。これにより既存の検査アプローチと24時間活動モニタリングの結果が容易に照合され、新たな比較研究が可能となっています。本システムは医学研究用途ですでにご購入され、実用されていますが、今後は機械学習などの発展的な機能を組み合わせることで、より良い回復を実現するさらなる貢献が可能となっていくと考えています。

■参考文献
（1） S. Ikawa and K. Kashino:“Neural audio captioning based on conditional sequence-to-sequence model，”Proc．of DCASE 2019 Workshop, New York, U.S.A.，Oct. 2019.
（2） M. Nakano, R. Shibue, K. Kashino, S. Tsukada，and H. Tomoike:“Gaussian process with physical laws for 3D cardiac modeling，”Proc．of EUSIPCO 2020, pp. 1452-1456, Amsterdam，Nederland，Jan. 2020.
（3） Y. Tsukada, M. Tokita, H. Murata, Y. Hirasawa, K. Yodogawa, Y. Iwasaki, K. Asai, W. Shimizu, N. Kasai, H. Nakashima, and S. Tsukada：“Validation of wearable textile electrodes for ECG monitoring，”Heart Vessels，Vol. 34, No. 7, pp. 1203–1211, 2019.
（4） S. Tsukada:“Wearable Textile Electrodes for Long-term Vector ECG monitoring “Tensor Cardiography”，”ISMICT 2020，Nara，Japan，May　2020.
（5） T. Ogasawara, K. Matsunaga, H. Ito, and M. Mukaino:“Application for rehabilitation medicine using wearable textile “hitoe”，”NTT Technical Review，Vol. 16, No. 9, pp. 6-12, 2018．
（6） M. Yagi, H. Yasunaga, H. Matsui, K. Morita, K. Fushimi, M. Fujimoto, T. Koyama, and J. Fujitani：“Impact of rehabilitation on outcomes in patients with ischemic stroke：A nationwide retrospective cohort study in Japan，”Stroke，Vol. 48, No. 3, pp. 740-746, March 2017．