約6年前にインタビューしていただいたときに「メディア情報の辞書づくり」としてお伝えしたメディア情報に基づく情景分析やメディア探索に関する研究に加えて、2019年7月からバイオメディカル情報科学研究センタを兼務して「テレ聴診」「AI聴診」の研究を始めました。
医療機関で診察を受けるときなどに聴診器をよく目にしますが、医療に従事される方によれば、体内から聞こえてくる音（生体音）には豊富な情報が含まれているそうです。この生体音の収集と分析を離れた場所で行えるようにしたのが、昨年開発したシステム、通称「テレ聴診器」です（図1、2）。このシステムは患者さんの着る検査着と、遠隔地で操作する受信端末とで構成されています。
聴診ではさまざまな個所の音を聴く必要があります。そこで、現在の試作機では、検査着に18個の音響センサを仕込んでいます。これらがとらえた18チャネルの音響信号を、1チャネルの心電波形とともに同時に収集します。一方、受信端末の画面には人体の形が表示されていて、音を聴きたい個所を指やマウスなどで指定すると、その個所の音（複数のセンサの信号から合成された推定音）を聴けるようになっています。また、画面上には各センサがとらえた音響信号波形も表示されており、取得した生の波形を直接聴くこともできます。コンピュータでの分析も考慮し、従来の聴診で主に用いられている周波数帯域だけではなく、それ以外の帯域も含め、より多くの情報を多次元的に得られるように設計されています。受信したすべての信号が記録されますので、後で再度聴診することも可能です。
このシステムが医療用として実用化されれば、医療者が患者さんと直接接触することなく別室から聴診を行ったり、オンライン診療の中で聴診を行ったりすること（テレ聴診）が可能になると考えられます。さらに、収集した音に対する自動分析の技術が確立されれば、体調の悪いときに医療者に音を聴いてもらうだけではなく、日頃からAIに聴いてもらいながら、健康のセルフケアに役立てることなども可能になると考えられます。
実際に、現在、生体音に基づいて体内の状況を分析する「AI聴診」の研究を進めています（図3）。その1つに、とらえた生体音の意味するところを文章に変換する試みがあります。これは、生体音の信号を単語の系列に直接翻訳するというユニークな技術です。専門家でなければ生体音を聴いてもその意味は明確には分かりませんが、いわば翻訳機を通すことによって、体の状態を理解できるようになるというメリットが期待できます。特に、病名などの単語を示すだけではなく文章を用いることの利点が活かせるように、異常の有無や程度、前回からの時間的な変化なども含め、その場その場で目的に応じた詳しさの文章に変換できるように工夫されています。

ハードルはあります。例えば、画像診断の技術は年々目覚ましい進歩を遂げていて、AIによる自動診断の研究も盛んに行われています。これに比べると、聴診では、データの蓄積が従来からほとんど行われず、大概はその場で記録されずに消失しています。このため、データの収集、それもそのための機材を自ら製作するところからという、地道なスタートにならざるを得ませんでした。
とはいえ、熟練した医療者の技術をコンピュータで再現することは、とても興味深い課題です。私がこれまで30年にわたって取り組んでいる聴覚的情景分析の課題とも共通点があります。人が音を感じるとき、物理的原因によってどこかで発生した振動が、媒体を伝わって鼓膜を揺らすことで音として感じられるわけですが、聴診は、伝わってきた振動（の重ね合わせ）からその原因が何であったかを推定する問題であるといえます。このような問題を解くためには、振動の波形そのものに加えできる限り多くの情報を活用する必要があります。医療者が、解剖学的な知識や診療経験に基づいて判断するように、コンピュータでも、体内の器官の物理モデルや多くの事例データから学習した統計モデルなどを十分に活用する必要があるでしょう。これをいかにうまく行うかが苦労するポイントでもあり、工夫のしがいのある所でもあります。
一方、体内の音を対象とするとき、従来の聴覚的情景分析とは異なる新しい側面もあります。これまでの音響認識の研究では、音を伝える媒体は空気、あるいは水といった、一様の物質とみなせる場合が多く扱われてきました。しかし体内では、骨、筋、肺の中の空気、脂肪、液体など、物理的性質の著しく異なる媒体が狭い空間の中に混在しています。このことは、聴診を、従来の聴覚的情景分析に比べてさらにチャレンジングな問題にしていると思います。

向き合う問題が複雑であればあるほど、素直でシンプルな発想が大事であるように思います。また、課題を見出して研究テーマを設定し課題を解決していくうえでは、「今解決すべき真の問題は何か」つまり問題の本質をよく考えることが大切だと思います。このとき、研究者の姿勢として、自分が何をやりたいかやどうすれば研究者として生産性が高まるかといった自分中心の発想を一人称の視点、研究成果が直接影響する対象を二人称の視点、それ以外を三人称の視点だとすると、これらのバランスを保つことが大事だと思いますが、特に三人称の視点を意識して大切にしなければ、一人称や二人称の視点に引きずられてしまいがちであるように思います。
ある意味で共通点があるのはマーケティングの考え方かもしれません。現代のマーケティングでは、こういう商品を売りたい、といった商品中心の視点や、こういう商品が売れている、といった既存の市場の視点からは脱却して、まだ顕在化していないニーズをさまざまな視点から見出す努力の大切さが強調されますが、このような視点の持ち方は参考になります。もっとも基礎研究の場合、ビジネスとして成立するという意味でのニーズだけではなく、どのような研究が、いつの時代の誰にとってどのような価値をもたらし得るか、を客観的視点から問うという意味において、ということです。ただし、価値の予見はなかなか難しいものです。研究者の思わぬところで研究成果に価値が見出されることもありますし、その逆のケースはもっと多くあるでしょう。そこで、信念と予断をもたないアンテナの両方を持つことを心掛けています。

私の周囲の研究者は、私から見ればそれぞれ非常な強みを持っている人たちばかりですが、本人は必ずしもそれを強みとして意識していなくて、単に好きでやっているだけ、と言ったりします。やっていてあまり苦にならないことは、他人から見ると、その人の独自の強みになっていることが多いようです。
そのようなことを含めて考えると、研究を進めていくうえで軸になるのは、それ自体に内在する「面白さ」を感じることではないでしょうか。問題やその解法の面白さ自体を感じられるかどうか、またその感覚を健全に保つことこそが重要なことかもしれません。
テレ聴診やAI聴診の例でいうと、医療の現場において画像診断機器が発達し、その比重が高まる傾向が顕著になる中で、聴診というのはいかにも時代に逆行しているようにも思われます。しかし、そこに新たな技術を吹き込むことで、高齢化社会、新たな医療、健康のセルフケアといった流れの中で、その有用性が改めて見直される場面も今後生まれるのではないかと思います。何より、1次元の波形から目に見えない体内で何が起きているかを推定するという離れ業が、医療現場で200年にもわたって実際に活用されてきたのですから、考えるだけでも「面白い」ことのように思われます。

私が最近の研究活動を通じて思うことは、研究チームのメンバーはもちろん、研究者以外とのコミュニケーションも含めて、多様な経験を持つ方々から学ぶことが多く、それらが大変貴重なものであるということです。バイオメディカル情報科学研究センタには複数の研究所からさまざまなバックグラウンドを持つ人たちが所属しています。また私たちのチームでも他の研究機関や医療機関等との連携を積極的に進めており、医師をはじめ医療分野の方と接する機会も増えました。これは実に幸いなことであると思っています。チームワークの大切さを改めて感じます。
チームワークが機能するためには、メンバーどうしの関係構築と、各メンバーそれぞれの力を高めることの両方が必要です。前者については、年齢や立場を超えて、若手も若手でない人も、互いに得意技や貢献をリスペクトできるような空気感が大事ですね。特に職場において若手から見て上の立場になる皆さんには、そのような面での配慮をお願いできればと思います。
一方、各メンバーの力を高めるためには、得意技を伸ばすことに加え、増やすことも有用だと思います。例えば、大学時代に音響処理を学ばれて入社された方が言語処理にも触れてみるといったこともあるでしょうし、研究だけでなくさまざまな業務に取り組む機会があれば、それも必ず良い経験になると思います。私の場合、入社前には大学院博士課程での音響情報処理の研究のほか、当時新興の業種において商用システムのアジャイル開発にも携わりました。入社後には画像処理やベイズ推定の理論を学ぶ機会を得ました。また、事業会社の方々とご一緒する機会も多くありました。今思えばこれらはすべて、今の仕事に非常に役立っています。皆さんもあらゆる機会を前向きにとらえ、活用されると良いと思います。