機械学習において、少数の学習データにおいても高い性能のAIをめざす「メタ学習」の研究に取り組んでいます。
私は2003年にNTTに入社して以来、機械学習に関する研究をしており、その中で2018年ごろからメタ学習の研究に取り組んでいます。メタ学習の概念は以前からあったのですが、2018年ごろになって深層学習の研究が著しく発展してきたこと、コンピュータの性能が向上したこと、各種の深層学習用ライブラリがそろってきたことから、メタ学習の研究が徐々に注目されてきました。
深層学習は自然言語処理や画像処理において広く活用されているのはご存じかと思いますが、大量のデータを使って学習させることで高い性能を実現しています。大量のデータが必要という深層学習の問題に対して、メタ学習は、関連する他のデータから「学習の仕方を学習する」ことで、新しいタスクにおいて、少数の学習データしかなくても性能を高めることが可能となります。
基本的なメタ学習のフレームワークについて画像分類タスクを例に説明します。メタ学習では、さまざまなタスクのデータを用意します。例えば、犬と猫を分類するタスク、車と自転車を分類するタスクなどです。これらの各タスクにおいて、少数の学習用データでタスクに特化したモデルパラメータを学習したときに、評価用データでの性能が向上するように、タスクに共通するモデルパラメータを更新していきます。これが、「学習の仕方を学習する」ことになります。これにより、メタ学習の際に使っていない新しいタスク（例えばりんご・みかん分類タスク）に遭遇した場合でも、少数の学習用データを使ってタスク特化のモデルパラメータを学習するだけで、高い性能を達成することが期待できます（図1）。これはほんの一例ですが、ほかにも例えば、音声データから誰がしゃべっているかを当てるような話者認識において、新しい人がいきなり登場してきても分類する場合や、今までデータがほとんどなかった言語を解析する場合、これまでの本の分類とは違う新しい分類体系において少数のデータだけで自動分類する場合などで、メタ学習が活用できます。
メタ学習の研究を進める中で、既存のメタ学習では、同じ特徴量空間のタスクからのメタ学習を前提としていたものを、異なる特徴量空間のタスクからのメタ学習を可能とする深層学習モデルを提案し（図2）、機械学習のトップ会議であるNeurIPS2020において発表しました。また、大規模言語モデルとメタ学習を融合させることにより、人間が蓄積してきた知識を機械学習に活用可能にする深層学習モデルを提案し、NeurIPS2022において発表しました。そのほかにも、クラスタリング、不確実性推定、空間解析、因果推論、異常検知、特徴選択などの多様な機械学習問題に対してメタ学習を活用し性能向上させる研究を行ってきました。

前述のとおり、機械学習やAI（人工知能）が顕著な進展を遂げており、ChatGPTのような生成AIも登場していますが、それが成功しているのは学習するためのデータが大量にあることが前提になっています。しかし、医療画像のように専門家の知識を必要とする場合にコストが高いため十分なデータが得られない、プライバシ保護がネックとなってデータを得ることができない、新商品・新サービスを推薦したいが新しいためにデータがほとんどない、というような状況はしばしばあります。メタ学習により、このような少ないデータしかないような応用領域でも機械学習を使えるようにできます。
現在のところ、表形式で表現できるさまざまなデータに対応できるようになりましたが、工場で得られるデータや生体情報など、より複雑なデータにまだ対応できているとはいえないので、対応可能なデータの拡張を継続して研究しています。これにより、応用分野の拡大ができると考えています。前述の大規模言語モデルを活用したメタ学習の研究とも関連するのですが、人間のようにさまざまな経験や知識を活かすことで新しい課題に対応できるようなAIをめざして、メタ学習の研究に取り組んでいます。

自分の好奇心を大切にしてテーマを選んでいます。現在取り組んでいるメタ学習は、学生時代に興味を持ち研究していた生命の進化とも関連しています。AIがさまざまなタスクから学習の仕方を学習するメタ学習を研究することで、人間はどのようにしてさまざまなコトから学習できるように進化してきたか、の理解にもつなげられたらと思っています。興味ある分野の論文を読んでそこで問題点を見つけて新しい研究テーマにすることや、近くの人が得意にしているものと自分の得意なものをうまく組み合わせることで新しいテーマにつなげることもありました。また、新しいデータを見たときに課題を見つけてそれをテーマとすることもありました。以前レコメンデーションの研究に取り組んでいたときの例ですが、基本的にレコメンデーションは、商品をより多く買ってもらう、サービスをより多く利用してもらうよう推薦するのですが、これをサブスクリプション型のサービス、定額制のサービスの場合に当てはめると、多く買ってもらうのではなく、満足してもらうことが目的となり、従来とは違った観点が出てきます。
他の人の論文を読む際に、どのように拡張できるか、自分の得意技のメタ学習、以前手掛けていた確率モデルやトピックモデルと組み合わせることができないか、と自然に考えています。自分の得意技を軸に、他の人の論文や研究を見ると、新しい見方、新しい研究テーマを思いつくこともあります。10年ほど前に、会社から1年間英国に客員研究員として派遣されたのですが、せっかくの機会なのでそこの人と一緒に研究したいと思い、学生やポスドクの人に取り組んでいる研究を聞いて、うまく自分の得意技と組み合わせることができないか、ということを考えました。これにより、新しいことを勉強できましたし、新しい研究テーマで多数の論文が書けましたし、いろいろな人と一緒に研究することで英国の生活も楽しめました。

いろいろ試してみることを常に心掛けています。新しい手法を考案することも実装することも好きなので、たくさんアイデアを出し、実験し、試行錯誤を繰り返しています。もちろん失敗することも多いですが、新しいことに挑戦することで多くのことを学べますし、思いがけない知見もたまって、その後の研究につながっていると思います。
また、機械学習を研究するうえで、できる限りシンプルな考え方で綺麗に問題を解きたいと思っています。解きたい問題に対して、目標を明確にし、それに対応する定量的に評価できる損失を決め、損失を最小化します。確率論などの理論に則って綺麗に問題を解くことで性能が向上することもありますし、また、発展性、拡張性が高くなるので、その後の研究や、他の人の研究につながったりします。理解もしやすいので、なるべく必要最小限でしっかりと性能が出るような、重要なポイントだけを見極めてモデルをつくることを心掛けています。
私がNTTに入社したとき、機械学習のグループに配属されました。大学院生のときと全く異なる研究分野で、はじめは機械学習のことも分からなかったのですが、指導者に手取り足とり指導してもらい、2年目にトップの国際会議で発表することができました。その中で問題設定から手法考案、実装、実験、論文執筆、発表まで機械学習研究の型を学ぶことができました。その後、何度も自分自身でアイデアを出し指導者に聞いてもらいました。はじめのうちは駄目出しされてばかりでしたが、それを繰り返すうちに、主体的に研究できるようになっていました。この指導者との出会いは、私の研究者としての人生に大きなインパクトを与えてくれたので、私も、人に影響を与えるような出会いができたらと思っています。他の研究者を参考にして自分にあった研究の型をつくりつつ、自分なりのアイデアを出し率直な研究議論を繰り返す中で、成長してもらえたら嬉しいと思います。

興味を持って研究を楽しんでください。興味を持って楽しんでいるからこそ、研究しているときは集中することができ、疲労困ぱいしてしまっても、やりがいを感じられると思います。興味がある新しいことを学ぶことは楽しいですし、まだ解かれていない問題に取り組むことでまだ誰も知らないことを知れる機会があることは研究者にとって素晴らしいことだと思います。私は、NTTに入社して20年を超えていますが、研究する中で新しいことを学ぶことを楽しむことで、研究を続けられているかなと思います。興味を持てるテーマを選び、研究の中で、知らないことを知ること自体も楽しむことができれば、次なる興味・楽しみを見つけることもできると思います。