私はこれまでNTTの研究所で画像や映像の圧縮方法、すなわち符号化について長年研究をしてきました。4年前に法政大学へ本務を移しましたが、NTTの客員研究員も兼務しながらこの分野を継続して研究しています。最近は、あらゆる手段で膨大な容量の映像を送受信する機会が急増していることを皆さんも実感していると思いますが、ここで鍵となる技術が映像の符号化や復号化です。
図1は映像が送信側から受信側へと送られる流れを示したブロック図です。左側（エンコーダ）で符号化され、中央部のビットストリームを介して、右側（デコーダ）で復号されます。そのような中、日常的に利用されているJPEGやMPEG規格で規定しているのは復号の工程（黄色部）だけであり、符号化には規定がありません。つまり符号化の工程にはまだ工夫の余地が十分残されており、この分野で研究が盛んに行われている理由の1つです。
そこで、私も図1左側（符号化）で色を付けた個所についてオリジナルな研究を進めてきました。まず、予測における重要度を考慮した符号化効率の改善手法について紹介します。画像圧縮においては、すでに復号された周囲の画像領域の画素値を参照し、これから符号化する画像領域の画素値を予測していきます。そして、この画像領域の復号値も、さらに以降の符号化で参照される可能性があります。この手法は画面内予測、画面間予測と呼ばれ、符号化効率を高める重要な技術です。そういった中、静止画でも動画でも、頻繁に参照される画素とされない画素が存在するため、私は前者をより手厚く符号化するのが得策であると考え、このメリハリをつけた符号化で効率を改善していく手法の研究に取り組みました。
図2にこの手法のプロセスを示します。まず既存のエンコーダで画像を符号化し、そのときのCU（Coding Unit）情報＊1を取り出し、より多く参照される画素（図の明るい暖色で示された画素）とそうでない画素を識別します。そして前者へ重点的にビットを割り与えて符号化することで効率を改善できました。こうした符号化のアイデアは私たちが初めて提案したものです。
次に説明する研究は変換係数の摂動（変動）による符号化効率の改善についてで、図1中の正変換で示された部分での工夫となります。画像圧縮において、前述の予測と同じく重要な技術がこの予測誤差信号の変換になります。変換係数にわずかな摂動を加えると符号化性能が良くなったり悪くなったりと変動していきます。つまり、いくつかの係数を試すことにより、もっとも性能が良くなった摂動条件を採用すれば圧縮率は高まり、結果として符号化効率が改善することになります。この研究の初期検討は大学の卒論生とともに取り組みましたが、その結果を電子情報通信学会論文誌に投稿したところ、コメントや修正要求もなく1回目の査読で採録されました。私もたくさん論文を書いていますが一度で採録されたのは初めての経験でした。

＊1 CU情報：映像符号化の国際標準規格であるVVC （H.266）などにおいて、映像を圧縮・符号化する際の基礎となるブロック単位（CU：Coding Unit）における詳細なデータのこと。圧縮の工程では、映像の複雑さに応じて画面を柔軟に分割しますが、CU情報にはその1つひとつのブロックをどのように処理したかが記録されています。

立体表面の各点におけるXYZ座標と色（RGB）とからなる6つの情報を3次元点群と呼びます。そこで今回の研究対象にしようとしたのは、この点群の動画についてです。静止画像の点群でも1枚当り何百万もの点がありますから非常に大きなデータ量になります。したがって、これが動いている状態では、それが毎秒数十フレームというペースで次から次へと新たな点群が入力され、毎秒数10Mbit～数10Gbitといった膨大な情報量が必要になります。
そのため3次元点群ビデオの効率的な圧縮技術が必要とされ、MPEG V-PCCやG-PCC、MPEG-DMCなどの圧縮技術が国際標準化されてきていますが、これら既存研究を上回る高性能、高効率的なビデオ映像の圧縮をめざして、2025年春に修士修了した卒業生が、本業の傍ら研究を継続しています。
現在研究している内容を図3に示します。「ある時刻の点群1、次の時刻の点群2、さらに先の時刻の点群3」があったとして、それらをある時刻の形状を目標とし、すべて合わせていきます。例えばこの図中の布地がヒラヒラしている状況をイメージしていただき、一番上の入力点群1の時刻における形に、後続する時刻（入力点群2、3）の形をすべて合わせていくのです。そして、このように全部統合した点群を平均化します。そうすると画像は密になり、ノイズも取り除かれ、綺麗な1枚の密な点群ができます（点群情報の稠密化）。それを逆変換させ、1フレーム目、2フレーム目、3フレーム目の形に戻すとそれぞれの形は入力と同じですが、稠密化前より綺麗な画像を出力することができました。

最近は近赤外光と可視光の画像を同時に撮れるカメラが販売されています。両者の画像を比較すると形はほとんど同じですが、明るさなど細部は大分違っています。今回は、相手側はすでに近赤外光の画像は持っている仮定のもと、相手がこれと同じ被写体の可視光画像（カラー画像符号化もしていますが今回はグレースケール画像で説明）を得たい、またこちら側は効率的に可視光画像を送りたいというシナリオを考えます。
図4は実験の具体的な流れです。図中の予測画像とは、近赤外画像からグレースケール画像に似た値をあらかじめ抽出するよう数式をつくり、これを用いて実際の近赤外画像を変換して得た画像のことで、結果は実際のグレースケールによく似た画像となります。そして、本物のグレースケール画像からこの予測されたグレースケール画像を引き算し、差分を相手に送ります。差分の画像を見ると薄っすらと絵が見えていますが、完全に一致はせず多少の差が現れています。しかし、この容量はグレースケール画像を高性能可逆符号化方式で圧縮したデータに比べると4.78％小さい結果となりました。そして、相手側も同じ工程を逆に実施し、この差分画像と手持ちの近赤外画像とを足し合わせることで、送り手と同一のグレースケール画像を得ることができます。こちらも3次元点群動画符号化のテーマ同様、2025年春に修士課程を修了し一般企業に就職した別の卒業生が、本業の傍ら研究を継続しています。

4年前に大学へ本務を移してから、光の性質として光子が元来持っている揺らぎ（不規則な飛来）といった物理現象に着目した新たな「光センシング」の研究領域を立ち上げました。前回の本誌取材（2024年1月号）では、白飛びするような明るい被写体でも明るさを推定できる技術「上限突破センシング」についてお話ししましたが、現在は撮像素子のばらつきを補正する技術について研究しています。光を画素値に変える特性が、画素素子ごとで少しずつ異なっているため、正確性を求められる場面では使えないという状況となり、この補正が必要になります。そういった課題に対して、画素素子内の光電子情報をミクロに把握し解決する研究提案が日本学術振興会で認められ、2026年度から科学研究費助成をいただくことになり、修士に進学した学生と現在本格的に取り組んでいます。
将来に向けては、映像を光子といったミクロなレベルで撮像、伝送・蓄積、表示を一貫してコントロールする究極のシステムをめざしており、光子を受けて光子を出す、鏡が行っているような現象を基本原理にこれを実現できないものかと考えています。
現在、私たちが日常的に使っている撮像系は、光を電子に変え蓄積し、その蓄積量に応じた画素値の取得を1コマ1コマ繰り返しています。また私たちが日常的に使っている表示系は、与えられた画素値に応じた明るさの光を発しようとしますが、その発生光子量は必ず時間的にばらつきます。光子量のばらつきについて、例えば撮影対象の真の輝度値には、撮像の段階でポアソン分布を持つ揺らぎを必ず伴います。そして、それを表示する際には、再びポアソン分布を伴う揺らぎの発生が避けられません。この撮像～表示までの過程で二重に畳み込まれた幅広な分布に従う揺らぎのため、私たちが観測する画像には撮像時に乗ったノイズの2倍の分散を持つノイズが乗ってしまい、結果3dB劣化してしまうのです（IDW ’23での招待講演）。
そして、もし物体が静止していれば話は単純ですが、物体が動いたり照明光が時間的に変動したりすると「動きボケ」が発生し、新たなノイズとして重畳されてしまいます。通常、数10ミリ秒に1 回シャッターを切るとすると、その時間内での動きは平均化され、1コマ中での画像はボケたものになります。
皆さんがスマホで撮像するとき、明らかに画面に写っている画像の色彩が実像と違って見えることを経験していると思います。もしこれらが全く同じで見分けがつかないとしたら、これこそ究極の画像システムであるといえます。ところで、鏡に映る像を考えてみると、ここでは光子1つひとつを反射しているため、前述の撮像系ノイズ、動きボケノイズ、表示系ノイズは一切重畳されません。このメカニズムが鏡の現象を映像システムへ適用していきたいという大きなモチベーションになっており、今後もっとも重点を置き追求していきたい研究テーマです。
現在、撮像においては光子1個の飛来も観測できるデバイス（SPAD＊2）が6～7年前に登場し、研究者の間では普及しつつあります。ただし、光子が無数に飛び交う通常の生活環境では、各ショットでデバイスの受光限界に達してしまい、対象を撮像する際には薄暗い環境下、シャッターもかなり絞り込んだ状態で、ようやく対象物からの光子飛来情報が得られるレベルにあるため、現時点で全容をとらえるのはまだ難しい状況です。またSPADが光子検出反応を示したとき、飛来した光子が本当に1個なのか、2個以上が同時に飛来したのかが分からないという課題もあり、いくつかの仮定をおいて、確率的に何個であったのか、本来の明るさはどの程度であったのか補正する必要があり、これについても補正法を確立しています。
図5はNTTコンピュータ＆データサイエンス研究所で所有しているSPADカメラでテストチャートを撮影している様子です。光子の粒がさまざまなところに出現しているように見えますが、これを13万枚累積（約0.7秒間撮影）するとリアルなテストチャートの画像になりました。おそらく将来的にはこういった光子が1個1個飛んでくる情報を圧縮する、伝送・蓄積する、そして表示する時代になるのではないかと考えています。表示系においては、量子ドット＊3技術により光子を1つひとつ発生することができると考えていますが、伝送・蓄積ではこの光子飛来情報をどう圧縮するか、入力と出力の間の誤差（歪み）をどう評価するかという課題などがあり、まだ未確立です。
この「光子レベルでの究極の映像システム」は新しい研究分野を多く含む未開拓分野であり、その中で私は特に撮像システムの工夫や、データ符号化を中心に研究していきたいと考えています。

＊2 SPAD（Single Photon Avalanche Diode）：光の最小単位である光子を1つずつ検出できる超高感度なイメージセンサ。雪崩（アバランシェ）のような電子増幅作用で微弱な光を瞬時に大きな信号へ変換するため、暗視カメラ、自動運転用LiDAR（距離センサ）、医療用画像機器などに利用されています。
＊3 量子ドット：大きさによって光の色を自由に変えられる、ナノサイズの半導体微粒子のことで、通常の物質と違い、サイズが極限まで小さくなることで「量子閉じ込め効果」と呼ばれる物理現象を生じ、光の波長（色）を細かくコントロールできます。ねらった色をピンポイントで出せ、従来のLEDよりも広い色域と鮮やかな表示を実現します。

私が取り組んでいる画像圧縮の研究には、大きく2つの重要な使命があると考えています。「標準化準拠の枠内でいかに高圧縮を実現するか」「従来なかった方法を考案・導入して高圧縮を実現するか」です。前者は、今すでに世の中の映像サービス・製品で使われているビットストリームをより小さく、流通しやすくし、社会的に直接貢献することです。後者は、今後の国際規格に採用され広く世界で使われる社会的貢献、あるいは新機能性や新手法の潮流をつくり規格の高性能化につなげる学術的貢献が考えられます。私はこれら両方への貢献をめざし研究に取り組んでいる中、2年前の前回取材以降、社内外から以下9件について受賞させていただきました。
①　画像工学研究会IE特別賞 （高波、小島、原、東、坂東、高村、田中共同受賞）（2024.6.1）
②　電子情報通信学会 業績賞 （松尾、坂東、高村共同受賞）（2024.6.6）
③　AIIAフェロー（2024.8.11）
④　NTT 2024年度優秀特許表彰（1級）（2024.7.10）
⑤　IEEE Member and Geographic Activities （MGA） Board、Recognition （2024.11.23）
⑥　IEEE Region 10、Certificate of Appreciation （2024.12.31）
⑦　電子情報通信学会 功績賞（2025.6.5）
⑧　NTT 2025年度優秀特許表彰（2級）（2025.6.12）
⑨　NAAI Elected Member（2025.8.29）
なお、この期間では新たなテーマを主体に招待講演や基調講演も4回実施してきました。

私はかつてより国内外の学会役員活動を通じて、さまざまな研究者と交流を図っています。そのお陰で、普段接点のない研究者の方々がおられる場に招かれて講演をする機会もあり、こちらの研究テーマをより多くの方々に知っていただけること、新しい研究の種を教えていただけること、普段気付かない視点から質問をいただき研究にフィードバックできることなど、ありがたいことが多く、自分の研究時間は多少減ってはしまいますが、大変意義があることだと思っています。
前回の取材でも触れましたが、私はIEEE Fellow Committee委員に2019年任ぜられました。その後再任され2026年12月まで務めさせていただく予定です。残念ながら、最近は日本からのフェロー昇格が低迷しています。IEEEのフェロー制度は年に1回（1月1日に）昇格する仕組みですが、2002年には41名昇格していたところが、2026年には9名まで減少し、人口が日本の5分の1である台湾にも2名後塵を拝している状況です。ご存じのとおり、論文投稿数も中国に水をあけられるなど、日本の研究力そのものの低下が懸念される中、この状況を何とか打開していきたいと、私はフェローになって以降、数々の昇格者に登壇いただき、日本の研究者向けに体験談などをお話ししていただく機会をつくってきました。その甲斐もあってか、日本の学会幹部の方々のご尽力もあり、日本からのIEEE Fellow Committee委員はかつての5名から昨年時点では2名まで下がっていたところを、2026年は5名へ復活しましたので、日本のプレゼンス向上を通し、今後の日本人のフェロー昇格者数が増えるきっかけになるのではと期待しています。私は今後もこの増進施策に微力ながら貢献していきたいと思います。
また私は、画像電子学会の会長も2024年から仰せつかっています。大規模学会とは異なり資金面でスケールメリットを得づらいなど短所もありますが、役員と一般会員との距離が近く、機動性にも優れており、体を小さくするよう進化し成功した昆虫種の例と同様に当学会も進化していくことを掲げてお手伝いしているところです。学会間のつながりに参加する中で、知り合った会長の学会に初参加して発表するなど、なかなか得難い経験もしています。
さらに2026年1月、APSIPA（アジア太平洋・信号情報処理学会）の論文誌の編集長（Editor-in-Chief）に就任いたしました。就任直後、出版社の運営体制が不安定になり会員へご迷惑をおかけするなど、苦労していますが、すでに多くの投稿論文を処理しており一定のお役には立てているかと思います。

私は主として大学に身を置いているため、優秀な学生の育成にも力を入れていきたいと思います。彼らは若く、未熟な面もありながら、一方で今の自分ではなかなか発揮できないようなエネルギーに満ちあふれた頑張りをみせており、頼もしい存在です。また、研究室の修士課程を修了し技術職として一般企業に就職した複数の学生が、前述のとおり、業務外の時間に研究したいと自主的に申し出てきて、定期的に打ち合わせをしています。社会人博士として迎える形態もありますが、これはこれで、また違う形態として面白いかもしれませんし、これも社会的に意義のあることだと思っています。
若い研究者へは以下のメッセージを伝えたいと思います。周囲の環境はますます激しく変化してきているので、過去の研究のやり方が今後も最適であるとは限らなくなってきました。例えば英語の読解力について以前は研究において必須でしたが、今後は重要性が薄れていくと思います。広く浅い知識はAI（人工知能）でかなり補えるようになってきました。母国語の表現力さえ磨いておけば、あとはAIがほとんど仕事をしてくれる日も近いでしょう。
一方、狭くて深い知識はもちろん大切なのですが、その知識が将来役に立つのかは予測できない世の中になりました。経済学を学んだことのない学生がAIを使ってかなり高度な論文を書いて経済学教授を驚かせたという話もあります。ですので今後は、自分で進む方向を決めて、道を切り拓いていく力がますます重要になるでしょう。
私の学生時代の指導教授は定年間際で大変お忙しい先生でしたから、直接的な指導は限られていました。そのため、自由に一人称で研究に取り組ませていただけたことに今となっては感謝しています。先輩のアドバイスは参考にしつつも鵜呑みにせず、問題の本質は何だろうと常に考えながら、自らが良いと思う選択を行い、悔いのない研究生活を送っていただきたいと思います。
とはいえ、一定の年齢になったら学会活動にも積極的に携わるのが良いと思います。いろいろとお願いされることもある一方で、いろいろとお世話になることもあるからです。最初は負担に感じることもあるかもしれません。もし本来やりたくない仕事をしなければならないと思ったときの私なりのストレス解消法は、それが終わった後に何か楽しいことをしている状況を、意識して想像することです。