前回（2021年2月号）でお話しさせていただいた、ノイズ除去や情報圧縮の視点を強化することで、データを捨てることなく保存・流通させる、世の中で使われている一般的な技術よりも品質を高く保ちながら100～1000倍の圧縮を可能とする「万象オーガナイズ技術」と、撮影された映像からノイズ、歪、ピントのずれ、情報の欠落等の擾乱を除去し、被写体本来の姿を推測し、それを基に符号化する「実体マイニング技術」に関する研究、そして「光が持つ明るさの揺らぎ（雑音）を利用して真の明るさを推測する技術」により、デジタル値の上限を超えた明るさを推定したり、暗い部分の正確な明るさを推定したりする研究を主に行っています。2022年4月より大学の研究室にも籍を持ち、「万象オーガナイズ技術」と「実体マイニング技術」をNTTおよび大学で学生とともに、「光が持つ明るさの揺らぎを利用してデジタル値の上限を超えた明るさを推測する技術」を大学で行っています。
まず、大学において研究を進めている「自然パターン画像に潜むルールの自動獲得と、その画像の超高圧縮」について説明します。例えば貝殻の模様のような自然界にあるパターンを数式化して人手でつくったアルゴリズム（進化計算エンジン）によりパターンを自動生成する（チューリングモデル）、もしくはアルゴリズムを自動でつくり、同様の処理によりパターンを自動生成する（フラクタルモデル）と、元のパターンに似たパターンが再現できます（図1）。その再現の精度については、例えば植物のシダの写真をフラクタルモデルで再現した場合、LPIPS（Learned Perceptual Image Patch Similarity）という人間の知覚尺度に近い尺度で示すと、0.7173（1.0が完全一致）であり、これを33バイトで実現します。同レベルの画像をJPEGで得ようとすると1185バイト必要となりますので、かなりの高圧縮であることが分かります。これを応用することで、生物の中で起きていることをある程度模擬できるのではないかとも考えています。
また、元の映像に1フレーム画像を追加して圧縮することで、より高い圧縮率で同レベルの映像が実現できることは前回お話ししましたが、その追加するフレームに赤外光による画像を利用することで、さらに高い圧縮率を実現できることも確認しました。
さらに、3D点群符号化の国際規格であるV-PCCでは、3D点群情報を分解して2D画像にして圧縮するのですが、図2の2D画像の黒い部分は、圧縮伝送はなされるものの、最終的には表示に使われない不要領域となります。不要領域は任意に埋めて（パディング）よいので、パディングに際し隣接する領域と、例えば色等の差分を少なくすることで、圧縮の効率を上げることが期待できます。このパディングの方法を検討し、それを実際の3D点群符号化に利用することをめざしています。実際に試した4つのテスト点群すべてでその効果が確認できました。

画像には、光子の不規則な飛来に由来するショット雑音、導体中の自由電子の不規則熱振動に由来する熱雑音といったランダム雑音や、デジタル化プロセスにおける量子化歪、基準より大きな入力信号により出力信号波形の頭がつぶれて歪むクリッピング歪などの、システムに由来する雑音が常に必ず混入しています。画像は音声に比べて雑音を多く含み、信号対雑音比（SNR）は画像が40dB程度であるのに対して音声は120dB程度と、画像が含む雑音のほうが格段に多いのです（数字が小さいほど雑音が多い）。映像符号化においては撮影したままで雑音を多く含む映像をそのまま符号化しています。そこで「きれいな」画像を得るためには、この雑音を除去することが必要になり、かつ雑音が除去されることにより符号化の効率も向上するため、さまざまな研究が行われてきました。
一方で、この雑音の特性を利用し雑音を有効活用する技術も研究されるようになり、例えば改ざんされた画像の中で改ざんされた領域を検出する、といったことも可能となりました。こうした雑音の有効活用の1つとして、「上限突破センシング」と私たちが呼んでいる技術で、これにより撮像表示システムの原理的限界を超えて画像の「真の明るさ」を推測することが可能となりました。
カメラで撮影された画像は、各画素がデジタル化されており、その数値（画素値）は12bitデジタル化の場合0～4095を示します。4095が一番明るい画素値ですが、実際の明るさが4095の画素値を超えている場合、その画素値はすべて4095（飽和値）で表示されると思いきや、画像にはランダムな雑音が含まれているので、複数回撮影すると実際の明るさにより決まる割合で画素値が4095を下回るのです。
さて、図3の緑枠の部分の画素列を、水平画素位置を横軸に、画素値を縦軸にプロットすると、グラフに示すような特性が出てきます。実験では、紙面の明るさを調整して部分的白飛び（飽和値）を発生させたうえで、別の12bitモノクロカメラにより画像を1万枚撮影し、平均画素値をプロットすると、図4（a）のような特性となります。白飛びの部分は赤の点で示した部分です。図3の特性と比較すると実際には破線のような画素値になっていると予測されます。ここで、クリッピングも量子化もされていない理想的な画素値（真の画素値）を横軸に、クリッピングと量子化がなされた実際に出力される画素値の期待値を縦軸にプロットすると、図4（b）のような関係となります（紫の曲線）。図4（a）の飽和値付近の平均画素値を当てはめて真の画素値に復元する（平均画素値Aを紫の曲線でBに戻す）と図4（c）の緑の点のようになり、特に楕円で囲った部分では、カメラ出力の最大値（4095）を超え、真の画素値（真の明るさ）が推測できることが分かります。ただし完全飽和部分（1万枚撮影で4095を一度も下回らない部分）は復元できないので、ここでは画素値4300としています。

ありがたいことに2022年5月以降に次のとおり、10件の賞をいただき、6件の招待講演も行いました。
•情報規格調査会 標準化功績賞（2022.5.24）
•情報処理学会 フェロー（2022.6.7）
•NTT 2022年度優秀特許表彰（1級）（2022.11.7）
•PCSJ/IMPS優秀論文賞（工藤・坂東・高村・北原 共同受賞）（2022.12.1）
•PCSJ/IMPSベストポスター賞（2022.12.1）
•画像工学研究会 IE賞（工藤・坂東・高村・北原 共同受賞）（2022.12.7）
•IEEE Region 10 Certificate of Appreciation（2022.12.31）
•画像工学研究会 IE賞（2023.3.13）
•AAIAフェロー（2023.7.4）
•APSIPA Certificate of Appreciation（2023.11.2）
普通は研究を始めて何年か経ってから受賞しますので、転身後1年半ほどの間に10件は自分としては多いと思いますが、これはタイミングが良かったのだと思います。ただこの中で、2022年12月のPCSJ/IMPSベストポスター賞と2023年3月のIE賞については2022年4月以降に始めたものであり、初年度で受賞という事実に驚いてもいます。特にこの2件は、例えば「真の明るさ」の実験では10万円もしないようなカメラを使用しており、お金をかけずとも世界初の知見を得ることができた好例でもあります。お金をかけていない分、実験方法を工夫しながら、こういう結果が出るだろうという、ある程度の目論見をつけて実験をして、目論見どおりになったという感じであり、非常に達成感もあります。

大学に籍をおいて1年半になりますが、NTTの研究所では経験できなかったことが大きく2つあります。研究費の獲得と研究テーマの設定を含めた学生指導です。研究費は科学研究費（科研費）やそれ以外の競争的研究資金のことで、自身で申請するだけではなく、学外の知人と連携して応募したりしていますが、難易度が高くてなかなか獲得できず、2023年にやっと1件獲得できた状況です。学生については、2022年度は2名だったのが現在では16名になり、研究指導のウエイトがかなり大きくなってきました。
一方、研究そのものについては、NTTでは研究所や研究プロジェクトの枠の中でテーマを掘り下げることを行っていましたが、大学ではテーマ分野の枠がなく自由にテーマを設定することができます。とはいえ資金は少ないので、これまでから継続してきた研究に加えて、誰もやっていないことを、できるだけお金をかけずに実験して（机上の理論研究や思考実験）、知見を得ていくことを、幅広い分野にわたって手掛けていきたいと思います。学生はNTT研究所員のようなプロの研究者ではない、いわば研究者の卵なのですが、その数も増えてきており、研究の幅を広げていく良い環境ができつつあり、また企業との共同研究も増やしていきたいと思います。
さて、最近IEEE（Institute of Electrical and Electronics Engineers）のFellow Committee（世界のIEEEフェローから選ばれた委員50名で、翌年1月1日付で新IEEEフェローとなる人たちの最終書類選考をする会合）に出席し、委員も申請者も業績が燦然と輝くような方々ばかりで、日頃なかなかこういった場に身を置く機会がなかったので、大変刺激を受けました。IEEEのフェローはかなり権威のあるものなのですが、最近日本から選考されるフェローがかなり減ってきていることに気付きました。縁あって現在この立場にいることもあり、日本からのフェロー輩出を増やしていくことに微力ながらも貢献していきたいと思っています。

研究者として、「疑う」「非安住」「断らない」「寝かせる」という4つのキーワードを基本姿勢としています。
「疑う」については、多くの研究者が心掛けているのですが、得られた結果や現象を表面的な部分のみで受け入れずに疑問を呈することで、その結果の真偽や、さらなる結果、新たな発見につながることがあります。まさに追究の姿勢です。
「非安住」については、私の結婚披露宴で父による挨拶の言葉、「息子は今までが出来過ぎでした（物事がうまく行き過ぎた）」に起源があります。私はこれを、いつ失敗するか、体を壊すか、足元をすくわれるか分からないから気を付けなければいけない、と受け止めました。例えば、何か賞をいただいたとしても、それに安住しているとそこで止まってしまいます。受賞した次の瞬間にそれは過去のものとなるのです。すでに次のことが始まっているのです。また決められた路線を歩む（安住）とその先の景色しか見えませんが、少し脇にそれることで別の景色が見えてくるのです。
「断らない」については前回もお話ししましたが、頼まれたら断らずに、Give and Give（見返りを期待しない）で対応するということです。いつの間にか多くの皆様に助けていただけるようになるばかりではなく、大切な人脈ができます。また、頼まれる側の気持ちが分かるようになるので、頼む側の立場になったときに相手のことを考えながら依頼することができます。学会等の委員・役員や議長、セミナーオーガナイザ等現在でもいくつか引き受けているのですが、これらを通して「地位が人をつくる」ということを実感してきました。いろいろと引き受けることで成長につながるのではないでしょうか。
「寝かせる」については、2つの例があります。電子情報通信学会創立100周年記念懸賞論文に応募する際、まずいろいろと情報収集し、書きたくなっても書かずに情報収集を続け、じっくり寝かせて（そのまま放置して時間をおいて）から執筆したところ、最優秀賞を受賞しました。また、均等色空間の研究において、いろいろ方法を考えては失敗を繰り返していたのですが、休日に海岸でゆったりとした時間を過ごしていたときに、構造解析で使われる手法を応用することがふとひらめき、それを実行することで出口につながり課題が解決し、それが丹羽高柳賞論文賞受賞につながりました。どちらもいったん距離を置くことで、異なる視点から研究を眺めることができた結果だと思います。

段取りをがちがちに固めて進むタイプの人と、ゆるく考えて進むタイプの人がいると思いますが、両方のタイプの人がいて良いと思います。私はどちらかというと後者のタイプでしたが、それでもなんとか研究を進めることができました。言い換えると、研究は予期せぬ結果による方向修正がつきものなので、フレキシブルにトライ・アンド・エラーを繰り返したほうが、良いことが多かった気がします。前述の「寝かせる」ことと矛盾しているようですが、とりあえずやってみて、寝かせて、視点を変えて考えるということを行っており、こうした「やってみること」が必要な場面はあります。若いうちは自由になる時間が比較的多く、積み上げてきた実績が少ないので逆に守りに入る必要もない、という2つのメリットがあります。このメリットが発想を自由にすることにつながると思います。だからこそ、ゆるく考えてトライしていくことが良いのではないでしょうか。