Focus on the News
変形物体を少数の画像のみでも高精度に認識・検索する「変形対応アングルフリー物体検索技術」を開発 ―― 定形の3D物体に加えて、軟包装製品、布製品などの不定形の商品も含めて幅広く認識可能に
NTTは、変形物体を少数の画像のみでも高精度に認識・検索する「変形対応アングルフリー物体検索技術」を開発しました(図)。
物体に未知の変形が加わっていても、同一物体であると認識可能な「変形対応幾何検証技術」により実現しました。本技術によって、定形の3D物体に加えて、軟包装製品、布製品などの不定形の商品も含めて幅広く認識可能となります。
本技術の活用によって、スマートフォンやカメラを通じて商品を高精度に認識できるため、仕分け業務や在庫管理の効率化を実現する「商品管理」や、レジ打ち業務の省力化を実現する「商品認識」、そして多言語で解説コンテンツを閲覧できる「商品情報提示」などへの展開が可能となります。
図 変形対応アングルフリー物体検索技術の特長
背景
あらゆるモノ・人をICTでつなげることで私たちの暮らしをより良くしていくデジタルトランスフォーメーションの実現に向けては、身の回りのモノをスマートフォンやカメラなどで撮影した画像から、人の目の代わりとなって認識・検索できる技術の確立が不可欠です。
しかし、定形の3D物体に比べて、軟包装製品、布製品などの不定形の物体は、さまざまな変形パターンを取ることで画像上の見え方が大きく変わるために、認識精度が低くなります。認識精度を保つためには、対象物体の変形に応じた画像を参照画像としてデータベースに登録しておく必要がありますが、対象物体の変形の仕方が任意の場合は、多数の画像を準備する必要があり、そのコストの負担が大きいという問題がありました。
研究開発成果
NTTが今回開発した「変形対応アングルフリー物体検索技術」では、幾何学的拘束を物体全体に適用するのではなく、複数の部分領域ごとに適用することで、画像特徴の対応関係から正しい対応を正確に特定する「変形対応幾何検証技術」によって、物体が変形していても入力画像と参照画像間での正しい対応を特定可能としました。これにより、定形の3D物体に加えて、任意の変形が生じる不定形の物体でも、高精度に認識・検索することを可能とします。
技術のポイント：少数の画像登録のみで変形物体を高精度に認識・検索！
変形対応アングルフリー物体検索技術は、NTTのAI技術corevo®の1つであり、少数の方向からの画像を登録するのみで3D物体を認識・検索可能な「アングルフリー物体検索技術(1)」を基に実現しました。
従来のアングルフリー物体検索技術では、物体が定形との前提での射影幾何学から導かれる同一物体上での拘束条件を用いていたため、変形物体では認識精度が低下するという問題がありました。一方で、市中の学習ベースの方法では、不定形の物体を対象とする場合、その変形パターンは無数に存在するため、さまざまな変形を観測した多数の参照画像をあらかじめ準備しないと認識精度が低下するという問題がありました。
そこで今回は、幾何学的拘束を物体全体に適用するのではなく、複数の部分領域ごとに適用することで、画像特徴の対応関係から正しい対応を正確に特定する変形対応幾何検証技術を開発しました。本技術では、入力画像と参照画像間の画像特徴による対応付け結果から、複数の対応関係間の距離・回転角度等の幾何学的特徴を使ってクラスタリングすることにより、物体が変形していても正しい対応を特定することを実現しています。この技術によって拡張した変形対応アングルフリー物体検索技術により、変形のパターンが任意の場合でも、少数の画像の登録のみで高精度に認識・検索することを実現可能としました。
■参考文献
(1) https://www.ntt.co.jp/news2015/1502/150216a.html
問い合わせ先
NTTサービスイノベーション総合研究所
企画部 広報担当
TEL 046-859-2032
E-mail randd-ml@hco.ntt.co.jp
URL https://www.ntt.co.jp/news2018/1811/181126b.html
研究者紹介
自分らしく問題にアプローチする
田良島 周平
NTTメディアインテリジェンス研究所
画像メディアプロジェクト 映像メディア処理技術グループ
(※現 NTTコミュニケーションズ 技術開発部)
本技術を構成する「変形対応幾何検証技術」では、「変形する物体を認識する」問題を「画像ペアの間で似た見えの小領域を自動抽出する」ことに帰着させています。グループ会社の方と議論した際に、変形する物体を画像認識したいというニーズを聞き、この着想を刹那に得ました。画像ペアから見えの共通する領域を抽出する技術が手元にあったため、このように発想することは私にとってとても自然なことだったのです。
正直なところ、上記の技術は、変形物体の認識とは全く異なる研究に取り組む中で開発していたものでした。研究開発に取り組んでいると、一見無関係な問題の間に共通した構造が隠れていることに気付くことがあります。変形対応幾何検証技術の研究は、まさしくこの機会を私に与えてくれました。私にとって、この研究を考え進めることはとてもワクワクする楽しい体験でした。
逆説的ですが、もし私が変形物体認識の研究にのみフォーカスしていたら、今回の技術は生まれなかったと感じています。私の日々の研究開発に「ゆとり」があったからこその結果であり、その余裕は周りの方々のサポートがあったからこそ得られたものです。上司や同僚の方々には、感謝に堪えません。
現在私が身を置く環境は少し変わり、直面する問題もこれまでとは異なることが少なくありませんが、ぜひ変形対応幾何検証技術の研究のときのように、自分らしく楽しんで取り組んでいきたいと考えています。
研究者紹介
画像認識技術で人々の生活を便利にする
吉田 大我
NTTメディアインテリジェンス研究所
画像メディアプロジェクト 映像メディア処理技術グループ
画像認識技術の活用により、無人レジや商品情報の自動提示などのサービスが実現しつつあります。このようなサービスでは、スナック菓子などの手に持つと変形してしまう商品も認識できなければなりません。
「変形対応アングルフリー物体検索技術」は、物体を変形していない状態で数枚撮影しておくだけで、さまざまな撮影方向・変形状態でも高精度に認識できます。そのため、コンビニのように頻繁に新商品が登場する場合でも、少ない手間で認識の準備ができると考えています。
NTT R&Dフォーラム2018(秋)では、買い物中の商品を自動で認識して買い物リストと照合し、数や種類に間違いがないかをチェックするデモを行い、お客さまから好評をいただきました。リアルタイム動作のための並列化・高速化や、背景や照明条件に頑健に認識するための調整を重ねたことで、実際の利用シーンをイメージしやすいデモになったと思います。また、報道発表では、変形したさまざまな物体を認識できる技術の可能性をお見せできたと思います。
一方で、技術が完成してもサービスとして使ってもらえるようにならなければ本当の完成とはいえないと考えています。サービス化のためには運用面での課題も含めてまだ多くの課題が残っています。今後は、さらに多くの被写体を高精度に認識できる技術の研究開発に加えて、実運用を想定した課題解決にも取り組み、人々の生活をより便利にするサービスの実現をめざします。
