JP7506036B2 - 鏡像弁別装置、方法およびプログラム - Google Patents

Description

本発明は、鏡像を弁別する装置、方法およびプログラムに係り、特に、多数の実像と共に鏡像が写り込んだ画像から鏡像を弁別する装置、方法およびプログラムに関する。

空間にある対象物をカウントするタスクに対して画像認識技術を使う解決方法がよく知られており、非特許文献1をはじめとして多くの研究がある。しかしながら、鏡やガラス等の反射性の高い物体が環境に存在するとき、対象物の鏡像を誤ってカウントすることがある。その解決策として、反射性の高い物体の位置を検知する技術や、鏡像と実物とを弁別する技術が要請されている。

特許文献1には、予め定められた動きをするパタンを投影し、投影された風景を撮影した映像から鏡に反転して写るパタンの鏡像の動きベクトルを算出した後に、前記パタンの動きと異なる動きベクトルが発生する領域を反射性領域として特定する技術が開示されている。

特許文献2には、布類の姿勢、特に裏表を判別する技術として、布の一意に定められた場所（例えば左上端）にタグを取り付け、画像認識によってそのタグの位置を認識することで布の姿勢を判別する技術が開示されている。タグは片方の面からのみ観察できるので裏表の判別が可能となる。

特開2014-048276号公報 特開2020-069204号公報

Nishant Kejriwal, Sourav Garg and Swagat Kumar, "Product Counting using Images with application to Robot-based Retail Stock Assessment Technologies for Practical Robot Applications (TePRA), Woburn, MA, USA, pp1-6, (2015) A. Osokin, D. Sumin and Vasily Lomakin, "OS2D: One-Stage One-Shot Object Detection by Matching Anchor Features, " ECCV, (2020). Lowe, David G. "Distinctive image features from scale-invariant keypoints." International journal of computer vision 60.2 91-110, (2004) Chen, Liang-Chieh, et al. "Rethinking atrous convolution for semantic image segmentation." arXiv preprint arXiv:1706.05587 (2017). Ziou, Djemel, and Salvatore Tabbone. "Edge detection techniques-an overview." Pattern Recognition and Image Analysis C/C of Raspoznavaniye Obrazov I Analiz Izobrazhenii 8 (1998): 537-559. Sundermeyer, Martin, et al. "Implicit 3d orientation learning for 6d object detection from rgb images." Proceedings of the European Conference on Computer Vision (ECCV). 2018.

特許文献1は、投影及び撮影を同時に行う事の出来る環境での使用が要件であり、既に撮影された画像が鏡像か実物かを見分けることはできない。また、投影を行う装置が必要である。

特許文献2に、小売商品すべてに対してタグのような部位を所定の位置に付与しなければならないので多くのコストを必要とし、現実的ではない。加えて、反射率が十分に高くない反射素材の鏡像の場合に小さなタグを検出することは困難になる一方、タグを大きくするとデザインに影響を与えることとなるので小売商品への適用が難しい。

本発明の目的は、上記の技術課題を解決し、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されることなく鏡像を弁別できる鏡像弁別装置、方法およびプログラムを提供することにある。

上記の目的を達成するために、本発明は、カメラ画像から物品の鏡像を弁別する鏡像弁別装置において、以下の構成を具備した点に特徴がある。

(1) 物品のリファレンス画像を登録する手段と、カメラ画像から切り出した物品の個別画像を取得する手段と、個別画像およびその反転画像をリファレンス画像と比較して求めた反転度ベースで鏡像を弁別する第1弁別手段を具備した。

(2) 前記第1弁別手段に代えて、各個別画像のリファレンス画像に対する姿勢の変位量ベースで鏡像を弁別する第2弁別手段を具備した。

(3) 前記第1弁別手段に加えて、各個別画像のリファレンス画像に対する姿勢の変位量ベースで鏡像を弁別する第2弁別手段を具備した。

(4) 各個別画像の不明瞭度ベースで鏡像を弁別する第3弁別手段を更に具備した。

(1) 個別画像およびその反転画像をリファレンス画像と比較して求めた反転度ベースで鏡像を弁別するので、特に飲料ボトルのテクスチャが画像反転により大きく変化する特徴を有する場合に、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されにくい鏡像弁別が可能になる。

(2) 各個別画像のリファレンス画像に対する姿勢の変位量ベースで鏡像を弁別するので、特に飲料ボトルのテクスチャが姿勢変化により大きく変化する特徴を有する場合に、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されにくい鏡像弁別が可能になる。

(3) 反転度ベースおよび変位量ベースで鏡像を弁別するので、飲料ボトルのテクスチャが画像反転により大きく変化する特徴および姿勢変化により大きく変化する特徴の少なくとも一方を有していれば、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されにくい鏡像弁別が可能になる。

(4) 各個別画像の不明瞭度ベースで鏡像を弁別するので、特に鏡像がアクリル板のように反射率の低い鏡面からの反射光で形成されている場合に、反転度や姿勢の変位量のみで弁別する場合に較べて弁別精度を更に向上させることができるようになる。

本発明の第1実施形態に係る鏡像弁別装置の機能ブロック図である。 環境画像の例を示した図である。 個別画像切出部の動作を説明するための図である。 識別部の動作を説明するための図である。 反転度ベース弁別部の機能ブロック図である。 反転度ベース弁別部の動作を説明するための図（その１）である。 反転度ベース弁別部の動作を説明するための図（その２）である。 本発明の第2実施形態に係る鏡像弁別装置の機能ブロック図である。 姿勢ベース弁別部の機能ブロック図である。 姿勢ベース弁別部の動作を説明するための図である。 本発明の第3実施形態に係る鏡像弁別装置の機能ブロック図である。 本発明の第4実施形態に係る鏡像弁別装置の機能ブロック図である。 本発明の第5実施形態に係る鏡像弁別装置の機能ブロック図である。 不明瞭度ベース弁別部の機能ブロック図である。 本発明の第6実施形態に係る鏡像弁別装置の機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は、本発明の第1実施形態に係る鏡像弁別装置1の構成を示した機能ブロック図であり、リファレンス登録部10、カメラ画像取得部20および鏡像弁別部30を主要な構成としている。本実施形態では、冷蔵ケース内に収容、陳列された飲料ボトルを弁別対象とし、冷蔵ケースの正面は透明なガラス製であり、ケース内の側壁、棚、仕切り板には鏡面状又は透明性のガラス板やプラスチック板が用いられている。

このような鏡像弁別装置1は、CPU，ROM，RAM，バス，インタフェース等を備えた少なくとも一台の汎用のコンピュータやサーバに各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいはアプリケーションの一部をハードウェア化またはソフトウェア化した専用機や単能機としても構成できる。

リファレンス登録部10には、飲料ボトルの種別ごとにその識別や特徴点抽出において基準となるリファレンス情報が登録されている。本実施形態では冷蔵ケース内に収容、陳列されている飲料ボトルが既知であり、飲料ボトルの種別ごとに予め撮影した画像（リファレンス画像）が当該飲料ボトルの商品名や商品コード等のIDと対応付けられて登録される。

各飲料ボトルに対応付けられるリファレンス画像Irefは一枚に限定されず、撮影方向や照明角度の異なる複数枚を登録しても良いし、固定的なリファレンス画像に代えて視点ごとに形状や模様が変化する3Dモデルを登録しても良い。

なお、リファレンス情報はリファレンス画像Irefに限定されるものではなく、飲料ボトルの識別や特徴点抽出に深層学習を利用するのであれば、リファレンス画像Irefに代えて学習データを登録するようにしても良い。

カメラ画像取得部20は、図2に一例を示すように冷蔵ケース内を外側から撮影し、複数の飲料ボトルの実像や鏡像が写り込んだカメラ画像を環境画像Iとして取得する。本実施形態ではカメラ画像取得部20が個別画像切出部21および識別部22を含む。

個別画像切出部21は、例えば非特許文献2に開示された特定物体認識手法を用いて、図3に示すように環境画像Iから飲料ボトルとして検出したバウンディングボックスで区切られた各画像領域を個別画像Iiとして切り出す。識別部22は各個別画像Iiを既登録のリファレンス画像Irefと比較して対応関係を認識し、図4に示すように各個別画像IiにIDを対応付けて鏡像弁別部30へ提供する。

鏡像弁別部30は、本実施形態では反転度ベース弁別部（第1弁別部）31を含み、環境画像Iに含まれる鏡像をその反転度に基づいて弁別する。鏡像弁別部30は、少なくとも反転度ベース弁別部31の弁別結果に基づいて各個別画像Iiを実像および鏡像のいずれかに弁別する。

図5は、前記反転度ベース弁別部31の構成を示した機能ブロック図であり、前処理部31Aおよび判定部31Bを主要な構成としている。

前処理部31Aにおいて、反転画像生成部311は各個別画像Iiをミラー反転して反転画像Ii´を生成する。特徴点抽出部312は個別画像Ii、その反転画像Ii´および当該個別画像Iiに対応するリファレンス画像Iref_iから特徴点およびその局所特徴量を抽出する。

非反転マッチングペア抽出部313は、個別画像Iiとそのリファレンス画像Iref_iとの間で特徴点の組み合わせごとに特徴点マッチングを行ってマッチングペア（以下、非反転マッチングペアと表現することもある）を抽出する。

反転マッチングペア抽出部314は、個別画像Iiの反転画像Ii´と当該個別画像Iiのリファレンス画像Iref_iとの間で特徴点の組み合わせごとに特徴点マッチングを行って反転マッチングペアを抽出する。

前記特徴点抽出部312による特徴点抽出ならびに非反転マッチングペア抽出部313および反転マッチングペア抽出部314における特徴点マッチングには非特許文献3の技術を適用できる。

非反転総和計算部315は、全ての非反転マッチングペアから2組の非反転マッチングペアを選択する組み合わせごとに、図6に示すように各非反転マッチングペア（s´，s），（t´，t）の個別画像Ii側の一方の特徴点s´から他方の特徴点t´へのベクトルとリファレンス画像Iref_i側の一方の特徴点sから他方の特徴点tへのベクトルとのコサイン類似度Dを次式(1)に基づいて計算する。

そして、非反転マッチングペアの組み合わせごとに求めたコサイン類似度Dの総和を当該個別画像Iiの非反転総和Dsumとして出力する。

同様に、反転総和計算部316は、全ての反転マッチングペアから2組の反転マッチングペアを選択する組み合わせごとに、図7に示すように、反転画像Ii´側の一方の特徴点s´から他方の特徴点t´へのベクトルとリファレンス画像Iref_i側の一方の特徴点sから他方の特徴点tへのベクトルとのコサイン類似度Dを計算し、全ての組み合わせのコサイン類似度Dの総和を反転総和D´sumとして計算する。反転度計算部317は次式(2)に基づいて個別画像Iiの反転度T1を計算する

判定部31Bは、次式(3)のように反転度T1が所定の閾値（本実施形態では、ゼロ）を超える個別画像Iiを鏡像に弁別する。

なお、本実施形態ではコサイン類似度Dに基づいて反転度T1を計算するものとして説明したが、本発明はこれのみに限定されるものではなく、非反転マッチングペアの総数を非反転総和Dsum、反転マッチングペアの総数を反転総和D´sumとして反転度T1を計算しても良いし、非反転マッチングペアのマッチングスコアの総和を非反転総和Dsum、反転マッチングペアのマッチングスコアの総和を反転総和D´sumとして反転度T1を計算しても良い。

さらに、個別画像Iiごとにマッチングスコアが上位Nベストのマッチングペアについて個別画像Iiの各特徴点とリファレンス画像Iref_iの対応する各特徴点とが重なるように個別画像の姿勢を修正し、姿勢修正後の個別画像Iiとリファレンス画像Iref_iとの間でコサイン類似度Dを求めて反転度T1を計算するようにしても良い。

このように、本実施形態では個別画像ごとに反転画像を生成し、各画像をリファレンス画像と比較して求まる反転度に基づいて鏡像を弁別するので、特に飲料ボトルのテクスチャが画像反転により大きく変化する特徴を有する場合に、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されにくい鏡像弁別が可能になる。

図8は、本発明の第2実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表している。本実施形態は鏡像弁別部30が前記反転ベース弁別部31に代えて姿勢ベース弁別部（第2弁別部）32を具備した点に特徴がある。姿勢ベース弁別部32は鏡像の姿勢が特異的である点に注目して環境画像Iから鏡像を弁別する。

図9は、前記姿勢ベース弁別部32の構成を示した機能ブロック図であり、前処理部32Aおよび判定部32Bを主要な構成としている。

前処理部32Aにおいて、特徴点抽出部321は各個別画像Iiおよび対応するリファレンス画像Iref_iから特徴点およびその局所特徴量を抽出する。マッチングペア抽出部322は、各個別画像Iiと対応するリファレンス画像Iref_iとの間で特徴点の組み合わせごとに特徴点マッチングを行ってマッチングペアを抽出する。

姿勢変位量計算部323は、個別画像Iiごとにマッチングスコアが上位Nベストのマッチングペア（本実施形態では、上位2ペア）を抽出し、図10に示すように、個別画像Iiの各特徴点s´，t´とリファレンス画像Iref_iの対応する各特徴点s，tとが重なるように個別画像Iiの姿勢を変位（本実施形態では回転）させてその変位量T2を取得する。

なお、ここでは特徴点の位置に応じて個別画像Iiの姿勢を変位させるものとして説明するが、本発明はこれのみに限定されるものではなく、例えば非特許文献4が開示するセグメンテーション手法を用い、個別画像Iiのセグメンテーションと対応するリファレンス画像Iref_iのセグメンテーションとの重なり量が最大化するように個別画像Iiを変位（回転、拡縮および移動のいずれか又は組み合わせ）させた際の変位量を変位量T2としても良い。

あるいは、非特許文献5が開示するエッジ検出手法を用い、個別画像Iiのエッジ領域とリファレンス画像Iref_iのエッジ領域との重なり量が最大化するように個別画像Iiを変位させた際の変位量を変位量T2としても良いし、非特許文献6が開示する深層学習を適用して変位量T2を推定しても良い。

あるいは、個別画像Iiに対応するリファレンス情報として複数のリファレンス画像や三次元情報が登録されていれば、マッチングペアの幾何位置の比較によってyaw方向の姿勢を数値化し、これを変位量T2としても良い。

判定部32Bは全ての個別画像Iiの変位量T2を集計して検定を行い、変位量T2が外れ値となる個別画像Iiを鏡像に弁別する。検定には四分位偏差を使用し、中央値から一定倍（例えば、2倍）以上離れた点を外れ値とすることができる。

なお、前記中央値に代えて平均値や集合の値を任意の粒度で丸めた場合の最頻値を採用しても良いし、四分位偏差に代えて標準偏差を採用しても良い。また、前記yaw方向の姿勢を数値化して変位量T2とするのであれば、予め規定した姿勢以外の場合に鏡像と判定して良い。例えば、正面向きであることを規定している環境において姿勢が側面であった場合に鏡像と判定することができる。

このように、本実施形態では個別画像ごとにリファレンス画像に対する姿勢の変位量を検知し、変位量に基づいて鏡像を弁別するので、特に飲料ボトルのテクスチャが姿勢変化により大きく変化する特徴を有する場合に、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されにくい鏡像弁別が可能になる。

図11は本発明の第3実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は鏡像弁別部30が反転度ベース弁別部31および姿勢ベース弁別部32を具備した点に特徴がある。

本実施形態によれば、飲料ボトルのテクスチャが画像反転により大きく変化する特徴および姿勢変化により大きく変化する特徴の少なくとも一方を有していれば、対象物に対してタグを付与することなく、簡単な装置構成で環境に左右されにくい鏡像弁別が可能になる。

図12は本発明の第4実施形態の構成を示した機能ブロック図、図13は本発明の第5実施形態の構成を示した機能ブロック図であり、いずれも前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は鏡像弁別部30が不明瞭度ベース弁別部（第3弁別部）33を具備した点に特徴がある。

図14は前記不明瞭度ベース弁別部33の構成を示した機能ブロック図であり、前処理部33Aおよび判定部33Bを主要な構成としている。

前処理部33Aにおいて、階調補正部331は個別画像Iiごとに階調補正を施す。本実施形態では、個別画像Iiごとに輝度Yの平均(Ya)を次式(4)に適用してガンマ値γを計算し、当該ガンマ値γを用いて個別画像Iiの階調を補正する。

不明瞭度計算部332は、個別画像Iiごとにガンマ補正前後の各画素値の統計値に基づいて不明瞭度T3を計算する。本実施形態では、ガンマ補正前の輝度Yの分散(Yv)および平均(Ya)ならびにガンマ補正後の輝度Yの分散(Y´v)および平均(Y´a)を次式に(5)に適用して不明瞭度T3を計算する。

なお、本実施形態ではガンマ値γを輝度の平均値に基づいて計算するものとして説明したが、本発明はこれのみに限定されるものでは無く、HSV色空間における各値H、S、VまたはRGB色空間における各値R、G、Bのいずれか又は複数の平均や重み付け値、あるいは分散またはその重み付け値に基づいて計算しても良い。

判定部33Bは、各個別画像Iiの不明瞭度T3により検定を行い、不明瞭度T3が外れ値となった個別画像Iiを鏡像に弁別する。本実施例では次式(6)を用いて不明瞭度がborder以下の場合に外れ値とする。ここで、Q1，Q3およびmedianはそれぞれ第一四分位数、第三四分位数、対象集合の中央値であるが、medianは不明瞭度T3の平均値、任意の粒度で丸めた場合の最頻値、四分位偏差または標準偏差であっても良い。

不明瞭度ベース弁別部33は、図12の第4実施形態であれば反転度T1および不明瞭度T3に基づいて環境画像から鏡像を弁別する。このとき、2つの指標値T1，T3に基づく弁別結果がいずれも鏡像の個別画像のみを鏡像に弁別しても良いし、いずれか一方の弁別結果が鏡像の個別画像を鏡像に弁別しても良い。あるいは各指標値T1，T3に重み付けを行い、重み付け和が所定の閾値を超えた個別画像のみを鏡像に弁別しても良い。

同様に、図13の第5実施形態であれば変位量T2および不明瞭度T3に基づいて環境画像から鏡像を弁別する。このときも、2つの指標値はT2，T3に基づく弁別結果がいずれも鏡像の個別画像のみを鏡像に弁別しても良いし、いずれか一方の弁別結果が鏡像の個別画像を鏡像に弁別しても良い。あるいは各指標値T2，T3に重み付けを行い、重み付け和が所定の閾値を超えた個別画像のみを鏡像に弁別しても良い。

第4、第5実施形態によれば、鏡像は実像との比較で不明瞭であることが多いことを利用して鏡像を弁別できるので、特に鏡像がアクリル板のように反射率の低い鏡面からの反射光で形成されている場合に、反転度（第1実施形態）や姿勢の変位量（第2実施形態）のみで弁別する場合に較べて弁別精度を更に向上させることができるようになる。

図15は、本発明の第6実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一又は同等部分を表しているので、その説明は省略する。本実施形態は鏡像弁別部30が反転度ベース弁別部31，姿勢ベース弁別部32および不明瞭度ベース弁別部33を具備し、不明瞭度ベース弁別部33は、反転度T1，変位量T2および不明瞭度T3に基づいて環境画像から鏡像を弁別する点に特徴がある。

本実施形態では、三つの指標値T1，T2，T3に基づく弁別結果がいずれも鏡像の個別画像のみを鏡像に弁別しても良いし、いずれか1つ又は2つの弁別結果が鏡像の個別画像のみを鏡像に弁別しても良い。あるいは各指標値T1，T2，T3に重み付けを行い、重み付け和が所定の閾値を超えた個別画像のみを鏡像に弁別しても良い。

また、各弁別部31，32，33による弁別を当該順序または所定の順序で行い、いずれかの弁別部での弁別結果が鏡像であれば鏡像に弁別し、以降の弁別処理を省略するようにしても良い。

なお、鏡像弁別部３０が反転ベース弁別部３１および姿勢ベース弁別部３２を有する場合、各個別画像Iiおよび対応するリファレンス画像Iref_iから特徴点およびその局所特徴量を抽出する処理を、特徴点抽出１３１および特徴点抽出３２１が別々に行うのではなく、それらの共通処理として1か所で行うようにしてもよい。非反転マッチングペア抽出部３１３およびマッチングペア抽出部３２２によるマッチングペア抽出についても同様である。

そして、上記の各実施形態によれば、簡単な装置構成で環境に左右されることなく鏡像を高精度で弁別できるようになるので、地理的あるいは経済的な格差を超えて利便性を提供できるようになる。その結果、国連が主導する持続可能な開発目標(SDGs)の目標9「レジリエントなインフラを整備し、包括的で持続可能な産業化を推進する」や目標11「都市を包摂的、安全、レジリエントかつ持続可能にする」に貢献することが可能となる。

1…鏡像弁別装置，10…リファレンス登録部，20…カメラ画像取得部，21…個別画像切出部，22…識別部，30…鏡像弁別部，31…反転度ベース弁別部（第1弁別部），32…姿勢ベース弁別部（第2弁別部），33…不明瞭度ベース弁別部（第3弁別部），31A，32A，33A…前処理部，31B，32B，33B…判定部，311…反転画像生成部，312…特徴点抽出部，313…非反転マッチングペア抽出部，314…反転マッチングペア抽出部，315…非反転総和計算部，316…反転総和計算部，317…反転度計算部，321…特徴点抽出部，322…マッチングペア抽出部，323…姿勢変位量計算部，331…階調補正部，332…不明瞭度計算部

Claims (15)

1. カメラ画像から物品の鏡像を弁別する鏡像弁別装置において、
   物品のリファレンス画像を登録する手段と、
   カメラ画像から切り出した物品の個別画像を取得する手段と、
   第1弁別手段を含む鏡像弁別手段とを具備し、
   前記第1弁別手段が、
   個別画像とリファレンス画像との特徴点マッチングにより複数の非反転マッチングペアを抽出する手段と、
   個別画像の反転画像とリファレンス画像との特徴点マッチングにより複数の反転マッチングペアを抽出する手段と、
   全ての非反転マッチングペアから2組を選択する組み合わせごとに個別画像側の各特徴点の相対位置とリファレンス画像側の各特徴点の相対位置との差分を求めて全組の総和を非反転総和として計算する非反転総和計算手段と、
   全ての反転マッチングペアから2組を選択する組み合わせごとに個別画像側の各特徴点の相対位置とリファレンス画像側の各特徴点の相対位置との差分を求めて全組の総和を反転総和として計算する反転総和計算手段と、
   個別画像ごとに前記非反転総和と反転総和との差分に基づいて鏡像か否かを判定する手段とを具備し、
   前記鏡像弁別手段は少なくとも前記第1弁別手段の判定結果に基づいて鏡像を弁別することを特徴とする鏡像弁別装置。
2. カメラ画像から物品の鏡像を弁別する鏡像弁別装置において、
   物品のリファレンス画像を登録する手段と、
   カメラ画像から切り出した物品の個別画像を取得する手段と、
   第2弁別手段を含む鏡像弁別手段とを具備し、
   前記第2弁別手段が、
   個別画像の姿勢をリファレンス画像の姿勢に合わせて変位させる手段と、
   個別画像ごとに前記変位の量に基づいて鏡像か否かを判定する手段とを具備し、
   前記鏡像弁別手段は少なくとも前記第2弁別手段の判定結果に基づいて鏡像を弁別することを特徴とする鏡像弁別装置。
3. 前記鏡像弁別手段が第2弁別手段を更に含み、
   前記第2弁別手段が、
   個別画像の姿勢をリファレンス画像の姿勢に合わせて変位させる手段と、
   個別画像ごとに前記変位の量に基づいて鏡像か否かを判定する手段とを具備し、
   前記鏡像弁別手段は第1および第2弁別手段の判定結果に基づいて鏡像を弁別することを特徴とする請求項1に記載の鏡像弁別装置。
4. 前記鏡像弁別手段が第3弁別手段を更に含み、
   前記第3弁別手段が、
   個別画像ごとに階調を補正する手段と、
   個別画像ごとに階調補正前後の各画素値に基づいて不明瞭度を計算する手段と、
   個別画像ごとに前記不明瞭度に基づいて鏡像か否かを判定する手段とを具備し、
   前記鏡像弁別手段は各弁別手段の判定結果に基づいて鏡像を弁別することを特徴とする請求項１ないし３のいずれかに記載の鏡像弁別装置。
5. 前記鏡像弁別手段は、前記各弁別手段の判定結果の重み付け和に基づいて鏡像を弁別することを特徴とする請求項３に記載の鏡像弁別装置。
6. 前記鏡像弁別手段は、前記各弁別手段の判定結果の重み付け和に基づいて鏡像を弁別することを特徴とする請求項４に記載の鏡像弁別装置。
7. 前記非反転総和計算手段は、個別画像側の一方の特徴点から他方の特徴点へのベクトルとリファレンス画像側の一方の特徴点から他方の特徴点へのベクトルとのコサイン類似度の全組の総和を非反転総和として計算し、
   前記反転総和計算手段は、個別画像側の一方の特徴点から他方の特徴点へのベクトルとリファレンス画像側の一方の特徴点から他方の特徴点へのベクトルとのコサイン類似度の全組の総和を反転総和として計算することを特徴とする請求項１に記載の鏡像弁別装置。
8. 前記第2弁別手段が、
   複数の物品が写った環境画像から抽出した個別画像ごとにリファレンス画像との特徴点マッチングにより複数のマッチングペアを抽出する手段と、
   マッチングスコアが上位N個のマッチングペアについて個別画像の各特徴点とリファレンス画像の対応する各特徴点とが重なるように個別画像の姿勢を変位させる手段とを具備し、
   個別画像ごとに前記変位の量に基づいて鏡像か否かを判定することを特徴とする請求項２，３および５のいずれかに記載の鏡像弁別装置。
9. 前記判定する手段は、各個別画像の変位量を比較して外れ値の個別画像を鏡像と判定することを特徴とする請求項２，３，５および８のいずれかに記載の鏡像弁別装置。
10. 前記判定する手段は、各個別画像の不明瞭度を比較して外れ値の個別画像を鏡像と判定することを特徴とする請求項４または６に記載の鏡像弁別装置。
11. 前記階調を補正する手段は各個別画像をガンマ補正し、
    前記不明瞭度を計算する手段は個別画像ごとにガンマ補正前後の各画素値に基づいて不明瞭度を計算することを特徴とする請求項４，６および１０のいずれかに記載の鏡像弁別装置。
12. コンピュータがカメラ画像から物品の鏡像を弁別する鏡像弁別方法において、
    カメラ画像から切り出した物品の個別画像を取得し、
    個別画像ごとにそのリファレンス画像との特徴点マッチングにより複数の非反転マッチングペアを抽出し、
    個別画像の反転画像ごとに前記リファレンス画像との特徴点マッチングにより複数の反転マッチングペアを抽出し、
    全ての非反転マッチングペアから2組を選択する組み合わせごとに個別画像側の各特徴点の相対位置とリファレンス画像側の各特徴点の相対位置との差分を求めて全組の総和を非反転総和として計算し、
    全ての反転マッチングペアから2組を選択する組み合わせごとに個別画像側の各特徴点の相対位置とリファレンス画像側の各特徴点の相対位置との差分を求めて全組の総和を反転総和として計算し、
    個別画像ごとに前記非反転総和と反転総和との差分に基づいて鏡像を弁別することを特徴とする鏡像弁別方法。
13. コンピュータがカメラ画像から物品の鏡像を弁別する鏡像弁別方法において、
    カメラ画像から切り出した物品の個別画像を取得し、
    個別画像の姿勢をリファレンス画像の姿勢に合わせて変位させ、
    個別画像ごとに前記変位の量に基づいて鏡像か否かを弁別することを特徴とする鏡像弁別方法。
14. カメラ画像から物品の鏡像を弁別する鏡像弁別プログラムにおいて、
    カメラ画像から切り出した物品の個別画像を取得する手順と、
    個別画像ごとにそのリファレンス画像との特徴点マッチングにより複数の非反転マッチングペアを抽出する手順と、
    個別画像の反転画像ごとに前記リファレンス画像との特徴点マッチングにより複数の反転マッチングペアを抽出する手順と、
    全ての非反転マッチングペアから2組を選択する組み合わせごとに個別画像側の各特徴点の相対位置とリファレンス画像側の各特徴点の相対位置との差分を求めて全組の総和を非反転総和として計算する手順と、
    全ての反転マッチングペアから2組を選択する組み合わせごとに個別画像側の各特徴点の相対位置とリファレンス画像側の各特徴点の相対位置との差分を求めて全組の総和を反転総和として計算する手順と、
    個別画像ごとに前記非反転総和と反転総和との差分に基づいて鏡像を弁別する手順と、をコンピュータに実行させることを特徴とする鏡像弁別プログラム。
15. カメラ画像から物品の鏡像を弁別する鏡像弁別プログラムにおいて、
    カメラ画像から切り出した物品の個別画像を取得する手順と、
    個別画像の姿勢をそのリファレンス画像の姿勢に合わせて変位させる手順と、
    個別画像ごとに前記変位の量に基づいて鏡像を弁別する手順と、をコンピュータに実行させることを特徴とする鏡像弁別プログラム。

Images