JP2019105611A - 全周画像生成装置および全周画像生成方法 - Google Patents

Abstract

【課題】物品の周方向の位置情報に対応付けられた全周画像を比較的簡単に生成することができる全周画像生成装置および全周画像生成方法を提供する。【解決手段】ラベル検査装置において、画像取得処理部は、容器の撮影画像を順次取得する（Ｓ１１）。モデル取得部は、最初の撮影画像中の容器の一部を基にモデルを取得する（Ｓ１３）。蓄積部は、次の撮影画像に対してモデルを用いたマッチング処理を行い、マッチすればマッチした位置の位置情報とモデルの位置情報とを基に容器の正面位置を割り出し、次の撮影画像中の容器の正面位置における部分画像を位置情報と対応付けて記憶部に蓄積する（Ｓ１４〜Ｓ１９）。そして、モデル取得部が、マッチしたときの撮影画像中の容器の一部を基にモデルを取得する処理と、蓄積部が、少なくとも最新のモデルを用いてマッチング処理を行って、部分画像を蓄積する蓄積処理とを繰り返す（Ｓ１４〜Ｓ２０）。【選択図】図４

Description

本発明は、物品を撮影した複数の画像を用いて、物品の少なくとも一部の全周に亘る全周画像を物品の周方向の位置と対応付けて生成する全周画像生成装置および全周画像生成方法に関する。

従来、容器等の物品の外面に付されたラベル等の検査対象を検査する容器検査装置が知られている。例えば、特許文献１に記載された容器検査装置は、容器に付された良品のラベルの外面全周を示す全周画像を記憶する記憶部と、容器を撮像してラベルを含む部分画像を取得する撮像部とを備える。そして、容器検査装置は、部分画像におけるラベルの部分の位置を、全周画像を用いて特定する位置特定部と、特定された位置に応じたラベルの部分の外観検査を、全周画像と部分画像とを比較して行う容器検査部とを備える。

また、例えば特許文献２には、容器の向きを検出する容器向き検出装置が開示されている。容器向き検出装置は、容器の外周面の図柄を撮影するカメラを有する撮影装置を備える。記憶部には、容器の周方向に位置の異なる複数の図柄部をモデルとして位置情報と対応付けたモデル登録データが記憶されている。容器向き検出装置は、カメラが容器を撮影して得た部分画像のうち、モデルと類似する類似図柄部を探索するマッチング処理を行い、探し当てた類似図柄部の位置情報と、その類似図柄部と対応するモデルの位置情報とに基づいて、容器の向きを検出する容器向き検出部を備える。

特開２０１６−１７８１０号公報 特開２０１７−１００７９６号公報

ところで、特許文献１、２に記載された容器検査装置では、容器の部分画像と比較する全周画像を、物品の周方向の位置と対応付けて予め記憶部に記憶しておく必要がある。また、特許文献２に記載された容器向き検出装置では、複数のモデルを作成する際に作業者がモデルとすべき領域を選択する対象である良品のラベルの全周画像を物品の周方向の位置と対応付けて用意する必要がある。例えば、ラベルの原画（版下）の画像データを入手できる場合は、原画を基に周方向の位置と対応付けた全周画像を生成できる。しかし、原画を入手できない場合は、良品の容器をカメラで撮影した部分画像を周方向の位置と対応付けて全周分取得し、これらの部分画像を位置補正しながら繋ぎ合せる作業を手作業で行う必要がある。このため、容器の周方向の位置情報と対応付けられた全周画像を簡単に生成することが要望されている。なお、この種の課題は、容器以外の物品でも、カメラで撮影した撮影画像と全周画像とを用いて各種の検査や検出が行われる場合に共通する。

本発明の目的は、物品を撮影した複数の部分画像を用いて、全周画像を物品の周方向の位置に対応付けて生成することができる全周画像生成装置および全周画像生成方法を提供することにある。

以下、上記課題を解決するための手段及びその作用効果について記載する。
上記課題を解決する全周画像生成装置は、良品の物品を撮影して得た部分画像を収集して周方向の位置情報と対応付けた全周画像を生成する全周画像生成装置であって、物品を撮影して得た撮影画像を順次取得する画像取得部と、前記画像取得部が取得した一の前記撮影画像中の前記物品の正面位置を基準位置に設定し、当該物品の当該正面位置における部分画像を周方向の位置情報と対応付けて記憶部に蓄積する蓄積部と、前記画像取得部が取得した一の前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得するモデル取得部とを備え、前記蓄積部は、前記画像取得部が前記モデルの取得元の前記撮影画像の後に取得した後の撮影画像に対して前記モデルを用いたマッチング処理を行い、マッチすれば当該マッチした位置の位置情報と前記モデルの位置情報とを基に前記物品の正面位置を割り出し、前記後の撮影画像中の前記物品の前記正面位置における部分画像を周方向の位置情報と対応付けて記憶部に蓄積し、マッチしなければ次の撮影画像に移行する蓄積処理を行い、前記モデル取得部が、前記マッチしたときの前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得するモデル取得処理と、前記蓄積部が、少なくとも最新の前記モデルを用いて行う前記マッチング処理を含む前記蓄積処理とを、周方向の位置情報と対応付けた部分画像を少なくとも全周分に相当する複数収集するまで繰り返して前記全周画像を生成する。この構成によれば、物品の周方向の位置情報に対応付けられた全周画像を比較的簡単に生成することができる。

上記全周画像生成装置では、前記蓄積部は、前記物品の周を複数分割した代表位置が属する領域ごとに前記部分画像を蓄積し、マッチした際の今回の前記正面位置が属する前記領域に先の前記部分画像が蓄積されている場合は、当該今回の正面位置が前記先の部分画像の前記正面位置よりも当該領域の代表位置に近ければ、当該領域に蓄積する部分画像を、先の前記部分画像から今回の前記部分画像に更新することが好ましい。この構成によれば、蓄積処理を進めるうちに蓄積される部分画像がより適切な部分画像に更新されるため、歪みの少ないより精度の高い全周画像を生成することができる。

上記全周画像生成装置では、前記モデル取得部は、最初に取得した前記モデルの周方向の位置に対して前記物品の周方向における一方向に移動した位置と、他方向に移動した位置との両方の位置で複数の前記モデルを取得し、前記蓄積部は、複数の前記モデルを用いて前記マッチング処理を行うことが好ましい。

この構成によれば、最初に取得されたモデルの位置に対して物品の周方向における一方向と他方向との両方向に移動する位置にある複数のモデルを用いたマッチング処理が行われるので、マッチする頻度が高まる。よって、位置情報に対応付けられた全周画像を比較的高速に生成できる。

上記全周画像生成装置では、前記モデル取得部は、前記モデルの周方向の位置が、他の前記モデルとの間に前記部分画像が蓄積されていない空の領域を挟むように複数の前記モデルを取得し、前記蓄積部は、複数の前記モデルを用いて前記マッチング処理を行うことが好ましい。この構成によれば、モデルの周方向の位置が、他のモデルとの間に部分画像が蓄積されていない空の領域を挟む位置にある複数のモデルを用いてマッチング処理が行われるので、位置情報に対応付けられた全周画像を比較的高速に生成できる。

上記全周画像生成装置では、前記蓄積部は、所定条件を満たすまで前記モデル取得処理と前記蓄積処理とを繰り返しても前記全周画像を完成できなかった場合、前記部分画像が蓄積されていない未蓄積の領域の代表位置を取得し、当該未蓄積の領域の隣の位置に蓄積済みの領域が存在すれば、当該蓄積済みの領域に蓄積されている前記部分画像の取得元である前記撮影画像から前記未蓄積の領域の前記代表位置に対応する位置の前記部分画像を取得して位置情報と対応付けて前記未蓄積の領域に蓄積することが好ましい。

この構成によれば、全周画像を完成できなかった場合でも、既存の撮影画像を利用して位置情報に対応付けた全周画像を完成することができる。よって、全周画像を用いて行われる、例えばモデル登録処理、物品向き検出処理、又は物品検査処理などの所定の処理を実施できる。

上記全周画像生成装置は、前記全周画像から選択された周方向に位置の異なる複数の画像領域を基に複数のモデルを作成し、当該複数のモデルを周方向の位置情報と対応付けて登録するモデル登録部を更に備える。この構成によれば、物品の向きの検出に必要なモデルの取得元となる全周画像を比較的簡単に生成できることから、周方向に位置の異なる複数のモデルを簡単に取得できる。

上記全周画像生成装置は、外面に図柄を有する向き特定対象の物品を撮影した撮影画像に対して、前記モデル登録部が作成した前記モデルを用いてマッチング処理を行って、マッチした類似図柄部の位置情報と当該モデルの位置情報とを基に前記撮影画像中の当該物品の正面位置又は当該物品の周方向の所定位置を特定する位置特定部を更に備える。この構成によれば、物品の正面位置又は周方向の所定位置からなる物品の向きを検出することができ、しかも物品の向きの検出に必要な全周画像を比較的簡単に生成することができる。

上記全周画像生成装置は、前記全周画像から周方向の部分画像である良品画像を全周分に相当する複数生成する良品画像生成部と、検査対象の物品の欠点の有無を検査する検査部と、検査対象の前記物品を撮影した前記撮影画像中の当該物品の正面位置を特定する位置特定部とを更に備え、前記検査部は、前記撮影画像中の検査画像と、前記位置特定部が特定した前記正面位置に対応する前記良品画像とを比較した比較結果を基に前記物品の欠点の有無を検査する。この構成によれば、物品の欠点の有無を検査できるうえ、検査に必要な良品画像を簡単に取得することができる。

上記全周画像生成装置では、前記物品は、外面にラベルが付され、前記検査部は、前記ラベルの欠点を検査することが好ましい。この構成によれば、物品に付されたラベルの欠点を検査することができる。

上記課題を解決する全周画像生成方法は、良品の物品を撮影して得た部分画像を収集して周方向の位置情報と対応付けた全周画像を生成する全周画像生成方法であって、物品を撮影して得た撮影画像を順次取得する画像取得ステップと、前記画像取得ステップで取得した一の前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得するモデル取得ステップと、前記画像取得ステップで前記モデルの取得元の前記撮影画像の後に取得した後の撮影画像に対して前記モデルを用いたマッチング処理を行い、マッチすれば当該マッチした位置の位置情報と前記モデルの位置情報とを基に前記物品の正面位置を割り出し、前記後の撮影画像中の前記物品の前記正面位置における部分画像を周方向の位置情報と対応付けて記憶部に蓄積し、マッチしなければ次の撮影画像に移行する蓄積処理を行う蓄積ステップとを備え、前記マッチしたときの前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得する前記モデル取得ステップと、少なくとも最新の前記モデルを用いて行う前記マッチング処理を含む前記蓄積処理を行う前記蓄積ステップとを、周方向の位置情報と対応付けた部分画像を少なくとも全周分に相当する複数収集するまで繰り返して前記全周画像を生成する。この方法によれば、物品の周方向の位置情報に対応付けられた全周画像を比較的簡単に生成することができる。

本発明によれば、物品の周方向の位置情報に対応付けられた全周画像を比較的簡単に生成することができる。

第１実施形態におけるラベル検査装置を示す模式平面図。 ラベルが付された容器を示す正面図。 ラベル検査装置の電気的構成及び機能的構成を示すブロック図。 全周画像生成処理ルーチンを示すフローチャート。 ラベルの全周をパノラマ展開した図。 全周画像生成処理における最初の処理を説明する模式図。 （ａ），（ｂ）は、部分画像を取得する処理を説明する模式図。 容器の正面位置（正面角度）を取得する補正演算処理を説明する模式図。 記憶部における位置格納部、第１格納部および第２格納部を示す模式図。 第１格納部に格納された部分画像を示す模式図。 全周画像生成処理における２回目の処理を説明する模式図。 （ａ），（ｂ）は、部分画像を取得する処理を説明する模式図。 全周画像生成処理の進捗状況を示す画面の図。 全周画像を示す模式図。 全周画像から作成されるマッチング処理用のモデルを説明する模式図。 全周画像から作成される検査用の良品画像データを示す模式図。 モデル登録処理ルーチンを示すフローチャート。 ラベル検査処理ルーチンを示すフローチャート。 検査画像と良品画像とを比較する比較処理を説明する模式図。 第２実施形態におけるモデルを追加する二方向方式を説明する模式図。 （ａ），（ｂ）は、モデルを追加する飛び石方式を説明する模式図。 第２実施形態の全周画像生成処理ルーチンを示すフローチャート。

（第１実施形態）
以下、全周画像生成装置を具体化した第１実施形態としてのラベル検査装置について、図面を参照して説明する。

図１に示すラベル検査装置１１は、搬送部の一例としての搬送装置１２を構成するコンベヤ１３に載せて搬送される図２に示す物品の一例としての容器２０を撮影し、その撮影画像を基に容器２０の外周面２１に付されたラベル２２を検査対象としてラベル２２の欠点の有無を検査する。検査内容は、ラベル２２の破れ、異物の付着、汚れ、ラベル収縮不良などの欠点（不良箇所）が挙げられる。また、ラベル検査装置１１は、容器２０に対するラベル２２の高さ方向の位置ずれ（高さずれ）も検査する。

本実施形態のラベル検査装置１１は、複数の撮影画像ＳＧ（図６、図１１等）を用いて、容器２０に付されたラベル２２の全周画像ＡＧ（図１４を参照）を生成する全周画像生成部６２（図３を参照）を備えることにより、全周画像生成装置として機能する。全周画像ＡＧは、容器２０の検査に用いられる、モデルＭ（図１５）および良品画像ＲＧ（図１６）の各データを作成するために使用される。

図１に示す搬送装置１２は、コンベヤ１３の上流側に設置された図示しないシュリンクラベラーによって容器２０の外周面２１にラベル２２（シュリンクラベル）が付された容器２０を搬送する。ラベル２２は、図示しない加熱トンネルを通過して加熱されることにより熱収縮して容器２０の外面に密着する状態で付されている。搬送装置１２は、コンベヤ１３の上流側かつシュリンクラベラーよりも下流側の位置に公知のタイミングスクリューを備え、容器２０はタイミングスクリューによって搬送方向Ｘに所定の間隔が開けられた状態でコンベヤ１３へ搬入される。コンベヤ１３は、搬送装置１２の動力源である電動モータの動力により駆動され、複数の容器２０を所定の間隔を開けた状態で所定の搬送速度で搬送する。コンベヤ１３に載置された容器２０は任意の向きで搬送されてくる。なお、コンベヤ１３上の容器２０の転倒が心配される場合は、コンベヤ１３に容器２０の底面を吸引する不図示の吸引孔を設け、吸引装置により吸引孔に負圧を及ぼすことで容器２０をコンベヤ１３に吸着させることが好ましい。

図１に示すように、ラベル検査装置１１は、容器２０を撮影する撮影装置３０と、撮影装置３０が容器２０を撮影した撮影画像を用いてラベル２２の全周画像ＡＧを生成する全周画像生成処理、およびラベル２２を検査する検査処理を行うコントローラ４０とを備える。また、コントローラ４０は、全周画像ＡＧを用いて、ラベル２２の検査に用いるモデルＭと良品画像ＲＧとを作成する。なお、コントローラ４０は、搬送装置１２および撮影装置３０の制御も行う。

図１に示すように、撮影装置３０は、コンベヤ１３の搬送経路上の途中に位置する所定の被撮影位置にある容器２０を、複数方向（図１に示す例では４方向）から撮影する複数（例えば４つ）のカメラ３１と、撮影対象である容器２０を照明する照明機器３２とを備える。図１に示す４つのカメラ３１は、同図における平面視において被撮影位置にある容器２０の周方向に約９０度ずつずれた４つの位置に配置されている。各カメラ３１の高さ位置は、コンベヤ１３上を搬送される容器２０のラベル２２の高さに合わせられている。カメラ３１は、レンズ等の光学系と２次元イメージセンサー等の撮像素子（ＣＣＤ撮像素子又はＣＭＯＳ撮像素子等）とを備える。

図１に示す照明機器３２は、容器２０を照明した光の正反射光がカメラ３１に直接進入しない位置に配置されている。照明機器３２は、例えば、容器２０に対して斜め上方位置または斜め下方位置から容器２０を照明する。照明機器３２は、例えば白色光源であるが、ラベル２２を検査可能であれば白色以外の他の色の光源を用いてもよい。

図１に示す容器センサ３３は、コンベヤ１３上の容器２０が被撮影位置に到達する直前又は到達したときに容器２０を検知する。コントローラ４０は、容器センサ３３が容器２０を検知したタイミングで４つのカメラ３１に撮影動作を指令する。この指令に基づいて４つのカメラ３１は、容器２０を４方向からほぼ同時に撮影する。このため、４つのカメラ３１により容器２０の側面全周のラベル２２の画像が撮影される。

各カメラ３１は、容器２０のラベル２２を撮影した撮影画像の画像データ（画像信号）を逐次出力する。各カメラ３１から出力された画像データは、コントローラ４０に入力される。なお、容器２０の全周を撮影可能な構成であれば、カメラ３１の数は、４つ以外の複数（例えば３つ又は５つ）でもよいし、１つでもよい。例えば容器２０を１回転以上回転（自転）させる構成としたり、容器２０に対してカメラ３１を回転（公転）させる構成としたりすれば、１つのカメラ３１でも容器２０の全周を撮影可能である。また、図１において、コンベヤ１３の搬送経路を挟んだ両側に配置された２つずつのカメラ３１を搬送方向Ｘに位置をずらして配置し、２つずつのカメラ３１が、異なるタイミングで容器２０を撮影する構成でもよい。

図２に示す容器２０は、一例として略円筒形状のプラスチック容器からなり、その外周面２１にラベル２２が付されている。ラベル２２は、容器２０に対して高さ方向Ｚにおける所定の高さ範囲に付されている。ラベル２２には、その全周に亘り図柄２３が描かれている。図２に示す例では、アルファベットの大文字「Ａ，Ｂ，Ｃ，…，Ｈ」の８文字を横に１列に並べた図柄２３としている。なお、図２では、説明を簡単にするため簡略な図柄の例としているが、通常、ラベル２２の図柄２３には、製造会社・商品名あるいはロゴマーク等の図柄部や、商品原料・保存法・製造工場等の品質詳細等の文字列が枠で囲まれた図柄部、バーコードが枠で囲まれた図柄部、イラストやデザイン（図案）等の図柄部のうち１つ又は複数が含まれる。

次に、図３を参照してラベル検査装置１１の電気的構成および機能的構成について説明する。図３に示すように、ラベル検査装置１１を構成するコントローラ４０は、回路基板に実装されたチップセット等よりなるコンピュータ５０を内蔵する。また、コントローラ４０には、搬送装置１２、撮影装置３０を構成するカメラ３１および照明機器３２、容器センサ３３、入力装置４１および表示部４２が電気的に接続されている。コントローラ４０は、搬送装置１２の動力源である不図示の電動モータを駆動制御することによりコンベヤ１３を一定速度で駆動して容器２０を所定の搬送速度で搬送する。また、コントローラ４０は、入力装置４１から入力された指示信号に基づき、全周画像ＡＧの生成、モデルＭの登録、良品画像ＲＧの生成およびラベル検査のための各処理を行う。また、コントローラ４０は、全周画像生成進捗画面ＳＣ１（図１３）、モデル登録画面、ラベル検査結果報知画面（いずれも図示略）等を表示部４２に表示させる表示制御を行う。なお、入力装置４１および表示部４２は、制御盤に備えられてもよいし、コントローラ４０の一部又は全部をパーソナルコンピュータ（ＰＣ）により構成し、ＰＣに接続されたマウスおよびキーボードにより入力装置４１を構成し、モニタにより表示部４２を構成してもよい。

図３に示すように、コンピュータ５０は、ＣＰＵ５１（中央処理装置）および記憶部５２を内蔵する。記憶部５２は、ハードディスク、不揮発性メモリ又はＲＡＭの一部の記憶領域により構成される。記憶部５２には、ＣＰＵ５１が実行するための全周画像生成処理用プログラム（図４）、モデル登録処理用プログラム（図１７）、良品画像生成処理用プログラム（図示略）およびラベル検査処理用プログラム（図１８）等を含むプログラムＰＲが記憶されている。また、記憶部５２には、ラベル検査処理で用いられるモデルデータＭＤ（図１５も参照）、良品画像データＧＤ（図１６も参照）および特徴画像データＦＤ等が記憶されている。なお、本実施形態では、モデルデータＭＤおよび良品画像データＧＤは、全周画像データを基に作成される。また、特徴画像データＦＤは、良品画像データＧＤを基に作成される。

また、図３に示す記憶部５２は、全周画像生成処理の際に使用する格納領域（記憶領域）として、位置格納部５３、第１格納部５４、第２格納部５５および第３格納部５６を備える。３つの格納部５３〜５５は全周画像生成処理の過程で保持すべきデータの格納に用いられ、第３格納部５６は全周画像生成処理で生成された全周画像ＡＧ（図１４）の画像データの格納に用いられる。各格納部５３〜５６は、データの書替えが可能な不揮発性メモリ又はＲＡＭの所定記憶領域により構成される。なお、各格納部５３〜５６の詳細は後述する。

図３に示すコンピュータ５０は、ＣＰＵ５１がプログラムＰＲを実行することにより全周画像生成処理およびラベル検査処理などを行う。ＣＰＵ５１はプログラムＰＲを実行することで、図３に示された、制御部６１、全周画像生成部６２、モデル登録部６３、良品画像生成部６４、特徴画像生成部６５および検査部６６として機能する。

全周画像生成部６２は、画像取得処理部７１、モデル取得部７２、蓄積部７３および角度補正部７４を備える。蓄積部７３は、マッチング処理部７５を備える。また、検査部６６は、画像取得処理部８１、位置特定部８２、ラベル高さ検査部８３、検出部８４を備える。検出部８４は、比較処理部８５および判定部８６を備える。

図３に示す制御部６１は、ラベル検査装置１１の制御の全体を司り、各部６２〜６６に所定の処理等を指示する。また、制御部６１は、作業者が操作した入力装置４１からの操作信号に基づいて必要なデータの設定および各種の指示の受付けを行う。制御部６１は、例えば全周画像生成処理の指示、モデル登録処理の指示およびラベル検査の指示等を受け付ける。また、制御部６１は、容器センサ３３の検知信号に基づいてカメラ３１の撮影動作を制御する。さらに制御部６１は、表示部４２に各種の画面を表示させる表示制御などを行う。

次に、図３に示す全周画像生成部６２について説明する。画像取得処理部７１は、カメラ３１が撮影した撮影画像（画像データ）を取り込んで取得する処理を行う。画像取得処理部７１は、４つのカメラ３１から良品の容器２０を４方向から撮影した４つの撮影画像を取得する。画像取得処理部７１は、画像中の容器２０の位置を把握して容器２０が中央に位置する所定領域の画像を撮影画像として取得する。なお、本実施形態では、撮影装置３０および画像取得処理部７１により、画像取得部の一例が構成される。

モデル取得部７２は、撮影画像からモデルを取得する。本例では、例えば撮影画像中の容器２０の正面における所定角度の範囲の一部の画像ＭＧを取得し、その一部の画像ＭＧの特徴を抽出することによりモデルＭＦを取得する。モデル取得部７２は、図６に示すように、撮影画像ＳＧ中の容器２０の正面における一部の画像ＭＧを取得し、その一部の画像ＭＧの特徴（形状または明るさ）を抽出してモデルＭＦを取得する。本実施形態では、容器２０のラベル２２の図柄２３を利用するため、一部の画像ＭＧはラベル２２の正面部分を含む画像である。一部の画像ＭＧの幅角は２０〜６０度の範囲内の所定値であり、一例として４５度としている。モデル取得部７２が作成したモデルＭＦは記憶部５２の所定記憶領域に一時記憶される。なお、容器２０の周方向の位置によって特徴が異なれば、容器２０におけるラベル２２以外の部分をモデルＭＦとしてもよい。

蓄積部７３は、全周画像生成処理時に撮影画像における容器２０の周方向の位置である正面位置を特定して撮影画像から容器２０の正面に位置する部分画像ＰＧを切り出し、部分画像ＰＧを位置情報と対応付けて全周分蓄積する処理を行う。蓄積部７３は、撮影画像中の容器２０の正面位置を特定する際に用いられるマッチング処理部７５を備える。マッチング処理部７５は、逐次取得する撮影画像（他の撮影画像）に特徴を抽出する処理を施して撮影特徴画像を取得し、その撮影特徴画像に対してモデルＭＦを用いてその図柄に類似する類似図柄部ＡＭ（図７（ａ））を探索するマッチング処理を行う。

ここで、蓄積部７３が行う蓄積処理の詳細を図５〜図１２を参照して説明する。全周画像生成部６２は、図５に示すように、ラベル２２がパノラマ展開された０〜３６０度の全周の画像を生成する。蓄積部７３は、逐次取得する図６等に示す撮影画像ＳＧから容器２０（本例では特にラベル２２）の正面位置Ｃ０における部分画像ＰＧを切り出し、部分画像ＰＧを全周分に相当する複数収集することにより、ラベル２２の全周画像ＡＧ（図１４）を生成する。図６に示す最初の撮影画像ＳＧ（一の撮影画像）が取得されると、蓄積部７３は、撮影画像ＳＧ中の容器２０の正面位置Ｃ０における図６に二点鎖線で示す部分画像ＰＧを取得する。ここで、部分画像ＰＧは、後述する代表角度ＲＫ（例えば０度）を中心に幅角ＷＰが例えば１０〜３０度の範囲内の所定値（例えば２０度）の画像である。最初は、正面位置Ｃ０（正面角度）を代表角度ＲＫ＝０度とするため、蓄積部７３は、正面位置Ｃ０を中心とする幅角ＷＰの部分画像ＰＧを取得する。

蓄積部７３は、容器２０の全周３６０度をＪ分割する３６０／Ｊ度刻みの位置（図９に示す代表角度ＲＫ）ごとに計Ｊ個の部分画像ＰＧを収集する。本例では、３６０度を３６分割する１０度刻みの位置ごとに計３６個の部分画像ＰＧを収集する。この場合、３６０度を３６分割した幅角１０度にその周方向の両側に±γ度の角度幅を加えた図６に示す幅角ＷＰの部分画像ＰＧを取得する。γは、例えば０〜１０度の範囲内の値であり、本例ではγ＝５度としている。蓄積部７３は、最初の撮影画像ＳＧ（図６）中の容器２０の正面における中心位置Ｃ０を中心とする幅角ＷＰが２０度の範囲のラベル２２の領域を部分画像ＰＧとして取得する。蓄積部７３は、最初の撮影画像ＳＧ（図６）中の容器２０の正面位置を基準位置（仮の０度）（図５参照）に設定し、その後の蓄積処理を進める。なお、カメラ３１で容器２０を撮影すると、１７０度近くの画角で撮影画像が得られるが、容器２０の幅方向の両端部は図柄２３が大きく歪んで撮影されるため、撮影画像ＳＧには、容器２０の幅角が例えば９０〜１７０度の範囲内の所定値（例えば１１０度）の範囲の画像が使用される。但し、撮影画像ＳＧの範囲を決める容器２０の幅角は、カメラ３１の数に応じて適宜変更可能である。

マッチング処理部７５は、図７（ａ）に示す次の撮影画像ＳＧにおけるラベル２２の領域を探索対象としてモデルＭＦを用いてマッチング処理を行う。マッチング処理部７５は、次の撮影画像ＳＧを特徴抽出した撮影特徴画像内でモデルＭＦを所定ピッチ（例えば１画素又は数画素）ずつずらして比較対象の図柄部の位置を変更しながら、モデルＭＦとの類似度のスコアを順次求める。類似度のスコアが所定の閾値を超えれば、その類似度のスコアとその類似図柄部の位置情報とを記憶部５２に一時記憶する。そして、マッチング処理部７５は、探索処理を終えると、類似度のスコアが一番高い類似図柄部ＡＭがマッチしたと判断する。図７（ａ）に示す例では、モデルＭＦは同図に示す位置で類似図柄部ＡＭとマッチする。

蓄積部７３は、マッチング処理でマッチした類似図柄部ＡＭの周方向の位置座標で示される検出位置Ｃ１を計算し、その検出位置Ｃ１と、そのマッチング処理で用いたモデルＭＦの登録位置Ｃｍ（仮の０度である基準位置）とを基に図８に示す幾何学的な関係を用いた計算を行って、撮影画像ＳＧ中の容器２０の正面位置Ｃ０（正面角度θｃ）を特定する。蓄積部７３は、図７（ｂ）に示す次の撮影画像ＳＧから容器２０の代表角度ＲＫを中心とする幅角ＷＰ（本例では２０度）の範囲のラベル２２の部分画像ＰＧを取得する。なお、図８に示す幾何学的な関係を用いた計算内容については後述する。

ここで、図９を参照して蓄積部７３が蓄積処理で使用する３つの格納部５３〜５５について説明する。位置格納部５３は、全周３６０度をＪ分割（本例では３６分割）した代表角度ＲＫ＝０度、１０度、２０度、…、３６０度に対応するＪ個（本例では３６個）の格納部ＡＫを備える。格納部ＡＫは全周画像生成処理の開始に先立ち初期値（例えば「９９」）にリセットされる。部分画像ＰＧの正面位置Ｃ０が基準位置（仮の０度）を基準とする角度で示される正面角度θｃは、Ｊ個のうちいずれかの代表角度ＲＫの領域に属し、正面角度θｃが属する領域の代表角度ＲＫの格納部ＡＫには、その代表角度ＲＫと正面角度θｃとの誤差が格納される。１０度刻みの代表角度ＲＫをＲＫｉ（但し、ｉ＝０，１，…３５）とおくと、正面角度θｃが代表角度ＲＫｉの領域に属することを示す条件ＲＫｉ−５＜θｃ≦ＲＫｉ＋５を満たす場合、代表角度ＲＫｉの格納部ＡＫには、その代表角度ＲＫｉと正面角度θｃとの誤差に相当する値が格納される。このように本実施形態では、部分画像ＰＧの位置情報は基準位置（仮の０度）に対する相対位置（相対角度）で示され、代表角度と誤差で示される。

第１格納部５４は、代表角度ＲＫに対応するＪ個の格納部ＰＫを備える。格納部ＰＫには、代表角度ＲＫを幅中心とする部分画像ＰＧの画像データが格納される。また、第２格納部５５は、代表角度ＲＫに対応するＪ個の格納部ＱＫを備える。格納部ＱＫには、同じ代表角度ＲＫの格納部ＰＫに格納された部分画像ＰＧの切り出し元である撮影画像ＳＧの画像データが格納される。位置格納部５３の格納部ＡＫに初期値以外の値が格納されている場合、同じ代表角度ＲＫの格納部ＰＫにはその代表角度ＲＫと誤差とで規定される正面角度の撮影画像ＳＧから代表角度ＲＫを中心とする所定領域を切り出した部分画像ＰＧが格納される。

例えば図９に示す例では、代表角度ＲＫが「０度」の格納部ＡＫには「０（零）」が格納されていることから、その代表角度ＲＫの格納部ＰＫには、代表角度ＲＫと誤差のない正面角度θｃが「０度」の撮影画像ＳＧから切り出した部分画像ＰＧが格納される。また、代表角度ＲＫが「２０度」の格納部ＡＫには「２」が格納されていることから、その代表角度ＲＫの格納部ＰＫには、代表角度ＲＫと２度の誤差のある正面角度「２２度」の撮影画像ＳＧから代表角度ＲＫの２０度を幅中心とする部分画像ＰＧが格納されている。そして、蓄積部７３は、各格納部ＰＫに部分画像ＰＧを順次格納し、最終的に第１格納部５４にはラベル２２の全周分の部分画像ＰＧが格納される。

図１０は、図９に示す例において第１格納部５４に格納された部分画像ＰＧを示す。図１０に示すように、第１格納部５４には、正面角度「０度」かつ幅角２０度の部分画像ＰＧと、正面角度２２度の撮影画像ＳＧからその正面角度が属する代表角度２０度を幅中心とする幅角２０度の所定領域を切り出した部分画像ＰＧとが格納される。第１格納部５４には、部分画像ＰＧが、隣の部分画像ＰＧとγ度（本例では５度）の角度幅ずつ重複して格納される。

そして、図１１に示すように、今回の撮影画像ＳＧの正面の一部の画像ＭＧから特徴を抽出してモデルＭＦを取得し、前回のモデルＭＦを図１１に示す新規のモデルＭＦに更新する。そして、同様に、図１２（ａ）に示すように、マッチング処理でマッチした類似図柄部ＡＭの位置情報とモデルＭＦの位置情報とを基に幾何学的な関係を用いた計算により撮影画像ＳＧ中の容器２０の正面位置Ｃ０（正面角度θｃ）を取得し、撮影画像ＳＧから容器２０の代表角度ＲＫを中心とするラベル２２の部分画像ＰＧを取得する（図１２（ｂ））。そして、その正面角度θｃの属する代表角度ＲＫの格納部ＡＫに代表角度ＲＫと正面角度θｃとの誤差を格納し、その代表角度ＲＫの格納部ＰＫに部分画像ＰＧを格納する。以降、同様の蓄積処理を繰り返すことにより、図１０に示す第１格納部５４には、同図に二点鎖線で示す部分画像ＰＧが順次格納され、最終的に全周分に相当するＪ枚（本例では３６枚）の部分画像ＰＧが蓄積される。

ここで、図９に示すように、位置格納部５３に格納された値から代表角度ＲＫとの誤差が分かるので、既に格納部ＡＫに初期値以外の値が格納されていても、代表角度ＲＫとの誤差がより小さい正面角度θｃの撮影画像ＳＧが得られれば、その撮影画像ＳＧから部分画像ＰＧを取り込む方が好ましい。そのため、代表角度ＲＫとの誤差がより小さい正面角度θｃの撮影画像ＳＧが得られれば、その撮影画像ＳＧから切り出した部分画像ＰＧを第１格納部５４に先に格納済みの部分画像ＰＧと置き換える更新をする。こうして蓄積部７３は、代表角度ＲＫとの誤差がより小さな部分画像ＰＧに更新しながら、部分画像ＰＧを順次蓄積することにより、生成される全周画像ＡＧの精度を高める。

図３に戻って、モデル登録部６３は、全周画像生成部６２が生成した全周画像ＡＧから作業者が入力装置４１を操作して選択した複数の画像領域を基に複数のモデルＭを作成し、これら複数のモデルＭを含むモデルデータＭＤを記憶部５２の所定記憶領域に書き込むことで登録する。

また、図３に示す良品画像生成部６４は、検査時の比較処理で用いる複数の良品画像ＲＧを含む良品画像データＧＤを生成する。良品画像生成部６４は、全周画像ＡＧの画像データを基に、１周をｍ分割（一例として３６分割）した角度（例えば１０°）毎に所定の幅角（例えば９０〜１５０度（例えば１１０度））の部分画像からなる図１６に示す良品画像ＲＧ０〜ＲＧ３５を生成する。良品画像ＲＧ０〜ＲＧ３５は、容器２０の周方向の位置情報と対応付けられている。なお、良品画像ＲＧの枚数を決める分割数ｍは、ｍ＝３６に限らず、適宜変更できる。例えばｍ＝１２，１８，２４，７２，１２０でもよい。

さらに、図３に示す特徴画像生成部６５は、検査対象の容器２０を撮影した撮影画像から検査画像を取得する際に用いる特徴画像データＦＤを生成する。特徴画像生成部６５は、良品画像ＲＧ０〜ＲＧ３５から特徴を抽出して特徴画像ＦＧ０〜ＦＧ３５を生成する。特徴画像ＦＧ０〜ＦＧ３５は、容器２０の周方向の位置情報と対応付けられている。

次に、図３に示す検査部６６について説明する。検査部６６は、カメラ３１が検査対象の容器２０を撮影して取り込んだ画像データ中の検査画像ＫＧと、予め記憶する良品画像ＲＧとを比較してラベル２２の欠点ＦＴ（いずれも図１９を参照）の有無を検査するラベル検査処理を行う。

画像取得処理部８１は、カメラ３１が検査対象の容器２０を撮影した撮影画像（画像データ）を取り込む処理を行う。本例の画像取得処理部８１は、４つのカメラ３１から容器２０を４方向から撮影した４つの撮影画像ＳＧを取得する。画像取得処理部８１は、撮影画像ＳＧに位置補正および切出し処理等の画像処理を施す。

位置特定部８２は、撮影画像ＳＧ中の容器２０の周方向の位置である正面位置を特定する。ここで、正面位置は、ラベル２２の周方向の所定位置を０度とし、撮影時にカメラ３１と対向する検査対象の容器２０の正面の位置を角度で表わした値である（図５参照）。位置特定部８２は、図１５に示すモデルＭを用いて、撮影画像ＳＧ中の容器２０の正面位置を特定する位置特定処理を行う。本例の位置特定部８２は、複数のモデルＭを用いて、撮影画像中のラベル２２の図柄２３の中から、モデルＭと類似する類似図柄部を探索するオムニ・マッチング処理を行い、その探索した類似図柄部の位置情報とモデルＭの登録位置情報とを基に撮影画像ＳＧの正面位置を特定する。

図３に示すラベル高さ検査部８３は、容器２０に対してラベル２２の付された高さ方向Ｚの位置のずれ（高さずれ）を検査する。本例のラベル高さ検査部８３は、位置特定部８２がオムニ・マッチング処理で特定したモデルＭに類似する類似図柄部の高さ方向Ｚの位置と、そのモデルＭの高さ方向Ｚにおける登録位置との差（高さずれ量）から、ラベル２２の高さ方向Ｚの位置ずれ（高さずれ）の有無を検査する。なお、カメラ３１の撮影エリアは、容器２０が載置されるコンベヤ１３の上面から既知の所定高さに設定されている。

検出部８４は、位置特定部８２が特定した正面位置に対応する特徴画像ＦＧを用いて撮影画像ＳＧに対してマッチング処理を行い、マッチした領域を検査画像ＫＧとして取得する。本例では、撮影画像ＳＧ中のラベル２２を含む一部の領域内の画像が検査画像ＫＧ（図１９を参照）として取得される。検出部８４は、検査画像ＫＧと良品画像ＲＧとの比較結果を基にラベル２２の欠点ＦＴを検出する。比較処理部８５は、検査画像ＫＧと良品画像ＲＧとを比較する比較処理を行い、その比較結果として検査画像ＫＧと良品画像ＲＧとの差分をとって差分画像ＤＧ（図１９参照）を取得する。そして、判定部８６は、差分画像ＤＧに基づいてラベル２２の欠点ＦＴの有無を判定する。ここで、欠点ＦＴには、ラベル２２の破れ、異物の付着、汚れ（図示略）などが挙げられる。

次に、ラベル検査装置１１の作用を説明する。コンピュータ５０がプログラムＰＲを実行することで行われる全周画像生成処理を、図４に示すフローチャートを参照して説明する。

ＣＰＵ５１は、図４にフローチャートで示された全周画像生成処理を実行する。この処理を実行する前に、ＣＰＵ５１は、記憶部５２中の各格納部５３〜５６を初期化する。図９に示す位置格納部５３が初期化されると、各格納部ＡＫの値は初期値「９９」になる。

まずステップＳ１１では、ＣＰＵ５１は、容器２０の撮影画像を取得する。すなわち、カメラ３１が容器２０を撮影して得た画像データを取得する。本例では、４つのカメラ３１が４方向から撮影した全周分（４つ）の撮影画像ＳＧの画像データを取得する。本実施形態では、ステップＳ１１の処理が、画像取得ステップの一例に相当する。

ステップＳ１２では、ＣＰＵ５１は、撮影画像中の容器２０の正面位置を基準位置（例えば０度）に設定する。また、図６に示すように、撮影画像ＳＧ中の容器２０の正面位置における部分画像ＰＧを取得する。ＣＰＵ５１は、代表角度ＲＫが０度の格納部ＡＫにその代表角度ＲＫと正面角度θｃとの誤差を格納し、０度の格納部ＰＫに部分画像ＰＧを格納し、さらに０度の格納部ＱＫに撮影画像ＳＧを格納する。

ステップＳ１３では、ＣＰＵ５１は、モデルを作成する。画像中の容器２０の正面の一部の領域の画像を切り出し、その一部の画像について特徴抽出を行ってモデルＭＦを作成する。本例では、図６に示すように、モデルＭＦには、撮影画像ＳＧ中の容器２０の正面における所定角度（例えば４５度）範囲でかつ高さ方向Ｚにラベル２２の少なくとも一部を含む範囲の画像ＭＧが用いられる。モデルＭＦは、その登録位置が基準角度（０度）に設定される。なお、モデルＭＦの位置、形状およびサイズは適宜変更できる。

ステップＳ１４では、ＣＰＵ５１は、次の撮影画像を読み込み、位置補正後、マッチング処理を行う。すなわち、マッチング処理部７５は、次の撮影画像に対してモデルＭＦを用いて類似図柄部を探索するマッチング処理を行う。マッチング処理において、モデルＭＦと比較される比較対象の図柄領域を処理対象領域内で少しずつ移動させつつマッチング処理を行って、モデルＭＦとの類似度のスコアが閾値以上となる類似図柄部を探索する。

ステップＳ１５では、ＣＰＵ５１は、マッチング処理でマッチできたか否かを判断する。マッチしなければステップＳ１４に戻り、次の撮影画像を読み込んでモデルＭＦを用いて類似図柄部を探索するマッチング処理を行う。一方、マッチすればステップＳ１６に進む。

ステップＳ１６では、ＣＰＵ５１は、マッチしたモデルの位置情報を用いて撮影画像中の容器２０の正面位置を計算する。この正面位置の計算は、次のように行う。１つの類似図柄部が決定すると、そのとき用いたモデルＭＦの図８に示すモデル登録位置Ｃｍ（モデルＭの正面角度の座標）を取得する。さらに、ＣＰＵ５１は、モデル登録位置Ｃｍと、容器幅視野角度αなどの既知の値とを用いて、撮影画像中の容器２０の正面位置Ｃ０（正面角度θｃ）を計算する。この容器２０の正面角度θｃは、図８に示す幾何学的な関係から、以下の（１）式により与えられる。
θｃ＝θｍｃ＋
（arcsin（（Ｃ０−Ｃ１）／ｒ）−arcsin（（Ｃ０−Ｃｍ）／ｒ））・180／π…（１）
ここで、θｍｃは、該当するモデルＭＦの登録位置に対応する正面角度である。Ｃ０は、撮影画像における容器２０の中心位置（正面位置）である。Ｃｍは、該当するモデルＭＦの登録位置（モデル登録位置）である。Ｃ１は、該当するモデルＭＦに類似する類似図柄部が検出された検出位置である。ｒは、容器２０の半径である。半径ｒは、容器幅視野角度αと容器視野角幅Ｗ（図８参照）を用いて、次の（２）式により与えられる。
ｒ＝Ｗ／２÷sin（α／２）・180／π…（２）
こうして蓄積部７３のマッチング処理部７５は、上記（１）式および（２）式を用いて、撮影画像中の容器２０の正面角度θｃを算出する。

ステップＳ１７では、ＣＰＵ５１は、正面角度θｃが属する代表角度は登録済みであるか否かを判断する。すなわち、ＣＰＵ５１は、今回の正面角度θｃが属する代表角度ＲＫの領域である格納部ＰＫに先の部分画像ＰＧが登録済みであるか否かを判断する。本例では、ＣＰＵ５１は、対応する代表角度ＲＫの格納部ＡＫの値を基にその値が「９９」以外であるか否かを判断することにより、対応する格納部ＰＫに先の部分画像ＰＧが登録済みであるか否かを判断する。その代表角度が登録済みであればステップＳ１８に進み、登録済みでなければ（つまり未登録であれば）ステップＳ１９に進む。

ステップＳ１８では、ＣＰＵ５１は、更新すべき正面位置であるか否かを判断する。すなわち、本実施形態では、容器２０の周方向の位置を角度で管理するため、ＣＰＵ５１は、その代表角度ＲＫに対応する格納部ＡＫに格納済み（登録済み）の先の正面角度θｃよりも今回の正面角度θｃの方が代表角度ＲＫに近いか否かを判断する。本例では、格納部ＡＫには、代表角度ＲＫとの誤差が正面位置情報として格納されるので、先の誤差の絶対値よりも今回の誤差の絶対値の方が小さいか否かを判断する。ＣＰＵ５１は、今回の正面角度θｃの方が代表角度ＲＫに近ければ更新すべき正面位置であると判断し、今回の正面角度θｃよりも登録済みの先の正面角度θｃの方が代表角度ＲＫに近ければ更新すべき正面位置ではないと判断する。更新すべき正面位置であればステップＳ１９に進み、更新すべき正面位置でなければステップＳ２１に進む。

ステップＳ１９では、ＣＰＵ５１は、部分画像と正面位置情報を登録する。すなわち、蓄積部７３は、今回の撮影画像ＳＧから切り取った今回の部分画像ＰＧを第１格納部５４における該当する代表角度ＲＫの格納部ＡＫに格納するとともに、位置格納部５３における該当する代表角度ＲＫの格納部ＡＫに正面位置情報を格納する。この格納をもって今回の部分画像ＰＧと正面位置情報とが登録される。この場合、対応する代表角度ＲＫの格納部ＡＫに既に正面位置情報が登録済みである場合は、その登録情報が今回の部分画像ＰＧと正面位置情報に更新される。ここで、正面位置情報は、正面角度θｃと代表角度ＲＫとの誤差の値として格納部ＡＫに格納される。また、第２格納部５５における該当する代表角度ＲＫの格納部ＱＫには、今回の撮影画像ＳＧが格納される。

ステップＳ２０では、ＣＰＵ５１は、モデルを更新する。すなわち、モデル取得部７２は、今回の撮影画像ＳＧ中の容器２０の正面位置における一部の所定領域の画像について特徴を抽出して新規のモデルＭＦを作成し、前回のモデルＭＦを新規のモデルＭＦに置き換える。なお、本実施形態では、ステップＳ１３，Ｓ２０の処理が、モデル取得ステップの一例に相当する。

ステップＳ２１では、ＣＰＵ５１は、全周画像を完成したか否かを判定する。全周画像ＡＧを完成していなければステップＳ１４に戻り、ステップＳ２１で全周画像ＡＧを完成したと判断するまで、全周画像ＡＧの生成処理（Ｓ１４〜Ｓ２１）を繰り返す。一方、全周画像ＡＧを完成すればステップＳ２２に進む。なお、本実施形態では、ステップＳ１４〜Ｓ１９の処理が、蓄積ステップの一例に相当する。

ここで、全周画像ＡＧの生成処理（Ｓ１４〜Ｓ２１）を繰り返す全周画像生成処理の間、表示部４２には図１３に示す全周画像生成進捗画面ＳＣ１が表示される。この画面ＳＣ１には、処理対象中の撮影画像ＳＧを背景とするその前面に円環状の進捗スケールＰＳが重畳して表示される。進捗スケールＰＳは、１周３６０度をＪ分割（本例では３６分割）した各代表角度ＲＫに対応する領域ごとに、部分画像ＰＧがまだ格納されていない未学習であるか、部分画像ＰＧが格納済みの学習済みであるかを色の違いで判別可能に表示される。また、学習済みの代表角度ＲＫの領域は、格納された部分画像ＰＧの正面角度θｃと代表角度ＲＫとの誤差の値に応じて段階的に色分けされて表示される。このため、作業者は、進捗スケールＰＳを見ることで、全周画像ＡＧの生成進捗状況および出来上がり精度を確認することができる。そして、進捗スケールＰＳで未学習の領域が無くなると、全周画像ＡＧが完成し、ＣＰＵ５１はステップＳ２２の処理に進む。

ステップＳ２２では、ＣＰＵ５１は、強化学習するか否かを判定する。強化学習する場合はステップＳ２３に進み、強化学習をしない場合はステップＳ２４に進む。ここで、強化学習は、全周画像の生成処理（Ｓ１４〜Ｓ２３）を終了する所定条件である強化学習終了条件が成立するまで更に複数回繰り返し、全周画像ＡＧの出来上がり精度を高める処理である。

ステップＳ２３では、ＣＰＵ５１は、強化学習終了条件が成立したか否かを判定する。強化学習終了条件が不成立であればステップＳ１４に戻り、ステップＳ２３で強化学習終了条件が成立したと判断するまで、強化学習（Ｓ１４〜Ｓ２３）を繰り返す。一方、強化学習終了条件が成立すればステップＳ２４に進む。なお、ＣＰＵ５１は、強化学習終了の判定に用いる所定の判定パラメータが閾値に達したことをもって強化学習終了条件が成立したと判断する。判定パラメータには、例えば強化学習で読み込んだ撮影画像数、部分画像の更新数、平均誤差、誤差閾値未満の領域の占有率、またはエポック数などが用いられる。

ステップＳ２４では、ＣＰＵ５１は、全周画像の角度を補正する。作業者は、全周画像生成処理の開始に先立ちまたは全周画像完成後に、全周画像ＡＧの０度の位置を入力装置４１の操作でコンピュータ５０に指定している。ＣＰＵ５１は、指定された０度の位置を確認し、図１４に示す仮の０度の位置を基準に角度と対応付けられた全周画像ＡＧの角度の設定を、指定された位置が０度になるように角度補正する。さらにＣＰＵ５１は、図１４に示すように、全周画像ＡＧを０〜３６０度の範囲から、０〜３６０度を超える所定値までの範囲に延長して作成する。本例では、全周画像ＡＧを、例えば０〜５４０度（１周半）の範囲に延長する。ここで、全周画像ＡＧを、３６０度を超える範囲に亘り作成するのは、その後、作業者がモデル登録部６３を起動させて行うモデル登録時に表示部４２にモデル登録画面（図示略）を表示させ、このモデル登録画面で全周画像ＡＧを表示させてモデルＭ（図１５）を登録する領域を入力装置４１の操作で指定する作業を円滑に行うためである。全周画像ＡＧを、３６０度を超える範囲に亘り作成しておけば、図１４に示す全周画像ＡＧにおいて例えば文字「Ｇ」と「Ｈ」との間の０度または３６０度を跨ぐ領域を指定可能となる。なお、特に必要がなければ、全周画像ＡＧは０〜３６０度でもよい。

撮影画像ＳＧの不足などを理由に全周画像ＡＧを完成できず、部分画像ＰＧが蓄積されていない空の代表角度ＲＫの領域が少なくとも１つ存在する場合は、既存の撮影画像ＳＧから空の代表角度ＲＫの部分画像を補うことで全周画像ＡＧを完成させてもよい。すなわち、所定条件を満たすまでモデル取得処理と蓄積処理とを繰り返しても、全周画像ＡＧを完成できなかった場合、蓄積部７３は、部分画像ＰＧが蓄積されていない未登録の代表角度ＲＫｉを取得する。未登録の代表角度ＲＫｉの領域の隣の位置に登録済みの代表角度ＲＫｉ+1またはＲＫｉ-1の領域が存在すれば、この隣の領域に蓄積されている部分画像ＰＧの取得元である撮影画像ＳＧをその代表角度ＲＫｉ+1またはＲＫｉ-1の格納部ＱＫから取得する。この撮影画像ＳＧから未登録の領域の代表角度ＲＫｉに対応する位置の部分画像ＰＧを取得し、この取得した部分画像ＰＧを位置情報と対応付けて未登録の代表角度ＲＫｉの空の領域に蓄積する。この場合、補填された部分画像ＰＧは、その正面角度と代表角度との誤差が規定の±５度を超える誤差（例えば１２度）になる。このように完成させた全周画像ＡＧは、その精度が補填箇所で部分的に低下するものの、全周画像ＡＧを用いて行われる、モデル登録処理、良品画像生成処理、容器向き検出処理および検査処理を実施できる。

次に、図１７を参照してモデル登録処理について説明する。作業者はモデル登録を行う場合、入力装置４１を操作してラベル検査装置１１にモデル登録処理の開始を指示する。コンピュータ５０のＣＰＵ５１は、指示を受け付けると、図１７にフローチャートで示されるモデル登録処理を実行する。

まずステップＳ３１では、ＣＰＵ５１は、全周画像を表示部４２に表示する。つまり、ＣＰＵ５１は、全周画像ＡＧを含むモデル登録画面（図示略）を表示部４２に表示する。作業者は、モデル登録画面上の全周画像ＡＧにおいてモデルＭとして使用したい特徴のある画像領域であるモデル領域ＧＡ（図１５を参照）を入力装置４１の操作で指定する。

次のステップＳ３２では、ＣＰＵ５１は、モデル領域ＧＡが指定されたか否かを判断する。モデル領域ＧＡが指定されていなければ指定されるまで待機し、モデル領域ＧＡが指定されればステップＳ３３に進む。

ステップＳ３３では、ＣＰＵ５１は、モデルを位置情報と対応付けて登録する。全周画像ＡＧは位置情報（容器周方向の横座標と高さ方向の縦座標）と対応付けられたデータであるので、指定されたモデル領域ＧＡの位置情報は全周画像ＡＧの座標から計算上特定される。

次のステップＳ３４では、ＣＰＵ５１は、全てのモデルを登録したか否かを判定する。全てのモデルの登録を終了していなければステップＳ３２に戻り、以降、ステップＳ３２〜Ｓ３４の処理を、ステップＳ３４で全てのモデルの登録を終了したと判定するまで繰り返す。こうして作業者は、モデル領域ＧＡを順番に指定し、全て（例えば８つ）のモデルＭを登録し終わることで、記憶部５２にはモデルデータＭＤが記憶される。

また、良品画像生成部６４は、全周画像ＡＧの画像データを基に、１周をｍ分割（一例として３６分割）した角度（例えば１０°）毎に所定の幅角（例えば１１０度）の部分画像からなる図１６に示す良品画像ＲＧ０〜ＲＧ３５を取得する。そして、良品画像生成部６４は、良品画像ＲＧ０〜ＲＧ３５を容器２０の周方向の位置（正面位置）と対応付けて記憶部５２に記憶する。また、特徴画像生成部６５は、良品画像ＲＧ０〜ＲＧ３５から特徴を抽出して特徴画像ＦＧ０〜ＦＧ３５を生成する。そして、特徴画像生成部６５は、特徴画像ＦＧ０〜ＦＧ３５を容器２０の周方向の位置（正面位置）と対応付けて記憶部５２に記憶する。このようにモデルデータＭＤ、良品画像データＧＤおよび特徴画像データＦＤの作成および登録は、コンピュータ５０が全周画像ＡＧから自動で行うので、作業者は入力装置４１により条件や領域の指定などの比較的簡単な操作を行うだけで済む。

次に、図１８を参照してラベル検査処理について説明する。コンピュータ５０は、ラベル検査処理を行う。コンピュータ５０のＣＰＵ５１は、記憶部５２に必要なデータＧＤ，ＦＤが記憶された状態で、図１８にフローチャートで示されたラベル検査処理を実行する。なお、記憶部５２には、良品の容器２０の全周画像から、ユーザが入力装置４１を操作して０度から３６０／Ｎ度（例えば４５度）の角度範囲ごとの部分画像の中の一部の領域がモデルＭ１〜Ｍ８として登録されている。モデルＭ１〜Ｍ８は、特徴（形状または明るさ）が抽出された特徴画像（例えば形状画像）であり、容器２０（又はラベル２２）の周方向の位置（角度）に対応付けられている。

また、記憶部５２には、良品の容器２０の周方向に異なる位置（角度）毎の部分画像、又はラベル２２の原画（図５参照）を周方向に異なる位置（角度）毎に分割した部分画像である、複数の良品画像ＲＧと、各良品画像ＲＧの特徴が抽出された特徴画像ＦＧとが、周方向の位置（角度）と対応付けられて記憶されている。本実施形態では、複数ずつの良品画像ＲＧおよび特徴画像ＦＧは、良品画像生成部６４が、良品の容器２０が撮影された複数の画像を基に自動で生成したもの、あるいはラベル２２の原画（版下）を分割して生成したものであり、容器２０の周方向の位置（角度）と対応付けられている。

まずステップＳ４１では、ＣＰＵ５１は、容器２０の画像データを取得する。すなわち、カメラ３１が容器２０を撮影して得た画像データを取得する。このとき、４つのカメラ３１が４方向から撮影した全周分（４つ）の撮影画像ＳＧの画像データを取得する。以下では、撮影画像ＳＧには、容器２０に付された検査対象のラベル２２に破れまたは異物等の付着などの欠点があるものとする。

ステップＳ４２では、ＣＰＵ５１は、撮影画像中の容器の正面位置を特定する。位置特定部８２が、オムニ・マッチング処理を実行し、ラベル２２の正面角度θｃ・高さを特定する。位置特定部８２は、カメラ３１が検査対象の容器２０を撮影して得た撮影画像ＳＧのうちラベル２２の領域を対象としてモデルＭと類似する類似図柄部を探索するオムニ・マッチング処理を行う。位置特定部８２は、このオムニ・マッチング処理において、モデルＭと比較すべき図柄領域を少しずつ移動させつつマッチング処理を行って、モデルＭとの類似度のスコアが閾値以上となる類似図柄部を探索する。また、スコアが閾値以上の類似図柄部が検出されない場合は、次のモデルＭに変更する。こうしてモデルＭを順次変更しつつ、全てのモデルＭ１〜Ｍ８について類似図柄部を探索するマッチング処理を行う。本例では、位置特定処理において、４つの撮影画像のうち１つの撮影画像ＳＧについてオムニ・マッチング処理を行ってもよいし、４つの撮影画像ＳＧの全てについてオムニ・マッチング処理を行ってもよい。類似図柄部が複数検出された場合は、そのうち一番スコアの高い１つの類似図柄部に決定する。なお、オムニ・マッチング処理では、例えば類似度のスコアが目標値を超える類似図柄部が探索された時点でマッチング処理を中止してもよい。

ステップＳ４３では、ＣＰＵ５１は、検査画像と良品画像との比較処理を行う。詳しくは、比較処理部８５は、図１９に示すように、検査画像ＫＧと良品画像ＲＧとの差分をとる演算を行い、比較結果として、同図に示す差分画像ＤＧを取得する。差分画像ＤＧは、ラベル２２のうち正常な部分が白地となり、ラベル２２における欠点ＦＴの部分が黒色又は灰色となる画像である。この差分画像ＤＧにおいて濃度（例えば輝度）が濃度閾値以下の領域（黒色又は灰色の領域）が欠点ＦＴとして検出する。例えばラベル２２の破れや異物が欠点ＦＴとして検出される。なお、図１９の例とは、両画像ＫＧ，ＲＧの差分を逆にとってもよい。この場合、正常な部分が黒地、欠点ＦＴが白色又は灰色となる。

ステップＳ４４では、ＣＰＵ５１は、検査結果を出力する。詳しくは、判定部８６は、差分画像ＤＧを基に欠点ＦＴの有無を判定する。そして、制御部６１は、検査結果を表示部４２に表示させる。判定部８６は、欠点ＦＴの有無に加え欠点ＦＴの種類を判定してもよい。例えば、差分画像ＤＧにおいて、濃度、形状、サイズ等をパラメータとし、パラメータごとに設定した閾値等を用いて欠点ＦＴの種類を判定してもよい。この場合、表示部４２には欠点の有無に加え、欠点ありの場合は欠点ＦＴの種類が表示される。

以上詳述したように、この実施形態によれば、以下の効果が得られる。
（１）全周画像生成装置の一例を構成する全周画像生成部６２は、良品の容器２０の撮影画像ＳＧを順次取得する画像取得処理部７１と、画像取得処理部７１が取得した一の撮影画像ＳＧ中の容器２０の正面位置を基準位置に設定し、その容器２０の正面位置における部分画像ＰＧを周方向の位置情報と対応付けて記憶部５２に蓄積する蓄積部７３とを備える。さらに、全周画像生成部６２は、一の撮影画像ＳＧ中の容器２０の一部の所定領域を基にモデルＭＦを取得するモデル取得部７２を備える。蓄積部７３は、蓄積処理として、まずモデルＭＦの取得元の撮影画像ＳＧの後に取得した次の撮影画像ＳＧに対してモデルＭＦを用いたマッチング処理を行う。さらに蓄積部７３は、蓄積処理として、マッチすればそのマッチした検出位置Ｃ１とモデルＭＦの登録位置Ｃｍとを基に容器２０の正面位置Ｃ０を割り出し、次の撮影画像ＳＧ中の容器２０の正面位置Ｃ０における部分画像ＰＧを周方向の位置情報（代表角度ＲＫと誤差）と対応付けて記憶部５２に蓄積する。また、蓄積部７３は、マッチしなければ更に次の撮影画像ＳＧに移行する。モデル取得部７２が、マッチしたときの撮影画像ＳＧ中の容器２０の一部の所定領域を基にモデルＭＦを取得するモデル取得処理と、蓄積部７３が、最新のモデルＭＦを用いて行うマッチング処理を含む蓄積処理とを、周方向の位置情報と対応付けた部分画像ＰＧを全周分に相当する複数収集するまで繰り返すことで全周画像ＡＧを生成する。よって、容器２０の周方向の位置情報に対応付けられた全周画像ＡＧを比較的簡単に生成することができる。例えば、作業者が容器２０の撮影位置を手作業で位置決めしつつ容器２０を撮影し、複数の撮影画像からＰＣの入力装置を操作する手作業で容器２０の部分画像を位置情報と対応付けて１周分に相当する複数取得する面倒な作業を省くことができる。

ところで、ラインカメラを用いて一周分の画像を得ることができるが、この場合、全周画像取得用のラインカメラを別途用意しなければならず、しかもカメラが異なると、検査対象の容器２０の撮影画像と、全周画像ＡＧを基に生成されたモデルＭや良品画像ＲＧとの画質等が異なるため、検査精度に影響する。しかし、本実施形態では、検査に用いるカメラ３１等の通常のカメラで撮影した容器２０の撮影画像ＳＧを用いて全周画像ＡＧを生成できる。よって、高い検査精度が得られる。

（２）蓄積部７３は、容器２０の周を複数分割した代表角度ＲＫが属する格納部ＡＫ（領域）ごとに部分画像ＰＧを蓄積する。蓄積部７３は、マッチした際の今回の正面角度θｃ（正面位置Ｃ０）が属する代表角度ＲＫの格納部ＡＫに先の部分画像ＰＧが蓄積済み（登録済み）である場合は、今回の正面角度θｃが先の部分画像ＰＧの正面角度θｃよりも代表角度ＲＫに近ければ、その代表角度ＲＫの格納部ＡＫの記憶データを先の部分画像ＰＧから今回の部分画像ＰＧに更新する。よって、蓄積処理を進めるうちに蓄積される部分画像ＰＧがより適切な部分画像ＰＧに更新されるため、歪みの少ないより精度の高い全周画像ＡＧを生成することができる。

（３）蓄積部７３は、所定条件を満たすまでモデル取得処理と蓄積処理とを繰り返しても、全周画像ＡＧを完成できなかった場合、部分画像ＰＧが蓄積されていない未登録の領域の代表角度ＲＫを取得する。そして、蓄積部７３は、未登録の領域の隣の位置に登録済みの領域が存在すれば、その登録済みの領域に蓄積されている部分画像ＰＧの取得元である撮影画像ＳＧから未登録の領域の代表角度ＲＫに対応する位置の部分画像ＰＧを取得し、その取得した部分画像ＰＧを位置情報と対応付けて未登録の領域に蓄積する。よって、全周画像ＡＧを完成できなかった場合でも、既存の撮影画像ＳＧを利用して全周画像ＡＧを完成することができる。よって、全周画像ＡＧを用いて行われる、モデル登録処理、物品向き検出処理および物品検査処理などの所定の処理を実施できる。

（４）ラベル検査装置１１は、全周画像生成部６２と、全周画像生成部６２が生成した全周画像ＡＧから選択された周方向に位置の異なる複数のモデル領域ＧＡを基に複数のモデルＭを作成し、これら複数のモデルＭを周方向の位置情報と対応付けて登録するモデル登録部６３とを備える。よって、容器２０の正面位置の特定などの処理に用いられる複数のマッチング処理用のモデルＭを、簡単に生成した全周画像ＡＧを利用して比較的簡単に生成できる。

（５）ラベル検査装置１１は、外面に図柄２３を有する向き特定対象の容器２０を撮影した撮影画像に対してモデルＭを用いてマッチング処理を行って、マッチした類似図柄部の位置情報と当該モデルＭの位置情報とを基に撮影画像ＳＧ中の容器２０の正面位置Ｃ０を特定する位置特定部８２を備える。よって、容器２０がカメラ３１の方を向く正面の位置である向きを検出することができ、しかも容器２０の向きの検出に必要な全周画像ＡＧを比較的簡単に生成できる。

（６）ラベル検査装置１１は、全周画像生成部６２と、全周画像ＡＧから周方向の部分画像である良品画像ＲＧを全周分に相当する複数生成する良品画像生成部６４と、検査対象の容器２０（特にラベル）の欠点ＦＴの有無を検査する検査部６６と、撮影画像ＳＧにおける検査対象の容器２０の正面位置Ｃ０を特定する位置特定部８２とを備える。検査部６６は、検査画像ＫＧと、正面位置Ｃ０に対応する良品画像ＲＧとを比較した比較結果を基に容器２０の欠点ＦＴの有無を検査する。よって、容器２０の欠点ＦＴの有無を検査できるうえ、検査に必要な良品画像データＧＤを簡単に取得することができる。特に、本実施形態では、位置特定部８２が、撮影画像ＳＧに対して複数のモデルＭを用いてマッチング処理を行って、撮影画像ＳＧにおける検査対象の容器２０の正面位置Ｃ０を特定する。これら複数のモデルＭは、全周画像生成部６２が生成した全周画像ＡＧから選択されたモデル領域ＧＡを基に生成される。よって、検査に必要な複数のモデルＭを簡単に取得することができる。

（７）ラベル検査装置１１が検査対象とする容器２０は、外面にラベル２２が付され、検査部６６は、ラベル２２の欠点ＦＴを検査する。よって、容器２０の付されたラベル２２の欠点ＦＴを検査することができる。

（８）全周画像生成方法は、画像取得ステップ（Ｓ１１）と、モデル取得ステップ（Ｓ１３，Ｓ２０）と、蓄積ステップ（Ｓ１４〜Ｓ１９）とを備える。この方法によって、容器２０の周方向の位置情報に対応付けられた全周画像ＡＧを比較的簡単に生成することができる。

（第２実施形態）
次に、第２実施形態について図２０〜図２２を参照して説明する。この第２実施形態では、マッチング処理を複数のモデルＭＦを用いて行って全周画像生成処理の所要時間を短縮している。コンピュータ５０は、全周画像生成の指示を受け付けると、図２２にフローチャートで示される全周画像生成処理を実行する。

図２２に示すステップＳ５１〜Ｓ５５の処理は、第１実施形態の図４におけるステップＳ１１〜Ｓ１５の処理と同じである。すなわち、最初に取得した撮影画像ＳＧにおける容器２０の正面位置を基準位置（例えば０度）に設定するとともに正面位置における部分画像ＰＧを取得する（Ｓ５１，Ｓ５２）。この撮影画像ＳＧ中の容器２０の正面位置における一部の所定領域の画像からモデルＭを作成する（Ｓ５３）。そして、次の撮影画像ＳＧに対してモデルＭＦを用いたマッチング処理を行い（Ｓ５４）、マッチすれば（Ｓ５５で肯定判定）ステップＳ５６に進む。一方、マッチしなければ（Ｓ５５で否定判定）、マッチするまで撮影画像ＳＧを順次読み込み、マッチすればステップＳ５６に進む。

そして、ステップＳ５６では、最もマッチしたモデルの位置を基に容器の正面位置を算出する。ここで、最初は１つのモデルＭＦを用いたマッチング処理なので、１つのモデルＭＦの登録位置を基に容器２０の正面位置を算出する。なお、その後の処理においてモデルＭＦの数は最大数まで順次増える。

次のステップＳ５７〜Ｓ５９の処理は、図４におけるステップＳ１７〜１９の処理に相当する。すなわち、撮影画像ＳＧ中の容器２０の正面位置が登録済みであれば（Ｓ５７で肯定判定）、更新すべき正面位置であるか否かを判断する（Ｓ５８）。そして、正面位置が未登録である場合（Ｓ５７で否定判定）又は更新すべき正面位置であれば（Ｓ５８で肯定判定）、部分画像と正面位置情報を記憶部５２に記憶することで登録する（Ｓ５９）。つまり、正面位置からこれが属する代表角度ＲＫが決まり、蓄積部７３は、正面位置情報を位置格納部５３の対応する代表角度ＲＫの格納部ＡＫに格納し、部分画像ＰＧを第１格納部５４の対応する代表角度ＲＫの格納部ＰＫに格納する。なお、格納部ＡＫに格納される正面位置情報は、正面角度θｃと代表角度ＲＫとの誤差である。また、蓄積部７３は、第２格納部５５の対応する代表角度ＲＫの格納部ＱＫに撮影画像ＳＧを格納する。

ステップＳ６０では、ＣＰＵ５１はモデル追加条件が成立したか否かを判断する。本実施形態では、モデル取得部７２がモデルＭＦを最大数まで追加する２つの方式がある。１つは二方向方式、他の１つは飛び石方式である。モデル追加条件は、モデルＭＦを追加する方式に応じて決まる。例えば今回の撮影画像ＳＧ中の容器２０の正面角度θｃが属する代表角度ＲＫの領域が、既存のモデルＭＦの取得元の撮影画像ＳＧの正面角度θｃが属する代表角度ＲＫの領域と隣合っていなければ、つまり間に１つ以上の未登録の領域を挟んでいれば、モデル追加条件が成立する。モデル追加条件が不成立であればステップＳ６２に進み、モデル追加条件が成立すればステップＳ６１に進む。なお、モデルＭＦを追加する２つの方式の詳細は後述する。

ステップＳ６１では、ＣＰＵ５１は、モデルを追加する。モデル取得部７２は、今回の撮影画像ＳＧ中の容器２０の正面位置における一部の所定領域の画像を基に特徴の抽出を行ってモデルＭＦを作成して追加する。このため、今回の撮影画像ＳＧの正面角度θｃが属する代表角度ＲＫの領域が、既存のモデルＭＦに対応する領域に対して１つ以上の未登録の領域を間に挟んで位置する場合は、今回の撮影画像ＳＧから新規のモデルＭＦを作成して追加する。

ステップＳ６２では、ＣＰＵ５１はモデル消去条件が成立したか否かを判断する。例えば、既存のモデルＭＦに対応する領域の両隣の領域が登録済みとなれば、モデル消去条件が成立する。また、モデルＭＦに対応する領域の両隣のうち一方または両方が未登録であれば、その隣の未登録の領域へ蓄積されるべき部分画像ＰＧの取得のためのマッチング処理に使用可能なモデルＭＦは残されるので、モデル消去条件は不成立となる。モデル消去条件が不成立であればステップＳ６４に進み、モデル消去条件が成立すればステップＳ６３に進む。

ステップＳ６３では、ＣＰＵ５１は、モデル消去条件が成立したモデルＭＦを消去する。なお、モデルＭＦの消去も、モデル取得部７２が行う。
ステップＳ６４では、ＣＰＵ５１は、全周画像を完成したか否かを判定する。全周画像を完成していなければステップＳ５４に戻り、ステップＳ６４で全周画像を完成したと判断するまで、全周画像の生成処理（Ｓ５４〜Ｓ６４）を繰り返す。一方、全周画像を完成すれば図４におけるステップＳ２２と同様の処理に進む。

以下、第１実施形態の図４におけるステップＳ２２〜Ｓ２４と同様の処理を行う。つまり、全周画像が完成すると（Ｓ６４で肯定判定）、強化学習をするか否かを判断し（Ｓ２２）、強化学習をする場合は（Ｓ２２で肯定判定）、ステップＳ５４〜Ｓ６４およびＳ２２，Ｓ２３の処理を、強化学習終了条件が成立するまで繰り返す。また、強化学習の有無によらず、全周画像ＡＧを完成すると、全周画像ＡＧの角度補正を行う（Ｓ２４）。その結果、図１４に示すように、指定の位置を０度とする角度と対応付けられた全周画像ＡＧの画像データが生成される。

次に複数のモデルＭＦを用いる２つの方式について説明する。まず、図２０を参照して二方向方式について説明する。二方向方式は、物品の周方向において時計方向と反時計方向との二方向に向かってモデルＭＦを増やす方式である。すなわち、最初に基準位置（０度）でモデルＭＦを作成し、マッチング処理の結果、マッチしたモデルＭＦの位置から定まる撮影画像ＳＧの正面位置が属する角度領域が、登録中のモデルＭＦに対応する角度領域（例えば０度）に対して１つ以上の未登録の角度領域を開けた位置である場合、今回の撮影画像ＳＧからモデルＭＦを作成する。この条件を満たすのは、既存のモデルＭＦに対応する角度領域（例えば０度）に対して、時計方向側で１つ以上の未登録の角度領域を開けている場合と、反時計方向側で１つ以上の未登録の角度領域を開けている場合とがある。本方式では、時計方向に増殖するモデルＭＦｃと反時計方向に増殖するモデルＭＦｋとの両方向にモデルＭＦを増殖する。このため、モデルＭＦは時計方向にも増えるし、反時計方向にも増える。この結果、蓄積処理の途中から複数のモデルＭＦでマッチング処理を行うことになるので、モデルＭＦが１つであった第１実施形態の方式に比べ、全周画像を早期に完成することができる。

次に、図２１を参照して飛び石方式について説明する。飛び石方式は、モデルＭＦを１つ以上の未登録の角度領域を開けた位置にモデルＭＦを増やす方式である。最初に基準位置（０度）でモデルＭＦを作成する。モデルＭＦを用いたマッチング処理の結果、モデルＭＦとマッチした位置から定まる撮影画像ＳＧ中の容器２０の正面位置が属する角度領域が、登録中のモデルに対応する角度領域（例えば０度）に対して１つ以上の未登録（「９９」）の角度領域を開けた位置である場合、今回の撮影画像ＳＧからモデルＭＦを作成して追加する。モデルＭＦに対応する角度領域の両隣が未登録「９９」の角度領域なので、次の撮影画像ＳＧに対するマッチング処理においてモデルＭＦがマッチする頻度が高くなる。図２１（ａ）に示す例では、最初の左モデルＭＬに対して未登録の角度領域を１つ開けて中モデルＭＭが増え、さらに図２１（ｂ）に示す例のように右モデルＭＲが増える。以降、３つのモデルＭＬ，ＭＭ，ＭＲを用いてマッチング処理が行われる。

この結果、蓄積処理の開始後の途中から複数のモデルＭＦでマッチング処理を行うことになるので、モデルＭＦが１つであった第１実施形態の方式に比べ、全周画像ＡＧを早期に完成することができる。なお、複数のモデルＭＦを用いたマッチング処理では、複数のモデルＭＦを順番に切り換えてモデルＭＦごとの探索処理を直列処理で行ってもよいが、例えばマルチコアのＣＰＵ５１を用いて複数のモデルＭＦを用いた各探索処理を並列処理で行うことが好ましい。

（９）二方向方式において、モデル取得部７２は、最初に取得したモデルＭＦの位置に対して容器２０の周方向における一方向（時計方向）と他方向（反時計方向）との両方向に移動するように複数（例えば２つ）のモデルＭＦを取得する。蓄積部７３は、最初に取得されたモデルＭＦの位置に対して周方向における一方向と他方向との両方向に移動する位置にある複数のモデルＭＦを用いてマッチング処理を行う。この結果、マッチング処理でマッチする頻度が高まる。よって、位置情報に対応付けられた全周画像ＡＧを比較的高速に生成できる。

（１０）飛び石方式において、モデル取得部７２は、モデルＭＦの周方向の位置が、他のモデルＭＦとの間に部分画像ＰＧが蓄積されていない空の領域を挟むように複数のモデルＭＦを取得する。蓄積部７３は、モデルＭＦの周方向の位置が、他のモデルＭＦとの間に部分画像ＰＧが蓄積されていない空の領域を挟む位置にある複数のモデルＭＦを用いてマッチング処理を行う。この結果、マッチング処理でマッチする頻度が高まる。よって、位置情報に対応付けられた全周画像ＡＧを比較的高速に生成できる。

実施形態は、上記に限定されず、以下のように変更してもよい。
・画像取得部は、撮影装置３０に替え、容器２０を撮影した画像データが蓄積された外部記憶装置９１（図３に二点鎖線で示す）又はネット回線を介してサーバ（図示せず）から画像データを読み込む図３に示す入力部５７（例えばＵＳＢポート又は回線接続部）であってもよい。このように画像取得部が入力部５７であって、外部記憶装置９１から画像データ（検査画像）を取得したり、サーバから入力部５７を介して画像データ（検査画像）を取得したりするものであっても、位置情報に対応付けられた全周画像ＡＧを比較的簡単に生成することができる。

・撮影画像ＳＧ中の容器２０の正面位置における部分画像ＰＧは、代表角度ＲＫを中心とする部分画像に限定されず、正面角度θｃを中心とする真正面の部分画像でもよい。前記実施形態では、撮影画像ＳＧ中の容器２０の幅中心を正面位置とし、代表角度との誤差がある場合は代表角度ＲＫを中心とする幅角ＷＰの部分画像ＰＧを蓄積したが、撮影画像ＳＧにおける正面角度θｃを中心とする部分画像ＰＧを蓄積してもよい。この場合も、代表角度ＲＫと正面角度θｃとの誤差を記憶し、誤差が小さくなるように正面角度θｃを中心とする部分画像ＰＧを更新すればよい。この構成でも、例えば強化学習などをして誤差が小さくなれば、比較的精度の高い全周画像ＡＧを得ることはできる。

・モデルデータＭＤと良品画像データＧＤの少なくとも一方は、全周画像ＡＧを基に生成されなくてもよい。データＭＤ，ＧＤの少なくとも一方は、作業者が手作業で容器２０の周方向の位置を調整しつつカメラ３１で撮影した撮影画像ＳＧを基に生成したものでもよい。

・全周画像ＡＧを構成する部分画像ＰＧの枚数を決める分割数Ｊは、１０度ずつの３６分割とするＪ＝３６に限らず、６以上の自然数であればよい。ここで、分割数Ｊが、６以上の自然数であればよい理由は下記のとおりである。マッチングにより位置（角度）を取得し全周画像ＡＧを作成するため、マスター画像と次の画像の両方が確実に撮像されている必要がある。すなわち、マスター画像が端の方にあるとき、次の画像が正面に位置する場合の限界値が、一方向から取得した画像で検査に使える（有効な）範囲は１２０度なので、正面を中心に±６０度であり、この６０度で全周の３６０度を割った数が「６」となる。これにより分割数Ｊは、「６」以上の自然数が好ましい。例えばＪ＝６，１２，１８，２４，７２，１２０，１８０，３６０でもよい。例えば３０度ずつ分割した１２分割、２０度ずつ分割した１８分割、１５度ずつ分割した２４分割、５度ずつ分割した７２分割、３度ずつ分割した１２０分割でもよい。さらには１８０分割、３６０分割でもよい。要求される精度および処理速度等を考慮して適宜な分割数Ｊを選択できる。

・第２実施形態における二方向方式において、第１実施形態と同様に、マッチしたモデルＭＦの位置から定まる撮影画像ＳＧの正面位置が属する角度領域が、隣の未登録の角度領域の位置である場合に、今回の撮影画像ＳＧから新規のモデルＭＦを作成してもよい。

・全周画像生成装置の検査部６６は、物品（例えば容器２０）のラベル２２以外の部分も検査してよい。物品の外面に施された印刷、溝又は凹部からなる図柄を検査してもよい。

・容器は、ラベル２２（その図柄）が付された容器に限定されず、容器の外面に図柄が印刷された容器、２色成形等により図柄が一体的に成形された容器などでもよい。外面に図柄を有する各種の容器に適用することができる。この場合、容器２０の高さ方向Ｚの一部の全周画像ＡＧに限らず、容器２０の高さ方向Ｚの全域の全周画像ＡＧを生成してもよい。また、容器２０の高さ方向Ｚに位置の異なる複数の全周画像ＡＧを生成してもよい。

・マッチング処理は、形状マッチング処理に限定されず、公知の他のマッチング処理でもよい。例えば正規化相関マッチング等の相関マッチング処理でもよい。
・全周画像生成装置を、物品の周方向の所定位置に印刷するために、物品の所定位置が向く向きを検出する特許文献２に記載された物品向き検出装置に適用してもよい。この場合、モデル登録部６３が、全周画像生成部６２が生成した全周画像ＡＧから複数のモデルＭを作成する。撮影画像に対するモデルＭを用いたマッチング処理の結果、マッチした類似図柄部の位置情報とモデルＭの位置情報とを基に物品の向きを検出する。そして、物品の所定位置である被印刷部が印刷装置と対向するまで物品を回転させ、印刷装置により物品の被印刷部に印刷が施される。

・全周画像生成装置の検査部６６が、カメラ３１で容器２０等の物品を撮影した部分画像と全周画像ＡＧとを比較して物品の外観検査を行うものでもよい。この構成でも、外観検査に用いられる全周画像ＡＧを全周画像生成部６２により簡単に取得できる。

・容器２０を挟持可能な一対のベルトの速度差を利用して容器２０を回転させながら搬送する搬送装置としたり、容器を回転テーブルに載せて回転させる回転テーブル方式、チャック部又は負圧吸着部などの把持部により持ち上げた容器を回転させる回転方式としたりし、１つのカメラ３１で、回転する容器２０を１回転する間に複数回撮影してもよい。

・位置特定部８２がオムニ・マッチング処理を行わない構成でもよい。容器２０又はラベル２２に印刷等により周方向の異なる位置に複数の目印を付け、位置特定部８２は、撮影画像ＳＧ中の目印の位置から容器２０の正面位置を特定してもよい。

・照明機器３２に替え、例えば、撮像対象の容器２０を挟んでカメラ３１とは反対側に、赤外光（赤外線）を照射する照明機器を配置し、反射光と透過光との双方を用いたラベル２２の外観検査を行ってもよい。

・ラベルは、シュリンクラベルに限定されず、物品の外面に接着剤で接着したものでもよい。この場合、ラベルは樹脂製に限定されず、紙、金属、ラミネートでもよい。また、ラベル２２は、物品の全周に付されていなくてもよい。ラベル２２は、例えば物品の周方向の一部のみに付されてもよい。

・容器の形状は、有底円筒形状に限らず、台錘形状、外周面の一部が括れた形状、丸壜や角壜でもよい。また、容器の材質は、合成樹脂に限らず、金属やセラミック（例えばガラス又は陶磁器）でもよい。

・容器は、カップでもよい。カップとしては、例えば即席食品用のカップが挙げられる。また、容器は飲料液や食品の収容を目的とするものに限らず、食用以外の液体、固形物、粒または粉の収容を目的とするものでもよい。また、空の容器を検査してよいし、内容物が収容された容器を検査してもよい。

・物品は、容器に限定されず、外面に図柄を有する物品であれば足りる。例えばシュリンクラベルが付された物品、図柄が印刷、溝又は凹部などからなる物品でもよい。また、物品は、部品又は製品でもよい。

１１…全周画像生成装置の一例としてのラベル検査装置、１２…搬送装置、１３…コンベヤ、２０…容器、２１…外周面（外面）、２２…ラベル、２３…図柄、３０…画像取得部の一例を構成する撮影装置、３１…画像取得部の一例を構成するカメラ、３２…照明機器、３３…容器センサ、４０…コントローラ、４１…入力装置、４２…表示部、５０…コンピュータ、５１…ＣＰＵ、５２…記憶部、５３…位置格納部、５４…第１格納部、５５…第２格納部、５６…第３格納部、５７…画像取得部の一例を構成する入力部、６１…制御部、６２…全周画像生成部、６３…モデル登録部、６４…良品画像生成部、６５…特徴画像生成部、６６…検査部、７１…画像取得部の一例を構成する画像取得処理部、７２…モデル取得部、７３…蓄積部、７４…角度補正部、７５…マッチング処理部、８１…画像取得処理部、８２…位置特定部、８３…ラベル高さ検査部、８４…検出部、８５…比較処理部、８６…判定部、９１…外部記憶装置、ＰＲ…プログラム、ＭＤ…モデルデータ、ＧＤ…良品画像データ、ＦＤ…特徴画像データ、ＳＧ…撮影画像、ＭＦ，ＭＦｃ，ＭＦｋ，ＭＬ，ＭＭ，ＭＲ…モデル、ＡＭ…類似図柄部、Ｃ０…正面位置、ＲＫ…代表角度、ＰＧ…部分画像、ＡＧ…全周画像、ＰＳ…進捗スケール、ＫＧ…検査画像、ＲＧ，ＲＧ０〜ＲＧ３５…良品画像、ＦＧ，ＦＧ０〜ＦＧ３５…特徴画像、ＤＧ…差分画像、ＧＡ…画像領域の一例としてのモデル領域、Ｍ，Ｍ１〜Ｍ８…モデル、ＦＴ…欠点、Ｘ…搬送方向、Ｚ…高さ方向。

Claims (10)

1. 良品の物品を撮影して得た部分画像を収集して周方向の位置情報と対応付けた全周画像を生成する全周画像生成装置であって、
   物品を撮影して得た撮影画像を順次取得する画像取得部と、
   前記画像取得部が取得した一の前記撮影画像中の前記物品の正面位置を基準位置に設定し、当該物品の当該正面位置における部分画像を周方向の位置情報と対応付けて記憶部に蓄積する蓄積部と、
   前記画像取得部が取得した一の前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得するモデル取得部とを備え、
   前記蓄積部は、前記画像取得部が前記モデルの取得元の前記撮影画像の後に取得した後の撮影画像に対して前記モデルを用いたマッチング処理を行い、マッチすれば当該マッチした位置の位置情報と前記モデルの位置情報とを基に前記物品の正面位置を割り出し、前記後の撮影画像中の前記物品の前記正面位置における部分画像を周方向の位置情報と対応付けて記憶部に蓄積し、マッチしなければ次の撮影画像に移行する蓄積処理を行い、
   前記モデル取得部が、前記マッチしたときの前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得するモデル取得処理と、前記蓄積部が、少なくとも最新の前記モデルを用いて行う前記マッチング処理を含む前記蓄積処理とを、周方向の位置情報と対応付けた部分画像を少なくとも全周分に相当する複数収集するまで繰り返して前記全周画像を生成することを特徴とする全周画像生成装置。
2. 前記蓄積部は、前記物品の周を複数分割した代表位置が属する領域ごとに前記部分画像を蓄積し、マッチした際の今回の前記正面位置が属する前記領域に先の前記部分画像が蓄積されている場合は、当該今回の正面位置が前記先の部分画像の前記正面位置よりも当該領域の代表位置に近ければ、当該領域に蓄積する部分画像を、先の前記部分画像から今回の前記部分画像に更新することを特徴とする請求項１に記載の全周画像生成装置。
3. 前記モデル取得部は、最初に取得した前記モデルの周方向の位置に対して前記物品の周方向における一方向に移動した位置と、他方向に移動した位置との両方の位置で複数の前記モデルを取得し、
   前記蓄積部は、複数の前記モデルを用いて前記マッチング処理を行うことを特徴とする請求項１または請求項２に記載の全周画像生成装置。
4. 前記モデル取得部は、前記モデルの周方向の位置が、他の前記モデルとの間に前記部分画像が蓄積されていない空の領域を挟むように複数の前記モデルを取得し、
   前記蓄積部は、複数の前記モデルを用いて前記マッチング処理を行うことを特徴とする請求項１または請求項２に記載の全周画像生成装置。
5. 前記蓄積部は、所定条件を満たすまで前記モデル取得処理と前記蓄積処理とを繰り返しても前記全周画像を完成できなかった場合、前記部分画像が蓄積されていない未蓄積の領域の代表位置を取得し、当該未蓄積の領域の隣の位置に蓄積済みの領域が存在すれば、当該蓄積済みの領域に蓄積されている前記部分画像の取得元である前記撮影画像から前記未蓄積の領域の前記代表位置に対応する位置の前記部分画像を取得して位置情報と対応付けて前記未蓄積の領域に蓄積することを特徴とする請求項１〜請求項４のいずれか一項に記載の全周画像生成装置。
6. 前記全周画像から選択された周方向に位置の異なる複数の画像領域を基に複数のモデルを作成し、当該複数のモデルを周方向の位置情報と対応付けて登録するモデル登録部を更に備えたことを特徴とする請求項１〜５のいずれか一項に記載の全周画像生成装置。
7. 外面に図柄を有する向き特定対象の物品を撮影した撮影画像に対して、前記モデル登録部が作成した前記モデルを用いてマッチング処理を行って、マッチした類似図柄部の位置情報と当該モデルの位置情報とを基に前記撮影画像中の当該物品の正面位置又は当該物品の周方向の所定位置を特定する位置特定部を更に備えたことを特徴とする請求項６に記載の全周画像生成装置。
8. 前記全周画像から周方向の部分画像である良品画像を全周分に相当する複数生成する良品画像生成部と、
   検査対象の物品の欠点の有無を検査する検査部と、
   検査対象の前記物品を撮影した前記撮影画像中の当該物品の正面位置を特定する位置特定部とを更に備え、
   前記検査部は、前記撮影画像中の検査画像と、前記位置特定部が特定した前記正面位置に対応する前記良品画像とを比較した比較結果を基に前記物品の欠点の有無を検査することを特徴とする請求項１〜６のいずれか一項に記載の全周画像生成装置。
9. 前記物品は、外面にラベルが付され、
   前記検査部は、前記ラベルの欠点を検査することを特徴とする請求項８に記載の全周画像生成装置。
10. 良品の物品を撮影して得た部分画像を収集して周方向の位置情報と対応付けた全周画像を生成する全周画像生成方法であって、
    物品を撮影して得た撮影画像を順次取得する画像取得ステップと、
    前記画像取得ステップで取得した一の前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得するモデル取得ステップと、
    前記画像取得ステップで前記モデルの取得元の前記撮影画像の後に取得した後の撮影画像に対して前記モデルを用いたマッチング処理を行い、マッチすれば当該マッチした位置の位置情報と前記モデルの位置情報とを基に前記物品の正面位置を割り出し、前記後の撮影画像中の前記物品の前記正面位置における部分画像を周方向の位置情報と対応付けて記憶部に蓄積し、マッチしなければ次の撮影画像に移行する蓄積処理を行う蓄積ステップとを備え、
    前記マッチしたときの前記撮影画像中の前記物品の一部の所定領域を基にモデルを取得する前記モデル取得ステップと、少なくとも最新の前記モデルを用いて行う前記マッチング処理を含む前記蓄積処理を行う前記蓄積ステップとを、周方向の位置情報と対応付けた部分画像を少なくとも全周分に相当する複数収集するまで繰り返して前記全周画像を生成することを特徴とする全周画像生成方法。