JP2012057974A - Photographing object size estimation device, photographic object size estimation method and program therefor - Google Patents
Photographing object size estimation device, photographic object size estimation method and program therefor Download PDFInfo
- Publication number
- JP2012057974A JP2012057974A JP2010198959A JP2010198959A JP2012057974A JP 2012057974 A JP2012057974 A JP 2012057974A JP 2010198959 A JP2010198959 A JP 2010198959A JP 2010198959 A JP2010198959 A JP 2010198959A JP 2012057974 A JP2012057974 A JP 2012057974A
- Authority
- JP
- Japan
- Prior art keywords
- size
- target
- representative value
- calculation
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、撮影画像に写っている撮影対象のサイズを推定する撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラムに関する。 The present invention relates to a shooting target size estimation device, a shooting target size estimation method, and a program for estimating the size of a shooting target in a shot image.
撮影画像に写っている人などの撮影対象のサイズを推定するための技術として、特許文献1および特許文献2が開示されている。特許文献1の技術は、人の所定部位、例えば、顔の大きさから身長を推定するものである。また特許文献2の技術は、床面上を移動する通行者の身長を高精度に測定するものである。
しかしながら、特許文献1の技術では、人の所定部位の大きさを導出するために、カメラ内のCCDエリアセンサと被写体との距離を求める必要がある。そして、それを自動で行うためには、フォーカスレンズの位置を検出し、検出した位置を示す情報を画像情報に関連付けてパソコンへ送信しなければならない。あるいは、CCDエリアセンサから被写体までの距離を測定する測距センサをカメラに設けなければならない。つまり被写体との距離を測定するために、特殊な機能を持つカメラを使用しなければ人の所定部位の大きさを導出できないという問題点がある。
また、特許文献2の技術では、人の身長を撮影画像から測定するために、三次元空間における各位置が、表示画面のどの位置に対応するかをあらかじめキャリブレーションによって決定しておかなければならないという問題点がある。
However, in the technique of
In the technique of
そこでこの発明は、上述の課題を解決することのできる撮影対象サイズ推定装置及び撮影対象サイズ推定方法並びにそのプログラムを提供することを目的としている。 Accordingly, an object of the present invention is to provide a shooting target size estimation device, a shooting target size estimation method, and a program thereof that can solve the above-described problems.
上記目的を達成するために、本発明は、撮影画像に写っている撮影対象の所望の算出対象サイズを表す算出対象画素の前記撮影画像内において占める画素数を検出する撮影対象サイズ検出部と、前記撮影対象の実空間上での算出対象サイズの代表値を記憶する代表値記憶部と、前記撮影画像内において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象における算出対象サイズの実空間上のサイズを算出する撮影対象実サイズ算出部と、を備えることを特徴とする撮影対象サイズ推定装置である。 In order to achieve the above-described object, the present invention provides a shooting target size detection unit that detects the number of pixels in the captured image representing a calculation target pixel that represents a desired calculation target size of the shooting target in the captured image; A representative value storage unit that stores a representative value of a calculation target size in the real space of the photographing target and a representative value of the number of pixels occupied by the calculation target pixel in the picked-up image in the real space of the photographing target The representative value of the size of one pixel in the captured image is calculated by dividing the representative value of the calculation target size of the captured image, and the calculated target pixel of the captured object is included in the captured image. A shooting target actual size calculation unit that calculates a size in a real space of the calculation target size of the shooting target that is captured in the shooting image by multiplying by the number of pixels occupied; It is a shooting target size estimation device that.
また本発明は、上述の撮影対象サイズ推定装置において、前記撮影対象の前記撮影画像内における出現範囲を特定する出現範囲特定部と、異なる複数の前記撮影画像の同一の前記出現範囲において、前記算出対象画素が占める画素数に基づいて、前記出現範囲において前記撮影対象の算出対象画素が占める画素数の代表値を算出する撮影対象サイズ代表値算出部と、を備え、前記撮影対象実サイズ算出部は、前記撮影画像内の前記出現範囲において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記出現範囲の1画素の実空間上における算出対象サイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象の実空間上のサイズを算出することを特徴とする。 According to the present invention, in the above-described photographing target size estimation device, the calculation is performed in an appearance range specifying unit that specifies an appearance range of the photographing target in the photographed image, and in the same appearance range of a plurality of different photographed images. A shooting target size representative value calculating unit that calculates a representative value of the number of pixels occupied by the calculation target pixel of the shooting target in the appearance range based on the number of pixels occupied by the target pixel; 1 pixel in the appearance range by dividing the representative value of the calculation target size in the real space of the shooting target by the representative value of the number of pixels occupied by the calculation target pixel in the appearance range in the captured image. Calculating the representative value of the calculation target size in the real space, and multiplying that value by the number of pixels occupied by the calculation target pixel of the shooting target in the captured image. Ri, and calculates the size of the real space of the imaging target that is reflected in the captured image.
また本発明は、上述の撮影対象サイズ推定装置において、前記撮影対象それぞれについて算出した算出対象サイズを記憶する撮影対象サイズ記憶部と、予め定められたサイズ未満またはサイズ以上の撮影対象の情報を出力する撮影対象情報出力部と、を備えることを特徴とする。 Further, the present invention provides the above-described shooting target size estimation device, and outputs a shooting target size storage unit that stores a calculation target size calculated for each of the shooting targets, and information of a shooting target that is smaller than or larger than a predetermined size. And a photographing object information output unit.
また本発明は、上述の撮影対象サイズ推定装置において、前記撮影対象について算出した算出対象サイズが、予め定められたサイズ未満またはサイズ以上である場合に警告情報を出力する警告情報出力部と、を備えることを特徴とする。 Further, the present invention provides a warning information output unit that outputs warning information when the calculation target size calculated for the shooting target is less than or equal to a predetermined size or more in the above shooting target size estimation device. It is characterized by providing.
また本発明は、上述の撮影対象サイズ推定装置において、前記撮影対象が人物であり、前記撮影画像の前記出現範囲内において前記撮影対象の算出対象画素が占める画素数が、前記撮影画像における縦方向の画素数であり、前記撮影対象の算出対象サイズが前記人物の身長である
ことを特徴とする。
According to the present invention, in the above-described shooting target size estimation device, the shooting target is a person, and the number of pixels occupied by the calculation target pixel of the shooting target in the appearance range of the shooting image is a vertical direction in the shooting image. The calculation target size of the shooting target is the height of the person.
また本発明は、撮影対象サイズ推定装置における撮影対象サイズ推定方法であって、撮影画像に写っている撮影対象の所望の算出対象サイズを表す算出対象画素の前記撮影画像内において占める画素数を検出し、前記撮影対象の実空間上での算出対象サイズの代表値を記憶し、前記撮影画像内において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象における算出対象サイズの実空間上のサイズを算出することを特徴とする撮影対象サイズ推定方法である。 The present invention is also a method for estimating the size of a shooting target in a shooting target size estimation device, and detects the number of pixels occupied in the captured image of a calculation target pixel representing a desired calculation target size of the shooting target shown in the captured image. And storing a representative value of the calculation target size in the real space of the photographing target, and calculating the representative value of the number of pixels occupied by the calculation target pixel in the picked-up image in the real space of the photographing target The representative value of the size of one pixel in the photographed image in the real space is calculated by dividing the representative value of the size, and the number of pixels occupied in the photographed image by the target pixel to be photographed is calculated as the value. The object size estimation method is characterized by calculating a real space size of the object size to be calculated in the object to be photographed in the photographed image by multiplying by
また本発明は、撮影対象サイズ推定装置のコンピュータを、撮影画像に写っている撮影対象の所望の算出対象サイズを表す算出対象画素の前記撮影画像内において占める画素数を検出する撮影対象サイズ検出手段、前記撮影画像内において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象における算出対象サイズの実空間上のサイズを算出する撮影対象実サイズ算出手段、として機能させるためのプログラムである。 Further, the present invention provides a photographing target size detecting means for detecting the number of pixels occupied in the photographed image of calculation target pixels representing a desired calculation target size of the photographing target shown in the photographed image. The representative value of the number of pixels occupied by the calculation target pixel in the photographed image is divided by the representative value of the calculation target size in the real space of the photographed object on the real space of one pixel in the photographed image. By calculating a representative value of the size in the image, and multiplying the value by the number of pixels occupied by the calculation target pixel of the shooting target in the shot image, the calculation target size in the shooting target shown in the shot image This is a program for functioning as a photographing target actual size calculating means for calculating the size in the real space.
本発明によれば、撮影対象を撮影するカメラに特殊な機能を設けたり、予め、三次元空間における各位置が、表示画面のどの位置に対応するかをあらかじめキャリブレーションによって決定するなどの処理をすることなく、撮影画像に写った人物のサイズ(身長)を推定することが可能となる。 According to the present invention, a special function is provided for a camera that shoots an object to be photographed, or processing such as determining in advance which position on the display screen each position in the three-dimensional space corresponds to is performed. Without this, it is possible to estimate the size (height) of the person shown in the photographed image.
以下、本発明の一実施形態による撮影対象サイズ推定装置を図面を参照して説明する。
図1は同実施形態による撮影対象サイズ推定装置の構成を示すブロック図である。
この図において、符号1は撮影対象サイズ推定装置である。
この撮影対象サイズ推定装置1は、図1に示すように、撮影画像取得部11、撮影対象サイズ検出部12、出現範囲特定部13、サイズ決定完了判定部14、代表値更新部15、撮影対象サイズ代表値算出部16、撮影対象実サイズ算出部17、撮影対象情報出力部18、警告情報出力部19の各処理部と、矩形ブロック情報記憶部21、代表値記憶部22、統計情報記憶部23、撮影対象サイズ記憶部24の各記憶部を備えている。
Hereinafter, an imaging object size estimation apparatus according to an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a photographing target size estimation apparatus according to the embodiment.
In this figure,
As shown in FIG. 1, the shooting target
そして、上述の処理部および記憶部を備えた撮影対象サイズ推定装置1は、撮影画像に写っている撮影対象の所望の算出対象サイズを表す算出対象画素の前記撮影画像内において占める画素数を検出する。また撮影対象サイズ推定装置1は、撮影対象の実空間上での算出対象サイズの代表値を記憶し、撮影画像内において算出対象画素が占める画素数の代表値により、撮影対象の実空間上での算出対象サイズの代表値を除して、撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、撮影対象の算出対象画素が撮影画像内において占める画素数を乗じることにより、撮影画像内に写っている撮影対象における算出対象サイズの実空間上のサイズを算出する処理を行う。
Then, the shooting target
このような処理により、撮影対象サイズ推定装置1は、撮影対象を撮影するカメラに特殊な機能を設けたり、予め、三次元空間における各位置が、表示画面のどの位置に対応するかをあらかじめキャリブレーションによって決定するなどの処理をすることなく、撮影画像に写っている撮影対象(人物など)のサイズ(身長などの算出対象サイズ)を推定することが可能となる撮影対象サイズ推定装置1を提供する。
By such processing, the imaging target
図2は撮影対象サイズ推定装置の処理フローを示す図である。
図3は撮影画像において設定された矩形ブロックを示す図である。
次に、図1〜3を用いて撮影対象サイズ推定装置の処理フローについて順を追って説明する。
まず、撮影対象サイズ推定装置1の撮影画像取得部11が、撮影画像を取得する(ステップS101)。当該撮影画像は、通信ネットワークや通信ケーブル等を介して接続されたカメラから直接、撮影画像を受信して取得してもよいし、記録媒体や自装置内の記憶部に記録された撮影画像を読み込むことにより撮影画像を取得するようにしてもよい。そして、撮影画像取得部11は、当該取得した撮影画像を撮影対象サイズ検出部12へ出力する。
FIG. 2 is a diagram illustrating a processing flow of the photographing target size estimation apparatus.
FIG. 3 is a diagram showing rectangular blocks set in the captured image.
Next, the processing flow of the imaging target size estimation apparatus will be described in order with reference to FIGS.
First, the captured
次に撮影対象サイズ検出部12は、入力した撮影画像内において所望の撮影対象を検出する(ステップS102)。本実施形態においては、撮影対象は撮影画像に写った人物であるものとする。撮影対象サイズ検出部12は、撮影画像中から人物を表示している領域の各画素を検出し、撮影画像中において当該人物を表す画素範囲の上下左右の最端画素を矩形の枠上に含むようにした矩形範囲を求める(ステップS103)。そして、撮影対象サイズ検出部12は、求めた矩形範囲の四隅の頂点画素の撮影画像中における座標を取得する。当該矩形範囲は、例えば人物がカメラに正対している場合には、頭頂の画素、足先端の画素、両肩の端の画素の各画素を上下左右の枠画素上に有する矩形範囲である。
Next, the shooting target
なお、撮影画像中における人物の検出は、例えば、カメラが定点カメラであれば、予め背景画像が特定されているので、背景画像と撮影画像の画素値(RGB値や輝度値など)の差分により、画素値の差分の大きい画素がまとまっている範囲の形状を特定し、当該形状が、人物を示す形状と類似するかどうかを判定し、類似する場合に、その画素の範囲を、人物を示す範囲と特定するなどの処理により行う。撮影画像中における人物の検出手法は、公知の技術であり、どのような手法を用いるようにしてもよい。 For example, if the camera is a fixed-point camera, the background image is specified in advance, and the person detection in the captured image is based on the difference between the pixel value (RGB value, luminance value, etc.) of the background image and the captured image. The shape of a range in which pixels having large pixel value differences are grouped is identified, and whether or not the shape is similar to the shape indicating a person is determined. This is done by processing such as specifying a range. A technique for detecting a person in a captured image is a known technique, and any technique may be used.
次に撮影対象サイズ検出部12は、撮影画像に写った人物を囲む矩形範囲の各頂点画素の座標に基づいて、当該矩形範囲のY軸方向の画素数Hbを算出する(ステップS104)。撮影画像中の画素の横方向をX軸(右向きを正)、縦方向をY軸(下向きを正)とし、矩形範囲の左上頂点、右上頂点、左下頂点、右下頂点の画素の座標それぞれが、(x1,y1)、(x2,y1)、(x1,y2)、(x2,y2)である場合、矩形範囲のY軸方向の画素数Hbは、y2−y1により算出できる。
Next, the shooting target
また、撮影対象サイズ検出部12は、撮影画像に写った人物を囲む矩形範囲の下端中央画素の座標を算出する(ステップS105)。当該下端中央画素の座標は{(x1+x2)÷2,y2}として算出できる。この下端中央画素が示す座標は、人物の足先端の位置であり、当該下端中央画素に対応する撮影画像中の位置に人物が立っていることが特定できる。ここで、本実施形態においては、撮影画像の全体は、予め縦横の複数の矩形ブロックにより分割されて管理されている。そして、撮影画像中の人物の足先端を示す下端中央画素の座標が、当該撮影画像中の各矩形ブロックのいずれに含まれるかに応じて、当該人物のサイズが算出される。従って、次に、出現範囲特定部13が、撮影画像中における人物の出現範囲として、撮影対象サイズ検出部12によって特定された人物を囲む矩形範囲の下端中央画素の座標を撮影対象サイズ検出部12より入力し、その下端中央画素の座標に対応して矩形ブロック情報記憶部21に記録されている矩形ブロックの識別番号を読取り、これにより、下端中央画素の座標を含む矩形ブロックの識別番号を特定する(ステップS106)。例えば、撮影画像は縦横それぞれ4分割、全体で16分割の矩形ブロックに分割されて管理されているものとする。
Further, the shooting target
図3が示すように、撮影画像は、縦横4分割、全体で16分割に分割されて管理されている。撮影画像の行方向に上から1,2,3,4の数字で識別し、撮影画像の列方向に左からA,B,C,Dのアルファベットで識別すると、図3の撮影画像中に写った人物H1〜H3のうちの人物H2の出現範囲は、その人物を囲む矩形範囲の下端中央画素が含まれる矩形ブロックの識別番号から『4行−B列』である。
As shown in FIG. 3, the captured image is managed by being divided into four parts in the vertical and horizontal directions and 16 parts in total. When the photographed image is identified by
そして、撮影画像中における人物の出現範囲として、矩形ブロックの識別番号が特定されると、次に、サイズ決定完了判定部14が、人物の出現範囲として特定された矩形ブロックの識別番号に対応付けられ代表値記憶部22に登録されているサイズ決定完了情報が、サイズ決定完了を示すかどうかを判定する(ステップS107)。当該サイズ決定完了情報は、矩形ブロック内の1画素の実空間におけるサイズ(cm/pix)が決定完了したか否かを示す情報である。そして、サイズ決定完了情報が未完了を示す場合には、サイズ決定完了判定部14は、代表値更新部15へサイズ決定未完了を示す情報を出力する。他方、サイズ決定完了情報が完了を示す場合には、サイズ決定完了判定部14は、撮影対象実サイズ算出部17へサイズ決定完了を示す情報を出力する。
When the identification number of the rectangular block is specified as the appearance range of the person in the captured image, the size determination
次に、ステップS107の処理においてサイズ決定未完了であると判定された場合、代表値更新部15が、撮影対象サイズ検出部12より、撮影画像中において人物を囲む矩形範囲の画素情報と、当該矩形範囲のY軸方向の画素数Hbと、出現範囲特定部13で特定された人物の出現範囲を示す矩形ブロックの識別番号とを入力する。
Next, when it is determined in step S107 that the size determination is not completed, the representative
図4は代表値記憶部に記録されるデータ例を示す図である。
ここで、代表値記憶部22には、図4で示すように、矩形ブロックの識別番号と、その矩形ブロックにおいて検出された人物を囲む矩形範囲のY軸方向の画素数(算出対象画素の画素数)の代表値Haと、その矩形ブロックにおいて人物が検出された件数(処理件数)Nと、当該矩形範囲内の1画素の実空間上におけるサイズの代表値(cm/pix)と、サイズ決定完了情報(サイズ決定完了またはサイズ決定未完了の何れかを示す情報)とが対応付けられて記録されている。
FIG. 4 is a diagram illustrating an example of data recorded in the representative value storage unit.
Here, in the representative
そして、代表値更新部15は、出現範囲特定部13から入力した矩形ブロックの識別番号に対応付けられて、代表値記憶部22に記録されている、処理件数Nと、矩形範囲のY軸方向の画素数の代表値Haとを読み取る。そして、代表値更新部15は、
{(代表値Ha×処理件数N)+矩形範囲のY軸方向の画素数Hb}÷(処理件数N+1)
により、矩形範囲のY軸方向の画素数の新たな代表値Haを算出し(ステップS108)、人物の出現範囲を示す矩形ブロックの識別番号に対応付けられて代表値記憶部22に記録されている代表値Haを新たな代表値Haに更新する(ステップS109)。この代表値Haは矩形ブロックの識別番号で特定される矩形範囲の示す撮影画像中の出現範囲において、人物の形状が占めるY軸方向(算出対象画素となる身長方向の画素)の画素数の代表値(平均値など)である。
Then, the representative
{(Representative value Ha × number of processes N) + number of pixels in the Y-axis direction of the rectangular range Hb} / (number of processes N + 1)
Thus, a new representative value Ha of the number of pixels in the Y-axis direction of the rectangular range is calculated (step S108), and is recorded in the representative
また、代表値更新部15は、矩形ブロックの識別番号に対応付けられて代表値記憶部22に記録されている処理件数を1加算して(ステップS110)、新たな処理件数がサイズ決定完了と判定するための閾値以上となったかを判定する(ステップS111)。そして、ステップS111において、新たな処理件数がサイズ決定完了と判定するための閾値(図4では1000件を閾値としている)以上でない場合には、撮影対象サイズ検出部12へ、撮影画像に写っている次の人物の処理を行うよう指示する。そして、撮影対象サイズ検出部12は、撮影画像に写っている全ての人物の処理を終了したかを判定する(ステップS112)。この判定において、撮影画像に写っている全ての人物の処理を終了していない場合には、次の人物に対するステップS102からの処理を開始する。また、次の撮影画像が取得できる場合、ステップS101からの処理が繰り返される。
Further, the representative
ステップS111において、新たな処理件数がサイズ決定完了と判定するための閾値以上である場合、代表値更新部15は統計情報記憶部23に予め記録されている、撮影画像中に現れると予測される人物のサイズ(身長)の代表値を読み取って、撮影対象サイズ代表値算出部16へ出力する。例えば、統計情報記憶部23に記録される人物のサイズ(身長)の代表値は、カメラを幼稚園に設置し、撮影対象を園児とする場合には、園児のサイズ(身長)の代表値とする。また統計情報記憶部23に記録される人物のサイズ(身長)の代表値は、例えば、カメラを大人や子供が通行する商店街の通りに設置し、撮影対象を通行人とする場合には、国民のサイズ(身長)を代表値とする。なお、上述したサイズ(身長)や画素数の代表値は、平均値や中央値など、撮影される人物(標本)の実サイズや画素数の特徴を、代表的に表す統計学上の値であればどのようなものであってもよい。
In step S111, when the number of new processing cases is equal to or larger than the threshold for determining that the size determination is completed, the representative
そして、撮影対象サイズ代表値算出部16は、代表値更新部15が統計情報記憶部23から読み取った、撮影画像中に現れると予測される人物のサイズ(身長)の代表値を、ステップS108で算出した矩形範囲のY軸方向の画素数の新たな代表値Haを用いて除算する。これにより、撮影対象サイズ代表値算出部16は、当該人物の出現範囲である矩形ブロックの1画素の実空間におけるサイズ(cm/pix)の代表値を算出する(ステップS113)。そして、撮影対象サイズ代表値算出部16は、算出した矩形ブロックの1画素の実空間におけるサイズの代表値を代表値更新部15へ出力し、また、代表値更新部15が、当該1画素の実空間におけるサイズ(cm/pix)と、サイズ決定完了を示すサイズ決定完了情報を、矩形ブロックの識別番号に対応付けて代表値記憶部22に登録する(ステップS114)。
なお、図4の例では、統計情報記憶部23から読み取った人物のサイズ(身長)の代表値が160(cm)のとき、矩形ブロックの識別番号が1−Aおよび1−Cのブロックにおいては、1画素の示す実サイズが160÷160=1(cm/pix)であることを示しており、矩形ブロックの識別番号が1−Dのブロックにおいては、1画素の示す実サイズが160÷150≒1.067(cm/pix)であることを示している。
Then, the photographing target size representative
In the example of FIG. 4, when the representative value of the person's size (height) read from the statistical
他方、上述のステップS107において、サイズ決定完了であると判定された場合、またはステップS114の後、撮影対象実サイズ算出部17が、撮影画像に写った人物の出現範囲である矩形ブロックの1画素の実空間におけるサイズを、当該矩形ブロックの識別番号を用いて代表値記憶部22から読み取る。また、撮影対象実サイズ算出部17は、ステップS104において算出した、その人物を囲む矩形範囲のY軸方向の画素数Hbをメモリ等から取得する。そして、撮影対象実サイズ算出部17は、撮影画像に写った人物の出現範囲である矩形ブロックの1画素の実空間におけるサイズの代表値と、その矩形ブロックが示す矩形範囲のY軸方向の画素数Hbを乗算して、撮影画像に写った人物のサイズ(身長)の推定値を算出する(ステップS115)。例えば、撮影画像に写った人物の出現範囲(撮影画像に写った人物を囲む矩形範囲の下端中央画素が含まれる範囲)が1−Aの矩形ブロックであり、その人物を示す矩形範囲のY軸方向の画素数が170である場合、図4から、矩形ブロックの1画素の実空間におけるサイズの代表値が“1”であるため、撮影画像に写った人物のサイズの推定値は170×1=170cmと算出できる。その後、撮影対象実サイズ算出部17は、撮影画像に写っている全ての人物についてサイズ(身長)の推定値を算出したかを判定し(ステップS116)、全ての人物についてサイズ(身長)の推定値を算出した場合には処理を終了し、全ての人物についてサイズ(身長)の推定値を算出していない場合には、次の人物に対するステップS102からの処理を開始する。
On the other hand, if it is determined in step S107 described above that the size determination is completed, or after step S114, the shooting target actual
次に、撮影対象実サイズ算出部17は、撮影対象サイズ記憶部24へ、算出した人物のサイズ(身長)の推定値と、撮影画像の通し番号と、撮影画像中に人物が特定された出現範囲を示す矩形ブロックの識別番号とを対応付けて記憶する。そして、撮影対象情報出力部18は、撮影対象サイズ記憶部24に記録された情報を、例えば、撮影対象サイズ推定装置1のモニタ等に表示する。
Next, the shooting target actual
以上、本発明の実施形態について説明したが、上述の処理によれば、撮影画像に出現するであろうと予測される人物の実空間におけるサイズの代表値を記憶しておき、当該実空間におけるサイズの代表値と、撮影画像中に出現する人物の撮影画像内での画素数で表されるサイズの代表値とがほぼ等しいとして、それらの関係から、撮影画像中における1画素の実空間におけるサイズを算出し、これにより、撮影画像に写った人物のサイズ(身長)を推定している。従って、撮影対象を撮影するカメラに特殊な機能を設けたり、予め、三次元空間における各位置が、表示画面のどの位置に対応するかをあらかじめキャリブレーションによって決定するなどの処理をすることなく、撮影画像に写った人物のサイズ(身長)を推定することが可能となる。 As described above, the embodiment of the present invention has been described. According to the above-described processing, a representative value of the size in the real space of a person predicted to appear in the captured image is stored, and the size in the real space is stored. And the representative value of the size represented by the number of pixels in the photographed image of the person appearing in the photographed image are substantially equal to each other, and from the relationship, the size of one pixel in the photographed image in the real space Thus, the size (height) of the person shown in the photographed image is estimated. Therefore, without providing a special function to the camera that shoots the object to be photographed, or in advance, processing such as determining in advance which position on the display screen each position in the three-dimensional space corresponds to, It is possible to estimate the size (height) of the person shown in the photographed image.
なお、上述の処理のほか、例えば撮影画像中に出現する撮影対象のサイズが、予め定められたサイズ未満またはサイズ以上である場合に警告情報を出力するようにしてもよい。この場合、警告情報出力部19が撮影対象サイズ記憶部24に記録された撮影対象のサイズを読取り、閾値以上であるか、または閾値未満であるかを判定する。そして、閾値以上で警告を出力するという処理の場合には、警告情報出力部19は、撮影対象のサイズが閾値以上であると判定した場合に警告情報を出力する。また、閾値未満で警告を出力するという処理の場合には、警告情報出力部19は、撮影対象のサイズが閾値未満であると判定した場合に警告情報を出力する。当該警告情報の出力は、モニタへの出力でもよいし、他の記憶部への記録、あるいは通信ネットワークを介した送信であってもよい。警告情報の出力は、例えば、幼稚園の門のような通常は身長の小さい園児のみが通過する場所に、大人が通行している場合に行うことができる。
In addition to the above-described processing, for example, warning information may be output when the size of a shooting target that appears in a shot image is less than or greater than a predetermined size. In this case, the warning
また、その他、撮影対象情報出力部18は、撮影対象サイズ記憶部24に記録された情報のうち、所望の身長以下の(例えば子供の)、情報を出力するようにしてもよい。
In addition, the photographing target
また、データ検索部を備え、ユーザの利用する端末からのアクセスおよび、検索キーを用いた検索要求を受信して、データ検索部が検索キー(撮影画像の番号やサイズの大きさなど)に基づいて、撮影対象サイズ記憶部24に記録されている情報(撮影対象のサイズや、撮影日時、撮影画像の識別番号、撮影対象の出現範囲など)を出力するようにしてもよい。 In addition, a data search unit is provided to receive access from a terminal used by the user and a search request using a search key, and the data search unit is based on the search key (number of captured image, size of size, etc.). Thus, information recorded in the shooting target size storage unit 24 (such as the size of the shooting target, the shooting date and time, the identification number of the shot image, the appearance range of the shooting target, etc.) may be output.
上述の実施形態においては、撮影画像の全体が、予め縦横の複数の矩形ブロックにより分割されて管理されているが、撮影画像の異なる位置に写っている各撮影対象の遠近差が小さい場合などには、撮影画像の全体を、縦横の複数の矩形ブロックにより分割して管理する必要はない。つまりこの場合、代表値記憶部22において、撮影対象の矩形範囲のY軸方向の画素数の代表値Haや、その矩形範囲の実空間上におけるサイズの代表値を、撮影画像中の矩形ブロック毎に記憶する必要ない。
そしてその場合、ステップS105,S106の処理は省略し、ステップS107,109,110においては矩形ブロックを考慮せずに上述と同様の処理を進め、ステップS113においては、撮影画像内の画素全体で均一となる、1画素の実空間におけるサイズの代表値を算出する。そして、撮影対象実サイズ算出部17は、撮影画像内の画素全体で均一となる、1画素の実空間におけるサイズの代表値と、撮影画像に写った人物の矩形範囲のY軸方向の画素数Hbを乗算して、撮影画像に写った人物のサイズ(身長)の推定値を算出することとなる。
In the above-described embodiment, the entire captured image is divided and managed in advance by a plurality of vertical and horizontal rectangular blocks. However, when the perspective difference of each imaging target shown in different positions of the captured image is small, etc. Therefore, it is not necessary to manage the entire captured image by dividing it into a plurality of vertical and horizontal rectangular blocks. That is, in this case, in the representative
In this case, the processes in steps S105 and S106 are omitted, and in steps S107, 109, and 110, the same process as described above is performed without considering the rectangular block. In step S113, the entire pixels in the captured image are uniform. The representative value of the size of one pixel in the real space is calculated. The photographing target actual
上述の処理においては、撮影画像中に写っている撮影対象が人物であり、人物の身長を推定する場合について説明したが、上述した処理と同様の処理により、撮影画像中に写っている他の物体のサイズ(横幅や高さ、奥行き、体積、面積など)を推定するようにしてもよい。体積や面積の場合には、物体が撮影画像中で表される画素数から、その体積や面積を換算して、上述と同様の処理を行うようにすればよい。また撮影対象が人物でなく、サイズが(横幅や高さ、奥行き、体積、面積など)である場合には、上述の処理における矩形範囲のY軸方向の画素数の代表値を、所望のサイズ(横幅や高さ、奥行き、体積、面積など)の代表値に代えて、また撮影対象の実サイズの代表値を当該撮影対象の実サイズ(横幅や高さ、奥行き、体積、面積など)の代表値に代えて処理を行う。 In the above-described processing, the case where the subject to be photographed in the photographed image is a person and the height of the person is estimated has been described, but other processes appearing in the photographed image are performed by the same processing as the processing described above. The size (width, height, depth, volume, area, etc.) of the object may be estimated. In the case of volume or area, the volume and area may be converted from the number of pixels represented by the object in the captured image, and processing similar to that described above may be performed. When the subject is not a person and the size is (width, height, depth, volume, area, etc.), the representative value of the number of pixels in the Y-axis direction of the rectangular range in the above processing is set to a desired size. Instead of the representative value (width, height, depth, volume, area, etc.), the representative value of the actual size of the subject is the actual size of the subject (width, height, depth, volume, area, etc.). Processing is performed instead of the representative value.
上述の撮影対象サイズ推定装置は内部に、コンピュータシステムを有している。そして、上述した各処理の過程は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。 The above-described photographing target size estimation apparatus has a computer system therein. Each process described above is stored in a computer-readable recording medium in the form of a program, and the above process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a magnetic disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a semiconductor memory, or the like. Alternatively, the computer program may be distributed to the computer via a communication line, and the computer that has received the distribution may execute the program.
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。 The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
1・・・撮影対象サイズ推定装置
11・・・撮影画像取得部
12・・・撮影対象サイズ検出部
13・・・出現範囲特定部
14・・・サイズ決定完了判定部
15・・・代表値更新部
16・・・撮影対象サイズ代表値算出部
17・・・撮影対象実サイズ算出部
18・・・撮影対象情報出力部
19・・・警告情報出力部
21・・・矩形ブロック情報記憶部
22・・・代表値記憶部
23・・・統計情報記憶部
24・・・撮影対象サイズ記憶部
DESCRIPTION OF
Claims (7)
前記撮影対象の実空間上での算出対象サイズの代表値を記憶する代表値記憶部と、
前記撮影画像内において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象における算出対象サイズの実空間上のサイズを算出する撮影対象実サイズ算出部と、
を備えることを特徴とする撮影対象サイズ推定装置。 A shooting target size detection unit that detects the number of pixels in the captured image of a calculation target pixel that represents a desired calculation target size of the shooting target in the captured image;
A representative value storage unit for storing a representative value of a calculation target size in the real space of the photographing target;
The representative value of the calculation target size in the real space of the photographing target is divided by the representative value of the number of pixels occupied by the calculation target pixel in the photographed image, and one pixel in the real image in the real image is taken. By calculating a representative value of the size and multiplying the value by the number of pixels occupied by the calculation target pixel of the shooting target in the shot image, the calculation target size of the shooting target in the shot image is calculated. A shooting target actual size calculator that calculates the size in real space;
An imaging object size estimation apparatus comprising:
異なる複数の前記撮影画像の同一の前記出現範囲において、前記算出対象画素が占める画素数に基づいて、前記出現範囲において前記撮影対象の算出対象画素が占める画素数の代表値を算出する撮影対象サイズ代表値算出部と、を備え、
前記撮影対象実サイズ算出部は、
前記撮影画像内の前記出現範囲において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記出現範囲の1画素の実空間上における算出対象サイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象の実空間上のサイズを算出する
ことを特徴とする請求項1に記載の撮影対象サイズ推定装置。 An appearance range specifying unit for specifying an appearance range in the photographed image of the photographing target;
A shooting target size for calculating a representative value of the number of pixels occupied by the calculation target pixel in the appearance range based on the number of pixels occupied by the calculation target pixel in the same appearance range of a plurality of different captured images. A representative value calculation unit,
The photographing target actual size calculation unit
The representative value of the number of pixels occupied by the calculation target pixel in the appearance range in the photographed image is divided by the representative value of the calculation target size in the real space of the photographing target to obtain the actual value of one pixel in the appearance range. A representative value of a calculation target size in space is calculated, and by multiplying the value by the number of pixels occupied by the calculation target pixel of the shooting target in the shot image, the shooting target shown in the shot image The apparatus of claim 1, wherein the size in real space is calculated.
予め定められたサイズ未満またはサイズ以上の撮影対象の情報を出力する撮影対象情報出力部と、
を備えることを特徴とする請求項1または請求項2に記載の撮影対象サイズ推定装置。 A shooting target size storage unit for storing a calculation target size calculated for each of the shooting targets;
A shooting target information output unit that outputs information of a shooting target that is smaller than or equal to a predetermined size;
The photographing object size estimation apparatus according to claim 1, comprising:
を備えることを特徴とする請求項1から請求項3の何れか一項に記載の撮影対象サイズ推定装置。 A warning information output unit that outputs warning information when the calculation target size calculated for the shooting target is less than or equal to a predetermined size; and
The photographic subject size estimation apparatus according to any one of claims 1 to 3, further comprising:
前記撮影画像の前記出現範囲内において前記撮影対象の算出対象画素が占める画素数が、前記撮影画像における縦方向の画素数であり、
前記撮影対象の算出対象サイズが前記人物の身長である
ことを特徴とする請求項1から請求項4の何れか一項に記載の撮影対象サイズ推定装置。 The subject is a person,
The number of pixels occupied by the calculation target pixel of the shooting target within the appearance range of the shot image is the number of pixels in the vertical direction of the shot image,
The photographing target size estimation apparatus according to claim 1, wherein the calculation target size of the photographing target is a height of the person.
撮影画像に写っている撮影対象の所望の算出対象サイズを表す算出対象画素の前記撮影画像内において占める画素数を検出し、
前記撮影対象の実空間上での算出対象サイズの代表値を記憶し、
前記撮影画像内において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象における算出対象サイズの実空間上のサイズを算出する
ことを特徴とする撮影対象サイズ推定方法。 A method for estimating a shooting target size in a shooting target size estimation device,
Detecting the number of pixels in the captured image of the calculation target pixel representing the desired calculation target size of the shooting target in the captured image;
Storing a representative value of a calculation target size in the real space of the shooting target;
The representative value of the calculation target size in the real space of the photographing target is divided by the representative value of the number of pixels occupied by the calculation target pixel in the photographed image, and one pixel in the real image in the real image is taken. By calculating a representative value of the size and multiplying the value by the number of pixels occupied by the calculation target pixel of the shooting target in the shot image, the calculation target size of the shooting target in the shot image is calculated. A method for estimating the size of an object to be photographed, characterized by calculating a size in real space.
撮影画像に写っている撮影対象の所望の算出対象サイズを表す算出対象画素の前記撮影画像内において占める画素数を検出する撮影対象サイズ検出手段、
前記撮影画像内において前記算出対象画素が占める画素数の代表値により、前記撮影対象の実空間上での算出対象サイズの代表値を除して、前記撮影画像内の1画素の実空間上におけるサイズの代表値を算出し、その値に、前記撮影対象の前記算出対象画素が前記撮影画像内において占める画素数を乗じることにより、前記撮影画像内に写っている前記撮影対象における算出対象サイズの実空間上のサイズを算出する撮影対象実サイズ算出手段、
として機能させるためのプログラム。 The computer of the subject size estimation device
Shooting target size detection means for detecting the number of pixels in the captured image of the calculation target pixels representing the desired calculation target size of the shooting target in the captured image;
The representative value of the calculation target size in the real space of the photographing target is divided by the representative value of the number of pixels occupied by the calculation target pixel in the photographed image, and one pixel in the real image in the real image is taken. By calculating a representative value of the size and multiplying the value by the number of pixels occupied by the calculation target pixel of the shooting target in the shot image, the calculation target size of the shooting target in the shot image is calculated. Photographing object actual size calculating means for calculating the size in the real space,
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010198959A JP2012057974A (en) | 2010-09-06 | 2010-09-06 | Photographing object size estimation device, photographic object size estimation method and program therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010198959A JP2012057974A (en) | 2010-09-06 | 2010-09-06 | Photographing object size estimation device, photographic object size estimation method and program therefor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012057974A true JP2012057974A (en) | 2012-03-22 |
Family
ID=46055270
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010198959A Pending JP2012057974A (en) | 2010-09-06 | 2010-09-06 | Photographing object size estimation device, photographic object size estimation method and program therefor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012057974A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101697991B1 (en) * | 2016-06-23 | 2017-02-01 | 주식회사 한농쿱 | System for providing age information of wood cultivated ginseng |
KR101710512B1 (en) * | 2016-06-23 | 2017-03-13 | 주식회사 한농쿱 | System for providing age information of wood cultivated ginseng |
JP6099833B1 (en) * | 2015-09-15 | 2017-03-22 | 三菱電機株式会社 | Image processing apparatus, image processing system, and image processing method |
WO2017222234A1 (en) * | 2016-06-23 | 2017-12-28 | 주식회사 한농쿱 | System for providing age information of mountain-cultivated ginseng |
WO2018061927A1 (en) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Information processing device, information processing method, and program storage medium |
WO2018061925A1 (en) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Information processing device, length measurement system, length measurement method, and program storage medium |
US10194435B2 (en) | 2013-04-02 | 2019-01-29 | Lg Electronics Inc. | Method and apparatus for transmitting discovery signal for device-to-device direct communication in wireless communication system |
JP2019194616A (en) * | 2018-07-03 | 2019-11-07 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | Position detection method, device and equipment based upon image, and storage medium |
-
2010
- 2010-09-06 JP JP2010198959A patent/JP2012057974A/en active Pending
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10194435B2 (en) | 2013-04-02 | 2019-01-29 | Lg Electronics Inc. | Method and apparatus for transmitting discovery signal for device-to-device direct communication in wireless communication system |
GB2556701A (en) * | 2015-09-15 | 2018-06-06 | Mitsubishi Electric Corp | Image processing device, image processing system and image processing method |
GB2556701B (en) * | 2015-09-15 | 2021-12-22 | Mitsubishi Electric Corp | Image processing apparatus, image processing system, and image processing method |
JP6099833B1 (en) * | 2015-09-15 | 2017-03-22 | 三菱電機株式会社 | Image processing apparatus, image processing system, and image processing method |
WO2017046872A1 (en) * | 2015-09-15 | 2017-03-23 | 三菱電機株式会社 | Image processing device, image processing system, and image processing method |
CN109313785A (en) * | 2016-06-23 | 2019-02-05 | 翰能库普株式会社 | Support ginseng ginseng age information providing system in mountain |
WO2017222234A1 (en) * | 2016-06-23 | 2017-12-28 | 주식회사 한농쿱 | System for providing age information of mountain-cultivated ginseng |
KR101697991B1 (en) * | 2016-06-23 | 2017-02-01 | 주식회사 한농쿱 | System for providing age information of wood cultivated ginseng |
US10997718B2 (en) | 2016-06-23 | 2021-05-04 | Hannongcoop Co., Ltd. | System for providing age information of ginseng cultivated in the woods |
KR101710512B1 (en) * | 2016-06-23 | 2017-03-13 | 주식회사 한농쿱 | System for providing age information of wood cultivated ginseng |
WO2018061925A1 (en) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Information processing device, length measurement system, length measurement method, and program storage medium |
WO2018061927A1 (en) * | 2016-09-30 | 2018-04-05 | 日本電気株式会社 | Information processing device, information processing method, and program storage medium |
JPWO2018061927A1 (en) * | 2016-09-30 | 2019-06-24 | 日本電気株式会社 | INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM STORAGE MEDIUM |
JP2019194616A (en) * | 2018-07-03 | 2019-11-07 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | Position detection method, device and equipment based upon image, and storage medium |
US11074709B2 (en) | 2018-07-03 | 2021-07-27 | Baidu Online Network Technology (Beijing) Co., Ltd. | Image-based position detection method, image based position detection apparatus, device and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012057974A (en) | Photographing object size estimation device, photographic object size estimation method and program therefor | |
JP6115335B2 (en) | Information processing apparatus, information processing method, and program | |
US10810438B2 (en) | Setting apparatus, output method, and non-transitory computer-readable storage medium | |
US8988317B1 (en) | Depth determination for light field images | |
TWI718150B (en) | Method and system for determining spatial characteristics of a camera | |
TWI425828B (en) | Image capturing apparatus, method for determing image area ,and computer-readable recording medium | |
JP4929828B2 (en) | Three-dimensional authentication method, three-dimensional authentication device, and three-dimensional authentication program | |
US9418436B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP5035467B2 (en) | Three-dimensional authentication method, three-dimensional authentication device, and three-dimensional authentication program | |
JP2014106732A (en) | Information processor and information processing method | |
JP6432592B2 (en) | Information processing apparatus, information processing method, and program | |
JP2013058828A (en) | Smile determination device and method | |
JP6638723B2 (en) | Image analysis device, image analysis method, and image analysis program | |
JP5901447B2 (en) | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program | |
JP2007233523A (en) | Person location estimation method using asynchronous camera image and system therefor | |
JP4914870B2 (en) | Congestion degree measuring device, congestion degree measuring method, congestion degree measuring program, and recording medium recording the program | |
CN103039068A (en) | Image processing device and image processing program | |
JP6991045B2 (en) | Image processing device, control method of image processing device | |
KR101051390B1 (en) | Apparatus and method for estimating object information of surveillance camera | |
JP2021027584A (en) | Image processing device, image processing method, and program | |
JP2018124629A (en) | Image processing device, information processing method and program | |
WO2021157069A1 (en) | Information processing device, information processing method, and information processing program | |
JP6942567B2 (en) | Information processing equipment, information processing methods and computer programs | |
JP2010136113A (en) | Device, method and program for adjusting imaging parameter, and recording medium | |
JP6780639B2 (en) | Image analysis device, image analysis method, and image analysis program |