[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2001126070A - Noticing area extracting device and automatic composition deciding device - Google Patents

Noticing area extracting device and automatic composition deciding device

Info

Publication number
JP2001126070A
JP2001126070A JP30688499A JP30688499A JP2001126070A JP 2001126070 A JP2001126070 A JP 2001126070A JP 30688499 A JP30688499 A JP 30688499A JP 30688499 A JP30688499 A JP 30688499A JP 2001126070 A JP2001126070 A JP 2001126070A
Authority
JP
Japan
Prior art keywords
image
attention area
area
original image
composition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP30688499A
Other languages
Japanese (ja)
Other versions
JP3482923B2 (en
Inventor
Shoji Tanaka
昭二 田中
Yuichi Iwadate
祐一 岩舘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Media Integration and Communication Research Laboratories
Original Assignee
ATR Media Integration and Communication Research Laboratories
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Media Integration and Communication Research Laboratories filed Critical ATR Media Integration and Communication Research Laboratories
Priority to JP30688499A priority Critical patent/JP3482923B2/en
Publication of JP2001126070A publication Critical patent/JP2001126070A/en
Application granted granted Critical
Publication of JP3482923B2 publication Critical patent/JP3482923B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Studio Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

PROBLEM TO BE SOLVED: To extract a noticing area adjusted to human subjectively and to automatically device well-balanced composition. SOLUTION: A noticing area extracting device and an automatic composition deciding device 10 include an image forming device 14, which generates the original image of a panoramic image from video photographed by a camera 12. A noticing area extracting device 20 extracts a noticing area from the original image given from the device 14. Namely, evaluation matched with human subjectivity is given in accordance with the physical feature of the original image and the noticing area is extracted in accordance with the evaluated result. A composition cutting off device 22 cuts out the extracted noticing area and an adjacent image area from the original image by referring to data on paintings painted by painters and photographs taken by photographers stored in a memory 24. Namely, the data can be cut out by the same composition as the case with painted images or photographed images.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は注目領域抽出装置およ
びそれを用いた自動構図決定装置に関し、特に例えば原
画像から注目領域を抽出し、抽出した注目領域を画家や
写真家などの専門家が制作した絵の構図に適合して収ま
るように原画像から切り取る、注目領域抽出装置および
それを用いた自動構図決定装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an attention area extracting apparatus and an automatic composition determining apparatus using the same, and more particularly, for example, extracting an attention area from an original image, and extracting the extracted attention area by an expert such as a painter or a photographer. 1. Field of the Invention The present invention relates to an attention area extracting apparatus that cuts an original image so as to fit in a composition of a produced picture and an automatic composition determination apparatus using the same.

【0002】ここで、注目領域とは、画像や映像におい
て人が注目する領域をいう。
[0002] Here, the region of interest refers to a region of interest in a picture or video.

【0003】[0003]

【従来の技術】この種の従来技術として、画像から観測
者が注目領域を抽出する手法に関しては、種々の方法が
提案されている。(1)Milanese,Itti およびKochら
は、画像中の不連続部分を注目領域と仮定し、画像から
得られる複数の物理的特徴に対応する特徴マップ(濃淡
画像)を生成し、次に、各特徴マップの不連続部分を求
め、それらを統合したものを注目領域として抽出してい
る。
2. Description of the Related Art As a conventional technique of this kind, various methods have been proposed for a method of extracting an attention area from an image by an observer. (1) Milanese, Itti and Koch et al. Assume a discontinuous portion in an image as a region of interest, generate a feature map (shade image) corresponding to a plurality of physical features obtained from the image, and then generate Discontinuous portions of the feature map are obtained, and a combination thereof is extracted as a region of interest.

【0004】(2)Milaneseらは、各特徴マップの不連
続部分を大きさが固定された複数のDifference-of-ofie
nted-Gaussiansフィルタを用いて特徴マップをフィルタ
リングし、出力が最大となるフィルタリング結果を選択
して求めた。Itti,Kochらは各特徴マップを各々の平均
値との二乗誤差で正規化し、全ての特徴マップを線形結
合により統合した。そして、Difference of Gaussianフ
ィルタにより統合特徴マップを再帰的にフィルタリング
し、最終的に得られるフィルタリング結果の局所的なピ
ークを注目領域として抽出していた。
(2) Milanese et al. Disclose a plurality of difference-of-ofie fixed-size discontinuities in each feature map.
The feature map was filtered using the nted-Gaussians filter, and the filtering result with the maximum output was selected and obtained. Itti, Koch et al. Normalized each feature map by the square error from each mean, and integrated all feature maps by linear combination. Then, the integrated feature map is recursively filtered by the Difference of Gaussian filter, and a local peak of a finally obtained filtering result is extracted as a region of interest.

【0005】このように、MilaneseやIttiらは、フィル
タリングや弛緩法などの画素レベルの処理により注目領
域を抽出していた。
As described above, Milanese and Itti et al. Extracted a region of interest by pixel-level processing such as filtering and relaxation.

【0006】(3)Martinや竹内らは、画像から得られ
る輝度情報をシャノンの情報理論に基づいて評価し、そ
の結果得られる情報量の高い部分を注目領域としてい
た。この方式では輝度値の分散が大きい領域つまり複雑
に見える領域や明るい領域が主に抽出される。
(3) Martin and Takeuchi et al. Evaluated luminance information obtained from an image based on Shannon's information theory, and determined a portion having a large amount of information obtained as a result as a region of interest. In this method, a region where the variance of the luminance value is large, that is, a region that looks complicated or a bright region is mainly extracted.

【0007】また、従来のカメラでは、人間が被写体お
よび被写体の構図を手動で決定していた。
In the conventional camera, a human has manually determined the subject and the composition of the subject.

【0008】[0008]

【発明が解決しようとする課題】しかし、(1)や
(2)の手法では、画像によって注目領域の大きさが異
なるため、大きさが固定されたフィルタを用いて注目領
域を的確に抽出するのが困難であった。また、(3)の
手法では、たとえば複雑な模様の壁の前に置かれた黒色
の花瓶の絵のように、複雑に見える領域、あるいは明る
い領域が必ずしも注目領域と一致するとは言えない絵の
場合には、注目領域を的確に抽出するのが困難であっ
た。さらに、このような提案では、観測者(人間)の主
観と抽出結果との照合を行った例が少なく、実際に人間
の主観に適合する注目領域を抽出できるかどうかが疑問
であった。
However, in the methods (1) and (2), since the size of the attention area differs depending on the image, the attention area is accurately extracted using a fixed-size filter. It was difficult. Further, in the method (3), for example, as in the case of a picture of a black vase placed in front of a wall with a complicated pattern, a region that looks complicated or a bright region does not necessarily match the region of interest. In such a case, it was difficult to accurately extract the attention area. Furthermore, in such proposals, there are few examples in which the subjectivity of the observer (human) is compared with the extraction result, and it has been questioned whether a region of interest that fits the human subjectivity can be actually extracted.

【0009】また、従来のカメラでは写真に対するセン
スのない一般の人が構図を決定した場合、必ずしもバラ
ンスの良い写真を撮影できるとは限らない。
[0009] Further, when a general person who does not have a sense for a photograph determines a composition with a conventional camera, it is not always possible to take a well-balanced photograph.

【0010】それゆえに、この発明の主たる目的は、人
間の主観に適合した注目領域を的確に抽出することがで
きる、注目領域抽出装置を提供することである。
[0010] Therefore, a main object of the present invention is to provide a region-of-interest extraction apparatus capable of accurately extracting a region-of-interest adapted to human subjectivity.

【0011】また、この発明の他の目的は、バランスの
良い構図を自動で決定することができる、自動構図決定
装置を提供することである。
It is another object of the present invention to provide an automatic composition determining apparatus capable of automatically determining a well-balanced composition.

【0012】[0012]

【課題を解決するための手段】第1の発明は、原画像か
ら注目領域を抜き出す注目領域抽出装置であって、物理
的特徴に基づいて誘目度(目立ち度)を評価する評価手
段、および評価手段の評価結果に応じて注目領域を抽出
する抽出手段を備える、注目領域抽出装置である。
A first aspect of the present invention is an attention area extracting apparatus for extracting an attention area from an original image, comprising: an evaluation means for evaluating an attraction degree (conspicuous degree) based on physical characteristics; An attention area extraction device includes an extraction means for extracting an attention area according to an evaluation result of the means.

【0013】第2の発明は、第1の発明に記載の注目領
域抽出装置を用いた自動構図決定装置であって、基準構
図を有する基準画像に関するデータを保持する保持手
段、および基準構図を参照して注目領域の画像を原画像
から切り取る切取手段を備える、自動構図決定装置であ
る。
According to a second aspect of the present invention, there is provided an automatic composition determining apparatus using the attention area extracting apparatus according to the first aspect of the present invention, wherein the storage means retains data relating to a reference image having a reference composition, and a reference composition. The automatic composition determination apparatus further includes a cutout unit that cuts out an image of a region of interest from an original image.

【0014】[0014]

【作用】第1の発明の注目領域抽出装置では、評価手段
が原画像の物理的特徴に従って誘目度を評価する。ここ
で、誘目度とは、人間の主観に合ったパラメータをい
う。抽出手段は、評価結果から一番目立つ領域を注目領
域として抽出する。つまり、評価手段は物理的特徴に従
って人間の主観に合った評価をするので、人間の主観に
適合した注目領域を抽出することができる。
In the attention area extracting apparatus according to the first invention, the evaluation means evaluates the degree of attraction according to the physical characteristics of the original image. Here, the degree of attraction means a parameter suitable for human subjectivity. The extracting unit extracts a region that stands out from the evaluation result as a region of interest. In other words, since the evaluation means performs evaluation according to the human subjectivity according to the physical characteristics, it is possible to extract the attention area suitable for the human subjectivity.

【0015】たとえば、物理的特徴が色の異質度を含む
場合、各領域の色の違いに基づいて誘目度を評価するこ
とができる。
For example, when the physical characteristics include the degree of heterogeneity of colors, the degree of attraction can be evaluated based on the difference in color of each region.

【0016】また、物理的特徴が、色の異質度に加え
て、形の異質度、面積の異質度およびテクスチャ(模
様)の異質度をさらに含むので、この4つの異質度の少
なくとも1つの異質度に基づいて誘目度を評価すれば、
原画像の特徴に応じて的確に誘目度を評価することがで
きる。
The physical characteristics further include, in addition to color heterogeneity, shape heterogeneity, area heterogeneity, and texture (pattern) heterogeneity, so that at least one of the four heterogeneities is different. If you evaluate the degree of interest based on the degree,
The degree of attraction can be accurately evaluated according to the characteristics of the original image.

【0017】また、色の3要素(色相、彩度、明度)に
ついても評価する場合であれば、人間の主観による目立
つ色(赤色)に近い領域を最も目立つ領域と評価するこ
とができる。
If three color components (hue, saturation, and lightness) are also evaluated, a region close to a human-subjective color (red) can be evaluated as the most prominent region.

【0018】さらに、空間周波数や原画像における各領
域の面積についても評価すれば、最も目立つ領域の評価
をさらに的確に判断することができる。
Further, if the spatial frequency and the area of each region in the original image are also evaluated, the evaluation of the most prominent region can be determined more accurately.

【0019】また、撮影手段で所望の映像を撮影し、た
とえば撮影した映像に対応する画像を合成し、原画像を
生成することもできる。
Further, an original image can be generated by photographing a desired image by the photographing means and combining an image corresponding to the photographed image, for example.

【0020】たとえば、撮影手段に含まれるカメラの位
置および高さを固定し、360°回転して撮影できるよ
うにしておけば、接合手段が1フレーム毎の画像を接合
することにより、360°の範囲内でパノラマ画像の原
画像を生成することができる。
For example, if the position and height of the camera included in the photographing means are fixed so that the image can be photographed by rotating by 360 °, the joining means joins the images for each frame, and An original panoramic image can be generated within the range.

【0021】第2の発明の自動構図決定装置では、保持
手段が、たとえば画家が描いた絵画や写真家が撮影した
写真に対応する絵画画像および写真画像を基準画像と
し、この基準画像に関するデータを保持する。切取手段
は、この基準画像に関するデータを参照して注目領域の
画像を原画像から切り取るので、バランスの良い構図を
自動で決定することができる。
In the automatic composition determining apparatus according to the second invention, the holding means uses, for example, a painting image and a photographic image corresponding to a painting drawn by a painter or a photograph taken by a photographer as a reference image, and stores data relating to the reference image. Hold. The cutout unit cuts out the image of the attention area from the original image with reference to the data on the reference image, so that a well-balanced composition can be automatically determined.

【0022】また、複数の基準画像に関するデータを保
持しておけば、選択手段が注目領域の画像に適した構図
を選択できるので、あらゆる画像についてバランスの良
い構図を決定することができる。
Further, if data relating to a plurality of reference images is held, the selecting means can select a composition suitable for the image of the region of interest, so that a well-balanced composition can be determined for every image.

【0023】上述のような基準画像に関するデータは、
少なくとも基準画像に対応する画像データ、被写体の形
状データおよび被写体の位置データを含むので、注目領
域に適した構図を選択し、バランスの良い構図を自動で
決定できる。つまり、あたかも被写体をその構図で撮影
したかのような写真を生成することができる。
The data relating to the reference image as described above is
Since at least the image data corresponding to the reference image, the shape data of the subject, and the position data of the subject are included, a composition suitable for the attention area can be selected, and a composition with good balance can be automatically determined. That is, it is possible to generate a photograph as if the subject was photographed in the composition.

【0024】[0024]

【発明の効果】この発明によれば、人間の主観に合った
物理的特徴の評価結果に従って注目領域を抽出するの
で、人間の主観に適合した注目領域を抽出することがで
きる。
According to the present invention, a region of interest is extracted according to the evaluation result of a physical feature that matches the subjectivity of a human, so that a region of interest suitable for the subjectivity of a human can be extracted.

【0025】他の発明によれば、基準画像の基準構図を
用いて注目領域を原画像から切り取るので、バランスの
良い構図を自動で決定することができる。
According to another aspect of the present invention, the region of interest is cut out from the original image using the reference composition of the reference image, so that a well-balanced composition can be automatically determined.

【0026】この発明の上述の目的,その他の目的,特
徴および利点は、図面を参照して行う以下の実施例の詳
細な説明から一層明らかとなろう。
The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the embodiments with reference to the drawings.

【0027】[0027]

【実施例】図1を参照して、この実施例の自動構図決定
装置10は、ビデオカメラ(以下、単に「カメラ」とい
う。)12を含む。カメラ12は、たとえば三脚などを
用いて撮影位置(位置および高さ)が固定され、360
°回転して撮影できる。カメラ12で撮影した映像が画
像生成装置14に入力され、撮影した映像から原画像と
してのパノラマ画像が生成される。なお、カメラ12は
360°回転できるので、画像生成装置14は360°
の範囲内でパノラマ画像を生成できる。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Referring to FIG. 1, an automatic composition determination apparatus 10 of this embodiment includes a video camera (hereinafter, simply referred to as "camera") 12. The camera 12 has a fixed shooting position (position and height) using, for example, a tripod, and has a 360-degree position.
° Rotate to shoot. A video captured by the camera 12 is input to the image generation device 14, and a panoramic image as an original image is generated from the captured video. Since the camera 12 can be rotated by 360 °, the image generating device 14 can be rotated by 360 °.
A panoramic image can be generated within the range.

【0028】画像生成装置14は、ビデオキャプチャ1
6および画像接合装置18を含み、図2に示すフロー図
に従ってパノラマ画像を生成する。つまり、カメラ12
で撮影が開始されると、画像生成装置14は処理を開始
し、ステップS1で、ビデオキャプチャ16を用いて最
初のビデオフレーム(1フレーム目)をキャプチャし、
その1フレーム目に対応する画像から合成画像を生成し
た後、画像接合装置18を用いてその合成画像からグレ
ースケール画像を生成する。
The image generation device 14 is used for the video capture 1
6 and an image joining device 18 to generate a panoramic image according to the flowchart shown in FIG. That is, the camera 12
, The image generation device 14 starts processing, and in step S1, captures the first video frame (first frame) using the video capture 16,
After generating a composite image from the image corresponding to the first frame, the image joining device 18 is used to generate a grayscale image from the composite image.

【0029】続くステップS3では、次のフレームをキ
ャプチャし、1フレーム目と同様にグレースケール画像
を生成する。ステップS5では、現フレーム(対象フレ
ーム)に対応する合成画像をどの位置から合成すればよ
いかを決定するため、図3に示すような対象フレームの
グレースケール画像から探索テンプレートを切り出す。
この探索テンプレートの幅は50画素であり、その高さ
はフレーム画像と同じである。また、この探索プレート
は、対象フレームの原点から切り出される。
In the following step S3, the next frame is captured, and a gray scale image is generated as in the first frame. In step S5, a search template is cut out from the grayscale image of the target frame as shown in FIG. 3 in order to determine from which position the synthetic image corresponding to the current frame (target frame) should be synthesized.
The width of this search template is 50 pixels, and its height is the same as the frame image. The search plate is cut out from the origin of the target frame.

【0030】続いてステップS7では、合成画像のグレ
ースケール画像から探索範囲を設定し、探索範囲から探
索テンプレートと同じ大きさの画像を切り出す。つま
り、探索範囲の幅は100画素であり、その高さはフレ
ーム画像と同じである。また、フレーム画像の左上を原
点((x,y)=(1,1))としたとき、探索プレー
トのx座標はフレーム画像の幅から100だけ引いた位
置であり、そのy座標は1である。
Subsequently, in step S7, a search range is set from the grayscale image of the composite image, and an image having the same size as the search template is cut out from the search range. That is, the width of the search range is 100 pixels, and the height is the same as the frame image. When the upper left of the frame image is the origin ((x, y) = (1, 1)), the x coordinate of the search plate is a position obtained by subtracting 100 from the width of the frame image, and the y coordinate thereof is 1. is there.

【0031】次に、ステップS9では、探索範囲から探
索テンプレートと同じ大きさの画像を切り出し、切り出
した画像および探索プレートに対応する互いの画素値の
差の絶対値を算出する。続くステップS11では、画素
値の差が最小(0)であるかどうかを判断する。ステッ
プS11で“YES”であれば、切り出した画像が探索
プレートと同じ大きさであると判断し、ステップS13
に進む。一方、ステップS11で“NO”であれば、切
り出した画像と探索プレートとの大きさが異なると判断
し、ステップS15で探索範囲をx軸の正の方向に1画
素ずらしてから、ステップS5に戻る。このように、1
画素ずつずらしながら、切り出した画像と探索テンプレ
ートとが同じ大きさになるまで、処理が繰り返される。
Next, in step S9, an image having the same size as the search template is cut out from the search range, and the absolute value of the difference between the cut-out image and the pixel value corresponding to the search plate is calculated. In a succeeding step S11, it is determined whether or not the difference between the pixel values is the minimum (0). If "YES" in the step S11, it is determined that the clipped image is the same size as the search plate, and a step S13 is performed.
Proceed to. On the other hand, if “NO” in the step S11, it is determined that the size of the clipped image and the search plate are different, and the search range is shifted by one pixel in the positive direction of the x-axis in a step S15. Return. Thus, 1
The processing is repeated while shifting the pixel by pixel until the clipped image and the search template have the same size.

【0032】ステップS13では、差の絶対値が最小
(0)である時のX座標を算出する。続くステップS1
7では、算出したX座標で合成画像と対象フレーム画像
とを重ね合わせ、新たな合成画像を生成する。そして、
ステップS19では生成した合成画像からグレースケー
ル画像を生成し、ステップS21でパノラマ画像が生成
されたかどうかを判断する。ステップS21で“NO”
であれば、つまりパノラマ画像が生成されてなければ、
ステップS3に戻る。一方、ステップS21で“YE
S”であれば、図4(A)に示すようなパノラマ画像
(原画像)が生成されたと判断し、ステップS23で原
画像を後段の注目領域抽出装置20(図1)に出力し、
処理を終了する。
In step S13, the X coordinate when the absolute value of the difference is minimum (0) is calculated. Subsequent step S1
In step 7, the composite image and the target frame image are superimposed on the calculated X coordinate to generate a new composite image. And
In step S19, a grayscale image is generated from the generated composite image, and it is determined in step S21 whether a panoramic image has been generated. “NO” in step S21
, That is, if no panoramic image has been generated,
It returns to step S3. On the other hand, in step S21, "YE
If "S", it is determined that a panoramic image (original image) as shown in FIG. 4A has been generated, and the original image is output to the subsequent region of interest extraction device 20 (FIG. 1) in step S23.
The process ends.

【0033】図1に戻って、注目領域抽出装置20は、
与えられた原画像から最も目立つ領域(注目領域)を抽
出する。具体的には、注目領域抽出装置20は、図5に
示すフロー図に従って処理をする。つまり、原画像が画
像生成装置14から与えられると、注目領域抽出装置2
0は処理を開始し、ステップS31で原画像を領域分割
する。具体的には、図4(B)に示すように、原画像を
図領域と絵領域に分割する。この領域分割の方法には、
1997IEEEにおいてW.Y.MaやB.S.Manjunath らが
「Edge Flow:A Framework of Boundary Detection and
Image Segmentation」に記載した“edge flow ”に基づ
く境界検出方法が適用される。簡単に説明すると、この
方法は画像の各場所における色や模様の変化方向を求
め、変化方向と変化の強さ(大小)からなるedge flow
ベクトルを決定する。そして、反復処理によりedge flo
w ベクトルを各ベクトルの方向へ伝搬し、最終的ベクト
ル同士がぶつかり合う場所を各領域の境界線とする。
Returning to FIG. 1, the attention area extraction device 20
The most prominent area (attention area) is extracted from the given original image. Specifically, the attention area extraction device 20 performs processing according to the flowchart shown in FIG. That is, when the original image is provided from the image generation device 14, the attention area extraction device 2
0 starts the process, and divides the original image into regions in step S31. Specifically, as shown in FIG. 4B, the original image is divided into a drawing area and a picture area. The method of this area division
In 1997 IEEE, WYMa and BSManjunath et al. Described "Edge Flow: A Framework of Boundary Detection and
A boundary detection method based on “edge flow” described in “Image Segmentation” is applied. In simple terms, this method determines the direction of color or pattern change at each location in an image, and determines the edge flow consisting of the direction of change and the magnitude of change (large or small).
Determine the vector. Then, edge flo
The w vector is propagated in the direction of each vector, and a location where the final vectors collide with each other is defined as a boundary line of each area.

【0034】したがって、ステップS33では、図4
(C)に示すような分割した図領域を抽出し、ステップ
S35で図領域の誘目度を評価する。つまり、図領域の
誘目度パラメータを求める。ここで、発明者が行った主
観評価実験により、誘目度の評価に必要な物理的特徴
は、色の異質度,テクスチャの異質度,形の異質度およ
び面積の異質度,色,空間周波数および面積であること
が分かった。また、一般に人間の主観評価結果と物理的
特性との関係はS字曲線で表されることが多いため、誘
目度の評価には数1に示すべ一夕関数が用いられる。
Therefore, in step S33, FIG.
The divided figure area as shown in (C) is extracted, and in step S35, the degree of attraction of the figure area is evaluated. That is, the attraction parameter of the figure area is obtained. Here, according to the subjective evaluation experiment performed by the inventor, the physical characteristics necessary for the evaluation of the degree of attraction are color heterogeneity, texture heterogeneity, shape heterogeneity and area heterogeneity, color, spatial frequency, and the like. It turned out to be an area. In general, the relationship between the subjective evaluation result of a human and the physical characteristics is often represented by an S-shaped curve, and therefore, the one-time function shown in Expression 1 is used for the evaluation of the attraction.

【0035】[0035]

【数1】 (Equation 1)

【0036】このベータ関数を用いて、数2に示すよう
な誘目度の評価関数が定義される。
Using this beta function, an attractiveness evaluation function as shown in Expression 2 is defined.

【0037】[0037]

【数2】 (Equation 2)

【0038】また、数2に示す各領域の上記4つの異質
度に対する誘目度HETは数3で定義される。
The degree of attraction HET for each of the four heterogeneities in each region shown in Expression 2 is defined by Expression 3.

【0039】[0039]

【数3】 (Equation 3)

【0040】さらに、各物理的特徴の異質度Hは、特徴
値と全領域の平均特徴値との差をd,差dの平均値をd
m,差dの標準偏差をstdとしたとき、数4に従って
算出される。
Further, the heterogeneity H of each physical feature is obtained by calculating the difference between the feature value and the average feature value of all regions as d and the average value of the difference d as d.
When the standard deviation of m and the difference d is std, it is calculated according to Equation 4.

【0041】[0041]

【数4】 (Equation 4)

【0042】つまり、各領域の色の異質度HCは、CI
E L* a* b* 知覚均等色空間における色差式を用い
て領域の平均色と全領域の平均色との色差、色差平均、
色差の標準偏差を算出し、算出した結果を数4に代入し
て求められる。なお、色差式は、1994「色彩科学ハ
ンドブック」に詳細に記載されている。具体的には、画
像の各画素の色情報(R,G,B)を均等知覚色空間L
* a* b* に変換し、その空間におけるユークリッド距
離を色差としている。つまり、色差式は、数5のように
示される。
That is, the degree of heterogeneity HC of the color of each area is CI
E L * a * b * The color difference between the average color of the area and the average color of the entire area using the color difference equation in the perceived uniform color space,
The standard deviation of the color difference is calculated, and the calculated result is substituted into Equation 4 for calculation. The color difference equation is described in detail in the 1994 “Color Science Handbook”. Specifically, the color information (R, G, B) of each pixel of the image is stored in the uniform perceived color space L
* a * b *, and the Euclidean distance in that space is used as the color difference. That is, the color difference equation is expressed as in Equation 5.

【0043】[0043]

【数5】 (Equation 5)

【0044】次に、テクスチャの異質度HTについて説
明する。テクスチャは、1996IEEEにおいてB.S.
Manjunath や W.Y.Ma らが「Texture Features for Bro
wsing and Retrieval of Image Data 」に記載したテク
スチャ特徴ベクトルで表現され、またテクスチャ間の差
はテクスチャ特徴ベクトル間のユークリッド距離によっ
て表現される。
Next, the heterogeneity HT of the texture will be described. Texture is BS in 1996 IEEE
Manjunath and WYMa et al.
wsing and Retrieval of Image Data ”, and the difference between textures is represented by the Euclidean distance between texture feature vectors.

【0045】ここで、テクスチャ特徴ベクトルは、大き
さと方向の異なる複数のガボールフィルタで構成したガ
ボールフィルタバンクにより画像をフィルタリングした
ときの応答を要素とするベクトルで表現される。ただ
し、複数のガボールフィルタによりフィルタリングした
場合は、各応答には直交性がないため、フィルタリング
した結果には冗長な情報が含まれる可能性がある。そこ
で、ガボールフイルタバンク内の各フィルタのパラメー
タは、上述の1996IEEEに記載されている手法に
よって決定される。具体的には、数6で示されるガボー
ルフィルタのθ、a、σuおよびσvを数7で求める。
なお、この手法は、図6に示すように、隣接するフィル
タがHalf-Peak で接するようにフィルタのスケール(大
きさ)および方位パラメータを定めるものであり、テク
スチャ特徴を表現するために、24個のフィルタ(4ス
ケール、6方向)が用いられる。
Here, the texture feature vector is represented by a vector whose elements are responses when an image is filtered by a Gabor filter bank composed of a plurality of Gabor filters having different sizes and directions. However, when filtering is performed by a plurality of Gabor filters, each response does not have orthogonality, and thus the filtering result may include redundant information. Therefore, the parameters of each filter in the Gabor filter bank are determined by the method described in the above-mentioned 1996 IEEE. Specifically, θ, a, σu, and σv of the Gabor filter expressed by Expression 6 are obtained by Expression 7.
In this method, as shown in FIG. 6, the scale (size) and the azimuth parameter of the filter are determined so that adjacent filters are in contact at Half-Peak. (4 scales, 6 directions) are used.

【0046】[0046]

【数6】 (Equation 6)

【0047】[0047]

【数7】 (Equation 7)

【0048】この数6によって、テクスチャ特徴ベクト
ルが表現される。したがって、各領域のテクスチャの異
質度HTは、全領域の平均ベクトルとの距離、距離の平
均値、距離の標準偏差を数4に代入することにより算出
される。
Expression 6 represents a texture feature vector. Therefore, the heterogeneity HT of the texture of each area is calculated by substituting the distance from the average vector of all the areas, the average value of the distance, and the standard deviation of the distance into Equation 4.

【0049】さらに、各領域の面積の異質度HSは、全
領域の平均面積との差、差の平均値、差の標準偏差を数
4に代入することにより算出される。
Further, the heterogeneity degree HS of the area of each area is calculated by substituting the difference from the average area of all the areas, the average value of the difference, and the standard deviation of the difference into Equation 4.

【0050】さらにまた、各領域の形の異質度HSh
は、領域の外形の異質度と、領域が包含する穴の異質度
を数8に示すように統合して得られる。
Furthermore, the heterogeneity HSh of the shape of each region
Is obtained by integrating the heterogeneity of the outline of the region and the heterogeneity of the hole included in the region as shown in Expression 8.

【0051】[0051]

【数8】 (Equation 8)

【0052】ここで、形の違いについては、形状そのも
のの違いと、図形を回転することによる見え方の違いと
の両方を考慮する必要がある。そこで、1984/3
「電気通信学会論文誌」において上坂吉則が「開曲線に
も適用できる新しいフーリエ記述子」に記載したP型フ
ーリエ記述子を用いて、形状を記述することができる。
この場合、P型フーリエ変換後の各周波数に対するパワ
ーを検出すれば、2つの図形の形状が同じときには、パ
ワーが一致する。また、フーリエ記述子を用いれば、形
状と回転角が一致するときに限り、フーリエ記述子が一
致する。したがって、フーリエ記述子と各周波数に対す
るパワーとによって、2つの図形の形状と外見とがどの
程度一致するかを評価することができる。
Here, regarding the difference in shape, it is necessary to consider both the difference in shape itself and the difference in appearance due to the rotation of the figure. Therefore, 1984/3
The shape can be described using a P-type Fourier descriptor described in "New Fourier descriptor applicable to open curves" by Yoshinori Uesaka in "Transactions of the Institute of Telecommunications".
In this case, if the power for each frequency after the P-type Fourier transform is detected, the powers match when the shapes of the two figures are the same. Also, if a Fourier descriptor is used, the Fourier descriptor matches only when the shape and the rotation angle match. Therefore, it is possible to evaluate how much the shape and appearance of the two figures match with the Fourier descriptor and the power for each frequency.

【0053】以上から、外形の特徴はフーリエ係数とパ
ワーとからなるベクトルで表現でき、また外形の差は同
特徴ベクトル間のユークリッド距離を用いて表現でき
る。したがって、各領域の外形の異質度HShは、全領
域の平均ベクトルとの距離、距離の平均値、距離の標準
偏差を数4に代入して算出される。
As described above, the features of the contour can be represented by a vector composed of Fourier coefficients and power, and the difference of the contours can be represented by using the Euclidean distance between the feature vectors. Therefore, the heterogeneity degree HSh of the outer shape of each area is calculated by substituting the distance from the average vector of all the areas, the average value of the distance, and the standard deviation of the distance into Equation 4.

【0054】次に、穴の異質度Hhoに関して説明す
る。領域が包含する穴の特徴を表現するためには、穴の
形状だけでなく、穴の数および穴の位置も考慮する必要
がある。穴の位置の違いは、領域の一次モーメントを求
めることで定義できる。なお、一次モーメントは、19
92「画像解析ハンドブック」に記載されている。した
がって、穴の特徴は、数9に示すようなベクトルで表現
した。なお、穴の順番は、画像の原点に近い順にしてあ
る。
Next, the heterogeneity Hho of the hole will be described. In order to express the feature of the hole included in the region, it is necessary to consider not only the shape of the hole but also the number and position of the hole. The difference in hole position can be defined by obtaining the first moment of the area. The first moment is 19
92 "Image Analysis Handbook". Therefore, the feature of the hole was represented by a vector as shown in Expression 9. In addition, the order of the holes is set in the order close to the origin of the image.

【0055】[0055]

【数9】 (Equation 9)

【0056】したがって、各領域の穴の異質度Hho
は、全領域の平均ベクトルとの距離、距離の平均値、距
離の標準偏差を数4に代入して算出される。
Therefore, the degree of heterogeneity Hho of the holes in each region is
Is calculated by substituting the distance from the average vector of all regions, the average value of the distance, and the standard deviation of the distance into Equation 4.

【0057】また、数2に示す特徴誘目度FPは、数1
0に示すように定義できる。
The feature attractiveness FP shown in Expression 2 is given by Expression 1.
0 can be defined.

【0058】[0058]

【数10】 (Equation 10)

【0059】数10において、まず色の誘目度PCにつ
いて説明する。
In equation (10), the color attractiveness PC will be described first.

【0060】従来研究おいて、1)暖色の方が寒色より
も目立つ、2)彩度が高いほうが目立つ、3)明度が高
いほうが目立つと報告されている。1)に関しては、神
作らが行った実験によって、赤色は背景色に依存せず誘
目度の高い色であると報告されている。この結果に基づ
き、この実施例では、赤色(R,G,B=255,0,
0)が最も誘目度の高い色相とし、色相が赤色に近いほ
ど誘目度が高いと仮定する。ここで、色相を上述の19
92「画像解析ハンドブック」に詳細に記載されたHS
I双六角錐カラーモデルを用いて求めると、赤色(R,
G,B=255,0,0)の色相は0である。つまり、
HSI双六角錐カラーモデルは、BK(黒)を原点と
し、それに対極する点がW(白)とされる。そして、B
KとWとを結ぶ直線のほぼ中央であり、かつその直線に
直交するようにR(赤),M(マゼンダ),B(青),
C(シアン),G(緑)、Y(イエロ)を頂点とする六
角形が形成される。このように形成されたHSI双六角
錐カラーモデルの色空間が用いられる。なお、色空間と
は、知覚色を空間の一点として表示するために用いる直
交三次元座標系の空間をいう。つまり、この実施例では
HSI双六角錐カラーモデルを用いて色相を求めるた
め、色相が0に近いほど色相の誘目度Heが大きくな
る。このため、色相の誘目度Heは、数11に示す式に
よって算出される。
In previous studies, it has been reported that 1) warm colors are more noticeable than cold colors, 2) higher saturation is more noticeable, and 3) higher lightness is more noticeable. Regarding 1), an experiment conducted by God making reports that red is a highly attractive color independent of the background color. Based on this result, in this embodiment, red (R, G, B = 255, 0,
0) is the hue with the highest attractiveness, and it is assumed that the attractiveness is higher as the hue is closer to red. Here, the hue is set to the value of the above 19
HS described in detail in 92 "Image Analysis Handbook"
Using the I-bihexagonal pyramid color model, the red (R,
The hue of G, B = 255, 0, 0) is 0. That is,
The HSI dihedral pyramid color model has BK (black) as the origin, and a point opposite thereto is W (white). And B
R (red), M (magenta), B (blue), and approximately the center of a straight line connecting K and W
A hexagon having C (cyan), G (green), and Y (yellow) as vertices is formed. The color space of the HSI bihexagonal pyramid color model formed in this manner is used. Note that the color space refers to a space in an orthogonal three-dimensional coordinate system used to display a perceived color as one point in the space. That is, in this embodiment, since the hue is obtained using the HSI bi-hexagonal pyramid color model, the hue attractiveness He increases as the hue approaches zero. Therefore, the hue attractiveness He is calculated by the equation shown in Expression 11.

【0061】[0061]

【数11】 [Equation 11]

【0062】また、2)に関しては、彩度と誘目度の間
には線形的な関係がある。したがって、この実施例で
は、彩度の誘目度は、HSI双六角錐カラーモデルにお
ける彩度そのものを用いることとした。
Regarding 2), there is a linear relationship between saturation and eye-catching degree. Therefore, in this embodiment, the saturation itself in the HSI bi-hexagonal pyramid color model is used as the saturation attraction.

【0063】さらに、3)に関しては、人間の感覚量と
明度との関係に関する研究において、Semmelrothは数1
2で示す関係が成り立つことを示した。なお、数12に
示す関係は、1996「新編 感覚・知覚 心理学ハン
ドブック」において、大山,今井,和気らによって示さ
れる。
Regarding 3), in a study on the relationship between the amount of human sensation and lightness, Semmelroth found that
It has been shown that the relationship shown by 2 holds. Note that the relationship shown in Equation 12 is shown by Oyama, Imai, Waki, et al. In the 1996 "Handbook of Sensation and Perception Psychology".

【0064】[0064]

【数12】 (Equation 12)

【0065】また、数12において、k=0.65,m
=0.4,n=0.2の場合に、人間の感覚量とよく合
うことが示された。したがって、この実施例では、Semm
elrothによって示された式を明度の誘目度とした。
In equation 12, k = 0.65, m
= 0.4, n = 0.2, it was shown that it fits well with human sensation. Therefore, in this example, Semm
The expression shown by elroth was taken as the lightness attraction.

【0066】上述のような色の3要素(色相、彩度、明
度)に対する誘目度を数13を用いて線形結合し、色の
誘目度PCが定義される。
The attractiveness for the three color components (hue, saturation, and lightness) is linearly combined using Equation 13 to define the attractiveness PC of the color.

【0067】[0067]

【数13】 (Equation 13)

【0068】次に、テクスチャ(空間周波数)の誘目度
PTについて説明する。
Next, the attraction degree PT of texture (spatial frequency) will be described.

【0069】人間の視覚系においては、特定の空間周波
数で感度が最大となるような帯域通過器の性質を持つこ
とが明らかにされている。これまで、久保田や西澤ら
は、視覚の空間周波数特性を数14のように定式化して
いる。なお、空間周波数特性の式は、1986/5「電
気通信学会論文誌」において、久保田らによって「テレ
ビジョン系の3次元雑音評価関数とその高品位テレビへ
の応用」に記載されている。なお、数14では、空間周
波数の単位をcpd(視覚1°あたりのサイクル数)に
変換してある。
It has been clarified that the human visual system has the property of a bandpasser that maximizes the sensitivity at a specific spatial frequency. So far, Kubota and Nishizawa et al. Formulated the spatial frequency characteristics of vision as shown in Equation 14. The expression of the spatial frequency characteristic is described in "Third-Dimensional Noise Evaluation Function of Television System and Its Application to High-Definition Television" by Kubota et al. In Equation 14, the unit of the spatial frequency is converted to cpd (the number of cycles per 1 degree of visual perception).

【0070】[0070]

【数14】 [Equation 14]

【0071】この数14に示す視覚反応Vによって、テ
クスチャ(空間周波数)の誘目度PTが定義される。
Based on the visual response V shown in Expression 14, the attractiveness PT of the texture (spatial frequency) is defined.

【0072】続いて、面積の誘目度PSについて説明す
る。
Next, the area attraction PS will be described.

【0073】一般に画像が提示された直後は、画像の中
心から近いオブジェクトの方が目立つと言われており、
また、注視点が移動されると、移動した注視点に近いオ
ブジェクトの方が誘目度が高くなると言われている。こ
れを、場の誘目度と定義する。このように、ある点(注
視点)を中心とし、その点から遠ざかる毎に各点の誘目
度が徐々に小さくなることをモデル化するために、数1
5に示す2次元ガウス関数が用いられる。ただし、注視
点が移動した時間に応じてガウス関数の中心が変化する
と仮定してある。
It is generally said that immediately after an image is presented, objects closer to the center of the image stand out.
It is also said that when the point of interest is moved, the degree of attraction of the object closer to the moved point of interest is higher. This is defined as the degree of attraction of the place. As described above, in order to model that the degree of attraction of each point becomes gradually smaller as the distance from the point centered on a certain point (gaze point),
The two-dimensional Gaussian function shown in FIG. However, it is assumed that the center of the Gaussian function changes according to the time at which the gazing point moves.

【0074】[0074]

【数15】 (Equation 15)

【0075】ここで、ガウス関数の広がり係数σは視点
から画像までの距離dに依存する。つまり、距離dが大
きくなれば、一度に観測可能な範囲が広くなる。一般
に、人間の可視視野は20度〜30度である。そこで、
提示される画像の画面高をHとし、視距離をd・Hとし
たときの広がり係数σを数16のように定義することが
できる。なお、Pixは垂直方向の画素数であり、θは
20度〜30度(0.176<tan θ/2<0.26
8)である。
Here, the spread coefficient σ of the Gaussian function depends on the distance d from the viewpoint to the image. That is, as the distance d increases, the range that can be observed at a time increases. In general, the human visual field is between 20 and 30 degrees. Therefore,
The spread coefficient σ when the screen height of the presented image is H and the viewing distance is d · H can be defined as in Expression 16. Pix is the number of pixels in the vertical direction, and θ is 20 degrees to 30 degrees (0.176 <tan θ / 2 <0.26
8).

【0076】[0076]

【数16】 (Equation 16)

【0077】ここで、領域が画素の集合であることを考
慮すれば、領域の面積の誘目度PSは、領域の画素の場
の誘目度の和で表現可能である。したがって、面積の誘
目度PSは数17のように定義される。
Here, considering that the region is a set of pixels, the attractiveness PS of the area of the region can be represented by the sum of the attractiveness of the field of the region. Therefore, the attractiveness PS of the area is defined as in Expression 17.

【0078】[0078]

【数17】 [Equation 17]

【0079】このように、定義した誘目度の評価関数に
より、ステップS37で各図領域の誘目度を評価し、ス
テップS39で誘目度が最大となる図領域を求める。つ
まり、最も目立つ領域を注目領域に決定する。したがっ
て、図4(D)に示すような注目領域を抽出することが
できる。
As described above, the attractiveness of each figure area is evaluated in step S37 using the defined attractiveness evaluation function, and in step S39, the figure area having the maximum attractiveness is determined. That is, the most noticeable area is determined as the attention area. Therefore, an attention area as shown in FIG. 4D can be extracted.

【0080】なお、この実施例では、誘目度の評価関数
の各係数は、[wh1,wh2,wh3,wh4]=
[0.039,0.010,0.027,0.02
0],[wf1,wf2,wf3]=[0.132,
0.005,0.100],[m,n]=[1.35
8,4.250]を用い、数14のθを20度とし、ま
た視距離dを1mとし,P型フーリエ係数を第10次ま
でとした。
In this embodiment, each coefficient of the evaluation function of the degree of attraction is represented by [wh1, wh2, wh3, wh4] =
[0.039, 0.010, 0.027, 0.02
0], [wf1, wf2, wf3] = [0.132,
0.005, 0.100], [m, n] = [1.35
8, 4.250], θ in Equation 14 was set to 20 degrees, the viewing distance d was set to 1 m, and the P-type Fourier coefficient was set to the tenth order.

【0081】また、この実施例では、上記8つの物理的
特徴を用いて誘目度を評価するようにしたが、これはあ
らゆる特徴を有する複数の画像に適合させるためであ
り、全ての物理的特徴について必ずしも評価する必要は
ない。
Further, in this embodiment, the degree of eye-catching is evaluated using the above eight physical characteristics. However, this is for adapting to a plurality of images having all characteristics. Does not necessarily need to be evaluated.

【0082】続いてステップS41では、決定した注目
領域に隣接する図領域を求め、注目領域と隣接図領域と
の色差およびテクスチャ特徴ベクトルのユークリッド距
離を求め、色差が2.0以内であり、かつテクスチャ特
徴ベクトルのユークリッド距離が0.3以内であるもの
を注目領域とともに抽出して、処理を終了する。なお、
色差は、上述したように、数5に示すようなCIE L
* a* b* 知覚均等色空間における色差式により求めら
れる。また、テクスチャ特徴ベクトルは、数6に従って
求められる。
Subsequently, in step S41, a figure area adjacent to the determined attention area is determined, and a color difference between the attention area and the adjacent figure area and a Euclidean distance of a texture feature vector are determined. The texture feature vector whose Euclidean distance is within 0.3 is extracted together with the attention area, and the process is terminated. In addition,
As described above, the color difference is represented by CIE L as shown in Expression 5.
* a * b * Determined by a color difference equation in a perceived uniform color space. Further, the texture feature vector is obtained according to Equation 6.

【0083】図1に戻って、注目領域抽出装置20で抽
出された注目領域は、構図切り取り装置22に与えられ
る。構図切り取り装置22にはメモリ24が接続され、
メモリ24には画家が描いた絵や写真家が撮影した写真
に関する複数のデータが記憶されている。構図切り取り
装置22は、メモリ24に記憶されたデータを参照し
て、画家や写真家の構図に合わせて原画像から注目領域
を切り取る。具体的には、構図切り取り装置22は、図
7に示すフロー図に従って注目領域を切り取る。つま
り、注目領域抽出装置20で注目領域および隣接する図
領域が抽出されると構図切り取り装置22は処理を開始
し、ステップS51で、注目領域の外周画素を求める。
つまり、抽出した注目領域の縁を求める。続くステップ
S53では、上述の上坂が記載した論文の手法により、
第10次までのP型フーリエ係数を求め、注目領域を形
状ベクトルにする。
Returning to FIG. 1, the attention area extracted by the attention area extraction device 20 is given to the composition cutout device 22. A memory 24 is connected to the composition cutting device 22,
The memory 24 stores a plurality of data relating to a picture drawn by a painter and a photograph taken by a photographer. The composition clipping device 22 refers to the data stored in the memory 24 and cuts a region of interest from the original image in accordance with the composition of the painter or photographer. Specifically, the composition clipping device 22 clips the region of interest according to the flowchart shown in FIG. That is, when the attention area and the adjacent figure area are extracted by the attention area extraction apparatus 20, the composition cutout apparatus 22 starts processing, and in step S51, outer peripheral pixels of the attention area are obtained.
That is, the edge of the extracted region of interest is determined. In the following step S53, by the method of the paper described by Uesaka described above,
P-type Fourier coefficients up to the tenth order are obtained, and the region of interest is set as a shape vector.

【0084】ここで、メモリ24に記憶されたデータ
は、絵画画像や写真画像などの基準画像に対応する画像
データ、その絵画画像や写真画像から被写体を抽出して
P型フーリエ係数により被写体の外周形状を記述した形
状ベクトルのデータ、および図8に示すような被写体の
位置情報に対応する位置データである。つまり、被写体
の位置データは、基準画像の基準構図のデータであり、
被写体を囲む外接矩形の横の辺の長さをa、縦の辺の長
さをb、外接矩形の原点(画像左上の頂点に最も近い頂
点)の位置を(w1,h1)、外接矩形の終点(画像右
下の頂点に最も近い頂点)の位置(画像右下の頂点を基
準とした位置)を(w2,h2)とした場合に、数18
のようなベクトルで表される。
Here, the data stored in the memory 24 is image data corresponding to a reference image such as a painting image or a photographic image, a subject is extracted from the painting image or the photographic image, and the periphery of the subject is extracted by a P-type Fourier coefficient. It is shape vector data describing the shape, and position data corresponding to the position information of the subject as shown in FIG. That is, the position data of the subject is data of the reference composition of the reference image,
The length of the horizontal side of the circumscribed rectangle surrounding the object is a, the length of the vertical side is b, the position of the origin of the circumscribed rectangle (vertex closest to the upper left vertex of the image) is (w1, h1), If the position of the end point (the vertex closest to the lower right vertex of the image) (the position based on the lower right vertex of the image) is (w2, h2), Equation 18
Is represented by a vector like

【0085】[0085]

【数18】位置データ[kx1,ky1,kx2,ky
2]=[w1/a,h1/b,w2/a,h2/b] 続いて、ステップS55でステップS53で求めた形状
ベクトルとメモリ24に格納された絵画画像や写真画像
の形状ベクトルとのユーグリッド距離を求め、つまり基
準構図のデータとのマッチングを実行し、ステップS5
7で領域の形状が最も類似したデータを取得する。言い
換えると、最もユークリッド距離が小さい絵画画像の被
写体の位置データを取得する。つまり、複数の画像デー
タから注目領域および隣接する図領域に最適な画像デー
タが選択される。そして、ステップS59で、注目領域
の外接矩形を求め、外接矩形の原点と終点から数19に
従って原画像の一部を切り取る。なお、数19では、*
は乗算を意味する。
## EQU18 ## Position data [kx1, ky1, kx2, ky]
2] = [w1 / a, h1 / b, w2 / a, h2 / b] Then, in step S55, the shape vector obtained in step S53 and the shape vector of the painting image or the photographic image stored in the memory 24 are compared. The U grid distance is obtained, that is, matching with the data of the reference composition is executed, and step S5 is performed.
In step 7, data with the most similar area shape is obtained. In other words, the position data of the subject of the painting image having the smallest Euclidean distance is acquired. That is, image data optimal for the attention area and the adjacent figure area is selected from the plurality of pieces of image data. Then, in step S59, a circumscribed rectangle of the attention area is obtained, and a part of the original image is cut out from the origin and end point of the circumscribed rectangle according to Expression 19. In Equation 19, *
Means multiplication.

【0086】[0086]

【数19】X1=x1−W*kx1 Y1=y1−H*ky1 X2=x2+W*kx2 Y2=y2+W*ky2 ただし、注目領域の外接矩形の幅をW、高さをH、外接
矩形の原点を(x1,y1)、終点を(x2,y2)と
する。また、X1<1のときX1=1,Y1<1のとき
Y1=1,X2>原画像の幅のときX2=原画像の幅,
Y2>原画像の高さのときY2=原画像の高さとする。
このとき、切り取る矩形(画像)の頂点座標は数20の
ように示される。
X1 = x1-W * kx1 Y1 = y1-H * ky1 X2 = x2 + W * kx2 Y2 = y2 + W * ky2 Here, the width of the circumscribed rectangle of the attention area is W, the height is H, and the origin of the circumscribed rectangle is (X1, y1) and the end point are (x2, y2). When X1 <1, X1 = 1, when Y1 <1, Y1 = 1, X2> when the width of the original image is X2 = the width of the original image,
When Y2> the height of the original image, let Y2 = the height of the original image.
At this time, the coordinates of the vertices of the rectangle (image) to be cut are shown as in Expression 20.

【0087】[0087]

【数20】切り取る画像の頂点座標=[(X1,Y
1),(X1,Y2),(X2,Y1),(X2,Y
2)] 続いて、ステップS61で切り取った結果(画像)を出
力して、処理を終了する。
[Equation 20] The vertex coordinates of the image to be cut = [(X1, Y
1), (X1, Y2), (X2, Y1), (X2, Y
2)] Subsequently, the result (image) cut out in step S61 is output, and the process ends.

【0088】したがって、図9(A)に示すような絵画
画像の構図に合わせて、図9(B)に示すような注目領
域および隣接する図領域を切り取ることができる。
Therefore, the attention area and the adjacent figure area as shown in FIG. 9B can be cut out according to the composition of the painting image as shown in FIG. 9A.

【0089】この実施例によれば、上述したような物理
的特徴に従って原画像から最も目立つ領域(注目領域)
を抽出するので、人間の主観に適合した注目領域を抽出
することができる。
According to this embodiment, the most noticeable area (attention area) from the original image according to the physical characteristics as described above.
Is extracted, it is possible to extract an attention area suitable for human subjectivity.

【0090】また、抽出した注目領域を画家が描いた絵
画や写真家が撮影した写真の構図に合わせて切り取るの
で、被写体をあたかもその構図で撮影したかのような写
真を生成することができる。つまり、バランスのよい構
図を自動で決定することができる。
Further, since the extracted region of interest is cut out in accordance with the composition of the picture drawn by the painter or the composition of the photograph taken by the photographer, it is possible to generate a photograph as if the subject were photographed in that composition. That is, a well-balanced composition can be automatically determined.

【0091】なお、この注目領域抽出装置は画像領域の
誘目度を人間の主観に適合して求めることができるの
で、たとえば、ディジタル圧縮画像・映像の品質評価に
おいて、評価対象となる画像や映像の各領域の目立ち度
(誘目度)に応じて、その領域に重みづけを行うような
客観的な評価を実行するような装置に適用することがで
きる。
Since the attention area extracting apparatus can determine the degree of attraction of an image area in conformity with human subjectivity, for example, in the quality evaluation of a digitally compressed image / video, the image or video to be evaluated is evaluated. The present invention can be applied to an apparatus that performs objective evaluation such as weighting a region according to the degree of prominence (attraction) of each region.

【0092】また、印刷分野では、品質管理の自動化に
おいて、印刷ずれ等の問題を軽視できる領域とそうでな
い領域とを誘目度に応じて自動で判断できる装置に適用
することができる。
Further, in the printing field, in automation of quality control, the present invention can be applied to an apparatus which can automatically determine an area in which a problem such as a printing error can be neglected and an area in which it is not so, according to the degree of attraction.

【0093】さらに、デザイン分野、特に広告に使用す
るポスター制作等においては、企業が最も訴えたい部分
が目立っているのか否かを客観的に評価する装置に適用
することができる。
Further, in the design field, particularly in the production of posters used for advertisements, etc., the present invention can be applied to an apparatus for objectively evaluating whether or not a part which a company wants to appeal most is conspicuous.

【0094】また、ユーザが目立つ服装である場合に
は、注目領域抽出装置を用いてカメラの回転,チルトお
よびズームを制御すれば、カメラが自動でユーザを追う
ことができる。したがって、たとえば所定のタイミング
でシャッタを切るようにすれば、ユーザのスナップ写真
を撮ることができる。さらに、撮影した画像(原画像)
から構図決定装置を用いて自動で構図を決定することに
より、バランスの良いユーザのスナップ写真を作成する
ことができる。
If the user wears noticeable clothing, the camera can automatically follow the user by controlling the rotation, tilt, and zoom of the camera using the attention area extraction device. Therefore, for example, if the shutter is released at a predetermined timing, a snapshot of the user can be taken. In addition, the photographed image (original image)
By automatically determining the composition using the composition determination device, a well-balanced snapshot of the user can be created.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の一実施例を示す図解図である。FIG. 1 is an illustrative view showing one embodiment of the present invention;

【図2】図1実施例に示す画像生成装置の処理の一部を
示すフロー図である。
FIG. 2 is a flowchart showing a part of the processing of the image generating apparatus shown in FIG. 1 embodiment.

【図3】図1実施例の画像接合装置で原画像を合成する
方法を示す図解図である。
FIG. 3 is an illustrative view showing a method of synthesizing an original image by the image joining device of the embodiment in FIG. 1;

【図4】図1実施例に示す注目領域抽出装置の処理の一
部を示すフロー図である。
FIG. 4 is a flowchart showing a part of the process of the attention area extracting apparatus shown in FIG. 1 embodiment;

【図5】図4に示すフロー図に従って注目領域を抽出す
る方法を示す図解図である。
FIG. 5 is an illustrative view showing a method of extracting a region of interest according to the flowchart shown in FIG. 4;

【図6】ガボールフィルタを示す図解図である。FIG. 6 is an illustrative view showing a Gabor filter;

【図7】図1実施例に示す構図切り取り装置の処理の一
部を示すフロー図である。
FIG. 7 is a flowchart showing a part of the processing of the composition cutting apparatus shown in FIG. 1 embodiment.

【図8】図7に示すフロー図に従って画像を切り取る場
合の位置情報を示す図解図である。
FIG. 8 is an illustrative view showing position information when an image is cut out according to the flowchart shown in FIG. 7;

【図9】図7に示すフロー図に従って画像を切り取る場
合に参照する画家の絵画画像および参照して切り取った
画像を示す図解図である。
9 is an illustrative view showing a painting image of a painter to be referred to when the image is cut out according to the flow chart shown in FIG. 7, and an image cut out by reference;

【符号の説明】[Explanation of symbols]

10 …注目領域抽出装置を用いた自動構図決定装置 12 …カメラ 14 …画像生成装置 16 …ビデオキャプチャ 18 …画像接合装置 20 …注目度抽出装置 22 …構図切り取り装置 24 …メモリ DESCRIPTION OF SYMBOLS 10 ... Automatic composition determination apparatus using attention area extraction apparatus 12 ... Camera 14 ... Image generation apparatus 16 ... Video capture 18 ... Image joining apparatus 20 ... Attention degree extraction apparatus 22 ... Composition cutting apparatus 24 ... Memory

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G06F 15/66 470A 15/70 330Q 460Z 460B (72)発明者 岩舘 祐一 京都府相楽郡精華町大字乾谷小字三平谷5 番地 株式会社エイ・ティ・アール知能映 像通信研究所内 Fターム(参考) 5B057 BA15 CA01 CB01 CE09 CE10 CH09 DA08 DB02 DB06 DC04 DC09 DC25 5C022 AA01 AB62 AC27 5C023 AA06 AA16 BA02 BA12 BA13 CA03 DA04 5C076 AA02 AA19 BA03 CA02 CA10 5L096 CA04 FA02 FA15 FA23 FA33 FA46 FA59 FA70 GA38 GA55 JA11 ──────────────────────────────────────────────────続 き Continued on the front page (51) Int.Cl. 7 Identification symbol FI Theme coat ゛ (Reference) G06F 15/66 470A 15/70 330Q 460Z 460B (72) Inventor Yuichi Iwatate 5 Mihiraya F-Term Co., Ltd. Intelligent Telecommunications Imaging Communications Laboratory F-term (reference) 5B057 BA15 CA01 CB01 CE09 CE10 CH09 DA08 DB02 DB06 DC04 DC09 DC25 5C022 AA01 AB62 AC27 5C023 AA06 AA16 BA02 BA12 BA13 CA03 DA04 5C076 AA02 AA19 BA03 CA02 CA10 5L096 CA04 FA02 FA15 FA23 FA33 FA46 FA59 FA70 GA38 GA55 JA11

Claims (10)

【特許請求の範囲】[Claims] 【請求項1】原画像から注目領域を抜き出す注目領域抽
出装置であって、 物理的特徴に基づいて誘目度を評価する評価手段、およ
び前記評価手段の評価結果に応じて前記注目領域を抽出
する抽出手段を備える、注目領域抽出装置。
1. An attention area extraction device for extracting an attention area from an original image, comprising: an evaluation unit for evaluating an attraction degree based on physical characteristics; and extracting the attention area in accordance with an evaluation result of the evaluation unit. A region-of-interest extraction device comprising an extraction unit.
【請求項2】前記物理的特徴は色の異質度を含む、請求
項1記載の注目領域抽出装置。
2. The attention area extracting apparatus according to claim 1, wherein said physical characteristics include a degree of heterogeneity of color.
【請求項3】前記物理的特徴は形の異質度、面積の異質
度およびテクスチャの異質度をさらに含み、 前記評価手段は、4つの異質度のうち少なくとも1つの
異質度に基づいて前記誘目度を評価する、請求項2記載
の注目領域抽出装置。
3. The physical feature further includes a shape heterogeneity, an area heterogeneity, and a texture heterogeneity, and the estimating unit determines the attraction degree based on at least one of the four heterogeneities. 3. The attention area extraction device according to claim 2, wherein
【請求項4】前記物理的特徴は色をさらに含む、請求項
1ないし3のいずれかに記載の注目領域抽出装置。
4. The attention area extracting apparatus according to claim 1, wherein said physical feature further includes a color.
【請求項5】前記物理的特徴は前記原画像における領域
の面積および空間周波数をさらに含む、請求項4記載の
注目領域抽出装置。
5. The attention area extracting apparatus according to claim 4, wherein the physical characteristics further include an area of the area in the original image and a spatial frequency.
【請求項6】所望の映像を撮影する撮影手段、および前
記映像に基づいて前記原画像を生成する画像生成手段を
さらに備える、請求項1ないし5のいずれかに記載の注
目領域抽出装置。
6. The attention area extracting apparatus according to claim 1, further comprising a photographing unit for photographing a desired video, and an image generating unit for generating the original image based on the video.
【請求項7】前記撮影手段はカメラ、および前記カメラ
を回転駆動する駆動手段を含み、 前記画像生成手段は前記カメラで撮影される前記映像を
1フレーム毎に接合する接合手段を含む、請求項6記載
の注目領域抽出装置。
7. The camera according to claim 1, wherein the photographing unit includes a camera, and a driving unit that rotationally drives the camera, and the image generating unit includes a joining unit that joins the images captured by the camera frame by frame. 6. The attention area extraction device according to item 6.
【請求項8】請求項1ないし7のいずれかに記載の注目
領域抽出装置を用いた自動構図決定装置であって、 基準構図を有する基準画像に関するデータを保持する保
持手段、および前記基準構図を参照して注目領域の画像
を原画像から切り取る切取手段を備える、自動構図決定
装置。
8. An automatic composition determining apparatus using the attention area extracting apparatus according to claim 1, wherein the storage means retains data relating to a reference image having a reference composition, and the reference composition includes: An automatic composition determination device including a cutout unit that cuts out an image of a region of interest from an original image by referring to the image.
【請求項9】前記保持手段は複数の前記基準画像に関す
るデータを保持し、 前記注目領域の画像に適合した前記データを選択する選
択手段をさらに備える、請求項8記載の自動構図決定装
置。
9. The automatic composition determining apparatus according to claim 8, wherein said holding means holds data relating to a plurality of said reference images, and further comprises a selection means for selecting said data suitable for the image of said attention area.
【請求項10】前記データは、少なくとも前記基準画像
に対応する画像データ、被写体の形状データおよび被写
体の位置データを含む、請求項8または9記載の自動構
図決定装置。
10. The automatic composition determining apparatus according to claim 8, wherein the data includes at least image data corresponding to the reference image, shape data of a subject, and position data of the subject.
JP30688499A 1999-10-28 1999-10-28 Automatic composition determination device Expired - Fee Related JP3482923B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP30688499A JP3482923B2 (en) 1999-10-28 1999-10-28 Automatic composition determination device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP30688499A JP3482923B2 (en) 1999-10-28 1999-10-28 Automatic composition determination device

Publications (2)

Publication Number Publication Date
JP2001126070A true JP2001126070A (en) 2001-05-11
JP3482923B2 JP3482923B2 (en) 2004-01-06

Family

ID=17962421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP30688499A Expired - Fee Related JP3482923B2 (en) 1999-10-28 1999-10-28 Automatic composition determination device

Country Status (1)

Country Link
JP (1) JP3482923B2 (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431921A2 (en) * 2002-12-17 2004-06-23 Seiko Epson Corporation Image layout processing apparatus, method, and program
EP1482428A2 (en) * 2003-05-30 2004-12-01 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
JP2005050355A (en) * 2003-07-30 2005-02-24 Xerox Corp Method for quantifying measure of quality of document
JP2006133990A (en) * 2004-11-04 2006-05-25 Fuji Xerox Co Ltd Image processing device
JP2007074674A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, and program
JP2007116447A (en) * 2005-10-20 2007-05-10 Sony Corp Image processing unit, method, and program
JP2007515009A (en) * 2003-12-18 2007-06-07 トムソン ライセンシング Apparatus and method for generating image saliency map
JP2007199749A (en) * 2004-08-19 2007-08-09 Mitsubishi Electric Corp Image retrieval method and image retrieval device
JP2007228224A (en) * 2006-02-23 2007-09-06 Seiko Epson Corp Image generating device, image extracting device, control method of image generating device, image extracting method and program, and recording medium with image extracting program recorded thereon
JP2008042326A (en) * 2006-08-02 2008-02-21 Sanyo Electric Co Ltd Imaging apparatus and simultaneous display control method
US7460708B2 (en) 2003-11-25 2008-12-02 Seiko Epson Corporation System, program, and method for generating visual-guidance information
JP2009245406A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processing apparatus and program for the same
JP2010154395A (en) * 2008-12-26 2010-07-08 Sony Corp Information processing apparatus and method, and program
JP2011035636A (en) * 2009-07-31 2011-02-17 Casio Computer Co Ltd Image processor and method
JP2011035633A (en) * 2009-07-31 2011-02-17 Casio Computer Co Ltd Image processor and method
US7931602B2 (en) 2004-03-24 2011-04-26 Seiko Epson Corporation Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
JP2011205267A (en) * 2010-03-25 2011-10-13 Casio Computer Co Ltd Device and method for processing image, and program
JP5000781B1 (en) * 2011-11-09 2012-08-15 楽天株式会社 Image processing apparatus, image processing apparatus control method, program, and information storage medium
EP2515206A1 (en) * 2009-12-14 2012-10-24 Panasonic Corporation User interface apparatus and input method
JP2012243313A (en) * 2011-05-13 2012-12-10 Omron Corp Image processing method and image processing device
WO2012169288A1 (en) * 2011-06-06 2012-12-13 富士フイルム株式会社 Image processing device, compound-eye imaging device, image processing method, and program
JP2014099212A (en) * 2014-02-26 2014-05-29 Olympus Corp Image processing apparatus, electronic apparatus, and program
CN105225197A (en) * 2015-09-14 2016-01-06 北京金山安全软件有限公司 Picture clipping method and device
US9264620B2 (en) 2008-10-31 2016-02-16 Samsung Electronics Co., Ltd. Image photography apparatus and method for proposing composition based person

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4977243B2 (en) 2010-09-16 2012-07-18 株式会社東芝 Image processing apparatus, method, and program

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1431921A3 (en) * 2002-12-17 2006-02-01 Seiko Epson Corporation Image layout processing apparatus, method, and program
EP1431921A2 (en) * 2002-12-17 2004-06-23 Seiko Epson Corporation Image layout processing apparatus, method, and program
EP1482428A2 (en) * 2003-05-30 2004-12-01 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
EP1482428A3 (en) * 2003-05-30 2006-01-11 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
CN100357944C (en) * 2003-05-30 2007-12-26 精工爱普生株式会社 Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
US7440638B2 (en) 2003-05-30 2008-10-21 Seiko Epson Corporation Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
JP2005050355A (en) * 2003-07-30 2005-02-24 Xerox Corp Method for quantifying measure of quality of document
JP2005050356A (en) * 2003-07-30 2005-02-24 Xerox Corp Method for quantifying measure of quality of document
JP4624026B2 (en) * 2003-07-30 2011-02-02 ゼロックス コーポレイション How to quantify a measure of document quality
JP4624027B2 (en) * 2003-07-30 2011-02-02 ゼロックス コーポレイション How to quantify a measure of document quality
US7460708B2 (en) 2003-11-25 2008-12-02 Seiko Epson Corporation System, program, and method for generating visual-guidance information
JP2007515009A (en) * 2003-12-18 2007-06-07 トムソン ライセンシング Apparatus and method for generating image saliency map
US7931602B2 (en) 2004-03-24 2011-04-26 Seiko Epson Corporation Gaze guidance degree calculation system, gaze guidance degree calculation program, storage medium, and gaze guidance degree calculation method
JP4632830B2 (en) * 2004-08-19 2011-02-16 三菱電機株式会社 Image search method and image search apparatus
JP2007199749A (en) * 2004-08-19 2007-08-09 Mitsubishi Electric Corp Image retrieval method and image retrieval device
JP2006133990A (en) * 2004-11-04 2006-05-25 Fuji Xerox Co Ltd Image processing device
JP4639754B2 (en) * 2004-11-04 2011-02-23 富士ゼロックス株式会社 Image processing device
JP2007074674A (en) * 2005-09-09 2007-03-22 Sony Corp Image processing apparatus and method, and program
JP2007116447A (en) * 2005-10-20 2007-05-10 Sony Corp Image processing unit, method, and program
JP2007228224A (en) * 2006-02-23 2007-09-06 Seiko Epson Corp Image generating device, image extracting device, control method of image generating device, image extracting method and program, and recording medium with image extracting program recorded thereon
JP4650297B2 (en) * 2006-02-23 2011-03-16 セイコーエプソン株式会社 Camera, camera control method, program, and recording medium
JP2008042326A (en) * 2006-08-02 2008-02-21 Sanyo Electric Co Ltd Imaging apparatus and simultaneous display control method
JP2009245406A (en) * 2008-04-01 2009-10-22 Fujifilm Corp Image processing apparatus and program for the same
US9264620B2 (en) 2008-10-31 2016-02-16 Samsung Electronics Co., Ltd. Image photography apparatus and method for proposing composition based person
JP2010154395A (en) * 2008-12-26 2010-07-08 Sony Corp Information processing apparatus and method, and program
US9179191B2 (en) 2008-12-26 2015-11-03 Sony Corporation Information processing apparatus, information processing method, and program
JP2011035633A (en) * 2009-07-31 2011-02-17 Casio Computer Co Ltd Image processor and method
CN101990068A (en) * 2009-07-31 2011-03-23 卡西欧计算机株式会社 Image processing device and method
JP2011035636A (en) * 2009-07-31 2011-02-17 Casio Computer Co Ltd Image processor and method
EP2515206A1 (en) * 2009-12-14 2012-10-24 Panasonic Corporation User interface apparatus and input method
EP2515206A4 (en) * 2009-12-14 2015-01-21 Panasonic Ip Corp America User interface apparatus and input method
JP2011205267A (en) * 2010-03-25 2011-10-13 Casio Computer Co Ltd Device and method for processing image, and program
JP2012243313A (en) * 2011-05-13 2012-12-10 Omron Corp Image processing method and image processing device
EP2523165A3 (en) * 2011-05-13 2014-11-19 Omron Corporation Image processing method and image processing device
JP5536283B2 (en) * 2011-06-06 2014-07-02 富士フイルム株式会社 Image processing apparatus, compound eye imaging apparatus, image processing method, and program
WO2012169288A1 (en) * 2011-06-06 2012-12-13 富士フイルム株式会社 Image processing device, compound-eye imaging device, image processing method, and program
US9240064B2 (en) 2011-11-09 2016-01-19 Rakuten, Inc. Image processing device, method for controlling image processing device, program, and information storage medium
JP5000781B1 (en) * 2011-11-09 2012-08-15 楽天株式会社 Image processing apparatus, image processing apparatus control method, program, and information storage medium
JP2014099212A (en) * 2014-02-26 2014-05-29 Olympus Corp Image processing apparatus, electronic apparatus, and program
CN105225197A (en) * 2015-09-14 2016-01-06 北京金山安全软件有限公司 Picture clipping method and device

Also Published As

Publication number Publication date
JP3482923B2 (en) 2004-01-06

Similar Documents

Publication Publication Date Title
JP2001126070A (en) Noticing area extracting device and automatic composition deciding device
JP3575679B2 (en) Face matching method, recording medium storing the matching method, and face matching device
US7362918B2 (en) System and method for de-noising multiple copies of a signal
US7206449B2 (en) Detecting silhouette edges in images
EP2565824B1 (en) Data processing system and method for processing an image of an object
US8761501B2 (en) Method for 3D video content generation
US7295720B2 (en) Non-photorealistic camera
US7103227B2 (en) Enhancing low quality images of naturally illuminated scenes
US7102638B2 (en) Reducing texture details in images
CN106462944A (en) Mapping multiple high-resolution images onto a low-resolution 360-degree image to produce a high-resolution panorama without ghosting
DE102015213832B4 (en) Method and device for generating an artificial image
US20040183925A1 (en) Stylized imaging using variable controlled illumination
US20060171566A1 (en) Determining scene distance in digital camera images
JP2004537901A (en) Automatic frame selection and layout of one or more images and generation of images bounded by frames
JP2003023646A (en) Method for automatically generating frame for digital image
CN109074637A (en) For generating the method and system of output image from multiple corresponding input picture channels
CN109523462A (en) A kind of acquisition methods and device of VR video screenshotss image
US9092889B2 (en) Image processing apparatus, image processing method, and program storage medium
CN111091053A (en) Data analysis method, device, equipment and readable medium
EP3384673B1 (en) Noise-cancelling filter for video images
JP2010224775A (en) Eye-catch synthesizing device and method
CN116486018A (en) Three-dimensional reconstruction method, apparatus and storage medium
CN111933024B (en) Display device for visual transmission design
CN105760868B (en) Target in adjustment image looks for the method, device and mobile terminal of tendency
JP3962825B2 (en) Image processing apparatus and program

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030916

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081017

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091017

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101017

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101017

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111017

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121017

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131017

Year of fee payment: 10

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees