[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5397004B2 - camera - Google Patents

camera Download PDF

Info

Publication number
JP5397004B2
JP5397004B2 JP2009116103A JP2009116103A JP5397004B2 JP 5397004 B2 JP5397004 B2 JP 5397004B2 JP 2009116103 A JP2009116103 A JP 2009116103A JP 2009116103 A JP2009116103 A JP 2009116103A JP 5397004 B2 JP5397004 B2 JP 5397004B2
Authority
JP
Japan
Prior art keywords
subject
image processing
shooting
unit
date
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009116103A
Other languages
Japanese (ja)
Other versions
JP2010268093A (en
Inventor
朗子 青木
伸之 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009116103A priority Critical patent/JP5397004B2/en
Publication of JP2010268093A publication Critical patent/JP2010268093A/en
Application granted granted Critical
Publication of JP5397004B2 publication Critical patent/JP5397004B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラに関するものである。   The present invention relates to a camera.

自己位置、方位、距離データから被写体の位置を算出し、その位置情報を用いてデータベースを検索し、被写体の名称を取得するカメラが知られている(例えば、特許文献1参照)。   A camera that calculates the position of a subject from its own position, orientation, and distance data, searches a database using the position information, and acquires the name of the subject is known (see, for example, Patent Document 1).

特開2001−169164号公報JP 2001-169164 A

しかし、このカメラにおいては、被写体の位置を算出できても、被写体のどの面が撮影されたかがわからないという問題があった。   However, this camera has a problem in that even if the position of the subject can be calculated, it cannot be known which surface of the subject has been shot.

本発明の目的は、被写体の位置情報と共に被写体の撮影面の方向を画像データに関連付けて記憶することができるカメラを提供することである。   An object of the present invention is to provide a camera that can store the direction of a photographing surface of a subject in association with image data together with the position information of the subject.

本発明のカメラは、自己位置を測定する測位部と、前記自己位置を基準とした被写体の方位を計測する方位計測部と、少なくとも、前記測位部において測定された前記自己位置及び前記方位計測部において計測された前記被写体の方位に基づいて前記被写体の位置を算出する位置算出部と、前記被写体の方位に基づいて前記被写体の撮影面の方向を算出する方向算出部と、前記被写体を撮影する撮影部と、前記撮影部において撮影された前記被写体の画像データに対して前記被写体の位置及び前記撮影面の方向を関連付けて記憶する記憶部とを備えることを特徴とする。
The camera of the present invention includes a positioning unit that measures the self-position, an orientation measuring unit that measures the orientation of the subject with reference to the self-position, and at least the self-position and the orientation measuring unit measured by the positioning unit. A position calculation unit that calculates the position of the subject based on the orientation of the subject measured in step, a direction calculation unit that calculates the direction of the imaging plane of the subject based on the orientation of the subject, and the subject An imaging unit, and a storage unit that stores the image data of the subject imaged by the imaging unit in association with the position of the object and the direction of the imaging surface.

本発明のカメラによれば、被写体の位置情報と共に被写体の撮影面の方向を画像データに関連付けて記憶することができる。   According to the camera of the present invention, the direction of the photographing surface of the subject can be stored in association with the image data together with the position information of the subject.

第1の実施の形態に係るカメラのシステム構成を示すブロック図である。It is a block diagram which shows the system configuration | structure of the camera which concerns on 1st Embodiment. 第1の実施の形態に係るカメラのGPSにより測位及び計時された被写体情報の構成を示す図である。It is a figure which shows the structure of the to-be-photographed object information measured and time-measured by GPS of the camera which concerns on 1st Embodiment. 第1の実施の形態における被写体の情報を位置及び方向に応じて分類した識別番号ファイルの構成を示す図である。It is a figure which shows the structure of the identification number file which classified the information of the to-be-photographed object in 1st Embodiment according to the position and direction. 第1の実施の形態における被写体の情報を日照時間別に区分する日照情報ファイルの構成を示す図である。It is a figure which shows the structure of the sunshine information file which classify | categorizes the information of the to-be-photographed object according to sunshine time in 1st Embodiment. 第1の実施の形態における被写体の名称や属性を記憶する固有情報ファイルの構成を示す図である。It is a figure which shows the structure of the specific information file which memorize | stores the name and attribute of a to-be-photographed object in 1st Embodiment. 第1の実施の形態における属性ごとに日照情報を分類した撮影・画像処理条件ファイルの構成を示す図である。It is a figure which shows the structure of the imaging | photography / image processing condition file which classified sunshine information for every attribute in 1st Embodiment. 第1の実施の形態における撮影・画像処理条件を示す撮影・画像処理条件設定ファイルの構成を示す図である。It is a figure which shows the structure of the imaging | photography / image processing condition setting file which shows the imaging | photography / image processing conditions in 1st Embodiment. 第1の実施の形態に係るカメラの動作処理を示すフローチャートである。It is a flowchart which shows the operation | movement process of the camera which concerns on 1st Embodiment. 第1の実施の形態に係るカメラにおいて被写体の撮影面の方向を算出する際の概念図である。It is a conceptual diagram at the time of calculating the direction of the photographing surface of the subject in the camera according to the first embodiment. 第2の実施の形態に係るカメラの動作処理を示すフローチャートである。It is a flowchart which shows the operation | movement process of the camera which concerns on 2nd Embodiment. 第2の実施の形態に係るカメラの簡易撮影・画像処理条件設定ファイルを示す図である。It is a figure which shows the simple imaging | photography / image processing condition setting file of the camera which concerns on 2nd Embodiment.

以下、図面を参照して本発明の第1の実施の形態に係るデジタルカメラについて説明する。図1は、第1の実施の形態に係るデジタルカメラのシステム構成を示すブロック図である。デジタルカメラ2は、各種演算および各構成要素の制御を実行するCPU4を備え、CPU4には、現在の年月日時刻を計時する計時部5、GPS衛星から受信した信号に基づいて自己位置を算出するGPS6、自己位置を基準とした被写体までの距離を計測する測距センサ8、自己位置を基準とした被写体の方位を計測する方位センサ10、被写体を撮影するためのCCD等により構成される撮像素子を有する撮影部12、被写体の位置、撮影面の方向及び年月日時刻に基づいて撮影条件および画像処理条件を設定する際に用いられるデータファイルを記憶するデータベース14、電源スイッチ、レリーズボタン等を含む操作部16、被写体の位置、撮影面の方向、年月日時刻等を記憶する記憶部18、LCD表示部22の表示制御を行う表示制御部20、画像データに対して画像処理を行う画像処理部24、メモリカードインターフェイス25を介してExif等の所定のファイル形式で画像データを記憶するデジタルカメラ2に着脱可能なメモリカード26が接続されている。   Hereinafter, a digital camera according to a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a system configuration of the digital camera according to the first embodiment. The digital camera 2 includes a CPU 4 that executes various calculations and control of each component. The CPU 4 calculates a self-position based on a signal received from a time measuring unit 5 that measures the current date and time and a GPS satellite. GPS 6 for measuring, distance measuring sensor 8 for measuring the distance to the subject based on the self-position, direction sensor 10 for measuring the orientation of the subject based on the self-position, CCD for photographing the subject, etc. An imaging unit 12 having elements, a database 14 for storing data files used when setting imaging conditions and image processing conditions based on the position of the subject, the direction of the imaging surface, and the date / time, a power switch, a release button, etc. Display control of the operation unit 16 including, the storage unit 18 for storing the position of the subject, the direction of the photographing surface, the date and time, and the LCD display unit 22 A display card 20, an image processor 24 that performs image processing on the image data, and a memory card 26 that can be attached to and detached from the digital camera 2 that stores image data in a predetermined file format such as Exif via the memory card interface 25. It is connected.

ここで、記憶部18には、測位時に計測された被写体の位置する緯度及び経度102、被写体の撮影面の方向104、年月日時刻106が図2に示すように被写体情報として記憶される。   Here, the latitude and longitude 102 where the subject is located, the direction 104 of the photographing plane of the subject, and the date / time 106 are stored as subject information as shown in FIG. 2 in the storage unit 18.

また、データベース14には、予めメーカ等で作成・登録されたデータファイルである識別番号ファイル110、日照情報ファイル120、固有情報ファイル140、撮影・画像処理条件ファイル150、撮影・画像処理条件設定ファイル160が記憶されている。   Further, the database 14 includes an identification number file 110, a sunshine information file 120, a unique information file 140, a shooting / image processing condition file 150, a shooting / image processing condition setting file, which are data files created and registered in advance by a manufacturer or the like. 160 is stored.

図3は識別番号ファイル110の構成を示す図である。識別番号ファイル110は被写体の位置する緯度である被写体位置情報112に被写体の撮影面の方向114を対応づけたものであり、被写体位置情報112と撮影面の方向114のそれぞれの組合せに対して識別番号が付されている。   FIG. 3 is a diagram showing the configuration of the identification number file 110. The identification number file 110 is obtained by associating the subject position information 112, which is the latitude at which the subject is located, with the photographing plane direction 114 of the subject, and identifies each combination of the subject position information 112 and the photographing plane direction 114. Numbered.

図4は日照情報ファイル120の構成を示す図である。日照情報ファイル120は識別番号122に日付124、日照時間126を対応させたものである。ここで、識別番号122は識別番号ファイル110に示されている識別番号である。また、日付124は一年を複数の時期に区分した日付であり、日照時間126は被写体の撮影面における照度が所定の閾値を超える時間帯である日照大時間(A)128、被写体の撮影面における照度が所定の閾値以下の時間帯である日照小時間(B)130、日照の無い時間帯である日照無時間(C)132に分類される。   FIG. 4 is a diagram showing the configuration of the sunshine information file 120. The sunshine information file 120 is obtained by associating an identification number 122 with a date 124 and a sunshine time 126. Here, the identification number 122 is an identification number indicated in the identification number file 110. Further, the date 124 is a date obtained by dividing the year into a plurality of periods, the sunshine time 126 is the sunshine time (A) 128 in which the illuminance on the photographing surface of the subject exceeds a predetermined threshold, and the photographing surface of the subject. Are classified into a short sunshine period (B) 130 in which the illuminance is below a predetermined threshold and a non-sunshine period (C) 132 in which there is no sunshine.

図5は固有情報ファイル140の構成を示す図である。固有情報ファイル140は被写体の位置する緯度及び経度である被写体位置情報142に、観光地や施設名等の被写体の名称144及び風景や建物等の被写体の属性146を対応づけたものである。   FIG. 5 is a diagram showing the configuration of the unique information file 140. The unique information file 140 is obtained by associating the subject position information 142 that is the latitude and longitude of the subject with the subject name 144 such as a sightseeing spot or facility name and the subject attribute 146 such as a landscape or building.

図6は撮影・画像処理条件ファイル150の構成を示す図である。撮影・画像処理条件ファイル150は属性152に日照情報区分154を対応づけたものであり、属性152と日照情報区分154のそれぞれの組合せに対する撮影・画像処理条件156が示されている。ここで、属性152は固有情報ファイル140に示されている属性であり、日照情報区分154は日照情報ファイル120に示されている日照情報区分である。   FIG. 6 is a diagram showing the configuration of the shooting / image processing condition file 150. The shooting / image processing condition file 150 is obtained by associating the attribute 152 with the sunshine information section 154, and the shooting / image processing conditions 156 for each combination of the attribute 152 and the sunshine information section 154 are shown. Here, the attribute 152 is an attribute shown in the unique information file 140, and the sunshine information section 154 is a sunshine information section shown in the sunshine information file 120.

図7は撮影・画像処理条件設定ファイル160の構成を示す図である。撮影・画像処理条件設定ファイル160は、設定される撮影条件および画像処理条件の内容を具体的に示すものである。   FIG. 7 is a diagram showing the configuration of the shooting / image processing condition setting file 160. The shooting / image processing condition setting file 160 specifically shows the contents of the shooting conditions and image processing conditions to be set.

CPU4は、識別番号ファイル110、日照情報ファイル120、固有情報ファイル140、撮影・画像処理条件ファイル150、撮影・画像処理条件設定ファイル160を参照することにより、撮影・画像処理条件および画像処理条件の内容を決定する。   The CPU 4 refers to the identification number file 110, the sunshine information file 120, the unique information file 140, the shooting / image processing condition file 150, and the shooting / image processing condition setting file 160, so that the shooting / image processing conditions and the image processing conditions are set. Determine the content.

次に、図8に示すフローチャートを参照して第1の実施の形態に係るデジタルカメラ2の動作処理について説明する。操作者がレリーズボタンを半押しすると、CPU4は計時部5から現在の年月日時刻を取得する(ステップS0)。次に、CPU4はGPS6から測位されたデジタルカメラ2の自己位置を取得する(ステップS1)。次に、CPU4は測距センサ8により測距された自己位置を基準とした被写体までの距離を取得する(ステップS2)。次に、CPU4は方位センサ10により計測されたデジタルカメラ2の自己位置を基準とした被写体の方位を計測する(ステップS3)。そして、CPU4は被写体の方位から被写体の撮影面の方向を算出する(ステップS4)。ここで、被写体の撮影面の方向の算出は、図9に示すように方位センサ10において計測された被写体の方位をπラジアン回転させることにより算出される。次に、CPU4はデジタルカメラ2の自己位置と、自己位置から被写体までの距離と、被写体の方位に基づいて被写体の位置を算出する(ステップS5)。そしてCPU4は、図2に示すように被写体位置、撮影面の方向及び年月日時刻を記憶部18に記憶させる(ステップS6)。   Next, operation processing of the digital camera 2 according to the first embodiment will be described with reference to a flowchart shown in FIG. When the operator presses the release button halfway, the CPU 4 acquires the current date from the timekeeping unit 5 (step S0). Next, the CPU 4 acquires the self-position of the digital camera 2 measured from the GPS 6 (step S1). Next, the CPU 4 obtains the distance to the subject with reference to the self-position measured by the distance measuring sensor 8 (step S2). Next, the CPU 4 measures the azimuth of the subject based on the self-position of the digital camera 2 measured by the azimuth sensor 10 (step S3). Then, the CPU 4 calculates the direction of the photographing surface of the subject from the orientation of the subject (step S4). Here, the direction of the photographing plane of the subject is calculated by rotating the orientation of the subject measured by the orientation sensor 10 by π radians as shown in FIG. Next, the CPU 4 calculates the position of the subject based on the self-position of the digital camera 2, the distance from the self-position to the subject, and the orientation of the subject (step S5). Then, as shown in FIG. 2, the CPU 4 stores the subject position, the direction of the photographing surface and the date / time in the storage unit 18 (step S6).

CPU4は、記憶部18に記憶した被写体位置及び撮影面の方向を用いて、データベース14に記憶されている識別番号ファイル110(図3参照)を検索し、識別番号を取得する(ステップS7)。例えば、図2に示すように被写体位置が緯度35°39′31″、撮影面の方向が北である場合には、識別番号として「21番」が取得される。   The CPU 4 searches the identification number file 110 (see FIG. 3) stored in the database 14 using the subject position and the direction of the photographing surface stored in the storage unit 18 and acquires the identification number (step S7). For example, as shown in FIG. 2, when the subject position is latitude 35 ° 39′31 ″ and the direction of the photographing surface is north, “21” is acquired as the identification number.

次に、CPU4は、取得した識別番号及び記憶部18に記憶した年月日時刻を用いて、データベース14に記憶されている日照情報ファイル120(図4参照)を検索し、日照情報を取得する(ステップS8)。例えば、識別番号が21番であり、図2に示すように測位日が2008/12/24、測位時間が21:00である場合には、日照情報として「日照無時間(C)」が取得される。   Next, the CPU 4 searches the sunshine information file 120 (see FIG. 4) stored in the database 14 using the acquired identification number and the date and time stored in the storage unit 18 to acquire sunshine information. (Step S8). For example, when the identification number is 21, the positioning date is 2008/12/24, and the positioning time is 21:00 as shown in FIG. 2, “sunshine-free time (C)” is acquired as sunshine information. Is done.

次に、CPU4は、記憶部18に記憶した被写体位置情報(図2参照)を用いて、データベース14に記憶されている固有情報ファイル140(図5参照)を検索し、被写体の名称及び属性を取得する(ステップS9)。例えば、図2に示すように被写体位置が緯度35°39′31″、経度139°44′43″である場合には、図5に示すように被写体の名称が「東京タワー」、属性が「建物」という固有情報が取得される。   Next, the CPU 4 uses the subject position information (see FIG. 2) stored in the storage unit 18 to search the unique information file 140 (see FIG. 5) stored in the database 14, and determines the subject name and attribute. Obtain (step S9). For example, if the subject position is latitude 35 ° 39'31 "and longitude 139 ° 44'43" as shown in FIG. 2, the subject name is "Tokyo Tower" and the attribute is "Tokyo Tower" as shown in FIG. The unique information “building” is acquired.

ここで、固有情報ファイル140に該当する固有情報が無く(ステップS10)、被写体の名称及び属性が取得できなかった場合には、CPU4はLCD表示部22に「該当する被写体は見つかりませんでした。」等の表示を行った後(ステップS18)、「撮影条件および画像処理条件の設定を行いませんでした。」等の表示を行い(ステップS19)、新たな撮影条件および画像処理条件の設定を行わない。   Here, when there is no corresponding unique information in the unique information file 140 (step S10) and the subject name and attribute cannot be acquired, the CPU 4 displays on the LCD display unit 22 “the relevant subject was not found. ”And the like (step S18),“ Shooting conditions and image processing conditions have not been set ”are displayed (step S19), and new shooting conditions and image processing conditions are set. Not performed.

一方で、固有情報ファイル140に該当する固有情報が存在し(ステップS10)、固有情報が取得された場合には、CPU4は、被写体の属性及び日照情報を用いて、データベース14に記憶されている撮影・画像処理条件ファイル150(図6参照)を検索し、撮影条件および画像処理条件を取得する(ステップS11)。例えば、被写体の属性が建物であり、日照情報が日照無時間(C)である場合には、「(6)建物夜景」が取得される。次に、LCD表示部22に撮影・画像処理条件設定ファイル160(図7参照)に示されているような撮影条件および画像処理条件が表示される(ステップS12)。   On the other hand, if the unique information exists in the unique information file 140 (step S10) and the unique information is acquired, the CPU 4 stores the unique information in the database 14 using the subject attributes and the sunshine information. The photographing / image processing condition file 150 (see FIG. 6) is searched to acquire the photographing condition and the image processing condition (step S11). For example, when the attribute of the subject is a building and the sunshine information is no sunshine time (C), “(6) building night view” is acquired. Next, shooting conditions and image processing conditions as shown in the shooting / image processing condition setting file 160 (see FIG. 7) are displayed on the LCD display unit 22 (step S12).

次に、CPU4はLCD表示部22に「撮影条件および画像処理条件を設定しますか?」等の表示を行い、操作者が撮影条件および画像処理条件を設定するためにOKボタンを押下した場合には(ステップS13 Yes)、CPU4は、取得した撮影条件および画像処理条件を記憶部18に記憶して新たな撮影条件および画像処理条件を設定する(ステップS14)。操作者が撮影条件および画像処理条件を設定しない旨を選択した場合には(ステップS13 No)、LCD表示部22に「撮影条件および画像処理条件は設定されませんでした。」等の表示を行い(ステップS19)、CPU4は、新たな撮影条件および画像処理条件の設定を行わない。   Next, the CPU 4 displays on the LCD display unit 22 “Do you want to set shooting conditions and image processing conditions?” And the like, and the operator presses the OK button to set the shooting conditions and image processing conditions. In step S13, the CPU 4 stores the acquired shooting conditions and image processing conditions in the storage unit 18 and sets new shooting conditions and image processing conditions (step S14). When the operator selects not to set the shooting condition and the image processing condition (No in step S13), the LCD display unit 22 displays “The shooting condition and the image processing condition are not set”. (Step S19), the CPU 4 does not set new shooting conditions and image processing conditions.

次に、レリーズボタンによる撮影指示に応じて、設定されている撮影条件により被写体の撮影が行われる(ステップS15)。撮影後、CPU4は撮影された被写体の画像データを記憶部18に一旦記憶させる。つづいて、CPU4は記憶部18に一旦記憶された画像データを読み出し、画像処理部24によって設定されている画像処理条件に応じた画像処理が画像データに施されるように制御する(ステップS16)。   Next, the subject is photographed according to the set photographing conditions in accordance with the photographing instruction by the release button (step S15). After shooting, the CPU 4 temporarily stores the image data of the shot subject in the storage unit 18. Subsequently, the CPU 4 reads the image data once stored in the storage unit 18 and controls the image data to be subjected to image processing according to the image processing conditions set by the image processing unit 24 (step S16). .

次に、被写体の位置及び被写体の撮影面の方向と関連付けてExif(Exchangeable image File format)等の所定のファイル形式の画像データとしてメモリカード26に記憶させる(ステップS17)。   Next, the image data is stored in the memory card 26 as image data in a predetermined file format such as Exif (Exchangeable Image File format) in association with the position of the subject and the direction of the photographing surface of the subject (step S17).

ステップS16における画像処理としては輪郭補償、階調補正、ホワイトバランス調整、ノイズリダクション、逆光やフラッシュ撮影で光量不足のため暗くなった部分を明るくする補正等の画像処理のうち設定されている条件の画像処理が行われる。   The image processing in step S16 is a set of image processing conditions such as contour compensation, gradation correction, white balance adjustment, noise reduction, and correction for brightening a portion that has become dark due to insufficient light quantity due to backlight or flash photography. Image processing is performed.

この第1の実施の形態に係るデジタルカメラ2によれば、被写体の方位のみならず被写体の撮影面の方向も算出することから、被写体位置及び年月日時刻と共に被写体の撮影面の方向を画像データに関連付けて記憶することができる。   According to the digital camera 2 according to the first embodiment, not only the orientation of the subject but also the direction of the subject's photographing plane is calculated, so the direction of the subject's photographing plane is imaged together with the subject position and date / time. It can be stored in association with data.

次に図10に示すフローチャートを参照して第2の実施の形態に係るデジタルカメラの動作処理について説明する。この第2の実施の形態に係るデジタルカメラは、第1の実施の形態に係るデジタルカメラ2のように詳細なデータベース14を用いず、被写体情報を簡易に分類することにより、予め記憶されている撮影条件および画像処理条件を取得し、撮影条件および画像処理条件の設定を行うものである。従って、第1の実施の形態と同一の構成についての詳細な説明は省略し、異なる部分のみについて詳細に説明する。また、第1の実施の形態と同一の構成には同一の符号を付して説明する。   Next, operation processing of the digital camera according to the second embodiment will be described with reference to a flowchart shown in FIG. The digital camera according to the second embodiment is stored in advance by simply classifying subject information without using the detailed database 14 unlike the digital camera 2 according to the first embodiment. The photographing condition and the image processing condition are acquired, and the photographing condition and the image processing condition are set. Therefore, a detailed description of the same configuration as that of the first embodiment is omitted, and only different portions will be described in detail. Further, the same components as those in the first embodiment will be described with the same reference numerals.

操作者がレリーズボタンを半押しすると、CPU4は計時部5から現在の年月日時刻を取得する(ステップS20)。次に、CPU4はGPS6から測位されたデジタルカメラ2の自己位置を取得する(ステップS21)。次に、CPU4は測距センサ8による測距により被写体までの距離を取得し(ステップS22)、方位センサ10により方位計測を行う(ステップS23)。CPU4は被写体の方位から被写体の撮影面の方向を算出し(ステップS24)、デジタルカメラ2の自己位置と、自己位置から被写体までの距離と、被写体の方位に基づいて被写体の位置を算出する(ステップS25)。そしてCPU4は、図2に示すように被写体位置、撮影面の方向及び年月日時刻を記憶部18に記憶させる(ステップS26)。   When the operator half-presses the release button, the CPU 4 acquires the current date from the timekeeping unit 5 (step S20). Next, the CPU 4 acquires the self-position of the digital camera 2 measured from the GPS 6 (step S21). Next, the CPU 4 acquires the distance to the subject by distance measurement by the distance sensor 8 (step S22), and performs direction measurement by the direction sensor 10 (step S23). The CPU 4 calculates the direction of the photographing plane of the subject from the orientation of the subject (step S24), and calculates the position of the subject based on the self-position of the digital camera 2, the distance from the self-position to the subject, and the orientation of the subject ( Step S25). Then, as shown in FIG. 2, the CPU 4 causes the storage unit 18 to store the subject position, the direction of the photographing surface, and the date (step S26).

CPU4は、記憶部18に記憶した被写体位置及び撮影面の方向を用いて、記憶部18に記憶されている簡易撮影・画像処理条件設定ファイル170から撮影・画像処理条件178を検索し(ステップS27)、撮影条件および画像処理条件に係る番号を決定し、番号ごとに予め設定されている撮影条件および画像処理条件を記憶部18から取得する。例えば、図2に示すように被写体位置が緯度35°39′31″、撮影面の方向が北、測位日が2008/12/24、測位時間が21:00である場合には、図11に示すように、123番の撮影条件および画像処理条件を記憶部18から取得する。   The CPU 4 retrieves the shooting / image processing condition 178 from the simple shooting / image processing condition setting file 170 stored in the storage unit 18 using the subject position and the direction of the shooting plane stored in the storage unit 18 (step S27). ), The numbers related to the shooting conditions and the image processing conditions are determined, and the shooting conditions and the image processing conditions set in advance for each number are acquired from the storage unit 18. For example, as shown in FIG. 2, when the subject position is latitude 35 ° 39'31 ″, the direction of the imaging plane is north, the positioning date is 2008/12/24, and the positioning time is 21:00, FIG. As shown, the 123rd photographing condition and image processing condition are acquired from the storage unit 18.

次に、CPU4はLCD表示部22に「撮影条件および画像処理条件を設定しますか?」等の表示を行う(ステップS28)。操作者が撮影条件および画像処理条件の設定を行う場合には、CPU4は、取得した撮影条件および画像処理条件を記憶部18に記憶する(ステップS29)。一方、操作者が撮影条件および画像処理条件を設定しない場合には、CPU4はLCD表示部22に「撮影条件および画像処理条件は設定されませんでした。」等の表示を行い(ステップS33)、新たな撮影条件および画像処理条件を設定しない。   Next, the CPU 4 displays on the LCD display section 22 "Do you want to set shooting conditions and image processing conditions?" (Step S28). When the operator sets shooting conditions and image processing conditions, the CPU 4 stores the acquired shooting conditions and image processing conditions in the storage unit 18 (step S29). On the other hand, when the operator does not set the shooting condition and the image processing condition, the CPU 4 displays on the LCD display unit 22 “The shooting condition and the image processing condition have not been set” or the like (step S33). Do not set new shooting conditions and image processing conditions.

次に、レリーズボタンによる撮影指示に応じて、設定された撮影条件で被写体の撮影が行われる(ステップS30)。   Next, the subject is photographed under the set photographing conditions in accordance with the photographing instruction by the release button (step S30).

撮影後、CPU4は撮影された被写体の画像データを記憶部18に一旦記憶させる。つづいて、CPU4は記憶部18に一旦記憶された画像データを読み出し、画像処理部24によって設定されている画像処理条件に応じた画像処理が画像データに施されるように制御する(ステップS31)。   After shooting, the CPU 4 temporarily stores the image data of the shot subject in the storage unit 18. Subsequently, the CPU 4 reads the image data once stored in the storage unit 18 and controls the image data to be subjected to image processing according to the image processing conditions set by the image processing unit 24 (step S31). .

次に、被写体の撮影面の方向及び被写体の位置と関連付けてExif等の所定のファイル形式の画像データとしてメモリカード26に記憶させる(ステップS32)。   Next, the image data is stored in the memory card 26 as image data in a predetermined file format such as Exif in association with the direction of the photographing surface of the subject and the position of the subject (step S32).

この第2の実施の形態に係るデジタルカメラによれば、図3〜6に示すような詳細なデータベースを用いることなく、被写体の位置、被写体の撮影面の方向及び年月日時刻を用いて撮影条件および画像処理条件を設定することができる。   According to the digital camera of the second embodiment, photographing is performed using the position of the subject, the direction of the photographing surface of the subject, and the date and time without using a detailed database as shown in FIGS. Conditions and image processing conditions can be set.

なお、上述の各実施の形態に係るデジタルカメラにおいて、水準器を備えるようにしてもよい。これにより、デジタルカメラ2の自己位置を基準とした被写体の水平面に対する角度を計測し、この計測された角度と被写体までの距離を用いて被写体の高度情報を算出することができる。   The digital camera according to each of the above-described embodiments may be provided with a level. Thereby, the angle of the subject with respect to the horizontal plane relative to the self-position of the digital camera 2 can be measured, and the altitude information of the subject can be calculated using the measured angle and the distance to the subject.

また、上述の各実施の形態に係るデジタルカメラにおいて、測距センサ8は、例えば赤外線を照射する照射部と赤外線を受光する受光部等によって構成され、赤外線を照射してから被写体によって反射して戻ってくるまでの時間に基づいてデジタルカメラ2を基準とした被写体距離を計測する。なお、自己位置を基準とした被写体までの距離を判定する測距手段として、CPU4の指示に基づき不図示のフォーカスレンズの位置を移動させ、被写体のコントラストがピークとなるフォーカスレンズの位置を特定し、その位置に基づいて距離を判定する構成としてもよい。   In the digital camera according to each of the above-described embodiments, the distance measuring sensor 8 includes, for example, an irradiation unit that emits infrared rays and a light receiving unit that receives infrared rays, and reflects the infrared rays after being irradiated by the subject. The subject distance based on the digital camera 2 is measured based on the time until returning. As a distance measuring means for determining the distance to the subject based on the self position, the position of the focus lens (not shown) is moved based on an instruction from the CPU 4, and the position of the focus lens where the contrast of the subject reaches a peak is specified. The distance may be determined based on the position.

また、上述の各実施の形態に係るデジタルカメラにおいて、データベース14を外部装置に備えてもよい。この場合、CPU4は無線通信部を備え、無線通信により日照情報や固有情報等のデータを外部装置から受信する。   In the digital camera according to each of the above-described embodiments, the database 14 may be provided in an external device. In this case, the CPU 4 includes a wireless communication unit, and receives data such as sunshine information and unique information from an external device by wireless communication.

また、上述の各実施の形態に係るデジタルカメラにおいて、データベース14に記憶されている識別番号ファイル110の被写体位置情報112及び撮影面の方向114における区分の間隔がより細分化されていてもよい。これにより、日照条件をさらに詳細に絞り込むことができる。また、区分の間隔は操作者が任意に設定できるようにしてもよい。   Further, in the digital camera according to each of the above-described embodiments, the interval of the segment in the subject position information 112 and the imaging plane direction 114 of the identification number file 110 stored in the database 14 may be further subdivided. Thereby, sunshine conditions can be narrowed down further in detail. Further, the interval between the sections may be arbitrarily set by the operator.

また、上述の各実施の形態に係るデジタルカメラにおいて、他のカメラ等で取得したGPS情報を用いてデータベース14から日照情報、固有情報等を検索し、または記憶部18に記憶されている簡易撮影・画像処理条件設定ファイル170から撮影条件および画像処理条件を検索することにより撮影条件および画像処理条件を設定できるようにしてもよい。これにより、デジタルカメラがGPSを備えない場合でも、被写体位置及び年月日時刻と共に被写体の撮影面の方向を画像データに関連付けて記憶することができる。   Further, in the digital camera according to each of the above-described embodiments, sunshine information, unique information, or the like is searched from the database 14 using GPS information acquired by another camera or the like, or simple photographing stored in the storage unit 18 The image capturing condition and the image processing condition may be set by searching the image processing condition setting file 170 for the image capturing condition and the image processing condition. Thereby, even when the digital camera does not have a GPS, the direction of the photographing surface of the subject can be stored in association with the image data together with the subject position and the date.

また、上述の各実施の形態に係るデジタルカメラにおいて、CPU4は、デジタルカメラ2の自己位置を基準として、方位計測部10において計測した被写体の方位の延長線上に存在する被写体を、データベース14に記憶されている固有情報ファイル140から検索することにより、被写体の位置を特定してもよい。これにより、デジタルカメラが測距センサ8を備えない場合でも、被写体の位置を予測し特定することができる。   In the digital camera according to each of the embodiments described above, the CPU 4 stores, in the database 14, subjects that exist on the extension line of the subject orientation measured by the orientation measurement unit 10 with reference to the self-position of the digital camera 2. The position of the subject may be specified by searching from the specific information file 140. Thereby, even when the digital camera does not include the distance measuring sensor 8, the position of the subject can be predicted and specified.

また、上述の各実施の形態に係るデジタルカメラにおいて、操作者の判断で画像処理の開始を指示する画像処理スイッチを設けてもよい。これにより、操作者がLCD表示部22に表示された撮影された画像を見て画像処理が必要と判断した場合に、画像処理を開始することができる。   In addition, in the digital camera according to each of the above-described embodiments, an image processing switch that instructs the start of image processing at the operator's discretion may be provided. As a result, when the operator determines that image processing is necessary by looking at the captured image displayed on the LCD display unit 22, image processing can be started.

また、上述の各実施の形態に係るデジタルカメラにおいて、被写体位置、撮影面の方向及び年月日時刻を用いて画像処理条件を設定し、設定した画像処理条件に基づいて被写体の画像データの少なくとも一部に対して画像処理を施してもよい。これにより、被写体情報に基づいた適正な画像処理を行うことができる。   In the digital camera according to each of the above-described embodiments, the image processing condition is set using the subject position, the direction of the photographing surface, and the date and time, and at least the image data of the subject is set based on the set image processing condition. Image processing may be performed on a part of the image. Thereby, appropriate image processing based on subject information can be performed.

また、上述の第1の実施の形態に係るデジタルカメラにおいて、画像処理を行う際に被写体の撮影時の実際の露出値と、データベース14に記憶されている日照情報ファイル120の日照情報を参照することにより想定される露出値とを比較してもよい。これにより、被写体の位置、被写体の方向及び測位時間のみを考慮した客観的な日照条件を基に求められた露出値との比較ができ、適正な画像処理を行うことができる。   Further, in the digital camera according to the first embodiment described above, when performing image processing, the actual exposure value at the time of photographing the subject and the sunshine information in the sunshine information file 120 stored in the database 14 are referred to. You may compare with the exposure value assumed by this. Thereby, it is possible to compare with the exposure value obtained based on the objective sunshine condition considering only the position of the subject, the direction of the subject, and the positioning time, and appropriate image processing can be performed.

また、CPU4は画像処理部24を制御して、画像データに対して所定の画像処理が必要である場合には、その画像処理を行うような制御フローにしてもよい。例えば、CPU4は、被写体の撮影準備段階における実際の露出値と、日照条件から想定される露出値とを比較し、露出値の差が予め設定されている所定の閾値を超えている場合には、CPU4はメモリカード26に記憶されている画像データを読み出して画像データの一部または全部について画像処理を行うようにしてもよい。また、露出値の差が予め設定されている所定の閾値を以下である場合には、画像処理を行わないようにしてもよい。   Further, the CPU 4 may control the image processing unit 24 so that when predetermined image processing is necessary for the image data, the control flow may be such that the image processing is performed. For example, the CPU 4 compares the actual exposure value in the shooting preparation stage of the subject with the exposure value assumed from the sunshine condition, and when the difference between the exposure values exceeds a predetermined threshold value set in advance. The CPU 4 may read image data stored in the memory card 26 and perform image processing on a part or all of the image data. Further, when the exposure value difference is equal to or smaller than a predetermined threshold value, the image processing may not be performed.

また、上述の各実施の形態に係るデジタルカメラにおいて、記憶部18に記憶されている画像データに画像処理を施した後にメモリカード26に記憶しているが、画像処理を施さずにメモリカード26に記憶してもよい。この場合、画像処理条件は、撮影した画像データとの対応関係が後から特定できる形態で記憶部18、もしくは、メモリカード26に記憶しておくことが好ましい。これにより、CPU4はメモリカード26に記憶されている画像データを読み出して画像データの一部または全部についてメモリカード26に記憶した後に画像処理を行うことができるようになる。   In the digital camera according to each of the embodiments described above, the image data stored in the storage unit 18 is subjected to image processing and then stored in the memory card 26. However, the memory card 26 is not subjected to image processing. May be stored. In this case, the image processing conditions are preferably stored in the storage unit 18 or the memory card 26 in a form in which the correspondence relationship with the captured image data can be specified later. As a result, the CPU 4 can read out the image data stored in the memory card 26 and store part or all of the image data in the memory card 26 to perform image processing.

また、撮影条件と画像処理条件のうち何れか一方を設定してもよいし、撮影条件と画像処理条件とを別の制御フローによって設定してもよい。例えば、画像処理条件のみを設定する制御フローの場合には、CPU4は実際の撮影が行われた撮影年月日時刻を取得し、撮影年月日時刻に最も近い時の被写体の位置および被写体の撮影面の方向を特定し、これら撮影年月日時刻、被写体の位置および被写体の撮影面の方向を被写体情報として記憶部18またはメモリカード26に記憶することが好ましい。これにより、実際の撮影年月日時刻、撮影年月日時刻に最も近い時の被写体の位置および撮影年月日時刻に最も近い時の撮影面の方向に基づいて画像処理条件を判定でき、より適切な画像処理条件を選択することが可能となる。   In addition, either the shooting condition or the image processing condition may be set, or the shooting condition and the image processing condition may be set by different control flows. For example, in the case of a control flow in which only the image processing conditions are set, the CPU 4 acquires the shooting date and time when actual shooting was performed, and the position of the subject and the subject at the time closest to the shooting date and time. It is preferable to specify the direction of the photographing surface and store the photographing date and time, the position of the subject, and the direction of the photographing surface of the subject in the storage unit 18 or the memory card 26 as subject information. This makes it possible to determine the image processing conditions based on the actual shooting date and time, the position of the subject closest to the shooting date and time, and the direction of the shooting surface when closest to the shooting date and time. Appropriate image processing conditions can be selected.

2…デジタルカメラ、4…CPU、5…計時部、6…GPS、8…測距センサ、10…方位センサ、12…撮像部、14…データベース、18…記憶部、24…画像処理部、25…メモリカードインターフェイス、26…メモリカード。   2 ... Digital camera, 4 ... CPU, 5 ... Timekeeping unit, 6 ... GPS, 8 ... Distance sensor, 10 ... Direction sensor, 12 ... Imaging unit, 14 ... Database, 18 ... Storage unit, 24 ... Image processing unit, 25 ... memory card interface, 26 ... memory card.

Claims (7)

自己位置を測定する測位部と、
前記自己位置を基準とした被写体の方位を計測する方位計測部と、
少なくとも、前記測位部において測定された前記自己位置及び前記方位計測部において計測された前記被写体の方位に基づいて前記被写体の位置を算出する位置算出部と、
前記被写体の方位に基づいて前記被写体の撮影面の方向を算出する方向算出部と、
前記被写体を撮影する撮影部と、
前記撮影部において撮影された前記被写体の画像データに対して前記被写体の位置及び前記撮影面の方向を関連付けて記憶する記憶部と
を備えることを特徴とするカメラ。
A positioning unit that measures self-position;
An azimuth measuring unit that measures the azimuth of the subject with respect to the self-position;
A position calculating unit that calculates the position of the subject based on at least the self-position measured by the positioning unit and the orientation of the subject measured by the orientation measuring unit;
A direction calculating unit that calculates the direction of the photographing surface of the subject based on the orientation of the subject;
A photographing unit for photographing the subject;
A storage unit that stores the image data of the subject photographed by the photographing unit in association with the position of the subject and the direction of the photographing surface.
日時を計時する計時部と、
前記被写体の位置、前記撮影面の方向及び前記日時に基づいて撮影条件を設定する撮影条件設定部と
を備えることを特徴とする請求項1記載のカメラ。
A timekeeping section that measures the date and time,
The camera according to claim 1, further comprising: a shooting condition setting unit that sets shooting conditions based on the position of the subject, the direction of the shooting surface, and the date and time.
少なくとも前記被写体の位置、前記撮影面の方向及び前記日時に基づいて画像処理条件を設定する画像処理条件設定部と、
前記撮影された前記被写体の画像データの少なくとも一部に対して、前記画像処理条件設定部によって設定された画像処理条件に基づいて画像処理を施す画像処理部と
をさらに備えることを特徴とする請求項2記載のカメラ。
An image processing condition setting unit that sets image processing conditions based on at least the position of the subject, the direction of the imaging surface, and the date and time;
An image processing unit that performs image processing on at least a part of the photographed image data of the subject based on the image processing condition set by the image processing condition setting unit. Item 2. The camera according to Item 2.
少なくとも前記被写体の位置、前記撮影面の方向及び前記日時に基づく撮影条件及び少なくとも前記被写体の位置、前記撮影面の方向及び前記日時に基づく画像処理条件を記憶した条件記憶部をさらに備え、
前記撮影条件設定部は、少なくとも前記被写体の位置、前記撮影面の方向及び前記日時に基づいて前記条件記憶部を参照して前記撮影条件の設定を行い、
前記画像処理条件設定部は、少なくとも前記被写体の位置、前記撮影面の方向及び前記日時に基づいて前記条件記憶部を参照して前記画像処理条件の設定を行うことを特徴とする請求項3記載のカメラ。
A condition storage unit that stores at least a shooting condition based on the position of the subject, the direction of the shooting plane and the date and time, and at least an image processing condition based on the position of the subject, the direction of the shooting plane and the date and time;
The shooting condition setting unit sets the shooting condition with reference to the condition storage unit based on at least the position of the subject, the direction of the shooting surface, and the date and time,
4. The image processing condition setting unit sets the image processing condition with reference to the condition storage unit based on at least the position of the subject, the direction of the photographing surface, and the date and time. Camera.
前記被写体の位置に基づいた被写体の固有情報を記憶する被写体固有情報記憶部をさらに備え、
前記条件記憶部は、前記被写体の位置、前記撮影面の方向、前記日時及び前記被写体の固有情報に基づいた撮影条件及び前記被写体の位置、前記撮影面の方向、前記日時及び前記被写体の固有情報に基づいた画像処理条件を記憶し、
前記撮影条件設定部は、前記被写体の位置、前記撮影面の方向、前記日時及び前記被写体の固有情報に基づいて前記条件記憶部を参照して前記撮影条件の設定を行い、
前記画像処理条件設定部は、前記被写体の位置、前記撮影面の方向、前記日時及び前記被写体の固有情報に基づいて前記条件記憶部を参照して前記画像処理条件の設定を行うことを特徴とする請求項4に記載のカメラ。
A subject unique information storage unit for storing subject unique information based on the subject position;
The condition storage unit includes a shooting condition based on the position of the subject, the direction of the shooting plane, the date and time, and the unique information of the subject, the position of the subject, the direction of the shooting plane, the date and time, and the unique information of the subject. Store image processing conditions based on
The shooting condition setting unit sets the shooting condition with reference to the condition storage unit based on the position of the subject, the direction of the shooting surface, the date and time, and the unique information of the subject,
The image processing condition setting unit sets the image processing condition with reference to the condition storage unit based on the position of the subject, the direction of the photographing surface, the date and time, and the unique information of the subject. The camera according to claim 4.
前記自己位置と前記被写体との距離を測定する測距部をさらに備え、
前記位置算出部は、前記測距部において計測された前記被写体距離及び前記自己位置に基づいて前記被写体の位置を算出することを特徴とする請求項1〜5のいずれか1項に記載のカメラ。
A distance measuring unit for measuring a distance between the self position and the subject;
The camera according to claim 1, wherein the position calculation unit calculates the position of the subject based on the subject distance and the self-position measured by the distance measurement unit. .
前記被写体と前記被写体の位置との関連情報が記憶された位置情報記憶部をさらに備え、
前記位置算出部は、前記自己位置及び前記被写体方位に基づいて前記位置情報記憶部を参照して前記被写体の位置を判定することを特徴とする請求項1〜5に記載のいずれか1項に記載のカメラ。
A position information storage unit that stores information related to the subject and the position of the subject;
The said position calculation part determines the position of the said subject with reference to the said positional-information memory | storage part based on the said self-position and the said object azimuth | direction. The listed camera.
JP2009116103A 2009-05-13 2009-05-13 camera Expired - Fee Related JP5397004B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009116103A JP5397004B2 (en) 2009-05-13 2009-05-13 camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009116103A JP5397004B2 (en) 2009-05-13 2009-05-13 camera

Publications (2)

Publication Number Publication Date
JP2010268093A JP2010268093A (en) 2010-11-25
JP5397004B2 true JP5397004B2 (en) 2014-01-22

Family

ID=43364741

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009116103A Expired - Fee Related JP5397004B2 (en) 2009-05-13 2009-05-13 camera

Country Status (1)

Country Link
JP (1) JP5397004B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5868776B2 (en) * 2012-05-14 2016-02-24 キャンバスマップル株式会社 Image display device and computer program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001128052A (en) * 1999-10-28 2001-05-11 Casio Comput Co Ltd Camera apparatus, picture reproducing device and subject position calculating method in camera apparatus
JP4274656B2 (en) * 1999-12-08 2009-06-10 カシオ計算機株式会社 Camera device and subject name display method
JP4275326B2 (en) * 2001-05-16 2009-06-10 富士フイルム株式会社 Imaging apparatus and position information detection system
JP4114402B2 (en) * 2002-05-27 2008-07-09 カシオ計算機株式会社 Server apparatus, imaging apparatus, imaging system, imaging method, and imaging apparatus control program
JP4984044B2 (en) * 2004-09-07 2012-07-25 日本電気株式会社 Image capturing system, image capturing condition setting method, terminal and server used therefor
JP4775029B2 (en) * 2006-02-22 2011-09-21 セイコーエプソン株式会社 Determination of shooting scene
JP4596330B2 (en) * 2006-08-07 2010-12-08 日本ビクター株式会社 Imaging system

Also Published As

Publication number Publication date
JP2010268093A (en) 2010-11-25

Similar Documents

Publication Publication Date Title
JP5194650B2 (en) Electronic camera
US8305452B2 (en) Remote determination of image-acquisition settings and opportunities
JP4178009B2 (en) Shooting system
US8126321B2 (en) Imaging equipment, photographic setting determination method, and photographic setting determination program
US20110085057A1 (en) Imaging device, image display device, and electronic camera
US8976267B2 (en) Image pickup device with photography positioning guidance
JP2012004899A (en) Imaging device, and method and program for controlling the same
US20170163890A1 (en) Image processing apparatus, image-capturing apparatus, image processing method, and non-transitory computer-readable storage medium
JP5186984B2 (en) Electronic camera
JP2007258927A (en) Imaging apparatus
JP5397004B2 (en) camera
US20120249840A1 (en) Electronic camera
JP2009111827A (en) Photographing apparatus and image file providing system
JP5889690B2 (en) Imaging system and imaging management server
JP2005286379A (en) Photographing support system and photographing support method
JP2014236334A (en) Imaging device
JP2012085228A (en) Photographing condition setting device, imaging device, image processing device, and photographing condition setting program
JP5753514B2 (en) Image display device and computer program
JP2012169714A (en) Imaging apparatus and imaging method
JP5971169B2 (en) Image pickup apparatus and method for predicting and reporting the occurrence of hot flame in the apparatus
JP5800280B2 (en) Imaging apparatus, imaging condition control method, program
JP2009177611A (en) Digital camera
JP2016085248A (en) Exposure computation device
JP2015070380A (en) Imaging apparatus
JP2010081462A (en) Information recording/reproducing device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120326

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130702

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131007

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5397004

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees