[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7527792B2 - Image capture device and method for controlling image capture device - Google Patents

Image capture device and method for controlling image capture device Download PDF

Info

Publication number
JP7527792B2
JP7527792B2 JP2020008774A JP2020008774A JP7527792B2 JP 7527792 B2 JP7527792 B2 JP 7527792B2 JP 2020008774 A JP2020008774 A JP 2020008774A JP 2020008774 A JP2020008774 A JP 2020008774A JP 7527792 B2 JP7527792 B2 JP 7527792B2
Authority
JP
Japan
Prior art keywords
focus
adjustment value
lens
adjustment
zoom lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020008774A
Other languages
Japanese (ja)
Other versions
JP2020140201A5 (en
JP2020140201A (en
Inventor
将樹 神羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to EP20158334.1A priority Critical patent/EP3703357A3/en
Priority to US16/795,342 priority patent/US11399127B2/en
Priority to CN202010120392.0A priority patent/CN111629142B/en
Publication of JP2020140201A publication Critical patent/JP2020140201A/en
Publication of JP2020140201A5 publication Critical patent/JP2020140201A5/ja
Application granted granted Critical
Publication of JP7527792B2 publication Critical patent/JP7527792B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Lens Barrels (AREA)

Description

本発明は、撮像装置および撮像装置の制御方法に関し、特にズームレンズの移動に伴ってフォーカスレンズを移動させる撮像装置および制御方法に関する。 The present invention relates to an imaging device and a control method for the imaging device, and in particular to an imaging device and a control method for moving a focus lens in conjunction with the movement of a zoom lens.

従来、ビデオカメラ等においては、ズームレンズを用いたズーミング動作時において、ズームレンズの移動に伴う像面移動を補正するためにフォーカスレンズを移動させ、合焦状態を維持する、所謂、ズームトラッキング動作が行われるものが多い。ズームトラッキング動作は、メモリに記憶されたカム軌跡曲線(軌跡データ)に沿ってフォーカスレンズの位置を移動させて行われる。 Conventionally, in video cameras and the like, when zooming using a zoom lens, the focus lens is moved to compensate for the image plane movement that accompanies the movement of the zoom lens, and a so-called zoom tracking operation is often performed to maintain a focused state. The zoom tracking operation is performed by moving the position of the focus lens along a cam trajectory curve (trajectory data) stored in memory.

また、上述のような軌跡データを用いるだけでは、レンズ鏡筒の個体バラつきによって、カム軌跡の設計値と実動作時の合焦位置に誤差が生じてしまうため、工場出荷時に個体毎に誤差を調整するためのトラッキング調整が行われている。トラッキング調整では、軌跡データにおけるズームレンズとフォーカスレンズの各基準位置を調整値として保存する。 Furthermore, simply using the trajectory data described above will result in errors between the design value of the cam trajectory and the focusing position during actual operation due to individual variations in the lens barrel, so a tracking adjustment is performed to correct the errors for each lens before shipping from the factory. In the tracking adjustment, the reference positions of the zoom lens and focus lens in the trajectory data are saved as adjustment values.

ここで、レンズ鏡筒に衝撃、振動、経年劣化、急激な温度変化等が加わると、撮像光学系、撮像素子、ズームレンズやフォーカスレンズの位置を検出する検出センサ(フォトインタラプタ(PI))などの位置の変化が生じる。これらの変化により、実際にピントが合うズームレンズとフォーカスレンズとの位置関係が、調整した軌跡データから変化してしまうことがある。これにより、ズーミング動作時のフォーカス精度の低下が生じ得る。 If the lens barrel is subjected to shock, vibration, deterioration over time, or a sudden change in temperature, the positions of the imaging optical system, the imaging element, and the detection sensor (photointerrupter (PI)) that detects the position of the zoom lens and focus lens will change. These changes can cause the positional relationship between the zoom lens and focus lens that actually achieves focus to change from the adjusted trajectory data. This can result in a decrease in focus accuracy during zooming operations.

特許文献1には、所定の条件が揃った場合、基準のフォーカスレンズ位置からの変化量に基づいて、バックフォーカス調整値を補正する提案がされている。 Patent document 1 proposes correcting the back focus adjustment value based on the amount of change from a reference focus lens position when certain conditions are met.

特開2014-228695号公報JP 2014-228695 A

しかしながら、特許文献1に開示されている方法では、実際の合焦位置と軌跡データが示す合焦位置の差が生じる要因によっては、ズーミング中のフォーカス精度の低下に対応できないことがあった。特許文献1に開示されている方法はバックフォーカス調整であるため、撮像素子の位置やフォーカスレンズの基準位置に影響するレンズ鏡筒の変化は補正できる。しかしながら、軌跡データの形に影響する撮像光学系の変化やズームレンズの基準位置に影響する場合に適切な補正を行うことができない。撮像光学系やズームレンズの基準位置が変化した事で合焦するフォーカスレンズの位置が変わった場合、フォーカスレンズの基準位置を補正しても、ズーム位置を変えると再度ピントがずれる。よって、正しくズームトラッキングができず、画角もずれた状態になってしまう。 However, the method disclosed in Patent Document 1 may not be able to deal with a decrease in focus accuracy during zooming, depending on the cause of the difference between the actual focus position and the focus position indicated by the trajectory data. The method disclosed in Patent Document 1 uses back focus adjustment, so it can correct changes in the lens barrel that affect the position of the image sensor and the reference position of the focus lens. However, it cannot perform appropriate corrections when there are changes in the imaging optical system that affect the shape of the trajectory data or the reference position of the zoom lens. If the position of the focusing focus lens changes due to a change in the imaging optical system or the reference position of the zoom lens, the focus will shift again when the zoom position is changed, even if the reference position of the focus lens is corrected. This means that zoom tracking cannot be performed correctly, and the angle of view will also shift.

そこで本発明は、種々の要因で記憶された軌跡データが実際の合焦位置からずれた場合であっても、ズーミング中のフォーカス精度の低下を軽減可能な撮像装置を提供する事を目的とする。 The present invention aims to provide an imaging device that can reduce the decrease in focus accuracy during zooming, even if the stored trajectory data deviates from the actual focus position due to various factors.

本発明に関する撮像装置は、ズームレンズとフォーカスレンズとを有する撮像光学系による被写体像を光電変換する撮像素子と、前記撮像光学系が所定の被写体距離に合焦するときの、前記ズームレンズと前記フォーカスレンズとの位置関係を示す軌跡データを記憶する記憶手段と、前記軌跡データを調整するための調整値を取得する調整値取得手段と、ズーム動作時に、前記軌跡データと前記調整値取得手段により取得された前記調整値とに基づいて前記フォーカスレンズを駆動させる制御を行うフォーカス制御手段と、を備え、
前記調整値取得手段は、前記軌跡データにおける前記ズームレンズの位置が第1の位置である場合の第1の合焦度と、前記軌跡データにおける前記ズームレンズの位置が第2の位置である場合の第2の合焦度とを取得し、前記第1の位置は前記軌跡データにおける中間位置であって、前記第2の位置は前記第1の位置よりもWIDE側の位置であり、前記第1の合焦度と前記第2の合焦度とに基づいて、前記調整値を取得するための複数の取得処理から実行する取得処理を決定し、前記決定された取得処理に基づいて前記調整値を取得することを特徴とする撮像装置。
An imaging device according to the present invention includes an imaging element that photoelectrically converts an image of a subject captured by an imaging optical system having a zoom lens and a focus lens, a storage means that stores trajectory data indicating a positional relationship between the zoom lens and the focus lens when the imaging optical system is focused on a predetermined subject distance, an adjustment value acquisition means that acquires an adjustment value for adjusting the trajectory data, and a focus control means that controls the driving of the focus lens based on the trajectory data and the adjustment value acquired by the adjustment value acquisition means during a zoom operation,
The adjustment value acquisition means acquires a first focus degree when the position of the zoom lens in the trajectory data is a first position, and a second focus degree when the position of the zoom lens in the trajectory data is a second position, the first position being an intermediate position in the trajectory data and the second position being a position on the WIDE side of the first position, and determines an acquisition process to be executed from a plurality of acquisition processes for acquiring the adjustment value based on the first focus degree and the second focus degree , and acquires the adjustment value based on the determined acquisition process.

本発明によれば、ズーミング中のフォーカス精度の低下を軽減可能な撮像装置を提供することができる。 The present invention provides an imaging device that can reduce the decrease in focus accuracy during zooming.

本発明実施例1における撮像装置の構成図である。1 is a configuration diagram of an imaging device according to a first embodiment of the present invention. 被写体距離に応じたズーム位置とフォーカス位置の関係を示す概念図である。11 is a conceptual diagram showing the relationship between the zoom position and the focus position according to the subject distance. フォーカス合焦情報の一例を示す概念図である。FIG. 11 is a conceptual diagram showing an example of focus in-focus information. 本発明実施例1における撮像光学系が変化した時のトラッキング軌跡の一例を示す概念図である。5 is a conceptual diagram showing an example of a tracking trajectory when the imaging optical system is changed in the first embodiment of the present invention. FIG. 本発明実施例1における撮像素子が変化した時のトラッキング軌跡の一例を示す概念図である。FIG. 11 is a conceptual diagram showing an example of a tracking trajectory when an image sensor is changed in the first embodiment of the present invention. 本発明実施例1における検出制御および補正制御のフローチャートである。4 is a flowchart of detection control and correction control in the first embodiment of the present invention. 本発明実施例1における変化要因解析のフローチャートである。1 is a flowchart of a change factor analysis in the first embodiment of the present invention. 本発明実施例2における撮像装置の構成図である。FIG. 11 is a configuration diagram of an imaging device according to a second embodiment of the present invention. フォーカスレンズの基準位置がずれた場合の軌跡データの変化を示す概念図である。11A and 11B are conceptual diagrams showing changes in trajectory data when the reference position of the focus lens is shifted. ズームレンズの基準位置がずれた場合の軌跡データの変化を示す概念図である。11A and 11B are conceptual diagrams showing changes in trajectory data when the reference position of the zoom lens is shifted. 本発明実施例2における画角差分情報の一例を示す概念図である。FIG. 11 is a conceptual diagram showing an example of angle of view difference information in the second embodiment of the present invention. 本発明実施例2における画角特徴量情報の一例を示す概念図である。FIG. 11 is a conceptual diagram showing an example of angle of view feature amount information in the second embodiment of the present invention. 本発明実施例2における基準データ登録時のフローチャートである。10 is a flowchart showing a process for registering reference data according to the second embodiment of the present invention. 本発明実施例2におけるフォーカス・ズーム位置のずれ補正制御のフローチャートである。10 is a flowchart of focus/zoom position deviation correction control in the second embodiment of the present invention. 本発明実施例2におけるズーム位置ずれ量検出のフローチャートである。10 is a flowchart of a zoom position deviation amount detection process according to the second embodiment of the present invention. 本発明実施例2におけるフォーカス位置ずれ量検出のフローチャートである。10 is a flowchart of a focus position deviation amount detection process according to the second embodiment of the present invention. 本発明実施例3におけるトラッキング補正アプリケーション例である。13 is a diagram illustrating an example of a tracking correction application in the third embodiment of the present invention. 本発明実施例4における撮像装置の構成図である。FIG. 11 is a configuration diagram of an imaging device according to a fourth embodiment of the present invention. 本発明実施例4における画角自動設定の一例を示す概念図である。FIG. 13 is a conceptual diagram showing an example of automatic setting of the angle of view in the fourth embodiment of the present invention. 本発明実施例4における画角自動設定で扱うデータテーブル例である。13 is an example of a data table handled in automatic setting of the angle of view in the fourth embodiment of the present invention. 本発明実施例4におけるメンテナンスモードの制御フローチャートである。13 is a control flowchart of a maintenance mode in the fourth embodiment of the present invention. 本発明実施例4における画角調整制御のフローチャートである。13 is a flowchart of a view angle adjustment control in a fourth embodiment of the present invention. 本発明実施例5におけるメンテナンス設定アプリケーション例である。13 is an example of a maintenance setting application in the fifth embodiment of the present invention.

以下に、本発明の実施例を添付の図面に基づいて詳細に説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。 The following describes in detail an embodiment of the present invention with reference to the accompanying drawings. Note that in each drawing, the same reference numbers are used for the same components, and duplicate descriptions will be omitted.

本実施例は、記憶されている軌跡データ、ズームレンズとフォーカスレンズとの位置、及び当該位置における実際の合焦度、に基づいて、実際の合焦位置が記憶している軌跡データからどのように変化しているかを推定する。そして、推定結果に基づいて、調整値の取得方法を選択する。例えば、実際の合焦位置を軌跡データと同様にズームレンズ位置とフォーカスレンズ位置とでプロットした曲線が、軌跡データに対してオフセットした曲線になるのか、または、軌跡データが示す曲線と形状(曲率や傾き)が異なる曲線になるのか、を推定する。オフセットした曲線になると推定された場合は、そのオフセット値に基づいて調整値を取得する方法を選択し、形状が異なる曲線になると推定された場合は、ズームレンズの位置毎に異なる調整値が設定されるよう方法を選択する。また、合焦度の代わりに、被写体距離を用いる例についても説明する。 In this embodiment, based on the stored trajectory data, the positions of the zoom lens and the focus lens, and the actual focus level at the position, it is estimated how the actual focus position has changed from the stored trajectory data. Then, based on the estimation result, a method for obtaining the adjustment value is selected. For example, it is estimated whether a curve obtained by plotting the actual focus position at the zoom lens position and the focus lens position in the same manner as the trajectory data will be a curve offset from the trajectory data, or a curve with a different shape (curvature or slope) from the curve indicated by the trajectory data. If it is estimated to be an offset curve, a method for obtaining the adjustment value based on the offset value is selected, and if it is estimated to be a curve with a different shape, a method is selected so that a different adjustment value is set for each position of the zoom lens. An example in which the subject distance is used instead of the focus level is also described.

図1は、本実施例かかる撮像装置100の構成図である。本実施例の撮像装置100は、撮像光学系110を備える。 Figure 1 is a diagram showing the configuration of an imaging device 100 according to this embodiment. The imaging device 100 according to this embodiment includes an imaging optical system 110.

撮像光学系110は、複数の光学素子により構成され、物体(被写体)の光学像を形成する。本実施例の撮像光学系110は、光軸方向に移動されて焦点距離を変更するズームレンズ(変倍レンズ)1、光軸方向に移動されて焦点調節を行うフォーカスレンズ2、光量を調整する絞りユニット3を有する。図1には、ズームレンズ1とフォーカスレンズ2をそれぞれ1つずつ示したが、それぞれは、2群以上の複数構成でも可能である。 The imaging optical system 110 is composed of multiple optical elements and forms an optical image of an object (subject). The imaging optical system 110 of this embodiment has a zoom lens (variable magnification lens) 1 that is moved in the optical axis direction to change the focal length, a focus lens 2 that is moved in the optical axis direction to adjust the focus, and an aperture unit 3 that adjusts the amount of light. Although one zoom lens 1 and one focus lens 2 are shown in FIG. 1, each can also be configured with two or more groups.

撮像光学系110により形成された光学像は、バンドパスフィルタ4(以下、BPF)、カラーフィルタ5を介して撮像素子6により光電変換される。なお、図1では図示していないが、BPF4等の光学素子が撮像光学系110の光路に対し退避可能に構成されている。 The optical image formed by the imaging optical system 110 is photoelectrically converted by the imaging element 6 via a band-pass filter 4 (hereinafter, BPF) and a color filter 5. Although not shown in FIG. 1, optical elements such as the BPF 4 are configured to be retractable from the optical path of the imaging optical system 110.

撮像素子6から出力される電気信号(映像信号)は、AGC(自動利得制御部)7でゲイン調整され、A/D変換器8においてA/D変換された後、カメラ信号処理部9に入力される。カメラ信号処理部9では各種画像処理を行い、通信部10に映像信号として出力するとともに、映像信号からオートフォーカス動作に必要な評価値を算出する。 The electrical signal (video signal) output from the image sensor 6 is gain-adjusted by the AGC (automatic gain control) 7, A/D converted by the A/D converter 8, and then input to the camera signal processing unit 9. The camera signal processing unit 9 performs various image processing operations, outputs the signal as a video signal to the communication unit 10, and calculates an evaluation value required for autofocus operation from the video signal.

カム軌跡・深度データ保持部11は、複数の被写体距離に対応する軌跡データを記憶するメモリを備え、記憶されている軌跡データと、現在のフォーカスレンズとズームレンズとの位置とに基づいて、ズームトラッキング動作に用いる軌跡データを取得する。ズームトラッキング動作に用いる軌跡データは、現在の、被写体距離、フォーカスレンズとズームレンズとの位置に対応したカム軌跡データである。また、カム軌跡・深度データ保持部11は、ズーム位置に応じた被写界深度情報も合わせて取得する。 The cam trajectory/depth data storage unit 11 has a memory that stores trajectory data corresponding to multiple subject distances, and acquires trajectory data to be used for zoom tracking operation based on the stored trajectory data and the current positions of the focus lens and zoom lens. The trajectory data to be used for zoom tracking operation is cam trajectory data that corresponds to the current subject distance and the positions of the focus lens and zoom lens. The cam trajectory/depth data storage unit 11 also acquires depth of field information according to the zoom position.

メモリに記憶されている軌跡データが示すカム軌跡の例を図2に示す。横軸はズームレンズの位置を示し、縦軸はフォーカスレンズの位置を示している。図中の各曲線は、同一の被写体距離にある被写体像を撮像素子に合焦させるためのズームレンズとフォーカスレンズの位置関係をプロットしたカム軌跡を示している。ズーム動作時に、このカム軌跡に沿うようにズームレンズとフォーカスの位置を制御することで、ピント位置を固定したままズーミング制御を行うことができる。メモリは、このようなカム軌跡をテーブルデータとして記憶する。 Figure 2 shows an example of a cam trajectory indicated by the trajectory data stored in memory. The horizontal axis indicates the position of the zoom lens, and the vertical axis indicates the position of the focus lens. Each curve in the figure indicates a cam trajectory that plots the positional relationship between the zoom lens and focus lens for focusing a subject image at the same subject distance onto the imaging element. By controlling the positions of the zoom lens and focus during zooming so that they follow this cam trajectory, it is possible to perform zooming control while keeping the focus position fixed. The memory stores such cam trajectories as table data.

しかしながら、細かい粒度の被写体距離毎のカム軌跡を示すテーブルをメモリ上に保持するためには、膨大なメモリ容量が必要となってしまう。そのため、基準となるいくつかの被写体距離のカム軌跡に対応するテーブルデータのみメモリ上に保持する。そして、基準以外の被写体距離のカム軌跡に関しては、基準となるカム軌跡データとフォーカスレンズとズームレンズの位置情報を使用して、至近側と無限側のカム軌跡情報の内分比率から取得し、これを一時的に記憶する。このように、カム軌跡・深度データ保持部11は、被写体距離とズームレンズの位置とに応じて合焦位置となるフォーカスレンズの位置の変化を示した軌跡データを記憶する記憶手段として機能する。 However, storing a table showing the cam trajectory for each fine-grained subject distance in memory would require a huge amount of memory capacity. Therefore, only table data corresponding to the cam trajectories for several reference subject distances is stored in memory. Cam trajectories for subject distances other than the reference are obtained from the internal division ratio of the cam trajectory information on the close-up side and the infinity side using the reference cam trajectory data and position information of the focus lens and zoom lens, and this is temporarily stored. In this way, the cam trajectory/depth data storage unit 11 functions as a storage means for storing trajectory data that shows the change in the position of the focus lens that becomes the in-focus position according to the subject distance and the position of the zoom lens.

初期調整データ保持部12は、工場から出荷される前に調整(初期調整)されたズームレンズとフォーカスレンズの各基準位置および調整値を保持する。調整値は、カム軌跡・深度データ保持部11に記憶されている軌跡データと、出荷前に実際に計測された軌跡との差分である。カム軌跡・深度データ保持部11に記憶されている軌跡データは初期調整前の軌跡データであり、これに初期調整により取得された調整値を適用することで、初期調整後の軌跡データを取得することができる。初期調整値は工場の工程ラインにて、監視モニタ装置20から通信コマンドを発行し、通信部10からズーム/フォーカス制御部16を経由して初期調整データ保持部12に書き込まれる。撮像装置は電源が投入された後のレンズ初期化処理において、各レンズPIのHIGH/LOW切り替わり位置を基準位置とする。基準位置が確定すると、ズームレンズはWIDE端とTELE端までの距離がわかり、フォーカスレンズはNEAR端とFAR端までの距離がわかるため、図2に示したカム軌跡に従った制御を行う事ができる。 The initial adjustment data storage unit 12 stores the reference positions and adjustment values of the zoom lens and focus lens that were adjusted (initial adjustment) before shipping from the factory. The adjustment value is the difference between the trajectory data stored in the cam trajectory/depth data storage unit 11 and the trajectory actually measured before shipping. The trajectory data stored in the cam trajectory/depth data storage unit 11 is the trajectory data before the initial adjustment, and by applying the adjustment value obtained by the initial adjustment to this, the trajectory data after the initial adjustment can be obtained. The initial adjustment value is written to the initial adjustment data storage unit 12 via the zoom/focus control unit 16 from the communication unit 10 by issuing a communication command from the monitoring device 20 on the factory process line. In the lens initialization process after the power is turned on, the imaging device uses the HIGH/LOW switching position of each lens PI as the reference position. Once the reference position is determined, the distance to the WIDE end and TELE end of the zoom lens is known, and the distance to the NEAR end and FAR end of the focus lens is known, so control can be performed according to the cam trajectory shown in Figure 2.

距離測定装置19は被写体との距離を測定するものであり、通信部10を経由してズーム/フォーカス制御部16に距離情報を渡している。図1では距離測定装置19を外付け装置として配置しているが、距離測定手段をレンズ鏡筒等の撮像装置に組み込んでもよい。この撮像装置が距離測定手段を備える場合は距離測定手段が、外付け装置から通信部10を介して距離情報を取得する場合は通信部10が、距離情報取得手段として機能する。尚、距離測定装置19から取得した距離情報を用いたカム軌跡の調整については本実施例の変形例で説明をするが、距離情報を用いない場合、距離測定装置は不要である。 The distance measurement device 19 measures the distance to the subject, and passes distance information to the zoom/focus control unit 16 via the communication unit 10. In FIG. 1, the distance measurement device 19 is arranged as an external device, but the distance measurement means may be built into the imaging device, such as a lens barrel. If the imaging device is equipped with a distance measurement means, the distance measurement means functions as the distance information acquisition means, and if distance information is acquired from an external device via the communication unit 10, the communication unit 10 functions as the distance information acquisition means. Note that adjustment of the cam trajectory using the distance information acquired from the distance measurement device 19 will be explained in a modified example of this embodiment, but if distance information is not used, the distance measurement device is not necessary.

軌跡変化検出部13は、カム軌跡データ、ズームレンズとフォーカスレンズとの制御情報、合焦度を取得し、これらのデータを基に軌跡変化の検出及び、どのように軌跡が変化したかの推定を行う。軌跡変化検出部13が軌跡変化の検出に用いるデータは、検出データ蓄積部14に格納する。この検出に用いるデータとして、各レンズ位置と合焦度を紐付けたデータや、距離測定装置19から取得した距離情報を扱う事ができる。これ以外にも温度情報や駆動時間等のデータを保持しても良い。図3はフォーカスの合焦枠を示したイメージ図である。W1、W2、W3はフォーカスのAF枠であり、枠内の領域の輝度信号の輝度差(コントラスト)からフォーカスの評価値を算出する。評価値はエリア内のピーク値や積算値を活用する場合がある。いずれの場合もコントラストが大きいほど評価値は高くなり、画像としてもフォーカスが合焦状態に近づく。コントラストが小さいほど評価値は低くなり、画像としてもフォーカスがぼやける方向になる。この評価値を使って合焦度を算出する。評価値が高いとき合焦度が高く、評価値が低い時に合焦度が低くなれば、算出方法は特に問わないが、ここでは一例として輝度差を0~100の範囲に正規化したものを合焦率とする事で、検出データとして活用する。この、AF枠で得られたフォーカスの評価値や合焦度をフォーカスの合焦情報として用いることができる。また、軌跡変化検出部13は軌跡データの変化を検出した場合は変化要因に合わせた調整値の取得方法で調整値を取得し、取得した調整値を軌跡調整データ記憶部15に格納する。ここで図4、図5を用いて、軌跡の変化要因別の軌跡の変化の仕方について説明をする。図4は、撮像素子の位置が変化した場合の軌跡の変化を、図5は、撮像光学系を構成するレンズの位置が変化した場合の軌跡の変化を示す。図4、図5中、R1で示すカム軌跡が調整直後のカム軌跡を示す。図4のR2は撮像光学系を構成するレンズの位置が変化した場合のカム軌跡であり、R1に対してWIDEとTELEで合焦位置の差分が大きく、WIDEとTELEの中間地点周辺では差分が小さくなるように変化しており、曲線の傾きがR1と異なる。なお、この差分の大きさはレンズ敏感度に関係するため、全てがR2のようになるわけではない。図5のR3は撮像素子の位置が変化した場合のカム軌跡であり、ズームレンズの位置によらず全体的にフォーカス合焦位置がオフセットしたような形になる。このように、カム軌跡が調整直後のカム軌跡から変化した場合、変化した要因によって、変化後のカム軌跡の形状が異なるため、本実施例では、変化した要因、または、変化後のカム軌跡の形状を推定し、その推定結果に基づいて調整値の取得方法を選択する。 The trajectory change detection unit 13 acquires cam trajectory data, control information for the zoom lens and the focus lens, and the focus degree, and detects trajectory changes and estimates how the trajectory has changed based on these data. The data used by the trajectory change detection unit 13 to detect trajectory changes is stored in the detection data storage unit 14. The data used for this detection can be data linking each lens position with the focus degree, or distance information acquired from the distance measurement device 19. In addition to this, data such as temperature information and driving time may be stored. Figure 3 is an image diagram showing the focus frame. W1, W2, and W3 are the focus AF frames, and the focus evaluation value is calculated from the brightness difference (contrast) of the brightness signal in the area within the frame. The evaluation value may utilize the peak value or the integrated value within the area. In either case, the higher the contrast, the higher the evaluation value, and the focus of the image approaches the in-focus state. The lower the contrast, the lower the evaluation value, and the focus of the image tends to become blurred. The focus degree is calculated using this evaluation value. As long as the focus degree is high when the evaluation value is high and the focus degree is low when the evaluation value is low, the calculation method is not particularly important. Here, as an example, the luminance difference normalized to a range of 0 to 100 is used as the focus rate and is utilized as the detection data. The focus evaluation value and focus degree obtained by the AF frame can be used as focus information. In addition, when the trajectory change detection unit 13 detects a change in the trajectory data, it acquires an adjustment value by an acquisition method of an adjustment value according to the change factor, and stores the acquired adjustment value in the trajectory adjustment data storage unit 15. Here, the manner in which the trajectory changes according to the change factor of the trajectory will be explained with reference to FIG. 4 and FIG. 5. FIG. 4 shows the change in the trajectory when the position of the image sensor changes, and FIG. 5 shows the change in the trajectory when the position of the lens constituting the image pickup optical system changes. In FIG. 4 and FIG. 5, the cam trajectory indicated by R1 indicates the cam trajectory immediately after adjustment. R2 in FIG. 4 is the cam trajectory when the position of the lens that constitutes the imaging optical system is changed, and the difference between the focus positions of WIDE and TELE is large compared to R1, and the difference changes to become smaller around the midpoint between WIDE and TELE, and the slope of the curve is different from R1. Note that the magnitude of this difference is related to the lens sensitivity, so not all of them will be like R2. R3 in FIG. 5 is the cam trajectory when the position of the imaging element is changed, and the overall focus position appears to be offset regardless of the position of the zoom lens. In this way, when the cam trajectory changes from the cam trajectory immediately after adjustment, the shape of the cam trajectory after the change will differ depending on the factor of the change, so in this embodiment, the factor of the change or the shape of the cam trajectory after the change is estimated, and the method of obtaining the adjustment value is selected based on the estimated result.

図4において、R4は、TELE端で合焦したときのレンズ制御に用いるカム軌跡である。TELE端で合焦した状態からWIDE方向にズームレンズ位置を駆動させた場合、フォーカスレンズ位置はR4に沿って駆動する。しかしながら、実際の合焦位置はR2の曲線上にあるため、d1が示す中間位置までは合焦状態を保てるが、さらにWIDE方向に駆動すると徐々に実際に合焦を示すフォーカスレンズの位置との差分が大きくなり、WIDE端ではd2の差が出てしまう。同様に図5において、R5はTELE端で合焦したときのレンズ制御に用いるカム軌跡であり、TELE端で合焦した状態からWIDE方向にズームレンズ位置を駆動させた場合、フォーカスレンズ位置はR5に沿って駆動する。実際の合焦位置はR3の曲線上のため、中間位置の時点でd3の差ができ、WIDE端ではd4の差が生じる。実際に合焦を示すフォーカスレンズの位置とカム軌跡上のフォーカスレンズの位置との差が、d1のように小さい場合は合焦度が高く、d2からd4のように差が大きい場合は合焦度が低い。よって、TELE~中間位置にかけては合焦度が高く、WIDE端に近づくにつれて合焦度が低くなっていくのか、TELE~WIDE全体で合焦度が低いのか、を検出することで、軌跡の変化要因または変化後のカム軌跡の形状を推定することができる。そして、軌跡変化検出部13は、推定結果に基づいて調整値を取得することで調整値取得手段として機能する。これにより、記憶されている軌跡データを変化要因に合わせて適切に調整することができる。調整値の取得方法の詳細は後述する。 In FIG. 4, R4 is the cam locus used for lens control when the lens is focused at the TELE end. When the zoom lens position is driven in the WIDE direction from the state focused at the TELE end, the focus lens position is driven along R4. However, since the actual focus position is on the curve R2, the focus state can be maintained up to the intermediate position indicated by d1, but when driven further in the WIDE direction, the difference with the focus lens position that actually indicates the focus gradually increases, and a difference of d2 appears at the WIDE end. Similarly, in FIG. 5, R5 is the cam locus used for lens control when the lens is focused at the TELE end, and when the zoom lens position is driven in the WIDE direction from the state focused at the TELE end, the focus lens position is driven along R5. Since the actual focus position is on the curve R3, a difference of d3 occurs at the intermediate position, and a difference of d4 occurs at the WIDE end. When the difference between the focus lens position that actually indicates focus and the focus lens position on the cam trajectory is small, such as d1, the degree of focus is high, and when the difference is large, such as from d2 to d4, the degree of focus is low. Therefore, by detecting whether the degree of focus is high from the TELE to the intermediate position and decreases as the focus approaches the WIDE end, or whether the degree of focus is low from the TELE to the WIDE as a whole, it is possible to estimate the cause of the change in the trajectory or the shape of the cam trajectory after the change. The trajectory change detection unit 13 then functions as an adjustment value acquisition unit by acquiring an adjustment value based on the estimation result. This allows the stored trajectory data to be appropriately adjusted in accordance with the change factor. The method of acquiring the adjustment value will be described in detail later.

ズーム/フォーカス制御部16は、カム軌跡・深度データ保持部11に格納してあるデータに、初期調整データ保持部12に記憶されている初期調整値と軌跡調整データ記憶部15に記憶されている調整値を適用する。これにより、適切な軌跡データに沿った制御情報をフォーカス駆動部17およびズーム駆動部18に送る。 The zoom/focus control unit 16 applies the initial adjustment values stored in the initial adjustment data storage unit 12 and the adjustment values stored in the trajectory adjustment data storage unit 15 to the data stored in the cam trajectory/depth data storage unit 11. This sends control information based on the appropriate trajectory data to the focus drive unit 17 and the zoom drive unit 18.

次に、軌跡データを検出して変化要因に合わせたカム軌跡の調整を行うまでのフローについて、図6を用いて説明する。図6に示すフローは、特に断りがない場合は撮像装置100が備えるプロセッサ及びメモリにより実行されるものとし、これらを実行するプロセッサとメモリが図1のカム軌跡・深度データ保持部11~ズーム/フォーカス制御部16を構成する。 Next, the flow from detecting the trajectory data to adjusting the cam trajectory in accordance with the change factor will be described with reference to FIG. 6. Unless otherwise specified, the flow shown in FIG. 6 is executed by the processor and memory included in the imaging device 100, and the processor and memory that execute these constitute the cam trajectory and depth data storage unit 11 to the zoom/focus control unit 16 in FIG. 1.

はじめに、撮像装置のズームレンズが所定の倍率以上で合焦状態にあるかをチェックする(S801)。所定の倍率とは、図5のd3が示す中間位置(フォーカスレンズの位置が、最もNEAR側で合焦を示す位置)における差分がわかる開始位置であれば良く、中間位置よりもTELE側の倍率である必要がある。ズーム/フォーカス制御部16はフォーカスの合焦動作が発生したタイミングで、合焦状態と判定した場合にズームレンズの倍率を確認し、制御を進めるか決める。所定のズーム倍率以上で合焦していると判定するとS802へ進む。一方、ズームレンズが所定の倍率未満または非合焦状態の場合は、S801へ戻り、次の合焦動作まで待つ。 First, it is checked whether the zoom lens of the imaging device is in focus at a predetermined magnification or more (S801). The predetermined magnification can be any start position at which the difference at the intermediate position (position where the focus lens is in focus on the NEAR side) indicated by d3 in FIG. 5 can be known, and it must be a magnification on the TELE side of the intermediate position. When the zoom/focus control unit 16 determines that the focus is in focus at the timing when a focus operation occurs, it checks the magnification of the zoom lens and decides whether to proceed with control. If it determines that the focus is in focus at a predetermined zoom magnification or more, it proceeds to S802. On the other hand, if the zoom lens is less than the predetermined magnification or is out of focus, it returns to S801 and waits until the next focus operation.

次に、軌跡変化検出部13は合焦度および軌跡情報を取得し、検出データ蓄積部14にデータを格納する(S802)。ここでいう軌跡情報とは、合焦した時点のズームレンズ位置やフォーカスレンズ位置、基準となる軌跡データのどこの位置にいるか、基準となる軌跡データから補間した補正量、といったようなカム軌跡に関する情報を指す。続いて、ズームレンズがWIDE方向に駆動するまで待つ(S803)。WIDE方向への駆動が開始すると、カム軌跡に沿ってフォーカスレンズを移動させてズームトラッキングを行いながら、軌跡変化検出部13は各ズーム位置での合焦度および軌跡情報を取得する。そして、取得したデータを検出データ蓄積部14に検出用データとして格納する(S804)。そして、蓄積した検出用データ(蓄積データと呼ぶ)を基にカム軌跡の変化の有無を検出する(S805)。現在のズームレンズ位置及びフォーカスレンズの位置が、初期調整値で調整された後の現在の被写体距離に対応するカム軌跡に沿っているにもかかわらず、合焦度が所定値よりも低い場合、カム軌跡に変化が生じたと判定され、カム軌跡の変化が検出される。 Next, the trajectory change detection unit 13 acquires the focus degree and trajectory information, and stores the data in the detection data storage unit 14 (S802). The trajectory information here refers to information about the cam trajectory, such as the zoom lens position and focus lens position at the time of focusing, the position of the reference trajectory data, and the correction amount interpolated from the reference trajectory data. Next, wait until the zoom lens drives in the WIDE direction (S803). When the drive in the WIDE direction starts, the trajectory change detection unit 13 acquires the focus degree and trajectory information at each zoom position while performing zoom tracking by moving the focus lens along the cam trajectory. Then, store the acquired data as detection data in the detection data storage unit 14 (S804). Then, detect whether or not there is a change in the cam trajectory based on the accumulated detection data (called accumulated data) (S805). If the current zoom lens position and focus lens position are along the cam trajectory that corresponds to the current subject distance after being adjusted with the initial adjustment value, but the focus level is lower than a predetermined value, it is determined that a change has occurred in the cam trajectory, and the change in the cam trajectory is detected.

ズームトラッキングによりズームレンズがWIDE端に位置すると、再度AF動作を行う。そして、ズームレンズがWIDE端に位置し、且つ、合焦状態であるか否かを判定する(S806)。ズームレンズがWIDE端で、且つ、合焦状態にある場合はS807へ進み、そうでない場合はS803へ戻る。つまり、S803~S805を、ズームレンズがWIDE端に駆動するまで繰り返す。WIDE端で合焦状態となった時点で、軌跡変化検出部13は合焦度および軌跡情報を取得し、検出データ蓄積部14にデータを格納する(S807)。軌跡変化検出部13は検出データ蓄積部14のデータからカム軌跡の変化有無を検出し、変化要因を推定する(S808)。変化要因そのものを推定する代わりに、カム軌跡の変化情報を推定してもよい。カム軌跡の変化情報とは、変化後のカム軌跡の形状、カム軌跡の形状(各ズーム位置における傾き)そのものが変化したのか、形状そのものの変化は小さく、全体として値が変化した(つまりオフセットされた)のか、といった、変化の仕方に関する情報である。次に、軌跡変化検出部13は、複数の調整量取得処理の中から、S808で推定した変化要因に基づいて調整量取得処理を選択し、選択した調整量取得処理を行うことで、調整量を取得する。更に、軌跡調整データ記憶部15に取得した調整量のデータを格納する(S809)。 When the zoom lens is positioned at the WIDE end due to zoom tracking, AF operation is performed again. Then, it is determined whether the zoom lens is positioned at the WIDE end and in focus (S806). If the zoom lens is at the WIDE end and in focus, proceed to S807, otherwise return to S803. In other words, S803 to S805 are repeated until the zoom lens is driven to the WIDE end. When the zoom lens is in focus at the WIDE end, the trajectory change detection unit 13 obtains the focus degree and trajectory information and stores the data in the detection data storage unit 14 (S807). The trajectory change detection unit 13 detects whether the cam trajectory has changed from the data in the detection data storage unit 14 and estimates the cause of the change (S808). Instead of estimating the cause of the change itself, the change information of the cam trajectory may be estimated. The change information of the cam trajectory is information about the manner of change, such as the shape of the cam trajectory after the change, whether the shape of the cam trajectory (the slope at each zoom position) itself has changed, or whether the change in the shape itself is small and the value has changed overall (i.e., offset). Next, the trajectory change detection unit 13 selects an adjustment amount acquisition process from among multiple adjustment amount acquisition processes based on the change factor estimated in S808, and acquires the adjustment amount by performing the selected adjustment amount acquisition process. Furthermore, the acquired adjustment amount data is stored in the trajectory adjustment data storage unit 15 (S809).

ここで、S808、S809の具体的なフローについて、図7を用いて説明する。軌跡変化検出部13は検出データ蓄積部14から検出データを取得する(S901)。この検出データは1回の制御分を採用、複数回の制御分を採用するなど、撮像装置や環境に合わせて変えても良い。基本的には複数回の制御データを用いた方が誤補正を抑制できる。次に、ズームトラッキング中の、中間位置(MIDDLE位置)における合焦度が所定値(第1の値)以上であるかを判定する(S902)。中間位置における合焦度が所定値以上である場合はS903に進み、所定値未満の場合はS904に進む。 Here, the specific flow of S808 and S809 will be described with reference to FIG. 7. The trajectory change detection unit 13 acquires detection data from the detection data storage unit 14 (S901). This detection data may be changed according to the imaging device or environment, for example, by adopting one control or multiple control data. Basically, using multiple control data can suppress erroneous correction. Next, it is determined whether the focus degree at the intermediate position (MIDDLE position) during zoom tracking is equal to or greater than a predetermined value (first value) (S902). If the focus degree at the intermediate position is equal to or greater than the predetermined value, proceed to S903, and if it is less than the predetermined value, proceed to S904.

S903に進むと、軌跡変化検出部13は、ズームトラッキングによりWIDE位置までズームレンズとフォーカスレンズが移動したときの合焦度(WIDE位置での合焦度)が所定値(第2の値)以上であるかを判定する。また、S904に進んだ場合も、軌跡変化検出部13はWIDE位置での合焦度が所定値(第3の値)以上であるかを判定する。尚、第2の値と第3の値は同じ値でもよい。S902、S903、S904による、MIDDLE位置とWIDE位置の合焦度が所定値以上であるか否かの判定結果の組み合わせにより、カム軌跡が変化した要因を推定し、要因(カム軌跡の変化の仕方)に合わせた調整値の取得処理を選択する。 When the process proceeds to S903, the trajectory change detection unit 13 determines whether the degree of focus (degree of focus at the WIDE position) when the zoom lens and focus lens move to the WIDE position by zoom tracking is equal to or greater than a predetermined value (second value). When the process proceeds to S904, the trajectory change detection unit 13 also determines whether the degree of focus at the WIDE position is equal to or greater than a predetermined value (third value). Note that the second value and the third value may be the same value. The cause of the change in the cam trajectory is estimated by combining the results of the determinations made in S902, S903, and S904 as to whether the degree of focus at the MIDDLE position and the WIDE position is equal to or greater than a predetermined value, and a process for acquiring an adjustment value according to the cause (how the cam trajectory changes) is selected.

S905に進むパターンでは、WIDE位置および中間位置の合焦度が所定以上であるため、カム軌跡の変化が無く調整不要と判定する。 In the pattern that proceeds to S905, the degree of focus at the WIDE position and the intermediate position is equal to or greater than a predetermined level, so it is determined that there is no change in the cam trajectory and no adjustment is required.

次に、S906に進むパターンではWIDE位置のみ合焦度が低い事から、変化要因が撮像光学系を構成するレンズの位置変動によるものと判定し、ズームレンズの位置に応じて異なる調整値を設定する調整値の取得処理(第1の調整値の取得処理)を選択する。 Next, in the pattern proceeding to S906, since the focus level is low only at the WIDE position, it is determined that the cause of the change is due to position fluctuation of the lenses that make up the imaging optical system, and an adjustment value acquisition process (first adjustment value acquisition process) is selected that sets different adjustment values depending on the position of the zoom lens.

ズームレンズの位置に応じて異なる調整値を設定する調整値の取得処理の具体例として、合焦度の劣化度合いにレンズ敏感度を積算したものを調整値とする取得処理方法について説明をする。まずカム軌跡に従ってWIDE端まで駆動させた時のフォーカスレンズ位置(図4のp1)と、WIDE端到達後にAF動作によって合焦した後のフォーカスレンズ位置(図4のp2)の差を取得する。ここで取得した差分量(d2)がWIDE端の調整量となり、WIDE端以外の調整量はレンズ敏感度の比を積算して取得する。例えば、WIDE端におけるレンズ敏感度を1としたとき、TELE端におけるレンズ敏感度が2、中間位置の敏感度が1/5であり、WIDE端の調整量を10とした場合、TELE端の調整量は20、中間位置の調整量は2となる。尚、レンズ敏感度の比はレンズ鏡筒依存となる。 As a specific example of an adjustment value acquisition process that sets different adjustment values according to the position of the zoom lens, an acquisition process method in which the degree of deterioration in focus multiplied by the lens sensitivity is used as the adjustment value is described below. First, the difference between the focus lens position (p1 in FIG. 4) when driven to the WIDE end according to the cam trajectory and the focus lens position (p2 in FIG. 4) after the lens reaches the WIDE end and is focused by AF operation is acquired. The difference amount (d2) acquired here becomes the adjustment amount for the WIDE end, and the adjustment amount for other than the WIDE end is acquired by multiplying the lens sensitivity ratio. For example, when the lens sensitivity at the WIDE end is 1, the lens sensitivity at the TELE end is 2, and the sensitivity at the intermediate position is 1/5, if the adjustment amount at the WIDE end is 10, the adjustment amount at the TELE end is 20 and the adjustment amount at the intermediate position is 2. The lens sensitivity ratio depends on the lens barrel.

続いて、S907に進むパターンでは中間位置のみ合焦度が低い事から、撮像光学系を構成するレンズの位置の変化および撮像素子の位置の変化以外の要因により、カム軌跡が変化したものと判定できる。しかしながら、複合的な要因である可能性があるため、本実施例では調整値の取得は行わずに、ズーム/フォーカス制御部16はエラー情報をセットし、通信部10から監視モニタ装置20に警告ログを出力する。なお、S804で取得した中間位置の合焦情報およびカム軌跡情報に基づいて、カム軌跡に従った合焦位置を取得し、同じ中間位置で実際に合焦した位置の差分を中間位置における調整値として取得する取得処理を行ってもよい。他のズームレンズ位置の調整値は現在のカム軌跡曲線に合わせこむように調整値を取得する。 Next, in the pattern proceeding to S907, since the focus level is low only at the intermediate position, it can be determined that the cam trajectory has changed due to factors other than the change in the position of the lens constituting the imaging optical system and the change in the position of the imaging element. However, since there is a possibility that there are multiple factors, in this embodiment, the adjustment value is not acquired, and the zoom/focus control unit 16 sets error information and outputs a warning log from the communication unit 10 to the surveillance monitor device 20. Note that an acquisition process may be performed in which the focus position according to the cam trajectory is acquired based on the focus information and cam trajectory information of the intermediate position acquired in S804, and the difference between the actual focused position at the same intermediate position is acquired as the adjustment value at the intermediate position. Adjustment values for other zoom lens positions are acquired so as to match the current cam trajectory curve.

最後に、S908に進むパターンではWIDE位置と中間位置の合焦度が低い事から、変化要因が撮像素子の位置の変化によるものと判定し、カム軌跡のオフセット値を取得する取得処理(第2の調整値の取得処理)を選択する。本実施例では、S906と同様に、カム軌跡に従ってWIDE端まで駆動させた時のフォーカスレンズ位置と、WIDE端到達後にAF動作によって合焦した後のフォーカスレンズ位置の差分(d4)を調整値として取得する処理を行う。その後はレンズ敏感度を考慮せずにWIDE端からTELE端まで同じ値の調整値とする。例えば、WIDE端の調整値を10とした場合、TELE端および中間位置の調整値も10となる。尚、WIDE端における差分(d4)の代わりに中間位置やTELE端における差分を調整値として取得してもよい。 Finally, in the pattern proceeding to S908, since the focus level is low at the WIDE position and the intermediate position, it is determined that the cause of the change is due to a change in the position of the image sensor, and an acquisition process (acquisition process of a second adjustment value) is selected to acquire the offset value of the cam trajectory. In this embodiment, as in S906, a process is performed to acquire the difference (d4) between the focus lens position when driven to the WIDE end according to the cam trajectory and the focus lens position after focusing by AF operation after reaching the WIDE end as an adjustment value. After that, the same adjustment value is set from the WIDE end to the TELE end without considering the lens sensitivity. For example, if the adjustment value at the WIDE end is 10, the adjustment value at the TELE end and the intermediate position is also 10. Note that the difference at the intermediate position or the TELE end may be acquired as the adjustment value instead of the difference (d4) at the WIDE end.

図6のフローに戻る。最後に、ズーム/フォーカス制御部16が、カム軌跡・深度データ保持部11に格納してあるカム軌跡データを、初期調整データ保持部12に格納された初期調整値と、軌跡調整データ記憶部15に格納された(S809の)調整値とで調整する(S810)。これにより、ズームトラッキング動作に適切なカム軌跡データを維持する事ができる。これにより、衝撃・振動・経年劣化・温度変化等によって、工場調整時に調整されたカム軌跡から実際のカム軌跡が変化してしまった場合でも、高精度なフォーカス精度を維持する事ができる。なお、軌跡調整データ記憶部15に格納する調整値は、WIDE端からTELE端を複数分割したズームレンズ位置の数だけ保持し、間は線形補間を行えばよい。 Return to the flow of FIG. 6. Finally, the zoom/focus control unit 16 adjusts the cam trajectory data stored in the cam trajectory and depth data storage unit 11 with the initial adjustment value stored in the initial adjustment data storage unit 12 and the adjustment value (S809) stored in the trajectory adjustment data storage unit 15 (S810). This makes it possible to maintain cam trajectory data appropriate for zoom tracking operation. This makes it possible to maintain high-precision focus accuracy even if the actual cam trajectory has changed from the cam trajectory adjusted at the time of factory adjustment due to shock, vibration, deterioration over time, temperature change, etc. The adjustment values stored in the trajectory adjustment data storage unit 15 are stored for the number of zoom lens positions obtained by dividing the range from the WIDE end to the TELE end into multiple parts, and linear interpolation can be performed between them.

また、本実施例の変形例として、合焦度の代わりに距離測定装置19から取得した距離情報を用いて、カム軌跡の変化を検出することもできる。通信部10は、距離測定装置19から距離情報を取得し、ズーム/フォーカス制御部16を介して軌跡変化検出部13に距離情報を送信する。軌跡変化検出部13は距離測定装置19から取得した被写体距離情報と、ズームレンズおよびフォーカスレンズ位置と現在のカム軌跡から算出した被写体距離の差分を合焦度の代わりに用いればよい。軌跡データから前記2種類の被写体距離に基づいた各フォーカスレンズ位置が分かるため、その差分を補正量とすることができる。中間位置とWIDE端とのそれぞれにおける差分が所定値(第4の値、第5の値)より大きければS908に、中間位置における差分が所定値(第4の値)よりも小さく、且つ、WIDE端における差分が所定値(第5の値)以上である場合はS906に進めばよい。尚、現在のカム軌跡とは、軌跡調整データ記憶部15に調整値が格納されていない場合は工場調整後のカム軌跡、格納されている場合は格納されている調整値と初期調整値とにより調整した後のカム軌跡のことを指す。例えば、距離測定装置19が被写体までの距離を5mと検出したとして、撮像装置が合焦した時のズームレンズおよびフォーカスレンズ位置が3mのカム軌跡上に位置していた場合、2mの差分が発生している事になる。カム軌跡データから差分(2m)に対応する調整値を線形補間等で取得し、取得した調整値を軌跡調整データ記憶部15に格納することで、合焦度を用いた場合と同様に適切に軌跡データを調整する事ができる。尚、被写体や撮影シーンによって、評価値の精度は低下することがあるため、距離測定を行うことができれば距離情報を用いる方が精度よくカム軌跡の変化を検出できると考えられるが、評価値を用いると距離測定装置19が不要である点で有利である。尚、距離測定装置は距離が測定できれば距離の測定方式は特に問わないが、例えば、光学式の測距センサ、超音波式の測距センサ、位相差情報から算出した距離情報等を用いることができる。 As a modified example of this embodiment, the change in the cam trajectory can be detected using distance information acquired from the distance measuring device 19 instead of the focus degree. The communication unit 10 acquires the distance information from the distance measuring device 19 and transmits the distance information to the trajectory change detection unit 13 via the zoom/focus control unit 16. The trajectory change detection unit 13 can use the subject distance information acquired from the distance measuring device 19 and the difference between the subject distance calculated from the zoom lens and focus lens positions and the current cam trajectory instead of the focus degree. Since the focus lens positions based on the two types of subject distances can be known from the trajectory data, the difference can be used as the correction amount. If the difference between the intermediate position and the WIDE end is greater than a predetermined value (fourth value, fifth value), proceed to S908. If the difference at the intermediate position is smaller than the predetermined value (fourth value) and the difference at the WIDE end is equal to or greater than the predetermined value (fifth value), proceed to S906. In addition, the current cam trajectory refers to the cam trajectory after the factory adjustment when the adjustment value is not stored in the trajectory adjustment data storage unit 15, and refers to the cam trajectory after the adjustment value is stored and the initial adjustment value when the adjustment value is stored. For example, if the distance measurement device 19 detects the distance to the subject as 5 m, and the zoom lens and focus lens positions when the imaging device focuses are located on a cam trajectory of 3 m, a difference of 2 m occurs. By obtaining an adjustment value corresponding to the difference (2 m) from the cam trajectory data by linear interpolation or the like and storing the obtained adjustment value in the trajectory adjustment data storage unit 15, the trajectory data can be appropriately adjusted in the same way as when the focus degree is used. Note that the accuracy of the evaluation value may decrease depending on the subject and the shooting scene, so it is considered that if distance measurement can be performed, it is possible to detect the change in the cam trajectory more accurately by using distance information, but using the evaluation value is advantageous in that the distance measurement device 19 is not required. As long as the distance measuring device can measure distance, there is no particular restriction on the method of measuring distance. For example, an optical distance measuring sensor, an ultrasonic distance measuring sensor, or distance information calculated from phase difference information can be used.

本実施例では、実施例1に示した調整値の取得に加え、ズームレンズの基準位置とフォーカスレンズの基準位置とが変化することによるカム軌跡の変化に対応した調整値の取得を行う撮像装置について説明する。実施例1と重複する内容については説明を割愛する。尚、本実施例では、画像情報を用いて画角の変化を検出するため、いわゆる監視カメラ、雲台に取り付けられる放送用のカメラ等、固定した状態で撮影に用いられる撮像装置に適用される。車載カメラの様に移動体に固定されるものであっても、移動体そのものが撮影範囲内にあれば、適用可能である。 In this embodiment, in addition to obtaining the adjustment values shown in the first embodiment, an imaging device is described that obtains adjustment values corresponding to changes in the cam trajectory caused by changes in the reference position of the zoom lens and the reference position of the focus lens. Explanations of content that overlap with the first embodiment will be omitted. Note that in this embodiment, since changes in the angle of view are detected using image information, the present invention is applied to imaging devices that are used for shooting in a fixed state, such as so-called surveillance cameras and broadcast cameras attached to a pan head. It is also applicable to cameras that are fixed to a moving object, such as an in-vehicle camera, as long as the moving object itself is within the shooting range.

図8は、本実施例にかかる撮像装置の構成図である。本実施例の撮像装置は、画角ズレ検出部21とフォーカスズレ検出部22と基準位置調整データ記憶部23と、フォーカス・画角基準データ記憶部24とを備える点で実施例1の撮像装置と異なる。各構成は、カム軌跡・深度データ保持部11~ズーム/フォーカス制御部16と同様に、撮像装置100が備えるプロセッサ及びメモリによって構成することができる。各構成について説明をする。 Figure 8 is a configuration diagram of an imaging device according to this embodiment. The imaging device of this embodiment differs from the imaging device of embodiment 1 in that it includes a view angle deviation detection unit 21, a focus deviation detection unit 22, a reference position adjustment data storage unit 23, and a focus/view angle reference data storage unit 24. Each component can be configured by a processor and memory included in the imaging device 100, similar to the cam trajectory/depth data storage unit 11 to the zoom/focus control unit 16. Each component will be explained.

画角ズレ検出部21は、フォーカス・画角基準データ記憶部24に記憶されている基準画角情報が示す基準画角と現在の画角とを比較し、ずれ量を検出する。この検出は、例えば、ズームレンズとフォーカスレンズが初期設定位置(ホームポジション)またはプリセット位置に駆動して合焦したタイミングで行われる。初期設定位置やプリセット位置はユーザーが任意の位置を設定することができる。画角ズレ検出部21はズームレンズとフォーカスレンズが指定の位置まで駆動した後、現在の画角と基準画角とを比較し、両者の画角に差があるか否かを判定する。但し、画角そのものを比較するのではなく、画像情報に基づいて画角に差があるか否かを判定する。図11は基準画角情報として記憶する画角の情報のイメージ図である。基準画角情報として記憶する画角の情報は画面全体の画像データでもよいし、メモリ都合に応じて部分的な画像データでもよい。画像情報に基づいて画角を比較する代表的な技術としてテンプレートマッチング技術がある。 The angle of view deviation detection unit 21 compares the current angle of view with the reference angle of view indicated by the reference angle of view information stored in the focus/angle of view reference data storage unit 24, and detects the amount of deviation. This detection is performed, for example, when the zoom lens and the focus lens are driven to the initial setting position (home position) or the preset position and focused. The initial setting position and the preset position can be set by the user at any position. After the zoom lens and the focus lens are driven to the specified position, the angle of view deviation detection unit 21 compares the current angle of view with the reference angle of view and determines whether there is a difference between the two angles of view. However, the angle of view itself is not compared, but whether there is a difference between the angles of view is determined based on image information. FIG. 11 is an image diagram of the angle of view information stored as the reference angle of view information. The angle of view information stored as the reference angle of view information may be image data of the entire screen, or may be partial image data depending on memory availability. Template matching technology is a representative technology for comparing angles of view based on image information.

図11に示した基準データとして記憶した画像と同じパターンが、現在撮影している画像内に存在するかを見つける。テンプレートマッチングの場合は画像の類似度を計算する事になるため、類似度が一定以上であれば画角がずれていないと言える。また、特徴点情報を用いる場合は、特徴点の座標情報を活用する。あらかじめ記憶している特徴点(図12中の丸)の座標と、現在撮影している画像から算出した特徴点の座標を比較し、差分が所定値未満であれば画角がずれていないと言える。尚、画角が変化すると、特徴点の座標が画面中心に寄る場合と、画面中心から広がる場合がある。 It is found whether the same pattern as the image stored as the reference data shown in Figure 11 exists in the currently captured image. In the case of template matching, the similarity of the images is calculated, and if the similarity is above a certain level, it can be said that the angle of view is not shifted. When using feature point information, the coordinate information of the feature point is utilized. The coordinates of the pre-stored feature point (circle in Figure 12) are compared with the coordinates of the feature point calculated from the currently captured image, and if the difference is less than a predetermined value, it can be said that the angle of view is not shifted. Note that when the angle of view changes, the coordinates of the feature point may move closer to the center of the screen or may move away from the center of the screen.

画角に差分があると判定した場合、ズームレンズを動かしながら現在の画角と基準データとして記憶されている画角との差を比較し、画角が一致する位置をサーチして、画角のずれ量を検出する。 If it is determined that there is a difference in the angle of view, the system moves the zoom lens while comparing the difference between the current angle of view and the angle of view stored as reference data, searches for the position where the angles of view match, and detects the amount of deviation in the angle of view.

フォーカスズレ検出部22は、現在の合焦位置とフォーカス・画角基準データ記憶部24に基準情報として記憶されている合焦位置情報(基準合焦情報)とを比較し、両者の差分からフォーカスレンズのズレ量を検出する。 The focus deviation detection unit 22 compares the current focus position with the focus position information (reference focus information) stored as reference information in the focus/angle of view reference data storage unit 24, and detects the amount of deviation of the focus lens from the difference between the two.

基準位置調整データ記憶部23は、画角ズレ検出部21及びフォーカスズレ検出部22により検出された画角のずれ量及びフォーカスレンズのずれ量を調整値として記憶する。 The reference position adjustment data storage unit 23 stores the amount of deviation of the angle of view and the amount of deviation of the focus lens detected by the angle of view deviation detection unit 21 and the focus deviation detection unit 22 as adjustment values.

フォーカス・画角基準データ記憶部24は、特定のタイミングで取得した合焦位置の情報および画角の情報を記憶する。この合焦位置と画角の情報は、基準位置がずれる前の状態を覚えておくものである。特定のタイミングとは、設置時(固定時)に設定する初期設定位置(ホームポジション)の登録時や、任意の位置でフォーカスレンズやズームレンズを固定するプリセットモードの際に固定される、任意の位置(プリセット位置)の登録時である。これ以外に温度情報や時間情報をトリガーにしても良い。フォーカス基準データとしては、図3で示したフォーカス合焦枠のようなAF枠それぞれの評価値や合焦位置・合焦度、枠間での評価値の比率、または枠間での合焦度の比率を用いてもよい。 The focus/angle of view reference data storage unit 24 stores information on the focus position and the angle of view acquired at a specific timing. This information on the focus position and the angle of view is used to remember the state before the reference position shifted. The specific timing is when the initial setting position (home position) set at the time of installation (fixing) is registered, or when an arbitrary position (preset position) fixed in a preset mode in which the focus lens or zoom lens is fixed at an arbitrary position is registered. In addition, temperature information or time information may be used as a trigger. As the focus reference data, the evaluation value of each AF frame such as the focus in-focus frame shown in FIG. 3, the focus position/focus degree, the ratio of the evaluation values between frames, or the ratio of the focus degree between frames may be used.

図9、図10を用いて各レンズの基準位置がずれた時のカム軌跡に対する影響を説明する。図9、図10中のR1は調整直後のカム軌跡を示す。図9のR6はフォーカスレンズの基準位置がずれた場合のカム軌跡であり、図5と類似した、ズームレンズの位置によらず全体的にフォーカス合焦位置がオフセットされる形になる。図10のR7はズームレンズの基準位置がずれた場合のカム軌跡であり、ズームレンズの位置によってフォーカス合焦位置変化の影響が異なる。また、R1とR7を同じズームレンズ位置で比べると、画角の差も大きくなる。図からは割愛しているが、TELE端で合焦した時のカム軌跡を辿った場合、図9と図10共に中間位置での合焦度は低くなる。つまり、実施例1の撮像素子の位置が変化した場合にも、各レンズの基準位置がずれた場合にも、中間位置の合焦度が低くなるため、要因(またはどのように変化したか)の切り分けが必要となるケースがある。特に、温度変動が大きい、衝撃を受ける回数が多いなど、過酷な環境下で使われる撮像装置で必要となる可能性がある。実施例1でセンサ要因と判断され、S908へ進んだ後、本実施例のフローを実行することで、この切り分けを可能とすることができる。 Using Figures 9 and 10, the effect on the cam trajectory when the reference position of each lens is shifted will be explained. R1 in Figures 9 and 10 shows the cam trajectory immediately after adjustment. R6 in Figure 9 is the cam trajectory when the reference position of the focus lens is shifted, and similar to Figure 5, the focus position is offset overall regardless of the position of the zoom lens. R7 in Figure 10 is the cam trajectory when the reference position of the zoom lens is shifted, and the effect of the change in the focus position differs depending on the position of the zoom lens. In addition, when comparing R1 and R7 at the same zoom lens position, the difference in the angle of view is also large. Although it is omitted from the figure, when tracing the cam trajectory when focusing at the TELE end, the focus degree at the intermediate position is low in both Figures 9 and 10. In other words, the focus degree at the intermediate position is low when the position of the image sensor in Example 1 is changed or when the reference position of each lens is shifted, so there are cases where it is necessary to isolate the cause (or how it has changed). This may be necessary especially for imaging devices that are used in harsh environments, such as those subject to large temperature fluctuations and frequent shocks. After the sensor cause is determined in the first embodiment and the process proceeds to S908, this determination can be made by executing the flow of this embodiment.

ユーザーがカメラの設定を更新して、フォーカスと画角の基準データがフォーカス・画角基準データ記憶部24に保存されるまでのフローについて、図13を用いて説明する。はじめに、ユーザーが監視モニタ装置20から通信部10に対してカメラの接続を行う(S1501)。続いて、ユーザーが監視モニタ装置20から通信部10を通じて、ズーム/フォーカス制御部16にズーム/フォーカス駆動の指示を送る。ズーム/フォーカス制御部16はレンズを駆動させるための制御指示を、フォーカス駆動部17とズーム駆動部18に送る。ユーザーが画角およびフォーカス合焦位置を確定させると、現在のズームレンズの位置で撮像される画像情報とフォーカスレンズの位置(合焦位置)とを保存する(S1502、S1503)。ここまでは初期設定位置(ホームポジション)の登録と、任意の位置で固定するプリセットの登録で同じである。 The flow from when the user updates the camera settings to when the focus and angle of view reference data are stored in the focus and angle of view reference data storage unit 24 will be described with reference to FIG. 13. First, the user connects the camera to the communication unit 10 from the monitoring device 20 (S1501). Next, the user sends a zoom/focus drive instruction to the zoom/focus control unit 16 from the monitoring device 20 via the communication unit 10. The zoom/focus control unit 16 sends a control instruction to drive the lens to the focus drive unit 17 and the zoom drive unit 18. When the user confirms the angle of view and the focus in-focus position, the image information captured at the current zoom lens position and the focus lens position (in-focus position) are saved (S1502, S1503). Up to this point, the process is the same for registering the initial setting position (home position) and registering a preset that is fixed at an arbitrary position.

S1503で画像情報とフォーカスレンズ位置の保存が完了した後、ズーム/フォーカス制御部16はS1503で保存した情報を、基準合焦情報および基準画角情報として、フォーカス・画角基準データ記憶部24に書き込んでフローを終了する(S1504)。この時、フォーカス・画角基準データ記憶部24は、初期設定位置(ホームポジション)の登録時と、任意の位置で固定するプリセットの登録時で保存領域を分けて記憶しておく。なお、画角の基準データとなる画像情報は動体が含まれない背景画像が理想であるため、ズーム/フォーカス制御部16はカメラ信号から動体が含まれていない事を確認してからS1504の制御を行っても良い。また、フォーカス基準データは合焦情報以外にも距離情報があると誤補正を抑制しやすくなる。距離測定装置19は一定時間毎に距離情報を通信部10経由でズーム/フォーカス制御部16に送り、に距離情報を含めても良い。図8の構成図では距離測定装置が外付けにように示されているが、実施例1と同様、撮像素子と一体型になっているようなものでも良い。 After the image information and the focus lens position are saved in S1503, the zoom/focus control unit 16 writes the information saved in S1503 as reference focus information and reference angle of view information in the focus/angle of view reference data storage unit 24, and ends the flow (S1504). At this time, the focus/angle of view reference data storage unit 24 stores the information in separate storage areas for when the initial setting position (home position) is registered and when a preset fixed at an arbitrary position is registered. Since the image information that serves as the reference data for the angle of view is ideally a background image that does not include a moving object, the zoom/focus control unit 16 may perform control in S1504 after confirming that no moving object is included from the camera signal. In addition, if the focus reference data includes distance information in addition to the focus information, it is easier to suppress erroneous correction. The distance measurement device 19 may send distance information to the zoom/focus control unit 16 via the communication unit 10 at regular intervals, and the distance information may be included in the distance measurement device. In the configuration diagram of FIG. 8, the distance measurement device is shown as being external, but it may be integrated with the image sensor as in the first embodiment.

次に、カメラが初期設定位置またはプリセット位置に駆動してから、フォーカス・画角ずれの調整値が適用されるまでのフローについて、図14を用いて説明する。このフローは、ユーザーが監視モニタ装置20から通信部10に設定位置への駆動命令を出すか、通信部10が外部イベントやタイマー等の内部イベントをトリガーにスタートする。 Next, the flow from when the camera is driven to the initial setting position or preset position until the adjustment values for focus and angle of view are applied will be described with reference to FIG. 14. This flow starts when the user issues a command to drive to the set position from the surveillance monitor device 20 to the communication unit 10, or when the communication unit 10 is triggered by an external event or an internal event such as a timer.

はじめに、ズーム/フォーカス制御部16は画角ズレ検出部21に、現在のカメラ信号情報とフォーカス・画角基準データ記憶部24に記憶されている基準データとを送り、ズーム位置のずれ量を算出させる(S1601)。同様に、ズーム/フォーカス制御部16はフォーカスズレ検出部22に、現在のカメラ信号情報と基準データ情報を送り、フォーカス位置のずれ量を算出させる(S1602)。ずれ量の検出を画角から先に行うのは、ズームレンズによる画角合わせを行った際の合焦状態に対する影響が大きいためである。 First, the zoom/focus control unit 16 sends the current camera signal information and the reference data stored in the focus/angle of view reference data storage unit 24 to the angle of view deviation detection unit 21, which calculates the amount of deviation in the zoom position (S1601). Similarly, the zoom/focus control unit 16 sends the current camera signal information and the reference data information to the focus deviation detection unit 22, which calculates the amount of deviation in the focus position (S1602). The reason that the amount of deviation is detected first from the angle of view is that it has a large effect on the focusing state when the angle of view is adjusted using the zoom lens.

S1601とS1602で取得した各レンズのずれ量は、ズーム/フォーカス制御部16により基準位置調整データ記憶部23に書き込まれる(S1603)。尚、ズーム/フォーカス制御部16は、フォーカスズレ検出部22から取得したずれ量と、カム軌跡・深度データ保持部11から取得した深度データを比較し、ずれ量が被写界深度を超えている場合のみずれ量を書き込んでも良い。 The amount of deviation of each lens acquired in S1601 and S1602 is written by the zoom/focus control unit 16 to the reference position adjustment data storage unit 23 (S1603). Note that the zoom/focus control unit 16 may compare the amount of deviation acquired from the focus deviation detection unit 22 with the depth data acquired from the cam trajectory and depth data storage unit 11, and write the amount of deviation only if the amount of deviation exceeds the depth of field.

以降、ズームレンズやフォーカスレンズを駆動する場合、初期調整データ保持部12とカム軌跡・深度データ保持部11のデータに基準位置調整データ記憶部23に記憶されている調整値を適用し、トラッキング制御や登録位置への駆動制御を行う(S1604)。 After that, when driving the zoom lens or focus lens, the adjustment values stored in the reference position adjustment data storage unit 23 are applied to the data in the initial adjustment data storage unit 12 and the cam trajectory/depth data storage unit 11, and tracking control and drive control to the registered position are performed (S1604).

続いて、ズーム位置のずれ量を算出する制御(S1601)とフォーカス位置のずれ量を算出する制御(S1602)について、図15と図16を用いて詳細なフローを説明する。 Next, the detailed flow of the control for calculating the amount of deviation in the zoom position (S1601) and the control for calculating the amount of deviation in the focus position (S1602) will be described with reference to Figures 15 and 16.

画角ズレ検出部21はズーム/フォーカス制御部16からのINPUT情報を基に、図15のフローを実行する。まずズーム/フォーカス制御部16は、登録位置までズームレンズ及びフォーカスレンズが駆動しているか確認する(S1701)。駆動中でまだ登録位置にいない場合はS1701を繰り返し、登録位置まで駆動したら次のステップへ進み、フォーカスの合焦枠内に動体がいないか確認する(S1702)。動体が検出された場合はS1701に戻り、動体が検出されなければフォーカスの合焦状態を確認する(S1703)。動体が検出されなくなったタイミングでオートフォーカスが再起動するケースがあるため、合焦しておらず、フォーカスが駆動している場合はS1701に戻り、合焦している状態が確認できたら現在の画角情報を取得する(S1704)。本ステップでは、画角ズレ検出部21は現在のカメラ情報から図11、図12に示したような画像情報を画角情報として取得する。 The angle of view deviation detection unit 21 executes the flow of FIG. 15 based on the INPUT information from the zoom/focus control unit 16. First, the zoom/focus control unit 16 checks whether the zoom lens and focus lens are driven to the registered position (S1701). If they are being driven and are not yet at the registered position, S1701 is repeated, and if they are driven to the registered position, the process proceeds to the next step and checks whether there is a moving object within the focus frame of the focus (S1702). If a moving object is detected, the process returns to S1701, and if no moving object is detected, the focus state is checked (S1703). Since there are cases where the autofocus is restarted when a moving object is no longer detected, if the focus is not focused and the focus is driven, the process returns to S1701, and if the focus is confirmed to be in focus, the current angle of view information is obtained (S1704). In this step, the angle of view deviation detection unit 21 obtains image information such as that shown in FIG. 11 and FIG. 12 from the current camera information as angle of view information.

画角情報を取得すると、現在の画角情報と基準データの画角情報を比較する(S1705)。基準データとの差が閾値よりも大きい場合は、画角を基準データに合わせるためにズームレンズを細かく動かし、得られる現在の画角情報を基準データの画角情報と比較しながら、画角が一致するレンズ位置を探索して検出する。そして、画角が一致したズーム位置と、ズームレンズを動かす前のズーム位置の差であるずれ量の情報をズーム/フォーカス制御部16に情報を渡す(S1706)。一方、差が小さい場合は調整量を更新せずにフローを終わる。 Once the angle of view information has been acquired, the current angle of view information is compared with that of the reference data (S1705). If the difference with the reference data is greater than a threshold value, the zoom lens is moved finely to match the angle of view to the reference data, and the obtained current angle of view information is compared with that of the reference data to search for and detect a lens position where the angle of view matches. Then, information on the amount of deviation, which is the difference between the zoom position where the angle of view matches and the zoom position before the zoom lens was moved, is passed to the zoom/focus control unit 16 (S1706). On the other hand, if the difference is small, the flow ends without updating the adjustment amount.

続いて、フォーカスズレ検出部22はズーム/フォーカス制御部16からのINPUT情報を基に、図16のフローを実行する。このフローはズーム位置のずれ量を取得した後、つまり、現在の画角と基準データの画角が一致する位置にズームレンズを駆動させた後に行われる。よって、まずは、基準データの画角情報と現在の画角情報とを比較し、現在の画角が基準データの画角と一致しているかを確認する(S1801)。画角が一致していない場合、画角ズレ検出部21によるS1601のフローが未完了または調整不要と判断して初めに戻り、画角ズレ検出部21によるS1706が完了するまで待機する。現在の画角と基準データの画角が一致すると判断されたた場合のみ次のフローに進み、S1702と同様にフォーカスの合焦枠内に動体がいないか確認する(S1802)。動体が検出された場合はS1801に戻る。動体が検出されなければ、S1703と同様に、フォーカスの合焦状態を確認する(S1803)。合焦しておらずフォーカスが駆動している場合はS1801に戻る。合焦している状態が確認できたら現在のカメラ情報から図3に示したようなフォーカス合焦情報を取得する(S1804)。続いて、現在のフォーカス合焦情報と基準データのフォーカス合焦情報を比較してフォーカスレンズ位置の差分をずれ量として取得し、ずれ量の情報をズーム/フォーカス制御部16に渡し(S1805)、フローを終了する。 Next, the focus shift detection unit 22 executes the flow of FIG. 16 based on the INPUT information from the zoom/focus control unit 16. This flow is performed after obtaining the amount of deviation of the zoom position, that is, after driving the zoom lens to a position where the current angle of view and the angle of view of the reference data match. Therefore, first, the angle of view information of the reference data are compared with the current angle of view information to confirm whether the current angle of view matches the angle of view of the reference data (S1801). If the angles of view do not match, the flow of S1601 by the angle of view shift detection unit 21 is determined to be incomplete or unnecessary to be adjusted, and the flow returns to the beginning and waits until S1706 by the angle of view shift detection unit 21 is completed. Only when it is determined that the current angle of view and the angle of view of the reference data match, the flow proceeds to the next flow, and it is confirmed whether there is a moving object within the focus frame as in S1702 (S1802). If a moving object is detected, the flow returns to S1801. If a moving object is not detected, the focus state is confirmed as in S1703 (S1803). If the focus is not achieved and the focus is being driven, the process returns to S1801. If the focus is confirmed to be achieved, the focus information as shown in FIG. 3 is obtained from the current camera information (S1804). Next, the current focus information is compared with the focus information of the reference data to obtain the difference in the focus lens position as the amount of deviation, and the deviation amount information is passed to the zoom/focus control unit 16 (S1805), and the flow ends.

本実施例により、衝撃・振動・経年劣化・温度変化等によって、フォーカスレンズ位置とズームレンズ位置との基準位置が、初期調整時に調整された基準位置から変化し、レンズ制御の軌跡データが変化してしまった場合でも、軌跡データを調整することができる。 With this embodiment, even if the reference positions of the focus lens position and zoom lens position change from the reference positions adjusted during initial adjustment due to shock, vibration, deterioration over time, temperature change, etc., and the lens control trajectory data changes, the trajectory data can be adjusted.

図17は、本発明による実施例3にかかるアプリケーション画面の一例で、実施例1および実施例2で説明した制御に関して、ユーザーが制御有無の切り替えおよび、実行トリガーを任意のタイミングで可能にしたものである。構成図は実施例1および実施例2と同様で、重複する内容については説明を割愛する。また、フローチャートについても、実施例1および実施例2と同内容のものは説明を割愛する。 Figure 17 is an example of an application screen according to Example 3 of the present invention, which allows the user to switch between control on and off and to trigger execution at any timing for the controls described in Examples 1 and 2. The configuration diagram is the same as in Examples 1 and 2, and explanations of overlapping content will be omitted. Also, explanations of the flow charts that are the same as those in Examples 1 and 2 will be omitted.

ユーザーは監視モニタ装置20上からトラッキング調整設定アプリケーションウインドウM1901を表示して操作することができる。トラッキング調整設定アプリケーションウインドウM1901上では、ズームレンズ・フォーカスレンズ基準位置を調整する制御の切り替えと、ユーザーが任意のトリガーで基準登録と調整を実行できるようになっている。 The user can display and operate the tracking adjustment setting application window M1901 on the surveillance monitor device 20. In the tracking adjustment setting application window M1901, it is possible to switch the control for adjusting the zoom lens and focus lens reference positions, and the user can register the reference and perform adjustments at any trigger.

調整制御に関して、ここでは「自動調整(M1902)」、「調整しない(M1903)」の2パターンが選択できるように想定したメニューになっている。各項目の説明をすると、「自動調整(M1902)」は実施例1および実施例2で説明している制御を行うもので、「調整しない(M1903)」は調整を行わないものである。これ以外にも、例えば実施例1の調整のみ、実施例2の調整で初期設定位置に駆動した場合のみ、プリセット位置に駆動した場合のみ選択可能としても良い。 Regarding adjustment control, the menu assumes that two patterns, "Automatic Adjustment (M1902)" and "No Adjustment (M1903)," can be selected. To explain each item, "Automatic Adjustment (M1902)" performs the control explained in Examples 1 and 2, while "No Adjustment (M1903)" performs no adjustment. In addition to this, it may be possible to select, for example, only the adjustment of Example 1, only when driven to the initial setting position with the adjustment of Example 2, or only when driven to the preset position.

マニュアル制御については、「基準データ登録(M1904)」と「調整実行(M1905)」の2種類のボタンを配置した例となっている。各項目の説明をすると、「基準データ登録(M1904)」は実施例2で説明している図13のフローを実行するもので、「調整実行(M1905)」は実施例2で説明している図14のフローを実行するものである。 For manual control, this is an example in which two types of buttons are arranged: "Register Reference Data (M1904)" and "Execute Adjustment (M1905)." To explain each item, "Register Reference Data (M1904)" executes the flow in FIG. 13 explained in the second embodiment, and "Execute Adjustment (M1905)" executes the flow in FIG. 14 explained in the second embodiment.

M1906のOKボタンを押すと、調整制御の状態を保存してアプリケーション画面を閉じ、M1907のCancelボタンを押すと、調整制御の状態を保存しないでアプリケーション画面を閉じる。M1904とM1905のマニュアル制御に関しては即時反映である。 Pressing the OK button in M1906 saves the adjustment control state and closes the application screen, and pressing the Cancel button in M1907 closes the application screen without saving the adjustment control state. Manual controls in M1904 and M1905 are reflected immediately.

これにより、衝撃・振動・経年劣化・温度変化等によって、工場調整時に調整されたレンズ制御の軌跡データが変化してしまった場合でも、高精度なフォーカス精度を維持する事ができる。 This makes it possible to maintain high-precision focus accuracy even if the lens control trajectory data adjusted at the factory changes due to shock, vibration, deterioration over time, temperature changes, etc.

実施例1及び実施例2では撮影中にカム軌跡の調整を行う例について説明をした。本実施例では、実施例1および実施例2に示したカム軌跡の調整制御を、メンテナンスモードとして任意のタイミングで実行する。さらに調整制御に適した撮影範囲を自動で決定し、撮影方向を決定した撮影範囲が撮影される撮影方向に変更してから調整値を取得する撮像装置について説明する。実施例1および実施例2と重複する内容については説明を割愛する。 In the first and second embodiments, examples of adjusting the cam trajectory during shooting have been described. In this embodiment, the adjustment control of the cam trajectory shown in the first and second embodiments is executed at any timing as a maintenance mode. Furthermore, an imaging device is described that automatically determines a shooting range suitable for the adjustment control, changes the shooting direction to a shooting direction in which the determined shooting range is shot, and then acquires an adjustment value. Explanations of contents that overlap with the first and second embodiments will be omitted.

図18は、本実施例にかかる撮像装置の構成図である。本実施例の撮像装置は、PAN駆動部25とTILT駆動部26、フォーカス評価値・被写体距離記憶部27を備える点で実施例2の撮像装置と異なる。各構成は、カム軌跡・深度データ保持部11~フォーカス・画角基準データ記憶部24と同様に、撮像装置100が備えるプロセッサ及びメモリによって構成することができる。各構成について説明をする。 Figure 18 is a configuration diagram of the imaging device according to this embodiment. The imaging device according to this embodiment differs from the imaging device according to the second embodiment in that it includes a PAN driver 25, a TILT driver 26, and a focus evaluation value/subject distance memory 27. Each component can be configured by a processor and memory included in the imaging device 100, similar to the cam trajectory/depth data storage unit 11 to the focus/angle of view reference data memory unit 24. Each component will be explained below.

PAN駆動部25は、通信部10からの指示に従って、撮像装置の撮影方向を水平方向に駆動させる。TILT駆動部26は、通信部10からの指示に従って、撮像装置の撮影方向を垂直方向に駆動させる。本実施例では撮像装置にPAN・TILT機構を備えているが、撮像装置を雲台に載せて外部から撮影方向を変更する構成でも良い。フォーカス評価値・被写体距離記憶部27は、調整制御に適した撮影範囲を自動で設定するために、PAN・TILT位置に応じたフォーカス評価値と、合焦時の被写体距離情報を記憶する。PAN・TILT位置情報は、通信部10からズーム/フォーカス制御部16に渡され、ズーム/フォーカス制御部16は合焦時の被写体距離をカム軌跡データから算出し、フォーカス評価値・被写体距離記憶部27に格納する。 The PAN driving unit 25 drives the shooting direction of the imaging device in the horizontal direction according to instructions from the communication unit 10. The TILT driving unit 26 drives the shooting direction of the imaging device in the vertical direction according to instructions from the communication unit 10. In this embodiment, the imaging device is equipped with a PAN/TILT mechanism, but the imaging device may be mounted on a camera platform and the shooting direction may be changed from the outside. The focus evaluation value/subject distance storage unit 27 stores the focus evaluation value according to the PAN/TILT position and the subject distance information at the time of focusing in order to automatically set the shooting range suitable for adjustment control. The PAN/TILT position information is passed from the communication unit 10 to the zoom/focus control unit 16, which calculates the subject distance at the time of focusing from the cam trajectory data and stores it in the focus evaluation value/subject distance storage unit 27.

図19は、撮影範囲自動設定におけるPAN・TILT位置の考え方を示すイメージ図である。イメージ図の全体は各PAN・TILT位置で撮影した画像を繋ぎ合わせた、パノラマ映像のようなものである。監視モニタ装置20から通信部10を経由して、ズーム/フォーカス制御部16とPAN駆動部25、TILT駆動部26に駆動指示が出され、P0やP1のような撮影範囲に設定される。図20は、フォーカス評価値・被写体距離記憶部27が記憶するPAN・TILT位置に応じたフォーカス評価値と、合焦時の被写体距離情報のデータテーブル例である。図19のP0撮影範囲でフォーカス合焦した際に、フォーカス評価値およびカム軌跡データから算出した被写体距離情報を、横軸がPAN 0、縦軸がTILT 0のデータテーブルに記憶させる。パノラマ撮影では画像データを記憶して繋げるが、本実施例では画像では無く、フォーカス評価値および被写体距離を記憶して撮影範囲の自動設定に用いる。 Figure 19 is an image diagram showing the concept of PAN/TILT positions in automatic shooting range setting. The entire image diagram is like a panoramic image in which images taken at each PAN/TILT position are stitched together. Driving instructions are issued from the surveillance monitor device 20 to the zoom/focus control unit 16, the PAN driving unit 25, and the TILT driving unit 26 via the communication unit 10, and the shooting range is set to P0 or P1. Figure 20 is an example of a data table of focus evaluation values corresponding to PAN/TILT positions stored in the focus evaluation value/subject distance storage unit 27 and subject distance information at the time of focusing. When focusing is achieved at the P0 shooting range in Figure 19, the focus evaluation value and subject distance information calculated from the cam trajectory data are stored in a data table with the horizontal axis being PAN 0 and the vertical axis being TILT 0. In panoramic shooting, image data is stored and stitched together, but in this embodiment, instead of images, the focus evaluation value and subject distance are stored and used for automatic setting of the shooting range.

続いて、撮像装置がメンテナンスモードに入り、撮影範囲自動調整制御を行い、カム軌跡の補正制御を行うまでのフローについて、図21を用いて説明する。はじめに、ユーザーが監視モニタ装置20から通信部10に対して、メンテナンスモードの開始指示を出すまで待つ(S2101)。メンテナンスモードの開始指示が出たらS2102に進み、通信部10はズーム/フォーカス制御部16に対して、ズームレンズ位置をメンテナンスモード用の位置に駆動させるよう指示する。この時のズームレンズ位置については、撮像光学系の構成に合わせて決めても良いし、ユーザーが運用する際のズームレンズ位置を活用しても良い。S2103では、図19と図20でも説明したような撮影範囲自動調整を行う。通信部10からPAN駆動部25、TILT駆動部26を制御して、図20のようなデータテーブルを作成し、被写体距離が所定の距離以上であり、フォーカス評価値の高いPAN・TILT位置を、メンテナンス時の撮影範囲として決定する。撮影範囲の自動調整のより詳細な処理については後述する。 Next, the flow from when the imaging device enters the maintenance mode, when automatic shooting range adjustment control is performed, to when correction control of the cam trajectory is performed will be described with reference to FIG. 21. First, the process waits until the user issues a maintenance mode start instruction from the monitoring device 20 to the communication unit 10 (S2101). When the maintenance mode start instruction is issued, the process proceeds to S2102, where the communication unit 10 instructs the zoom/focus control unit 16 to drive the zoom lens position to a position for the maintenance mode. The zoom lens position at this time may be determined according to the configuration of the imaging optical system, or the zoom lens position when the user operates the device may be utilized. In S2103, automatic shooting range adjustment is performed as described in FIG. 19 and FIG. 20. The communication unit 10 controls the PAN drive unit 25 and the TILT drive unit 26 to create a data table as shown in FIG. 20, and the PAN/TILT position where the subject distance is equal to or greater than a predetermined distance and where the focus evaluation value is high is determined as the shooting range during maintenance. A more detailed process of automatic shooting range adjustment will be described later.

なお、本フローではS2102で決めたズームレンズ位置を使ってS2103の撮影範囲自動調整を行っているが、これを複数回行うような制御でも良い。例えば、最初にWIDE端で撮影範囲自動調整を行って撮影範囲を決めた後、ズームレンズをTELE端に移動させ、その撮影範囲内をTELE端で撮影範囲自動調整を実施する事で、より高精度にメンテナンスに適した撮影範囲を決定できる。決定した画角を基に、S2104でカム軌跡の変化検出・要因推定、S2105でカム軌跡の補正を実施してフローを終了する。なお、S2104とS2105の処理は実施例1で説明した図6・図7のフローをメンテナンスモードとして強制的に実行する処理であるため、詳細な内容は割愛する。また、S2104とS2105の内容に加えて、実施例2の制御を組み込む事も可能である。 In this flow, the automatic shooting range adjustment in S2103 is performed using the zoom lens position determined in S2102, but this may be controlled to be performed multiple times. For example, the shooting range is first determined by automatically adjusting the shooting range at the WIDE end, and then the zoom lens is moved to the TELE end, and the shooting range is automatically adjusted at the TELE end within that shooting range, so that the shooting range suitable for maintenance can be determined with higher accuracy. Based on the determined angle of view, the change in the cam trajectory is detected and the cause is estimated in S2104, and the cam trajectory is corrected in S2105, and the flow ends. Note that the processing in S2104 and S2105 is a processing for forcibly executing the flow of FIG. 6 and FIG. 7 described in the first embodiment as a maintenance mode, so the details are omitted. In addition to the contents of S2104 and S2105, the control of the second embodiment can also be incorporated.

次に、撮影範囲自動調整制御の詳細なフローについて、図22を用いて説明する。はじめに、通信部10からPAN駆動部25、TILT駆動部26に対して、PAN・TILTの初期位置まで駆動するように指示を出す(S2201)。ここでは一例として、図19のP0を初期位置とする。続いて、通信部10からズーム/フォーカス制御部16に指示を送り、オートフォーカス制御を開始する(S2202)。フォーカスが合焦状態になるまで待つ(S2203)。フォーカスが合焦したらS2204に進み、ズーム/フォーカス制御部16は、フォーカス評価値およびカム軌跡データから算出した被写体距離情報を、フォーカス評価値・被写体距離記憶部27のデータテーブルに記憶させる。このデータテーブルはPAN・TILT位置に応じた値を記憶する必要があるため、通信部10はPAN駆動部25、TILT駆動部26の位置情報をズーム/フォーカス制御部16に渡すように制御する。その後、PAN・TILT位置を次の位置へ進める(S2205)。ここでは一例として、図19のP1まで駆動させる。このように、P0からP1と順番に回り、全てのPAN・TILT位置を回ったか確認する(S2206)。まだ回っていない位置であれば、S2202の制御まで戻り、S2206までのフローを繰り返す。全てのPAN・TILT位置を回った場合はS2207に進み、被写体距離が遠く、フォーカス評価値の高いPAN・TILT位置を最適な位置として判定する。通信部10からPAN駆動部25、TILT駆動部26に駆動指示を出し、S2207で判定した最適な位置まで駆動させ、フローを終了する(S2208)。 Next, a detailed flow of the automatic shooting range adjustment control will be described with reference to FIG. 22. First, the communication unit 10 issues an instruction to the PAN driving unit 25 and the TILT driving unit 26 to drive to the initial PAN/TILT position (S2201). Here, as an example, P0 in FIG. 19 is set as the initial position. Next, the communication unit 10 sends an instruction to the zoom/focus control unit 16 to start autofocus control (S2202). Wait until the focus is in focus (S2203). When the focus is in focus, the process proceeds to S2204, where the zoom/focus control unit 16 stores the subject distance information calculated from the focus evaluation value and the cam trajectory data in the data table of the focus evaluation value/subject distance storage unit 27. Since this data table needs to store values according to the PAN/TILT position, the communication unit 10 controls the position information of the PAN driving unit 25 and the TILT driving unit 26 to be passed to the zoom/focus control unit 16. After that, the PAN/TILT position is advanced to the next position (S2205). Here, as an example, it is driven to P1 in FIG. 19. In this manner, it goes from P0 to P1 in order, and it is confirmed whether all PAN/TILT positions have been visited (S2206). If it is a position that has not yet been visited, the control returns to S2202, and the flow up to S2206 is repeated. If all PAN/TILT positions have been visited, the process proceeds to S2207, and the PAN/TILT position with the long subject distance and high focus evaluation value is determined to be the optimal position. A drive command is issued from the communication unit 10 to the PAN drive unit 25 and the TILT drive unit 26, which drive to the optimal position determined in S2207, and the flow ends (S2208).

本実施例により、衝撃・振動・経年劣化・温度変化等によって、工場調整時に調整されたカム軌跡から実際のカム軌跡が変化してしまった場合でも、ユーザーがメンテナンスを実行し、高精度なフォーカス精度を維持する事ができる。 With this embodiment, even if the actual cam trajectory changes from the cam trajectory adjusted at the factory due to shock, vibration, deterioration over time, temperature change, etc., the user can perform maintenance and maintain high-precision focus accuracy.

本実施例では、実施例4で説明したメンテナンスモードについて、ユーザーが画面上から実行・設定できる例について説明をする。構成図は実施例4と同様で、重複する内容については説明を割愛する。また、フローチャートについても、実施例4と同内容のものは説明を割愛する。 In this embodiment, an example will be described in which the user can execute and set the maintenance mode described in embodiment 4 from the screen. The configuration diagram is the same as in embodiment 4, and explanations of overlapping content will be omitted. Also, explanations of the flow charts that are the same as in embodiment 4 will be omitted.

図23は、本発明による実施例5にかかるアプリケーション画面の一例である。 Figure 23 is an example of an application screen according to the fifth embodiment of the present invention.

ユーザーは監視モニタ装置20上からメンテナンス設定アプリケーションウインドウM2301を表示して操作することができる。メンテナンス設定アプリケーションウインドウM2301上では、メンテナンスの即時実行および指定した日時の実行ができるようになっている。また、メンテナンス実行前の状態検査や、画角自動調整の有無を選択することができる。 The user can display and operate the maintenance setting application window M2301 on the surveillance monitor device 20. The maintenance setting application window M2301 allows maintenance to be performed immediately or at a specified date and time. In addition, the user can select whether to perform a status inspection before performing maintenance and whether to automatically adjust the angle of view.

メンテナンス制御を「すぐに実行(M2302)」する場合では、「状態を検査して実行(M2303)」ボタンと「状態を検査しないで実行(M2304)」ボタンの2パターンが実行できるように想定したメニューになっている。「状態を検査して実行(M2303)」ボタンを押した場合、監視モニタ装置20から通信部10に検査指示が通知され、通信部10が撮像装置の状態をチェックする。この時にチェックする内容としては、撮像装置の稼働時間および温度変化、レンズの駆動回数が挙げられる。例えば、稼働時間が所定の期間(例えば3ヶ月以上)の場合や、撮像装置内の温度が何度も保証温度上限に近付いている場合、レンズ駆動回数が製品耐久の1/10を超えた場合に、メンテナンス未実施であれば実施例4のメンテナンス制御を実行する。なお、撮像装置の構成に合わせて、これ以外の情報を活用しても良い。メンテナンスが不要と判定された場合は、メンテナンスを実行せずに処理を終了する。「状態を検査しないで実行(M2304)」ボタンを押した場合は、前述した検査を行わず、実施例4のメンテナンス制御を実行する。 When the maintenance control is to be "immediately executed (M2302)", the menu is designed to allow two patterns to be executed, the "execute after checking the status (M2303)" button and the "execute without checking the status (M2304)" button. When the "execute after checking the status (M2303)" button is pressed, the monitoring device 20 notifies the communication unit 10 of an inspection instruction, and the communication unit 10 checks the status of the imaging device. The contents to be checked at this time include the operation time and temperature change of the imaging device, and the number of times the lens has been driven. For example, if the operation time is a predetermined period (e.g., three months or more), if the temperature inside the imaging device approaches the upper limit of the guaranteed temperature many times, or if the number of times the lens has been driven exceeds 1/10 of the product durability, if maintenance has not been performed, the maintenance control of the fourth embodiment is executed. Note that other information may be used according to the configuration of the imaging device. If it is determined that maintenance is unnecessary, the process is terminated without executing maintenance. If the "execute without checking the status (M2304)" button is pressed, the above-mentioned inspection is not performed, and the maintenance control of the fourth embodiment is executed.

メンテナンス制御を「指定した日時に実行(M2305)」する場合では、「実行日(M2306)」と「実行時間(M2307)」を指定してメンテナンスを実行する事ができる。この設定を行った状態で「OKボタン(M2310)」を押すと、監視モニタ装置20から通信部10に情報が送信し、メンテナンス設定アプリケーションウインドウを閉じる。撮像装置は指定された日時にメンテナンスを実行する。「Cancelボタン(M2311)」を押すと、設定した情報を通信部10に送らず、メンテナンス設定アプリケーションウインドウを閉じる。 When performing maintenance control "at a specified date and time (M2305)," maintenance can be performed by specifying the "execution date (M2306)" and "execution time (M2307)." When this setting is made, pressing the "OK button (M2310)" sends information from the surveillance monitor device 20 to the communication unit 10 and closes the maintenance setting application window. The imaging device performs maintenance at the specified date and time. Pressing the "Cancel button (M2311)" closes the maintenance setting application window without sending the set information to the communication unit 10.

撮影範囲の自動調整については、「する(M2308)」と「しない(M2309)」を選択できるように想定したメニューになっている。各項目の説明をすると、「する(M2308)」は実施例4の撮影範囲の自動調整制御を行うもので、「しない(M2309)」は撮影範囲の自動調整制御をスキップするものである。この設定は「すぐに実行(M2302)」と「指定した日時に実行(M2305)」の制御に反映される。 The menu is designed to allow the user to select "Yes (M2308)" or "No (M2309)" for automatic adjustment of the shooting range. To explain each item, "Yes (M2308)" performs the automatic adjustment control of the shooting range of the fourth embodiment, while "No (M2309)" skips the automatic adjustment control of the shooting range. This setting is reflected in the control of "Execute immediately (M2302)" and "Execute at a specified date and time (M2305)."

本実施例により、衝撃・振動・経年劣化・温度変化等によって、工場調整時に調整されたカム軌跡から実際のカム軌跡が変化してしまった場合でも、ユーザーが任意のタイミングでメンテナンスを実行し、高精度なフォーカス精度を維持する事ができる。 With this embodiment, even if the actual cam trajectory changes from the cam trajectory adjusted at the factory due to shock, vibration, deterioration over time, temperature change, etc., the user can perform maintenance at any time and maintain high-precision focus accuracy.

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。 The above describes preferred embodiments of the present invention, but it goes without saying that the present invention is not limited to these embodiments, and various modifications and variations are possible within the scope of the gist of the invention.

また、実施例1~3では、撮像光学系(撮影レンズ)と撮像装置本体が一体となったレンズ一体型の撮像装置に本発明適用した例を説明した。しかし、本発明はこれに限定されるものではなく、撮像装置本体と、該撮像装置本体に着脱可能な撮像光学系を有する交換レンズと、から構成される撮像システム(光学機器)に適用することもできる。 In addition, in Examples 1 to 3, an example was described in which the present invention was applied to a lens-integrated imaging device in which the imaging optical system (photographic lens) and the imaging device body are integrated. However, the present invention is not limited to this, and can also be applied to an imaging system (optical equipment) that is composed of an imaging device body and an interchangeable lens having an imaging optical system that is detachable from the imaging device body.

1 ズームレンズ
2 フォーカスレンズ
6 撮像素子
11 記憶手段
13 調整値取得手段
100 撮像装置
110 撮像光学系
REFERENCE SIGNS LIST 1 Zoom lens 2 Focus lens 6 Image pickup element 11 Storage means 13 Adjustment value acquisition means 100 Image pickup device 110 Image pickup optical system

Claims (23)

ズームレンズとフォーカスレンズとを有する撮像光学系による被写体像を光電変換する撮像素子と、
前記撮像光学系が所定の被写体距離に合焦するときの、前記ズームレンズと前記フォーカスレンズとの位置関係を示す軌跡データを記憶する記憶手段と、
前記軌跡データを調整するための調整値を取得する調整値取得手段と、
ズーム動作時に、前記軌跡データと前記調整値取得手段により取得された前記調整値とに基づいて前記フォーカスレンズを駆動させる制御を行うフォーカス制御手段と、を備え、
前記調整値取得手段は、
前記軌跡データにおける前記ズームレンズの位置が第1の位置である場合の第1の合焦度と、前記軌跡データにおける前記ズームレンズの位置が第2の位置である場合の第2の合焦度とを取得し、
前記第1の位置は前記軌跡データにおける中間位置であって、前記第2の位置は前記第1の位置よりもWIDE側の位置であり、
前記第1の合焦度と前記第2の合焦度とに基づいて、前記調整値を取得するための複数の取得処理から実行する取得処理を決定し、
前記決定された取得処理に基づいて、前記調整値を取得することを特徴とする撮像装置。
an image sensor that photoelectrically converts an object image captured by an image capturing optical system having a zoom lens and a focus lens;
a storage means for storing trajectory data indicating a positional relationship between the zoom lens and the focus lens when the imaging optical system is focused on a predetermined subject distance;
an adjustment value acquisition means for acquiring an adjustment value for adjusting the trajectory data;
a focus control unit that controls driving of the focus lens based on the trajectory data and the adjustment value acquired by the adjustment value acquisition unit during a zoom operation,
The adjustment value acquisition means
obtaining a first focus degree when the position of the zoom lens in the trajectory data is a first position, and a second focus degree when the position of the zoom lens in the trajectory data is a second position;
the first position is an intermediate position in the trajectory data, and the second position is a position on a WIDE side of the first position,
determining an acquisition process to be executed from a plurality of acquisition processes for acquiring the adjustment value based on the first focus degree and the second focus degree;
The imaging apparatus further comprises: an image capturing apparatus that acquires the adjustment value based on the determined acquisition process.
前記第2の位置は前記軌跡データにおけるWIDE端であることを特徴とする請求項1に記載の撮像装置。 The imaging device according to claim 1, characterized in that the second position is the WIDE end in the trajectory data. 前記調整値取得手段は、
前記ズームレンズと前記フォーカスレンズとの位置が、前記軌跡データにおける前記撮像光学系の合焦位置を示すときの前記撮像光学系の合焦度に基づいて前記調整値の取得処理を決定することを特徴とする請求項1または2に記載の撮像装置。
The adjustment value acquisition means
3. The imaging device according to claim 1, wherein the adjustment value acquisition process is determined based on the degree of focus of the imaging optical system when the positions of the zoom lens and the focus lens indicate the focus position of the imaging optical system in the trajectory data.
前記調整値取得手段は、
前記ズームレンズが前記第1の位置で合焦した状態から、
前記ズームレンズをWIDE方向に駆動させることにより、前記第1の合焦度と前記第2の合焦度を取得し、
検出データとして蓄積する事を特徴とする請求項1に記載の撮像装置。
The adjustment value acquisition means
From a state in which the zoom lens is focused at the first position,
The zoom lens is driven in a WIDE direction to obtain the first focus degree and the second focus degree;
2. The imaging device according to claim 1, wherein the detected data is stored.
ズームレンズとフォーカスレンズとを有する撮像光学系による被写体像を光電変換する撮像素子と、
前記撮像光学系が所定の被写体距離に合焦するときの、前記ズームレンズと前記フォーカスレンズとの位置関係を示す軌跡データを記憶する記憶手段と、
前記軌跡データを調整するための調整値を取得する調整値取得手段と、
ズーム動作時に、前記軌跡データと前記調整値取得手段により取得された前記調整値とに基づいて前記フォーカスレンズを駆動させる制御を行うフォーカス制御手段と、
距離情報を取得する距離情報取得手段と、を有し、
前記調整値取得手段は、
前記撮像光学系が合焦状態であるとして前記ズームレンズと前記フォーカスレンズとの位置と前記軌跡データとに基づいて取得した距離情報と、前記距離情報取得手段により取得された距離情報との差分を、前記軌跡データにおける前記ズームレンズの位置が第1の位置と前記軌跡データにおける前記ズームレンズの位置が第2の位置とのそれぞれにおいて取得し、
前記第1の位置において取得された差分と、前記第2の位置において取得された差分とに基づいて、前記調整値を取得するための複数の取得処理から実行する取得処理を決定することを特徴とする撮像装置。
an image sensor that photoelectrically converts an object image captured by an image capturing optical system having a zoom lens and a focus lens;
a storage means for storing trajectory data indicating a positional relationship between the zoom lens and the focus lens when the imaging optical system is focused on a predetermined subject distance;
an adjustment value acquisition means for acquiring an adjustment value for adjusting the trajectory data;
a focus control unit that controls driving of the focus lens based on the trajectory data and the adjustment value acquired by the adjustment value acquisition unit during a zoom operation;
distance information acquisition means for acquiring distance information;
The adjustment value acquisition means
a difference between distance information acquired based on the trajectory data and the positions of the zoom lens and the focus lens when the imaging optical system is in a focused state and distance information acquired by the distance information acquisition means is acquired when the position of the zoom lens in the trajectory data is a first position and when the position of the zoom lens in the trajectory data is a second position;
an imaging device that determines an acquisition process to be executed from a plurality of acquisition processes for acquiring the adjustment value based on a difference acquired at the first position and a difference acquired at the second position.
前記第2の位置は前記軌跡データにおけるWIDE端であることを特徴とする請求項5に記載の撮像装置。 The imaging device according to claim 5, characterized in that the second position is the WIDE end in the trajectory data. 前記複数の取得処理は、第1の取得処理と、第2の取得処理とを含み、
前記ズームレンズの位置に応じた前記調整値の変化は、前記第2の取得処理の方が前記第1の取得処理よりも小さいことを特徴とする請求項1乃至6のいずれか1項に記載の撮像装置。
the plurality of acquisition processes include a first acquisition process and a second acquisition process,
7. The imaging apparatus according to claim 1, wherein a change in the adjustment value according to the position of the zoom lens is smaller in the second acquisition process than in the first acquisition process.
前記第2の取得処理は、前記軌跡データのオフセット値を取得する処理であり、
前記オフセット値を前記調整値として取得することを特徴とする請求項7に記載の撮像装置。
the second acquisition process is a process of acquiring an offset value of the trajectory data,
The imaging apparatus according to claim 7 , wherein the offset value is obtained as the adjustment value.
前記第2の取得処理は
前記ズームレンズと前記フォーカスレンズとが第3の位置をとるときの前記撮像光学系の合焦度と、前記軌跡データとに基づいて前記調整値を取得する処理であることを特徴とする請求項7又は8に記載の撮像装置。
The imaging device according to claim 7 or 8, characterized in that the second acquisition process is a process of acquiring the adjustment value based on the focus degree of the imaging optical system when the zoom lens and the focus lens are in a third position and the trajectory data.
前記ズームレンズと前記フォーカスレンズとの基準位置を調整する基準位置調整手段を備え、
前記基準位置調整手段は、
前記ズームレンズと前記フォーカスレンズとが指定された位置に駆動した後に撮影された画像である現在の画角情報と、予め記憶された画像である基準画角情報との差に基づいて、前記ズームレンズの基準位置を調整するための調整値を取得し、
予め記憶された前記フォーカスレンズの位置と、前記指定された位置に駆動した後の現在のフォーカスレンズの位置との差に基づいて前記フォーカスレンズの基準位置を調整することを特徴とする請求項1乃至9のいずれか1項に記載の撮像装置。
a reference position adjusting unit for adjusting a reference position of the zoom lens and the focus lens,
The reference position adjustment means is
acquiring an adjustment value for adjusting a reference position of the zoom lens based on a difference between current angle of view information, which is an image captured after the zoom lens and the focus lens are driven to designated positions, and reference angle of view information, which is a pre-stored image;
10. The imaging device according to claim 1, further comprising: a focus lens control unit that controls a reference position of the focus lens based on a difference between a pre-stored position of the focus lens and a current position of the focus lens after being driven to the specified position.
前記基準位置調整手段は、
前記フォーカスレンズの基準位置の調整は、前記前記ズームレンズの基準位置を調整した後に行うことを特徴とする請求項10に記載の撮像装置。
The reference position adjustment means is
11. The image pickup apparatus according to claim 10, wherein the adjustment of the reference position of the focus lens is performed after the adjustment of the reference position of the zoom lens.
予め記憶された前記フォーカスレンズの位置と前記基準画角情報とを取得するタイミングは、
前記ズームレンズと前記フォーカスレンズを所定の位置で固定するモードの際の前記所定の位置を設定するタイミング、または、ユーザーによる指示を受けたタイミングの少なくともいずれかであることを特徴とする請求項10または11に記載の撮像装置。
The timing for acquiring the pre -stored focus lens position and the reference angle of view information is
12. The imaging device according to claim 10, wherein the timing is at least one of a timing at which the predetermined position is set in a mode in which the zoom lens and the focus lens are fixed at a predetermined position, and a timing at which an instruction from a user is received.
前記基準画角と現在の画角との差と、予め記憶された前記フォーカスレンズの位置と現在のフォーカス合焦情報との差と、を取得するタイミングは、前記ズームレンズと前記フォーカスレンズを所定の位置で固定するモードが設定されたたときと、ユーザーによる指示を受けたときとの少なくともいずれかであること特徴とする請求項10乃至12のいずれか1項に記載の撮像装置。 The imaging device according to any one of claims 10 to 12, characterized in that the timing for acquiring the difference between the reference angle of view and the current angle of view and the difference between a pre-stored position of the focus lens and current focus in-focus information is at least one of when a mode for fixing the zoom lens and the focus lens at a predetermined position is set and when an instruction is received from a user. 前記基準位置調整手段は、
前記基準画角情報と前記現在の画角情報との差を、
前記撮像素子により取得される画像の特徴点情報と前記画像の類似度の少なくとも1つを用いて取得する事を特徴とする請求項10乃至13のいずれか1項に記載の撮像装置。
The reference position adjustment means is
A difference between the reference angle of view information and the current angle of view information is
14. The imaging device according to claim 10, wherein the image capturing method is performed using at least one of feature point information of an image captured by the imaging element and a similarity of the image.
前記基準位置調整手段は、
予め記憶された前記フォーカスレンズの位置と現在のフォーカス合焦情報との差を、
前記撮像素子により取得される画像のフォーカスの評価値と前記画像の複数の領域の評価値の比率、前記複数の領域の合焦度の比率の少なくとも1つを用いて取得することを特徴とする請求項10乃至14のいずれか1項に記載の撮像装置。
The reference position adjustment means is
The difference between the pre - stored focus lens position and the current focus in-focus information is
The imaging device according to any one of claims 10 to 14, characterized in that the focus evaluation value of the image acquired by the imaging element is obtained using at least one of the ratio of the evaluation values of multiple regions of the image and the ratio of the in-focus degrees of the multiple regions.
距離情報を取得する距離情報取得手段を有し、
前記距離情報取得手段は、
予め記憶された前記フォーカスレンズの位置と前記基準画角情報を取得するタイミングの距離情報と、
現在の距離情報が一致する場合に、前記画角情報からズームずれ量を算出し、前記フォーカス合焦情報からフォーカスずれ量を算出する事を特徴とする請求項10乃至15のいずれか1項に記載の撮像装置。
A distance information acquisition means for acquiring distance information,
The distance information acquisition means
distance information of the position of the focus lens and the timing of acquiring the reference angle of view information, which are stored in advance ;
16. The imaging apparatus according to claim 10, wherein, when the current distance information matches, a zoom deviation amount is calculated from the angle of view information, and a focus deviation amount is calculated from the focus adjustment information.
前記記憶手段は、初期調整前の軌跡情報と初期調整値とを記憶し、
前記フォーカス制御手段は、前記初期調整前の軌跡情報と、前記初期調整値と、前記調整値取得手段により取得された前記調整値と、に基づいて前記フォーカスレンズを制御することを特徴とする請求項1乃至16のいずれか1項に記載の撮像装置。
the storage means stores the trajectory information before the initial adjustment and the initial adjustment value;
17. The imaging device according to claim 1, wherein the focus control means controls the focus lens based on trajectory information before the initial adjustment, the initial adjustment value, and the adjustment value acquired by the adjustment value acquisition means.
撮像装置の撮影を行うための第1モードと、
ユーザーからの指示に基づいてメンテナンスを行うための第2モードと、を有し、
前記調整値取得手段は、
前記第1モードが設定されている場合は、前記調整値の取得を自動で行い、
前記第2モードが設定されている場合は、前記調整値の取得をユーザーからの指示に基づくタイミングで行う事を特徴とする請求項1乃至17のいずれか1項に記載の撮像装置。
a first mode for performing imaging of the imaging device;
a second mode for performing maintenance based on an instruction from a user;
The adjustment value acquisition means
When the first mode is set, the adjustment value is automatically acquired,
18. The imaging apparatus according to claim 1, wherein when the second mode is set, the acquisition of the adjustment value is performed at a timing based on an instruction from a user.
前記撮像光学系およびパン方向またはチルト方向に駆動する駆動部を制御することにより撮影範囲を変更する変更手段と、
前記撮影範囲に応じた合焦時のフォーカス評価値と被写体距離とを記憶する手段と、
前記第2モードが設定されている場合に、記憶した前記フォーカス評価値および前記被写体距離から撮影範囲を決定する撮影範囲の決定手段と、を有し、
前記調整値取得手段は、前記撮影範囲の決定手段により決定された撮影範囲で前記調整値の取得を行うことを特徴とする請求項18に記載の撮像装置。
A change unit changes a photographing range by controlling the imaging optical system and a drive unit that drives the imaging optical system in a panning direction or a tilting direction;
a means for storing a focus evaluation value and a subject distance when in focus according to the photographing range;
a photographing range determining unit that determines a photographing range from the stored focus evaluation value and the subject distance when the second mode is set,
20. The imaging apparatus according to claim 18, wherein the adjustment value acquisition means acquires the adjustment value in the imaging range determined by the imaging range determination means.
前記撮影範囲の決定手段は、
前記記憶した被写体距離が所定の距離以上の撮影範囲の中から、
前記記憶したフォーカス評価値に基づいて前記撮影範囲を決定することを特徴とする請求項19に記載の撮像装置。
The imaging range determining means includes:
From the photographing range in which the object distance stored is equal to or greater than a predetermined distance,
20. The imaging apparatus according to claim 19, wherein the imaging range is determined based on the stored focus evaluation value.
前記第2モードの制御方法を決定する手段を有し、
前記調整値の取得が必要な状態か否かを判定してから前記調整値の取得を実行する方法と、
前記調整値の取得が必要な状態か否かを判定しないで前記調整値の取得を実行する方法と、
前記調整値の取得を指定した日時に実行する制御方法と、のいずれかの方法を決定可能なことを特徴とする請求項19または20に記載の撮像装置。
means for determining a control method for the second mode;
a method of determining whether or not acquisition of the adjustment value is necessary and then executing acquisition of the adjustment value;
A method of acquiring the adjustment value without determining whether or not the adjustment value needs to be acquired;
21. The imaging apparatus according to claim 19, wherein the imaging apparatus is capable of determining whether or not the adjustment value is acquired at a specified date and time.
前記調整値の取得が必要な状態か否かの判定は、
撮像装置の稼働時間、温度変化、レンズの駆動回数、の少なくともいずれかの値を所定値と比較することで行い、
比較した値が前記所定値以上の場合に、前記調整値の取得が必要と判定することを特徴とする請求項21に記載の撮像装置。
The determination of whether or not the adjustment value needs to be acquired is
The image capturing apparatus performs the image capturing process by comparing at least one of the following values with a predetermined value: the operating time of the image capturing apparatus, the temperature change, and the number of times the lens is driven.
22. The imaging apparatus according to claim 21, wherein when the compared value is equal to or greater than the predetermined value, it is determined that acquisition of the adjustment value is necessary.
ズームレンズとフォーカスレンズとを有する撮像光学系による被写体像を光電変換する撮像素子を備える撮像装置の制御方法であって、
前記撮像光学系が所定の被写体距離に合焦するときの、前記ズームレンズと前記フォーカスレンズとの位置関係を示す軌跡データを調整するための調整値を取得する調整値取得工程と、
ズーム動作時に、前記軌跡データと前記調整値取得工程により取得された前記調整値とに基づいて前記フォーカスレンズを駆動させる制御を行うフォーカス制御工程と、を備え、
前記調整値取得工程において、
前記軌跡データにおける前記ズームレンズの位置が第1の位置である場合の第1の合焦度と、前記軌跡データにおける前記ズームレンズの位置が第2の位置である場合の第2の合焦度とを取得し、
前記第1の位置は前記軌跡データにおける中間位置であって、前記第2の位置は前記第1の位置よりもWIDE側の位置であり、
前記第1の合焦度と前記第2の合焦度とに基づいて、前記調整値を取得するための複数の取得処理から実行する取得処理を決定し、
前記決定された取得処理に基づいて、前記調整値を取得することを特徴とする撮像装置の制御方法。
A method for controlling an image capturing apparatus including an image capturing element that photoelectrically converts an object image captured by an image capturing optical system having a zoom lens and a focus lens, comprising the steps of:
an adjustment value acquisition step of acquiring an adjustment value for adjusting trajectory data indicating a positional relationship between the zoom lens and the focus lens when the imaging optical system is focused on a predetermined subject distance;
a focus control step of controlling the driving of the focus lens based on the trajectory data and the adjustment value acquired in the adjustment value acquisition step during a zoom operation,
In the adjustment value acquisition step,
obtaining a first focus degree when the position of the zoom lens in the trajectory data is a first position, and a second focus degree when the position of the zoom lens in the trajectory data is a second position;
the first position is an intermediate position in the trajectory data, and the second position is a position on a WIDE side of the first position,
determining an acquisition process to be executed from a plurality of acquisition processes for acquiring the adjustment value based on the first focus degree and the second focus degree;
A control method for an imaging apparatus, comprising: acquiring the adjustment value based on the determined acquisition process.
JP2020008774A 2019-02-27 2020-01-22 Image capture device and method for controlling image capture device Active JP7527792B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20158334.1A EP3703357A3 (en) 2019-02-27 2020-02-19 Imaging apparatus and method for controlling the same
US16/795,342 US11399127B2 (en) 2019-02-27 2020-02-19 Imaging apparatus and method for controlling the same
CN202010120392.0A CN111629142B (en) 2019-02-27 2020-02-26 Image pickup apparatus and control method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019034281 2019-02-27
JP2019034281 2019-02-27

Publications (3)

Publication Number Publication Date
JP2020140201A JP2020140201A (en) 2020-09-03
JP2020140201A5 JP2020140201A5 (en) 2023-01-20
JP7527792B2 true JP7527792B2 (en) 2024-08-05

Family

ID=72264930

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008774A Active JP7527792B2 (en) 2019-02-27 2020-01-22 Image capture device and method for controlling image capture device

Country Status (2)

Country Link
JP (1) JP7527792B2 (en)
CN (1) CN111629142B (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128107A (en) 2003-10-21 2005-05-19 Canon Inc Lens control device, optical equipment, and lens control method
JP2010164680A (en) 2009-01-14 2010-07-29 Canon Inc Lens control apparatus, optical apparatus and lens control method
JP2012103635A (en) 2010-11-15 2012-05-31 Canon Inc Method for adjusting tracking curve and imaging apparatus
JP2017037103A (en) 2015-08-06 2017-02-16 キヤノン株式会社 Imaging apparatus
JP2017161741A (en) 2016-03-10 2017-09-14 キヤノン株式会社 Focus adjustment device, control method therefor, image capturing device, program, and storage medium
JP2018124527A (en) 2017-02-02 2018-08-09 キヤノン株式会社 Focus control device, imaging device, temperature correction setting device, and focus control method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1039274C (en) * 1993-05-20 1998-07-22 株式会社金星社 Zoom tracking apparatus and method in video camera
JP5335445B2 (en) * 2009-01-06 2013-11-06 キヤノン株式会社 LENS CONTROL DEVICE, OPTICAL DEVICE, AND LENS CONTROL METHOD
JP5901423B2 (en) * 2012-05-18 2016-04-13 キヤノン株式会社 LENS DEVICE, IMAGING SYSTEM, AND LENS DEVICE CONTROL METHOD
CN104219581A (en) * 2014-09-01 2014-12-17 无锡天脉聚源传媒科技有限公司 Method and device for updating playing list

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005128107A (en) 2003-10-21 2005-05-19 Canon Inc Lens control device, optical equipment, and lens control method
JP2010164680A (en) 2009-01-14 2010-07-29 Canon Inc Lens control apparatus, optical apparatus and lens control method
JP2012103635A (en) 2010-11-15 2012-05-31 Canon Inc Method for adjusting tracking curve and imaging apparatus
JP2017037103A (en) 2015-08-06 2017-02-16 キヤノン株式会社 Imaging apparatus
JP2017161741A (en) 2016-03-10 2017-09-14 キヤノン株式会社 Focus adjustment device, control method therefor, image capturing device, program, and storage medium
JP2018124527A (en) 2017-02-02 2018-08-09 キヤノン株式会社 Focus control device, imaging device, temperature correction setting device, and focus control method

Also Published As

Publication number Publication date
CN111629142A (en) 2020-09-04
JP2020140201A (en) 2020-09-03
CN111629142B (en) 2022-06-24

Similar Documents

Publication Publication Date Title
US8264592B2 (en) Image pickup apparatus having improved contrast autofocus accuracy
RU2456654C2 (en) Image capturing device, control method thereof and data medium
USRE45692E1 (en) Automatic focusing apparatus and image pickup apparatus
JP4720673B2 (en) Subject tracking device and camera
US8121470B2 (en) Focusing device, image pick-up apparatus, and control method
JP2008026788A (en) Imaging apparatus and focus control method
JP6995561B2 (en) Image stabilization device and its control method, image pickup device
US8730381B2 (en) Image pickup system, camera and interchangeable lens
JP2016142925A (en) Imaging apparatus, method of controlling the same, program, and storage medium
JP2801366B2 (en) Optical control device
US10511784B2 (en) Imaging apparatus and control method therefor, and external device
JP5963552B2 (en) Imaging device
JP2017037103A (en) Imaging apparatus
EP3703357A2 (en) Imaging apparatus and method for controlling the same
JP2007199195A (en) Lens controller
US11350036B2 (en) Image pickup apparatus and lens device that have image blur correction function
JP7527792B2 (en) Image capture device and method for controlling image capture device
JP2013024900A (en) Lens control device of optical apparatus
JPH0836129A (en) Method for focusing
JP2014016513A (en) Lens control device and imaging device
JP5446720B2 (en) Focus detection device, imaging device
JP2017200131A (en) Field angle control device and field angle control method
JP2008187440A (en) Image sensing device and its driving method
JP2008170748A (en) Imaging apparatus and its control method
JP2011112731A (en) Image pickup device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230112

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231024

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20231213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240724

R150 Certificate of patent or registration of utility model

Ref document number: 7527792

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150