JP3925548B2 - Projection device with photographing function and projection image photographing system - Google Patents
Projection device with photographing function and projection image photographing system Download PDFInfo
- Publication number
- JP3925548B2 JP3925548B2 JP2005277506A JP2005277506A JP3925548B2 JP 3925548 B2 JP3925548 B2 JP 3925548B2 JP 2005277506 A JP2005277506 A JP 2005277506A JP 2005277506 A JP2005277506 A JP 2005277506A JP 3925548 B2 JP3925548 B2 JP 3925548B2
- Authority
- JP
- Japan
- Prior art keywords
- optical system
- projection
- focus
- imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
- Lens Barrels (AREA)
- Structure And Mechanism Of Cameras (AREA)
- Accessories Of Cameras (AREA)
- Automatic Focus Adjustment (AREA)
- Projection Apparatus (AREA)
Description
本発明は、スクリーンへ画像を投射する機能に加え、画像を投射した状態のスクリーンを撮影する機能を備えた撮影機能付投射装置、及び投射画像撮影システムに関するものである。 The present invention relates to a projection apparatus with a photographing function and a projection image photographing system having a function of photographing a screen in a state where an image is projected in addition to a function of projecting an image onto a screen.
近年、プレゼンテーションや会議等においては、パーソナルコンピュータにデータとして記憶してあるドキュメント(文字や図表等)をプロジェクタを用いてスクリーン上に拡大して投影することが行われている。プロジェクタは、PC等から映像信号として入力したドキュメントの画像情報を液晶やマイクロミラーアレイ等の画像変換素子により投影光に変換する構成を備えたものが一般的である。 In recent years, in presentations and meetings, documents (characters, charts, etc.) stored as data in a personal computer are enlarged and projected on a screen using a projector. A projector generally has a configuration in which image information of a document input as a video signal from a PC or the like is converted into projection light by an image conversion element such as a liquid crystal or a micromirror array.
一方、会議等でプロジェクタを使用する際には、スクリーンにホワイトボードを使用するとともに、投影したドキュメントに文字や線(アンダーラインや罫線)等が書き加えられることが多々あり、その場合、デジタルカメラによりスクリーン(ホワイトボード)を撮影することにより、その文字等が書き込まれた状態のドキュメントをデジタルデータ(画像データ)化することが行われている。また、このように文字等が書き込まれた状態のドキュメントをデジタルデータ化する装置として、例えば下記特許文献1にはデジタルカメラが搭載されたプロジェクタが記載されている。
しかしながら、前述したようなデジタルカメラが搭載されたプロジェクタにおいては、通常、プロジェクタ側の投射レンズとデジタルカメラ側の撮影レンズとの2種類の光学系を有することとなる。そのため、使用時には、プロジェクタ側における投影画像の画角(ズーム比)調整やフォーカス調整と、それに合わせたデジタルカメラ側の画角(ズーム比)調整やフォーカス調整が不可欠となっており、使用のための準備作業が煩雑であるという問題があった。 However, a projector equipped with a digital camera as described above usually has two types of optical systems: a projection lens on the projector side and a photographing lens on the digital camera side. Therefore, during use, it is essential to adjust the angle of view (zoom ratio) and focus of the projected image on the projector side, and to adjust the angle of view (zoom ratio) and focus on the digital camera accordingly. There was a problem that the preparation work was complicated.
本発明は、かかる従来の課題に鑑みてなされたものであり、画像が投射されたスクリーンの撮影作業が容易となる撮影機能付投射装置、及び投射画像撮影システムを提供することを目的とする。 The present invention has been made in view of such conventional problems, and an object thereof is to provide a projection device with a photographing function and a projection image photographing system that facilitate the photographing operation of a screen on which an image is projected.
前記課題を解決するため請求項1の発明にあっては、スクリーンへ画像を投射する機能に加え、画像を投射した状態のスクリーンを撮影する機能を備えた撮影機能付投射装置において、画像情報を投射光に変換する画像変換手段と、この画像変換手段により変換された投射光をスクリーンに投射させる、ズームおよびフォーカス調整可能な投射用光学系と、前記スクリーンに投射された画像を撮像する撮像手段と、この撮像手段により撮像される光学像を結像する、ズームおよびフォーカス調整可能な撮像用光学系と、使用者による前記投射用光学系のズーム操作があったときには、それに応じて前記投射用光学系を駆動してそのズーム比を変更し、かつフォーカスを再調整し、同時に前記撮像用光学系についても、そのズーム比を前記投射用光学系に合わせるべくズームを制御し、かつフォーカスを再調整する制御手段とを備えたことを特徴とした。
In order to solve the above-mentioned problems, in the invention of
かかる構成においては、撮像用光学系の調整位置が投射用光学系の調整位置と連動して制御されるため、撮像用光学系の位置調整が容易となる。In this configuration, since the adjustment position of the imaging optical system is controlled in conjunction with the adjustment position of the projection optical system, the position adjustment of the imaging optical system is facilitated.
また、請求項2の発明にあっては、前記撮像用光学系を駆動する駆動手段を備え、前記制御手段は、前記駆動手段により前記撮像用光学系の位置を前記投射用光学系の調整位置に応じた位置に駆動することにより、前記撮像用光学系のズーム比を前記投射用光学系のズーム比と対応するズーム比に制御するものとした。 According to a second aspect of the present invention, there is provided drive means for driving the imaging optical system, and the control means adjusts the position of the imaging optical system by the drive means. The zoom ratio of the imaging optical system is controlled to a zoom ratio corresponding to the zoom ratio of the projection optical system by driving to a position corresponding to the zoom ratio.
かかる構成においては、投射用光学系のズーム比が変更されると、それと連動して撮像用光学系のズーム比が自動的に、投射用光学系側に対応するズーム比に制御される。 In such a configuration, when the zoom ratio of the projection optical system is changed, the zoom ratio of the imaging optical system is automatically controlled to the zoom ratio corresponding to the projection optical system side in conjunction with the change .
また、請求項3の発明にあっては、前記投射用光学系の位置調整状態を示す位置情報を検出する位置情報検出手段を備え、前記制御手段は、その位置情報検出手段により検出された前記位置情報に基づき、前記駆動手段により前記撮像用光学系の位置を前記投射用光学系の調整位置に応じた位置に駆動するものとした。 According to a third aspect of the invention, there is provided position information detection means for detecting position information indicating a position adjustment state of the projection optical system, wherein the control means is detected by the position information detection means. Based on the position information, the drive means drives the position of the imaging optical system to a position corresponding to the adjustment position of the projection optical system.
かかる構成においても、投射用光学系のズーム比が変更されると、それと連動して撮像用光学系のズーム比が自動的に、投射用光学系側に対応するズーム比に制御される。 Even in such a configuration, when the zoom ratio of the projection optical system is changed, the zoom ratio of the imaging optical system is automatically controlled to the zoom ratio corresponding to the projection optical system side in conjunction with the change.
また、請求項4の発明にあっては、前記投射用光学系を駆動する投射側駆動手段と、前記撮像用光学系を駆動する撮像側駆動手段と、前記スクリーンまでの距離を示す距離情報を取得する距離情報取得手段とを備え、前記制御手段は、その距離情報取得手段により取得された距離情報に基づき、前記投射側駆動手段により前記投射用光学系を駆動し、かつ前記撮像側駆動手段により前記撮像用光学系を駆動することにより、前記投射用光学系と前記撮像用光学系とにおけるフォーカス位置を制御するものとした。 According to a fourth aspect of the present invention, there is provided projection-side drive means for driving the projection optical system, imaging-side drive means for driving the imaging optical system, and distance information indicating the distance to the screen. Distance information acquisition means for acquiring, based on the distance information acquired by the distance information acquisition means, the projection side drive means drives the projection optical system, and the imaging side drive means The focus position in the projection optical system and the imaging optical system is controlled by driving the imaging optical system.
かかる構成においては、投射用光学系と撮像用光学系とにおけるフォーカス位置が、スクリーンまでの距離に応じた位置に調整される。 In such a configuration, the focus position in the projection optical system and the imaging optical system is adjusted to a position corresponding to the distance to the screen .
また、請求項5の発明にあっては、前記投射用光学系を駆動する投射側駆動手段と、前記撮像用光学系を駆動する撮像側駆動手段と、前記撮像側駆動手段により前記撮像用光学系を駆動し、前記撮像手段により撮像された画像のコントラスト値が最大となるピーク位置に前記撮像用光学系のフォーカス位置を制御するオートフォーカス手段とを備え、前記制御手段は、このオートフォーカス手段により制御された前記撮像用光学系のフォーカス位置に基づき前記投射側駆動手段により前記投射用光学系を駆動し、前記投射用光学系のフォーカス位置を制御するものとした。 According to a fifth aspect of the present invention, the imaging optical system includes a projection side driving unit that drives the projection optical system, an imaging side driving unit that drives the imaging optical system, and the imaging side driving unit. An autofocus unit that drives the system and controls the focus position of the imaging optical system at a peak position where the contrast value of the image captured by the imaging unit is maximized, and the control unit includes the autofocus unit. Based on the focus position of the imaging optical system controlled by the above, the projection optical system is driven by the projection side driving means to control the focus position of the projection optical system.
かかる構成においては、撮像用光学系におけるフォーカス位置が自動的に制御されるとともに、それに基づき投射用光学系におけるフォーカス位置が制御される。 In such a configuration, the focus position in the imaging optical system is automatically controlled, and the focus position in the projection optical system is controlled based on the focus position.
また、請求項6の発明にあっては、前記投射用光学系の調整位置を示す位置情報を検出する位置情報検出手段と、前記撮像用光学系を駆動する撮像側駆動手段とを備え、前記制御手段は、前記位置情報検出手段により検出された前記位置情報に基づき前記撮像側駆動手段により前記撮像用光学系を駆動し、前記撮像用光学系のフォーカス位置を制御するものとした。
The invention of
かかる構成においては、投射用光学系におけるフォーカス位置を調整すると、それと連動して撮像用光学系のフォーカス位置が調整される。 In such a configuration, when the focus position in the projection optical system is adjusted, the focus position of the imaging optical system is adjusted in conjunction therewith .
また、請求項7の発明にあっては、スクリーンへ画像を投射する機能に加え、画像を投射した状態のスクリーンを撮影する機能を備えるとともに、画像の投射に使用されるズームおよびフォーカス調整可能な投射用光学系と、スクリーンの撮影に使用されるズームおよびフォーカス調整可能な撮像用光学系とを備えた撮影機能付投射装置が有するコンピュータを、使用者による前記投射用光学系のズーム操作があったときには、それに応じて前記投射用光学系を駆動してズーム比を変更し、かつフォーカスを再調整し、同時に前記撮像用光学系についても、そのズーム比を前記投射用光学系に合わせるべくズームレンズの位置を制御し、かつフォーカスを再調整する制御手段として機能させるためのプログラムとした。
In addition to the function of projecting an image on a screen, the invention of
また、請求項8の発明にあっては、さらに投射用光学系のズーム比とスクリーンまでの距離との関係に対応する撮像用光学系のズーム比を示す、撮像用光学系におけるズーム比の制御のためのズーム比設定テーブルを備えるものとした。
In the invention of
また、請求項9の発明にあっては、投射用光学系と撮像用光学系各々の光学系においてスクリーンまでの距離と、ズーム比と、フォーカスレンズの位置との関係を示す投射用光学系及び撮像用光学系の双方のフォーカスレンズの位置調整するためのフォーカス設定テーブルを備えるものとした。 In the invention of claim 9, the projection optical system showing the relationship among the distance to the screen, the zoom ratio, and the position of the focus lens in each of the projection optical system and the imaging optical system; A focus setting table for adjusting the positions of both focus lenses of the imaging optical system is provided .
本発明の撮影機能付投射装置においては、撮像用光学系における位置調整作業を投射用光学系の位置調整作業と連動させたので、画像が投射されたスクリーンの撮影が容易となる。In the projection apparatus with a photographing function of the present invention, the position adjustment work in the imaging optical system is linked with the position adjustment work of the projection optical system, so that the screen on which the image is projected can be easily photographed.
以下、本発明の一実施の形態を図にしたがって説明する。
(実施形態1)
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
(Embodiment 1)
図1は、本発明の第1の実施の形態に係るプロジェクタ1の概略構成を示すブロック図である。このプロジェクタ1は、画像を投射した状態のスクリーンを撮影する機能を備えたものであり、主として制御部2と画像処理・制御部3、画像記録部4、ユーザ制御装置5、投射部6、カメラ部7、距離検出部8から構成されている。
FIG. 1 is a block diagram showing a schematic configuration of a
ユーザ制御装置5は、ユーザによるプロジェクタ1の操作、例えばスクリーンに投射する画像(投影画像)の切替え、投影画像の画角調整やフォーカス調整に際して使用される各種の操作キーや、赤外線リモコンが発する赤外線信号の受信回路を含み、操作キーや赤外線リモコンの操作に応じた操作信号を制御部2へ送る。
The
制御部2はCPUやプログラムROM、RAM、及び入出力インターフェイスを含む周辺回路(図示せず)から構成されている。そして、制御部2は、プログラムROMに格納されているプログラムに基づきプロジェクタ1の各部を制御することにより本発明の制御手段として機能する。
The
画像処理・制御部3は、画像記録部4に記録されている画像ファイルや、プレゼンテーション用のドキュメントデータに基づく表示信号を生成したり、プロジェクタ1に接続された外部機器から入力された外部入力信号に基づく表示信号を生成し、それを投射部6へ送る。なお外部入力信号は、例えばパーソナルコンピュータから送られる、投影用のドキュメント(文字や図表等)の画像信号や映像信号、タブレットから送られる文字や線画等の入力信号である。また、画像処理・制御部3は、ユーザによる撮影操作があったときには、カメラ部7から送られる画像データに基づき画像ファイルを生成し、それを画像記録部4に記録する。画像記録部4は、例えばプロジェクタ1に内蔵されたフラッシュメモリや、プロジェクタ1に着脱自在な着脱自在なメモリカード等である。
The image processing /
投射部6は、表示部61と、投射レンズ62(本発明の投射用光学系)、フォーカスモータ63、ズームモータ64、モータ駆動制御部65から構成されている。表示部61は、クリプトンランプ等の光源、及び光源の光を投射光に変換するための液晶やマイクロミラーアレイ等の画像変換素子、画像変換素子を駆動する駆動回路等からなり、画像処理・制御部3から送られた表示信号に応じた投射光を出力する。表示部61から出力された投射光は投射レンズ62を介してスクリーンに照射され、それによりドキュメントや画像をスクリーン投射表示する。
The
投射レンズ62は、光軸方向に移動可能なフォーカスレンズ及びズームレンズを構成する複数枚の光学レンズからなり、フォーカスレンズが前記フォーカスモータ63をアクチュエータとする駆動機構により移動され、かつズームレンズが前記ズームモータ64をアクチュエータとする駆動機構により移動されるよう構成されている。また、フォーカスモータ63及びズームモータ64は、制御部2から送られる画角制御信号及びフォーカス制御信号に基づきモータ駆動制御部65によって個別に駆動されることにより、モータ駆動制御部65と共に本発明の投射側駆動手段として機能する。
The
カメラ部7は、撮像レンズ71(本発明の撮像用光学系)と、イメージセンサ72、信号処理部73、フォーカスモータ74、ズームモータ75、モータ駆動制御部76から構成されている。イメージセンサ72は、例えばCCDやCMOS型の固体撮像素子であって、ユーザによる撮影操作があったとき、撮像レンズ71によって結像された被写体の光学像を光電変換により撮像信号に変換し出力する。信号処理部73は、イメージセンサ72の出力信号からノイズを除去するとともにデジタル信号に変換し、前記画像処理・制御部3へ出力する。なお、図示しないが、カメラ部7にはイメージセンサ72を駆動する駆動回路が含まれる。
The
撮像レンズ71は、光軸方向に移動可能なフォーカスレンズ及びズームレンズを構成する複数枚の光学レンズからなり、フォーカスレンズが前記フォーカスモータ74をアクチュエータとする駆動機構により移動され、かつズームレンズが前記ズームモータ75をアクチュエータとする駆動機構により移動されるよう構成されている。また、フォーカスモータ74及びズームモータ75は、制御部2から送られる画角制御信号及びフォーカス制御信号に基づきモータ駆動制御部76によって個別に駆動されることにより、モータ駆動制御部76と共に本発明の投射側駆動手段として機能する。
The
距離検出部8は本発明の距離情報取得手段であって、赤外線の発生デバイスと一組の受光センサとを含み、赤外線等を発し、その反射光を受光して三角測量の原理でスクリーン(被写体)までの距離を検出し、その検出結果を制御部2へ出力する。
The
そして、プロジェクタ1においては、前記投射レンズ62と前記撮像レンズ71とが、スクリーンからの距離が所定の距離範囲にあるとき、画像の投射方向と撮影方向とがほぼ一致するよう配置されている。
In the
次に、以上の構成からなるプロジェクタ1の本発明にかかる動作を説明する。図2は、電源投入後におけるプロジェクタ1の動作を示すフローチャートである。
Next, the operation of the
プロジェクタ1は電源投入に伴い動作を開始すると、投射レンズ62及び撮像レンズ71を駆動して各々のズーム比を初期化した後(ステップSA1)、ドキュメントや画像等の投影を開始する(ステップSA2)。また、距離検出部8により所定の間隔でクリーンまでの距離(投影距離、被写体距離)を検出する動作を開始する(ステップSA3)。なお、検出した距離は制御部2のRAMにその都度記憶する。
When the
引き続き、ここで検出した距離と、投射レンズ62側のズーム比(初期化されている1:1等の所定のズーム比)とに基づき撮像レンズ71のズーム比を所定の値に制御し、それにより、イメージセンサ72によって撮像される画像のほぼ全域が、スクリーン上に投射されている画像等によって占められる状態を確保する。同時に、検出した距離と初期化後のズーム比とに基づき投射レンズ62のフォーカスを制御し、かつ検出した距離と、上記の制御が行われた後のズーム比とに撮像レンズ71のフォーカスを制御する。すなわち投射中の画像等のピント合わせを行うと同時に、以後、撮像される画像のピント合わせを予め行う(ステップSA4)。
Subsequently, the zoom ratio of the
ここで、上述した撮像レンズ71におけるズーム比の制御は、予め制御部2のプログラムROMに記憶されているデータであって、投射レンズ62のズーム比と、スクリーンまでの距離(投影距離、被写体距離)との関係に対応する最適なズーム比を示すズーム比設定テーブルに基づき行われる。また、投射レンズ62及び撮像レンズ71の双方のフォーカスレンズの位置調整は、前記ズーム比設定用のテーブルデータとは別に、投射レンズ62と撮像レンズ71とにそれぞれ対応して予め制御部2のプログラムROMに記憶されているデータであって、各々の光学系においてスクリーンまでの距離(投影距離、被写体距離)と、ズーム比と、適切なフォーカスレンズの位置との関係を示すフォーカス設定テーブルを用いることによって個別に決定される。
Here, the control of the zoom ratio in the
これ以後、ユーザによる画角変更操作があったときには(ステップSA5でYES)、それに応じて投射レンズ62側のズームレンズを駆動してズーム比を変更し、かつ変更後のズーム比に応じてフォーカスを再調整し、同時に撮像レンズ71側についても、そのズーム比を投射レンズ62側に合わせるべくズームレンズの位置を制御し、かつ変更後のズーム比に応じてフォーカスを再調整する(ステップSA6)。また、いずれかの時点でプロジェクタ1が移動されて、距離検出部8によって検出した距離に変化が生じた場合には(ステップSA7でYES)、新たに検出した距離に応じて、撮像レンズ71のズーム比と、投射レンズ62及び撮像レンズ71のフォーカスとを再調整する(ステップSA8)。
Thereafter, when the user performs an angle-of-view changing operation (YES in step SA5), the zoom lens on the
そして、ユーザによる撮影操作があったときには(ステップSA9でYES)、カメラ部7により任意のドキュメントや画像等が投射されているスクリーンを被写体とする撮像処理を実施し(ステップSA10)、撮像した画像を画像記録部4へ記録する(ステップSA11)。以後、ステップSA5へ戻り、電源が切られるまで前述した動作を繰り返す。
When the user performs a shooting operation (YES in step SA9), the
以上のように、本実施の形態においては、投射レンズ62と撮像レンズ71との双方のフォーカス位置が、自動的にスクリーンまでの距離に応じ位置に制御されるとともに、ユーザが画角変更操作があったときには、撮像レンズ71のズーム比が、投射レンズ62のズーム比と連動し、かつ投射レンズ62のズーム比に対応するズーム比に制御される。したがって、画像を投射した状態のスクリーンを撮影する際には、撮像レンズ71のズーム比やフォーカスを個別に変更、調整する作業が不要であるため使い勝手が良く、画像が投射されたスクリーンの撮影作業を容易に行うことができる。
As described above, in the present embodiment, the focus positions of both the
なお、本実施の形態では、撮像レンズ71側におけるフォーカス制御を投射レンズ62側と同時に常時行うとともに、そのズーム比を常に投射レンズ62側のズーム比に対応するズーム比に制御するようにしたが、以下のようにしてもよい。例えば、撮像レンズ71側のズーム比及びフォーカスをユーザによる撮影操作があったときだけ、撮像動作の直前において行わせるようにしてもよい。また、投射レンズ62及び撮像レンズ71におけるフォーカス制御を、ズーム比の変更に伴う調整を除き、電源投入直後のみ行わせるようにしてもよい。
In the present embodiment, focus control on the
(実施形態2)
次に、本発明の第2の実施の形態について説明する。図3は、本実施の形態に係るプロジェクタ101の概略構成を示すブロック図である。
(Embodiment 2)
Next, a second embodiment of the present invention will be described. FIG. 3 is a block diagram showing a schematic configuration of
プロジェクタ101においては前述した距離検出部8が廃止される一方、補助光発光部102が設けられている。補助光発光部102は、白色光や赤色光等の光源と、その駆動回路とから構成され、必要に応じて撮像用の補助光を発光する。また、本実施の形態においては、制御部2が本発明のオートフォーカス手段として機能すること以外は、図1に示したものと同様であるため、同一の符号を付すことにより説明を省略する。
In the
図4は、電源投入後におけるプロジェクタ101の動作を示すフローチャートである。プロジェクタ101は電源投入に伴い動作を開始すると、投射レンズ62及び撮像レンズ71を駆動して各々のズーム比を初期化した後(ステップSB1)、ドキュメントや画像等の投影を開始する(ステップSB2)。
FIG. 4 is a flowchart showing the operation of the
また、一定時間毎にコントラストAFを実施して、被写体距離を取得する動作を開始する(ステップSB3)。すなわち周知のコントラストAF方式によりカメラ部7における撮像レンズ71のフォーカス制御を行い、そのときの撮像レンズ71におけるズーム比とフォーカスレンズの位置とから、前述した撮像レンズ71用のフォーカス設定テーブルを使用して被写体距離を取得する動作を開始する。なお、検出した距離は制御部2のRAMにその都度記憶する。そして、ここで取得した距離を投影距離として、前述したズーム比設定テーブルを用いて撮像レンズ71のズーム比を制御するとともに、投射レンズ62用のフォーカス設定テーブルを用いて投射レンズ62のフォーカスを制御する(ステップSB4)。
Further, the contrast AF is performed at regular time intervals, and the operation for acquiring the subject distance is started (step SB3). That is, the focus control of the
これ以後のステップSB5〜SB11の動作については、図2に示したステップSA5〜SA11で説明した動作と同様である。 The subsequent operations in steps SB5 to SB11 are the same as those described in steps SA5 to SA11 shown in FIG.
以上のように、本実施形態のプロジェクタ101においては、撮像レンズ71のフォーカス位置が自動的に制御され、かつそれと連動して投射レンズ62のフォーカス位置が自動的に制御され、しかも第1の実施の形態と同様、ユーザが画角変更操作があったときには、撮像レンズ71のズーム比が、投射レンズ62のズーム比と連動し、かつ投射レンズ62のズーム比に対応するズーム比に制御される。したがって、本実施の形態においても、画像を投射した状態のスクリーンを撮影する際には、撮像レンズ71のズーム比やフォーカスを個別に変更、調整する作業が不要であるため使い勝手が良く、画像が投射されたスクリーンの撮影作業を容易に行うことができる。
As described above, in the
なお、本実施の形態においても、撮像レンズ71側のズーム比は、ユーザによる撮影操作があったときだけ、撮像動作の直前において行わせるようにしてもよい。また、投射レンズ62及び撮像レンズ71におけるフォーカス制御を、ズーム比の変更に伴う調整を除き、電源投入直後のみ行わせるようにしてもよい。
Also in this embodiment, the zoom ratio on the
(実施形態3)
次に、本発明の第3の実施の形態について説明する。図5は、本実施の形態に係るプロジェクタ201の概略構成を示すブロック図である。
(Embodiment 3)
Next, a third embodiment of the present invention will be described. FIG. 5 is a block diagram showing a schematic configuration of
このプロジェクタ201は、前述したプロジェクタ1,101と異なり、表示部61、投射レンズ62、レンズ位置検出部207からなる投射部206を備えている。表示部61は先に説明したものと同様であり、投射レンズ62についても、ズーム比の変更及びフォーカス調整を手動で行うものであること以外は先に説明したものと同様である。レンズ位置検出部207は、手動操作により移動した投射レンズ62の各レンズの位置を検出する位置センサを含み、それらの位置を示す位置検出信号を制御部2へ送る。なお、これ以外の構成については、図1及び図2に示したものと同一の部分に同一の符号を付すことにより説明を省略する。
Unlike the
図6は、電源投入後におけるプロジェクタ201の動作を示すフローチャートである。プロジェクタ201は電源投入に伴い動作を開始すると、まずドキュメントや画像等の投影を開始する(ステップSC1)。次に、レンズ位置検出部207により検出したレンズ位置情報に基づき、投射レンズ62のズーム比を取得するとともに、投射距離を取得する(ステップSC2)。なお、ズーム比と投射距離の取得には、投射レンズ62用の前述したフォーカス設定テーブルを用いて行う。引き続き、取得したズーム比と投射距離に基づき、前述したズーム比設定テーブルを用いて撮像レンズ71側のズーム比を投射レンズ62側のズーム比に応じたズーム比に制御し、かつ前記投射距離を被写体距離とし、前述したフォーカス設定テーブルを用いてフォーカスを制御する。
FIG. 6 is a flowchart showing the operation of the
それ以後は、ユーザに投射レンズ62のズーム比やフォーカスが手動操作されたときには、上記と同様の方法によって撮像レンズ71側のズーム比とフォーカスを自動的にユーザに投射レンズ62側に合わせて制御する(ステップSC4〜SC7)。また、ユーザによる撮影操作があったときには(ステップSC8でYES)、ドキュメントや画像等が投射されているスクリーンを撮像し、撮像した画像を画像記録部4へ記録する(ステップSC9,SC10)。以後、ステップSC4へ戻り、電源が切られるまで前述した動作を繰り返す。
After that, when the zoom ratio and focus of the
以上のように、本実施形態のプロジェクタ201においては、ユーザにより投射レンズ62のズーム比やフォーカス位置が設定されると、それと連動して撮像レンズ71のズーム比が投射レンズ62のズーム比に対応するズーム比に制御され、かつフォーカス位置が自動的に制御される。したがって、本実施の形態においても、画像を投射した状態のスクリーンを撮影する際には、撮像レンズ71のズーム比やフォーカスを個別に変更、調整する作業が不要であるため使い勝手が良く、画像が投射されたスクリーンの撮影作業を容易に行うことができる。
As described above, in the
なお、以上説明した第1〜第3の実施の形態では、撮像レンズ71がフォーカス制御可能なものである場合について説明したが、例えば撮像レンズ71に被写界深度が深いものを用いられる等、撮像レンズ71のフォーカス位置が固定されている構成においては、撮像レンズ71のズーム比を投射レンズ62側のズーム比に連動させるだけでも、撮影機能の使用に先立つ準備作業が不要となるため、使い勝手を向上させることができる。
In the first to third embodiments described above, the case where the
(実施形態4)
次に、本発明の第4の実施の形態について説明する。図7は、本発明に係る投射画像撮影システムの概略構成を示すブロック図である。本実施の形態の投射画像撮影システムは、USBケーブル501を介して接続されたプロジェクタ301と、デジタルカメラ401とから構成されている。
(Embodiment 4)
Next, a fourth embodiment of the present invention will be described. FIG. 7 is a block diagram showing a schematic configuration of the projection image photographing system according to the present invention. The projection image capturing system according to the present embodiment includes a
まず、プロジェクタ301の構成について説明する。このプロジェクタ301は本発明の画像投射装置であって、図示したように、第1の実施の形態で図1に示したプロジェクタ1におけるものと同様、制御部2と、画像処理・制御部3、ユーザ制御装置5、距離検出部8、表示部61、投射レンズ62、フォーカスモータ63、ズームモータ64、モータ駆動制御部65を有している。上記の各部は、図1に示したものと同様の機能を備えたものであり、プロジェクタ301においても、投射レンズ62のズーム比の変更操作が可能であるとともに、スクリーン投射した画像のフォーカスが、距離検出部8の検出距離に基づき自動で制御可能となっている。
First, the configuration of the
また、プロジェクタ301には、本発明の送信手段であるUSBインターフェース303が設けられており、これによりデジタルカメラ401との間におけるデータ通信が可能となっている。さらに、制御部2を構成する図示しないプログラムROMには、プロジェクタ301に後述する動作を行わせるためのプログラムが格納されている。
In addition, the
一方、デジタルカメラ401は本発明の撮像装置であって、第1の実施の形態で図1に示したプロジェクタ1においてカメラ部7に設けられていたものと同様の機能を有する撮像レンズ71と、イメージセンサ72、信号処理部73、フォーカスモータ74、ズームモータ75、モータ駆動制御部76を有している。なお、図7においても、イメージセンサ72を駆動する駆動回路は省略してある。
On the other hand, a
また、デジタルカメラ401はAF機能を備えたものであって、プロジェクタ301に設けられているものと同様の方式により被写体距離を検出する距離検出部402を有している。さらに、デジタルカメラ401は一般的なデジタルカメラと同様、表示部403、DRAM404、画像記録部405、キー入力部406、本発明の受信手段であるUSBインターフェース407を有するとともに、デジタルカメラ401全体の動作を制御する制御部408を有している。
The
画像記録部405は、イメージセンサ72により撮像された画像を記録する不揮発性メモリであり、例えばカメラ本体に内蔵又は着脱自在なフラッシュメモリ等である。表示部403は、イメージセンサ72により撮像された画像の表示や画像記録部405に記録されている画像を表示する液晶モニタ、及びその駆動回路等である。DRAM404は、主として、制御部408がイメージセンサ72により撮像された画像の圧縮/伸張を行う場合の作業用メモリとして使用されるものである。
The image recording unit 405 is a non-volatile memory that records an image captured by the
キー入力部406は、電源キーやシャッターキー、ユーザによる各種の設定操作を可能とするためのモード切替キー等から構成されている。なお、デジタルカメラ401には、表示部403にスルー画像を表示させながら、シャッターキーの押下に伴い撮像した画像を記録する通常の記録(撮影)モードとは別に、プロジェクタ301によってスクリーンに投射された画像等を撮影するための連動撮影モードが用意されている。
The
制御部408は、CPUやプログラムROM、RAM、及び入出力インターフェイスを含む周辺回路(図示せず)から構成されている。そして、プログラムROMに格納されているプログラムに基づき上記各部を制御、及び前述した画像の圧縮/伸張を行う一方、デジタルカメラ401に後述する動作を行わせることにより本発明の制御手段として機能する。また、制御部408の前記プログラムROMには、プロジェクタ301が有する投射レンズ62のズーム比と、スクリーンまでの距離(投影距離、被写体距離)との関係に対応する最適なズーム比を示すズーム比設定テーブルが格納されている。
The
次に、以上の構成からなるプロジェクタ301及びデジタルカメラ401において、両者がUSBケーブル501により接続された状態における発明に係る動作を図8に従い説明する。
Next, in the
図8は、プロジェクタ301において連動投射モードによる投射が行われている場合の動作、及びデジタルカメラ401において連動撮影モードが設定された場合の動作をそれぞれ示したフローチャートである。なお、プロジェクタ301側の連動投射モードは、例えば電源投入時にデジタルカメラ401が接続されていたり、電源投入後に任意の時点でデジタルカメラ401が接続されたとき自動的に設定されるモードである。また、デジタルカメラ401側の連動撮影モードは、例えばプロジェクタ301と接続されているときのみ設定可能であって、ユーザによるモード設定操作に伴い設定される撮影用の動作モードである。
FIG. 8 is a flowchart showing an operation when the
デジタルカメラ401は連動撮影モードの設定に伴い、まず距離検出部402により検出される被写体距離に応じたフォーカス制御を開始した後(ステップSD1)、プロジェクタ301に対して画角情報の送信を要求する(ステップSD2)。なお、画角情報は、プロジェクタ301が、ユーザによる画角操作がある毎に制御部2が更新して記憶しているズーム比の情報である。
The
このとき、連動投射モードにあるプロジェクタ301は、ユーザ制御装置5からのユーザによる操作によって設定された任意のズーム比で画像を投射するとともに、自己が有するAF機能によりフォーカスの自動で制御している。そして、デジタルカメラ401から画角情報の送信要求があると(ステップSEでYES)、その時点のズーム比を画角情報としてデジタルカメラ401へ送信する(ステップSE2)。
At this time, the
また、プロジェクタ301は、画角情報の送信要求の有無に関係なく、ユーザによる画角変更操作があれば(ステップSE3でYES)、それに応じて投射レンズ62のズームレンズを駆動してズーム比を変更しその情報を記憶する(ステップSE)。その際、送信要求に応じてデジタルカメラ401に画角情報を既に送信していれば(ステップSE5でYES)、変更後の画角情報をデジタルカメラ401へ送信する(ステップSE6)。また、デジタルカメラ401に画角情報を未だ送信していなければ(ステップSE5でNO)、そのまま、ステップSE1へ戻り、前述した処理を繰り返す。つまり、デジタルカメラ401からの送信要求に応じていったん画角情報を送信した後には、画角変更操作がある毎に、変更後のズーム倍率を自動的にデジタルカメラ401へ送信する。
In addition, the
他方、デジタルカメラ401は、上記画角情報が受信できたら(ステップSD3でYES)、受信した画角情報に応じて撮像レンズ71のズームレンズを駆動し、そのズーム比を、撮像する画面のほぼ全面が投影画像により占められるズーム比に制御する(ステップSD4)。なお、係る制御は前述したズーム比設定テーブルに基づき行われる。
On the other hand, if the
以後、ユーザによる撮影操作待ちの状態となり、撮影操作がなければ(ステップSD5でNO)、ステップSD3へ戻る。そして、撮影操作待ちの間には、プロジェクタ301から画角情報を受信する毎に、それに応じて撮像レンズ71のズーム比を変更する。しかる後、ユーザによる撮影操作があったときには(ステップSD5でYES)、任意のドキュメントや画像等が投射されているスクリーンを被写体とする撮像処理を実施し(ステップSD6)、撮像した画像を画像記録部405へ記録する(ステップSD7)。以後、ステップSD3へ戻り、連動撮影モードが解除されるまで、前述した動作を繰り返す。
Thereafter, the process waits for a shooting operation by the user. If there is no shooting operation (NO in step SD5), the process returns to step SD3. While waiting for a shooting operation, whenever the angle of view information is received from the
以上のように、本実施形態の投射画像撮影システムにおいては、ユーザによりプロジェクタ301の画角調整が行われると、それと連動してデジタルカメラ401の画角が、プロジェクタ301側の画角に対応した適切な画角に自動的に制御される。
As described above, in the projection image capturing system of the present embodiment, when the angle of view of the
したがって、例えばデジタルカメラ401に通常の記録モードを設定して表示部403に表示されるスルー画像を確認しながら、その撮影方向(撮像レンズ71の光軸方向)を予めプロジェクタ301側の投射方向(投射レンズ62の光軸)とほぼ一致させておけば、それ以後、画像を投射した状態のスクリーンを撮影する際には、デジタルカメラ401における撮像レンズ71のズーム比を個別に調整したり変更したりする作業が不要である。よって、使い勝手が良く、画像が投射されたスクリーンの撮影作業を容易に行うことができる。
Therefore, for example, while setting a normal recording mode in the
なお、本実施の形態においては、プロジェクタ301が、距離検出部8を有するとともに、それを用いて独自に検出した距離に基づき投射レンズ62のフォーカスを制御するAF機能を備えた場合について説明したが、以下のようにしても良い。例えばプロジェクタ301側の距離検出部8を廃止するとともに、通常は手動によるフォーカス調整(キー操作による調整も含む)のみを可能とし、デジタルカメラ401が接続され、かつ前述した連動投射モードが設定されているときには、デジタルカメラ401側から受信した距離情報に基づくフォーカス制御を行うようにしてもよい。
In the present embodiment, a case has been described in which
また、本実施の形態では、プロジェクタ301とデジタルカメラ401との間における画角情報の送受信をUSB接続により可能としたが、これ以外にも、有線又は無線(赤外線通信を含む)による他の通信方式によって画角情報を送受信する構成としてもよい。
In this embodiment, transmission / reception of angle-of-view information between the
また、デジタルカメラ401として、予めプロジェクタ301が有する投射レンズ62のズーム比と、スクリーンまでの距離(投影距離、被写体距離)との関係に対応する最適なズーム比を示すズーム比設定テーブルが用意されているものについて説明したが、例えば前述した連動撮影モードが設定された時点で、ズーム比設定テーブルを構成するデータをプロジェクタ301側から取得する構成としても構わない。当然、その場合には、プロジェクタ301側には、デジタルカメラ401の機種に応じたデータを用意しておく必要がある。更に、異なる機種のデジタルカメラ401の使用を可能とするには、プロジェクタ301に上記データを複数種用意しておき、事前にデジタルカメラ401側から機種情報を受信させて、対応する機種のデータをデジタルカメラ401へ送信させるようにすればよい。
In addition, as the
1 プロジェクタ
2 制御部
6 投射部
7 カメラ部
8 距離検出部
61 表示部
62 投射レンズ
63 フォーカスモータ
64 ズームモータ
65 モータ駆動制御部
71 撮像レンズ
72 イメージセンサ
73 信号処理部
74 フォーカスモータ
75 ズームモータ
76 モータ駆動制御部
101 プロジェクタ
102 補助光発光部
201 プロジェクタ
206 投射部
207 レンズ位置検出部
301 プロジェクタ
303 USBインターフェース
401 デジタルカメラ
407 USBインターフェース
408 制御部
DESCRIPTION OF
Claims (9)
画像情報を投射光に変換する画像変換手段と、
この画像変換手段により変換された投射光をスクリーンに投射させる、ズームおよびフォーカス調整可能な投射用光学系と、
前記スクリーンに投射された画像を撮像する撮像手段と、
この撮像手段により撮像される光学像を結像する、ズームおよびフォーカス調整可能な撮像用光学系と、
使用者による前記投射用光学系のズーム操作があったときには、それに応じて前記投射用光学系を駆動してそのズーム比を変更し、かつフォーカスを再調整し、同時に前記撮像用光学系についても、そのズーム比を前記投射用光学系に合わせるべくズームを制御し、かつフォーカスを再調整する制御手段と
を備えたことを特徴とする撮影機能付投射装置。 In addition to the function of projecting an image on the screen, in the projection device with a photographing function having a function of photographing the screen in a state of projecting an image,
Image conversion means for converting image information into projection light;
A projection optical system capable of adjusting zoom and focus, projecting the projection light converted by the image conversion means onto a screen;
Imaging means for imaging an image projected on the screen;
An imaging optical system capable of zooming and focusing, which forms an optical image picked up by the image pickup means;
When the user performs a zoom operation on the projection optical system, the projection optical system is driven accordingly to change the zoom ratio, and the focus is readjusted. And a control means for controlling the zoom to adjust the zoom ratio to the projection optical system and re-adjusting the focus .
前記制御手段は、前記駆動手段により前記撮像用光学系の位置を前記投射用光学系の調整位置に応じた位置に駆動することにより、前記撮像用光学系のズーム比を前記投射用光学系のズーム比と対応するズーム比に制御することを特徴とする請求項1記載の撮影機能付投射装置。 Drive means for driving the imaging optical system;
The control means drives the position of the imaging optical system to a position corresponding to the adjustment position of the projection optical system by the driving means, thereby adjusting the zoom ratio of the imaging optical system of the projection optical system. The projection apparatus with a photographing function according to claim 1, wherein the zoom ratio is controlled to a zoom ratio corresponding to the zoom ratio.
前記制御手段は、その位置情報検出手段により検出された前記位置情報に基づき、前記駆動手段により前記撮像用光学系の位置を前記投射用光学系の調整位置に応じた位置に駆動することを特徴とする請求項2記載の撮影機能付投射装置。 Position information detection means for detecting position information indicating the position adjustment state of the projection optical system,
The control unit drives the position of the imaging optical system to a position corresponding to the adjustment position of the projection optical system by the driving unit based on the position information detected by the position information detection unit. The projection apparatus with a photographing function according to claim 2.
前記撮像用光学系を駆動する撮像側駆動手段と、
前記スクリーンまでの距離を示す距離情報を取得する距離情報取得手段とを備え、
前記制御手段は、その距離情報取得手段により取得された距離情報に基づき、前記投射側駆動手段により前記投射用光学系を駆動し、かつ前記撮像側駆動手段により前記撮像用光学系を駆動することにより、前記投射用光学系と前記撮像用光学系とにおけるフォーカス位置を制御することを特徴とする請求項1又は2記載の撮影機能付投射装置。 Projection-side drive means for driving the projection optical system;
Imaging side driving means for driving the imaging optical system;
Distance information acquisition means for acquiring distance information indicating the distance to the screen,
The control means drives the projection optical system by the projection side driving means based on the distance information acquired by the distance information acquisition means, and drives the imaging optical system by the imaging side driving means. The projection apparatus with a photographing function according to claim 1, wherein a focus position in the projection optical system and the imaging optical system is controlled.
前記撮像用光学系を駆動する撮像側駆動手段と、
前記撮像側駆動手段により前記撮像用光学系を駆動し、前記撮像手段により撮像された画像のコントラスト値が最大となるピーク位置に前記撮像用光学系のフォーカス位置を制御するオートフォーカス手段とを備え、
前記制御手段は、このオートフォーカス手段により制御された前記撮像用光学系のフォーカス位置に基づき前記投射側駆動手段により前記投射用光学系を駆動し、前記投射用光学系のフォーカス位置を制御することを特徴とする請求項1又は2記載の撮影機能付投射装置。 Projection-side drive means for driving the projection optical system;
Imaging side driving means for driving the imaging optical system;
Auto-focus means for driving the imaging optical system by the imaging-side drive means and controlling the focus position of the imaging optical system at a peak position where the contrast value of the image taken by the imaging means is maximized ,
The control means controls the focus position of the projection optical system by driving the projection optical system by the projection side drive means based on the focus position of the imaging optical system controlled by the autofocus means. The projection apparatus with a photographing function according to claim 1 or 2.
使用者による前記投射用光学系のズーム操作があったときには、それに応じて前記投射用光学系を駆動してズーム比を変更し、かつフォーカスを再調整し、同時に前記撮像用光学系についても、そのズーム比を前記投射用光学系に合わせるべくズームレンズの位置を制御し、かつフォーカスを再調整する制御手段として機能させるためのプログラム。 In addition to the function to project an image to the screen, it has a function to shoot the screen in a state in which the image is projected, and a projection optical system that can adjust the zoom and focus used to project the image, and is used to shoot the screen. A computer having a projection device with a photographing function including an imaging optical system capable of adjusting zoom and focus ;
When there is a zoom operation of the projection optical system by the user, the projection optical system is driven accordingly to change the zoom ratio, and the focus is readjusted, and at the same time for the imaging optical system, A program for controlling the position of a zoom lens so as to adjust the zoom ratio to the projection optical system and for functioning as a control means for readjusting the focus .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005277506A JP3925548B2 (en) | 2005-09-26 | 2005-09-26 | Projection device with photographing function and projection image photographing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005277506A JP3925548B2 (en) | 2005-09-26 | 2005-09-26 | Projection device with photographing function and projection image photographing system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003351429A Division JP3764976B2 (en) | 2003-10-10 | 2003-10-10 | Projection device with photographing function and projection image photographing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006099115A JP2006099115A (en) | 2006-04-13 |
JP3925548B2 true JP3925548B2 (en) | 2007-06-06 |
Family
ID=36238908
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005277506A Expired - Fee Related JP3925548B2 (en) | 2005-09-26 | 2005-09-26 | Projection device with photographing function and projection image photographing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3925548B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5317238B2 (en) * | 2009-09-29 | 2013-10-16 | Necディスプレイソリューションズ株式会社 | Projector and image processing method |
JP6111356B1 (en) * | 2016-03-02 | 2017-04-05 | パナソニック株式会社 | Projection device |
WO2021005711A1 (en) * | 2019-07-09 | 2021-01-14 | マクセル株式会社 | Projection type video display device |
-
2005
- 2005-09-26 JP JP2005277506A patent/JP3925548B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006099115A (en) | 2006-04-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3764976B2 (en) | Projection device with photographing function and projection image photographing system | |
JP3929752B2 (en) | Document camera | |
US8982246B2 (en) | Imaging apparatus and camera body having optical zoom function and digital zoom function | |
JP2015186021A (en) | Imaging apparatus, imaging observation apparatus, image comparison and display method, image comparison and display program, and image comparison and display system | |
JP2004274283A (en) | Projection system, projector, image supplying device, and program | |
JP2006162991A (en) | Stereoscopic image photographing apparatus | |
JP2007150903A (en) | Imaging apparatus | |
JP2004208089A (en) | Projector, imaging device, and program for trapezoid correction | |
JP3925548B2 (en) | Projection device with photographing function and projection image photographing system | |
JP2013034158A (en) | Imaging apparatus | |
JP2005078009A (en) | Camera | |
JP6494060B2 (en) | Information processing apparatus, information processing method, and program | |
JP2006201494A (en) | Projector apparatus | |
JP2010114842A (en) | Image capturing apparatus and method | |
JP5402075B2 (en) | Camera remote control system and portable terminal | |
KR102149508B1 (en) | Photographing apparatus, method for controlling the same, and computer-readable recording medium | |
JP2010062834A (en) | Photographing system, photographing device constituting the same, and operation device | |
JP2012027302A (en) | Imaging apparatus with projection function | |
KR101284010B1 (en) | Camera equipped with rotatable lens | |
JP2013251617A (en) | Camera | |
JP2002281349A (en) | Camera for paintings and calligraphic works | |
JP2006345092A (en) | Image processing apparatus | |
JP2006345087A (en) | Photographing system, photographing apparatus, and camera | |
JP2010028274A (en) | Photographing apparatus and wireless communication setting method | |
JP2001208954A (en) | Digital camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A132 Effective date: 20061114 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3925548 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110309 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120309 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130309 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140309 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |