JPH05130646A - 立体カメラ装置 - Google Patents
立体カメラ装置Info
- Publication number
- JPH05130646A JPH05130646A JP3293197A JP29319791A JPH05130646A JP H05130646 A JPH05130646 A JP H05130646A JP 3293197 A JP3293197 A JP 3293197A JP 29319791 A JP29319791 A JP 29319791A JP H05130646 A JPH05130646 A JP H05130646A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image pickup
- unit
- correction
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
(57)【要約】
【目的】 撮像装置の光学系に発生する光軸ズレ等を自
動的に修正し、適正な撮像条件で立体視映像を得る。 【構成】 撮像条件設定部において、撮像装置1a,1
bの駆動部に設けられた位置検出部10により各駆動部
の位置信号10aを検出する。この位置信号10aと補
正データ格納部12に格納されたテーブル形式の撮像条
件補正値とを比較する。この比較結果をもとに位置ズレ
補正部11で撮像装置1a,1bの撮像条件を補正す
る。これにより光学系に発生した光軸ズレや倍率差を自
動的に修正でき、観察者Mはモニタテレビ7により観察
対象Oの適正な立体映像を感得できる。
動的に修正し、適正な撮像条件で立体視映像を得る。 【構成】 撮像条件設定部において、撮像装置1a,1
bの駆動部に設けられた位置検出部10により各駆動部
の位置信号10aを検出する。この位置信号10aと補
正データ格納部12に格納されたテーブル形式の撮像条
件補正値とを比較する。この比較結果をもとに位置ズレ
補正部11で撮像装置1a,1bの撮像条件を補正す
る。これにより光学系に発生した光軸ズレや倍率差を自
動的に修正でき、観察者Mはモニタテレビ7により観察
対象Oの適正な立体映像を感得できる。
Description
【0001】
【産業上の利用分野】本発明は立体カメラ装置に係り、
特に立体映像を得るために複数配置した撮像装置の光学
系に発生した光軸ズレや倍率差を自動的に修正して、適
正な立体映像を感得できるようにした立体カメラ装置に
関する。
特に立体映像を得るために複数配置した撮像装置の光学
系に発生した光軸ズレや倍率差を自動的に修正して、適
正な立体映像を感得できるようにした立体カメラ装置に
関する。
【0002】
【従来の技術】深海や宇宙空間での作業は、人間が直接
現場へ行って作業することが困難であり、また原子炉内
で人間が直接作業をする場合は放射能による危険を伴
う。このような極限環境下における作業を実現する技術
として、作業現場へマニピュレータを送り込み、現場か
ら離れた安全な地点で人間が遠隔操作により作業を行う
テレオペレーションがある。この方法では、作業現場
(作業環境)を撮像装置で撮像し、これをテレビモニタ
等の映像表示装置に立体的に映し出して操作者に呈示す
るので、操作者はこれを見ながらマニピュレータを遠隔
操作することができる。従来、このような遠隔操作時に
作業現場の立体映像を観察者に感得させるには、例え
ば、図4に示すような立体カメラ装置が使用されてい
る。すなわち、従来の立体カメラ装置は、2台の撮像装
置101a,101b、映像ミキサ102、フレームコ
ンバータ103、シャッタ眼鏡駆動装置104、シャッ
タ眼鏡105、モニタテレビ106とで構成されてい
る。2台の撮像装置101a,101bは図示されない
雲台上に水平に並べて配置されており、前方の観察対象
107を同時に撮像する。また、撮像装置101a,1
01bの光学系101c,101dには一般にズームレ
ンズが装着されており、光学系101c,101dを通
して内蔵された撮像素子に映像が結像される。撮像装置
101a,101bで撮像された映像は撮像素子から映
像信号として映像ミキサ102に送られ、所定時間毎に
交互に出力される。これらの時系列映像信号はフレーム
コンバータ103でフリッカレス(映像のチラツキ除
去)処理を施された後、映像表示装置であるモニタテレ
ビ106に交互に呈示される。そして、観察者108は
モニタテレビ106の映像をフレームコンバータ103
から出力される同期信号に基づいて左右眼が交互に開閉
するシャッタ眼鏡105を通して映像を結像して立体映
像を感得することができる。つまり、上述の構成からな
る立体カメラ装置は、人間の目の残像を利用して立体映
像が感得される。
現場へ行って作業することが困難であり、また原子炉内
で人間が直接作業をする場合は放射能による危険を伴
う。このような極限環境下における作業を実現する技術
として、作業現場へマニピュレータを送り込み、現場か
ら離れた安全な地点で人間が遠隔操作により作業を行う
テレオペレーションがある。この方法では、作業現場
(作業環境)を撮像装置で撮像し、これをテレビモニタ
等の映像表示装置に立体的に映し出して操作者に呈示す
るので、操作者はこれを見ながらマニピュレータを遠隔
操作することができる。従来、このような遠隔操作時に
作業現場の立体映像を観察者に感得させるには、例え
ば、図4に示すような立体カメラ装置が使用されてい
る。すなわち、従来の立体カメラ装置は、2台の撮像装
置101a,101b、映像ミキサ102、フレームコ
ンバータ103、シャッタ眼鏡駆動装置104、シャッ
タ眼鏡105、モニタテレビ106とで構成されてい
る。2台の撮像装置101a,101bは図示されない
雲台上に水平に並べて配置されており、前方の観察対象
107を同時に撮像する。また、撮像装置101a,1
01bの光学系101c,101dには一般にズームレ
ンズが装着されており、光学系101c,101dを通
して内蔵された撮像素子に映像が結像される。撮像装置
101a,101bで撮像された映像は撮像素子から映
像信号として映像ミキサ102に送られ、所定時間毎に
交互に出力される。これらの時系列映像信号はフレーム
コンバータ103でフリッカレス(映像のチラツキ除
去)処理を施された後、映像表示装置であるモニタテレ
ビ106に交互に呈示される。そして、観察者108は
モニタテレビ106の映像をフレームコンバータ103
から出力される同期信号に基づいて左右眼が交互に開閉
するシャッタ眼鏡105を通して映像を結像して立体映
像を感得することができる。つまり、上述の構成からな
る立体カメラ装置は、人間の目の残像を利用して立体映
像が感得される。
【0003】また、観察者108は、撮像装置101
a,101bの光学系101c,101dであるズーム
レンズを広角側または望遠側にズーム操作するときはレ
ンズコントローラ109で操作し、撮像装置101a,
101bの間隔や観察対象107を見込む角度(輻輳
角)βを調整する時は雲台コントローラ110で操作す
るようになっている。
a,101bの光学系101c,101dであるズーム
レンズを広角側または望遠側にズーム操作するときはレ
ンズコントローラ109で操作し、撮像装置101a,
101bの間隔や観察対象107を見込む角度(輻輳
角)βを調整する時は雲台コントローラ110で操作す
るようになっている。
【0004】
【発明が解決しようとする課題】ところで、上述の構成
からなる立体カメラ装置により観察者108が立体映像
を感得する場合、観察者108の左右の目に投ぜられる
映像は、拡大率、位置、姿勢等の関係が相対的に整合し
ている必要がある。このため、撮像装置101a,10
1bに内蔵された撮像素子に入射する光学系101c,
101dの光軸は撮像装置101a,101bが並ぶ方
向に広がる同一平面内に設定されることが必要である。
また、光学系101c,101dにズームレンズを用い
る場合、ズーム値に拘らず光軸を一定に保つためには、
レンズの厳選と設定位置の厳重な管理が不可欠である。
しかしながら、現実には全く同一特性を有するレンズを
用意することや、振動等の外力の影響を完全に遮断して
レンズ設定位置を保持することは非常に困難である。こ
のように、従来の立体カメラ装置では、撮像装置101
a,101bの光学系101c,101dがズームレン
ズの場合、ズーム操作した時、特に望遠側に操作する時
には光軸ズレが大きくなるので、観察者108の左右眼
にそれぞれ投ぜられる画像の整合性が悪くなる。この場
合、光軸ズレはズーム操作時に生じた左右カメラのズー
ム値の倍率誤差と輻輳角の変動により生じた水平面との
なす鉛直方向の誤差角、すなわち仰角あるいは俯角の値
に左右されることが知られている。また、観察者108
が雲台コントローラ110を操作して撮像装置101
a,101bから観察対象107までの距離Lを変化さ
せた場合、最適な立体映像を感得するためには、観察者
108は新たに輻輳角βを設定する必要があり、作業効
率が劣る。一方、従来の立体カメラ装置では、ズーム操
作時の倍率誤差と光軸ズレに伴う左右の映像の位置ズレ
を補正するための、補正値がテーブル形式で格納された
補正データ格納部を作成し、予め観察者がズームレンズ
を広角側から望遠側までを順次操作し、それぞれのズレ
量をモニタの映像から算定して位置ズレ補正量を決定し
て、補正値を得るようになっている。
からなる立体カメラ装置により観察者108が立体映像
を感得する場合、観察者108の左右の目に投ぜられる
映像は、拡大率、位置、姿勢等の関係が相対的に整合し
ている必要がある。このため、撮像装置101a,10
1bに内蔵された撮像素子に入射する光学系101c,
101dの光軸は撮像装置101a,101bが並ぶ方
向に広がる同一平面内に設定されることが必要である。
また、光学系101c,101dにズームレンズを用い
る場合、ズーム値に拘らず光軸を一定に保つためには、
レンズの厳選と設定位置の厳重な管理が不可欠である。
しかしながら、現実には全く同一特性を有するレンズを
用意することや、振動等の外力の影響を完全に遮断して
レンズ設定位置を保持することは非常に困難である。こ
のように、従来の立体カメラ装置では、撮像装置101
a,101bの光学系101c,101dがズームレン
ズの場合、ズーム操作した時、特に望遠側に操作する時
には光軸ズレが大きくなるので、観察者108の左右眼
にそれぞれ投ぜられる画像の整合性が悪くなる。この場
合、光軸ズレはズーム操作時に生じた左右カメラのズー
ム値の倍率誤差と輻輳角の変動により生じた水平面との
なす鉛直方向の誤差角、すなわち仰角あるいは俯角の値
に左右されることが知られている。また、観察者108
が雲台コントローラ110を操作して撮像装置101
a,101bから観察対象107までの距離Lを変化さ
せた場合、最適な立体映像を感得するためには、観察者
108は新たに輻輳角βを設定する必要があり、作業効
率が劣る。一方、従来の立体カメラ装置では、ズーム操
作時の倍率誤差と光軸ズレに伴う左右の映像の位置ズレ
を補正するための、補正値がテーブル形式で格納された
補正データ格納部を作成し、予め観察者がズームレンズ
を広角側から望遠側までを順次操作し、それぞれのズレ
量をモニタの映像から算定して位置ズレ補正量を決定し
て、補正値を得るようになっている。
【0005】また、映像の画角を変更するためにコンバ
ージョンレンズを交換する場合は作業を一旦停止して、
作業者が遠隔地にある作業現場まで行きコンバージョン
レンズを直接交換するか、あるいは現場の作業環境が人
体に有害な場合は立体カメラ装置を回収して交換しなけ
ればならない。
ージョンレンズを交換する場合は作業を一旦停止して、
作業者が遠隔地にある作業現場まで行きコンバージョン
レンズを直接交換するか、あるいは現場の作業環境が人
体に有害な場合は立体カメラ装置を回収して交換しなけ
ればならない。
【0006】このため、光軸ズレ等が生じた立体カメラ
装置を用いて極限環境下でマニピュレータ等を遠隔操作
する際、観察対象の良好な立体映像を感得することがで
きない不都合が生じ、作業の安全性やマニピュレータ等
の操作性が低下するという問題がある。
装置を用いて極限環境下でマニピュレータ等を遠隔操作
する際、観察対象の良好な立体映像を感得することがで
きない不都合が生じ、作業の安全性やマニピュレータ等
の操作性が低下するという問題がある。
【0007】そこで本発明の目的は、観察者が直接行っ
ていた作業、すなわちレンズ光軸のズレ量補正用データ
テーブルの作成、およびコンバージョンレンズ交換後の
ズレ量補正用データテーブルの作成の自動化を図り、撮
像作業時の効率を向上させるとともに、適正な撮像条件
を設定できる立体カメラ装置を提供しようとするもので
ある。
ていた作業、すなわちレンズ光軸のズレ量補正用データ
テーブルの作成、およびコンバージョンレンズ交換後の
ズレ量補正用データテーブルの作成の自動化を図り、撮
像作業時の効率を向上させるとともに、適正な撮像条件
を設定できる立体カメラ装置を提供しようとするもので
ある。
【0008】
【課題を解決するための手段】上述した課題を解決する
ために第1の発明は、撮像条件設定部を有する撮像装置
を複数用い、立体像化処理部を介して観察対象の立体像
を感得可能な立体カメラ装置において、上記撮像条件設
定部は上記撮像装置の位置を検出する位置検出部と、撮
像条件補正値が格納された補正データ格納部と、上記位
置検出部で検出された位置信号を上記補正データ格納部
に格納された撮像条件補正値で補正する位置ズレ補正部
とを備え、上記撮像条件補正値を参照して適正撮像条件
となるように上記撮像装置の位置ズレ補正制御を行なう
ことを特徴とするものである。
ために第1の発明は、撮像条件設定部を有する撮像装置
を複数用い、立体像化処理部を介して観察対象の立体像
を感得可能な立体カメラ装置において、上記撮像条件設
定部は上記撮像装置の位置を検出する位置検出部と、撮
像条件補正値が格納された補正データ格納部と、上記位
置検出部で検出された位置信号を上記補正データ格納部
に格納された撮像条件補正値で補正する位置ズレ補正部
とを備え、上記撮像条件補正値を参照して適正撮像条件
となるように上記撮像装置の位置ズレ補正制御を行なう
ことを特徴とするものである。
【0009】また、第2の発明は、撮像条件設定部を有
する撮像装置を複数用い、立体像化処理部を介して観察
対象の立体視像を感得可能な立体カメラ装置において、
上記撮像条件設定部は上記撮像装置の位置を検出する位
置検出部と、各撮像装置で撮像された立体視画像を記憶
する画像記憶部と、この画像記憶部からの画像色情報あ
るいは濃度情報を比較計算する画像解析部と、この計算
結果から撮像条件補正値を作成し格納する補正値計算部
と、上記位置検出部で検出された位置信号を上記補正値
計算部の撮像条件補正値で補正する位置ズレ補正部とを
備え、上記画像解析部で標本化された画像データをもと
に撮像条件補正値を作成更新し、この撮像条件補正値を
参照して各撮像時に適正撮像条件となるように上記撮像
装置の位置ズレ補正制御を行なうことを特徴とするもの
である。
する撮像装置を複数用い、立体像化処理部を介して観察
対象の立体視像を感得可能な立体カメラ装置において、
上記撮像条件設定部は上記撮像装置の位置を検出する位
置検出部と、各撮像装置で撮像された立体視画像を記憶
する画像記憶部と、この画像記憶部からの画像色情報あ
るいは濃度情報を比較計算する画像解析部と、この計算
結果から撮像条件補正値を作成し格納する補正値計算部
と、上記位置検出部で検出された位置信号を上記補正値
計算部の撮像条件補正値で補正する位置ズレ補正部とを
備え、上記画像解析部で標本化された画像データをもと
に撮像条件補正値を作成更新し、この撮像条件補正値を
参照して各撮像時に適正撮像条件となるように上記撮像
装置の位置ズレ補正制御を行なうことを特徴とするもの
である。
【0010】
【作用】第1の発明によれば、位置検出装置からの位置
情報と予め作成された補正データテーブルの情報とを比
較して各撮像装置で撮像された画像の、倍率誤差や位置
ズレを座標ズレ量として算定して各撮像装置の位置制御
をできるようにしたので、撮像時の画像の倍率誤差や位
置ズレに対応する適正補正量を正確に設定でき、適正な
立体映像を感得することができる。
情報と予め作成された補正データテーブルの情報とを比
較して各撮像装置で撮像された画像の、倍率誤差や位置
ズレを座標ズレ量として算定して各撮像装置の位置制御
をできるようにしたので、撮像時の画像の倍率誤差や位
置ズレに対応する適正補正量を正確に設定でき、適正な
立体映像を感得することができる。
【0011】また、第2の発明によれば、画像処理部に
おいて画像色情報または濃度情報により撮像装置の倍率
誤差や位置ズレ量の算定を行うとともに、上記画像処理
部で標本化された画像処理データをもとに補正データテ
ーブルを作成更新するので、ズーム操作段階に対して各
撮像装置が精度良く連動するように制御でき、常に適正
な立体映像を感得することができる。
おいて画像色情報または濃度情報により撮像装置の倍率
誤差や位置ズレ量の算定を行うとともに、上記画像処理
部で標本化された画像処理データをもとに補正データテ
ーブルを作成更新するので、ズーム操作段階に対して各
撮像装置が精度良く連動するように制御でき、常に適正
な立体映像を感得することができる。
【0012】
【実施例】以下、第1の発明及び第2の発明による立体
カメラ装置の一実施例を添付図面を参照して説明する。
図1は第1の発明による立体カメラ装置の概略構成を示
したものである。同図に示したように、立体カメラ装置
の撮像部は2台の撮像装置1a,1bから構成されてい
る。この撮像装置1a,1bは仰角:+α(俯角:−
α)(以下、仰角±αと記す)、輻輳角β、カメラ間隔
lを任意に設定可能な多軸雲台18に固定されている。
また、撮像装置1a,1bには光学系を構成するズーム
レンズ2a,2bの撮像素子と、観察対象Oまでの距離
Lを測定する距離検出装置3と、各可動部の位置検出装
置10とが備えられている。このうち距離検出装置3に
は赤外光や超音波を利用した測距機構が内蔵されてお
り、位置検出装置10には図示しない駆動モータの回転
角を検出するロータリエンコーダやポテンショメータが
搭載されている。このロータリエンコーダは周波数電圧
変換により、ポテンショメータは電圧値によりその位置
を検出できるようになっている。この撮像装置1a,1
bによりある設定倍率で撮像された観察対象Oの映像信
号4a,4bは映像ミキサ5に送られ、所定時間内に交
互に出力される。これらの時系列映像信号51はフレー
ムコンバータ6でのフリッカレス処理により映像のチラ
ツキが除去された後、映像表示装置であるモニタテレビ
7に交互に呈示される。そして、観察者Mはフレームコ
ンバータ6から出力される周期信号に基づいてシャッタ
眼鏡駆動装置8により左右眼が交互に開閉するシャッタ
眼鏡9を通してモニタ7に映し出された映像を観察し、
立体映像を感得することができるようになっている。
カメラ装置の一実施例を添付図面を参照して説明する。
図1は第1の発明による立体カメラ装置の概略構成を示
したものである。同図に示したように、立体カメラ装置
の撮像部は2台の撮像装置1a,1bから構成されてい
る。この撮像装置1a,1bは仰角:+α(俯角:−
α)(以下、仰角±αと記す)、輻輳角β、カメラ間隔
lを任意に設定可能な多軸雲台18に固定されている。
また、撮像装置1a,1bには光学系を構成するズーム
レンズ2a,2bの撮像素子と、観察対象Oまでの距離
Lを測定する距離検出装置3と、各可動部の位置検出装
置10とが備えられている。このうち距離検出装置3に
は赤外光や超音波を利用した測距機構が内蔵されてお
り、位置検出装置10には図示しない駆動モータの回転
角を検出するロータリエンコーダやポテンショメータが
搭載されている。このロータリエンコーダは周波数電圧
変換により、ポテンショメータは電圧値によりその位置
を検出できるようになっている。この撮像装置1a,1
bによりある設定倍率で撮像された観察対象Oの映像信
号4a,4bは映像ミキサ5に送られ、所定時間内に交
互に出力される。これらの時系列映像信号51はフレー
ムコンバータ6でのフリッカレス処理により映像のチラ
ツキが除去された後、映像表示装置であるモニタテレビ
7に交互に呈示される。そして、観察者Mはフレームコ
ンバータ6から出力される周期信号に基づいてシャッタ
眼鏡駆動装置8により左右眼が交互に開閉するシャッタ
眼鏡9を通してモニタ7に映し出された映像を観察し、
立体映像を感得することができるようになっている。
【0013】本実施例では立体カメラ装置撮像装置1
a,1bとしてオートフォーカス8倍ズームレンズ装着
のCCDカメラが左右2台搭載されている。またこのカ
メラの実際の駆動方式としては、あらかじめ所定の輻輳
角βに設定された一方のカメラ(ここでは右カメラ)を
固定し、この右カメラのズームレンズをズーム操作する
ことにより左カメラのズーム値が連動して変化するよう
になっている。このとき左右のカメラを支持して駆動す
る部分の組み立て機械誤差等によりズーム値の倍率と仰
角±αとが正規の値から変動する。この変動を考慮して
作成されたのが、上述のズレ量補正用データテーブルで
ある。このズレ量補正用データテーブルは内蔵のRAM
等の記憶部に予め比較用テーブルとして作成したデータ
群であるが、その構成を表形式として示した一例が下表
である。
a,1bとしてオートフォーカス8倍ズームレンズ装着
のCCDカメラが左右2台搭載されている。またこのカ
メラの実際の駆動方式としては、あらかじめ所定の輻輳
角βに設定された一方のカメラ(ここでは右カメラ)を
固定し、この右カメラのズームレンズをズーム操作する
ことにより左カメラのズーム値が連動して変化するよう
になっている。このとき左右のカメラを支持して駆動す
る部分の組み立て機械誤差等によりズーム値の倍率と仰
角±αとが正規の値から変動する。この変動を考慮して
作成されたのが、上述のズレ量補正用データテーブルで
ある。このズレ量補正用データテーブルは内蔵のRAM
等の記憶部に予め比較用テーブルとして作成したデータ
群であるが、その構成を表形式として示した一例が下表
である。
【0014】
【表1】 表1において、基準となる右カメラのズーム値に対して
左カメラのズーム値は固有の偏差を有しており、この偏
差分だけモータを調整駆動する。また仰角±αの変動に
対しての補正値も合わせて与えられている。
左カメラのズーム値は固有の偏差を有しており、この偏
差分だけモータを調整駆動する。また仰角±αの変動に
対しての補正値も合わせて与えられている。
【0015】このズレ量補正用データテーブルを利用し
てズーム操作時に検出されたズームレンズ2a,2bの
位置、仰角±α、輻輳角β、カメラ間隔lの各位置信号
10aから比較基準信号が生成される。一方、上記検出
位置信号10aは位置ズレ補正部11に送られ、この位
置ズレ補正部11で補正データ格納部12に格納された
ズレ量補正用データテーブルと比較され光軸等のズレ量
が検出される。また立体映像の感得に最適な輻輳角βが
観察対象までの距離Lとカメラ間隔lとから位置ズレ検
出部11により演算され、その補正信号26は位置補正
用制御部14へ送られる。この位置補正用制御部14か
ら出力された制御信号17は多軸雲台18の各駆動部に
送られて所定量の調整駆動がなされる。
てズーム操作時に検出されたズームレンズ2a,2bの
位置、仰角±α、輻輳角β、カメラ間隔lの各位置信号
10aから比較基準信号が生成される。一方、上記検出
位置信号10aは位置ズレ補正部11に送られ、この位
置ズレ補正部11で補正データ格納部12に格納された
ズレ量補正用データテーブルと比較され光軸等のズレ量
が検出される。また立体映像の感得に最適な輻輳角βが
観察対象までの距離Lとカメラ間隔lとから位置ズレ検
出部11により演算され、その補正信号26は位置補正
用制御部14へ送られる。この位置補正用制御部14か
ら出力された制御信号17は多軸雲台18の各駆動部に
送られて所定量の調整駆動がなされる。
【0016】これにより2台の撮像装置1a,1bの組
立て誤差等による光軸ズレを生じる倍率誤差あるいは輻
輳角βが補正され適切な立体映像が感得できる。
立て誤差等による光軸ズレを生じる倍率誤差あるいは輻
輳角βが補正され適切な立体映像が感得できる。
【0017】次に、本発明に係る立体カメラ装置の撮像
時の作用について説明する。撮像装置1a,1bを観察
対象Oに向けてセットすると、観察対象Oからの反射光
はズームレンズ2a,2bを通して撮像装置1a,1b
に入射し、内蔵された撮像素子に結像する。この撮像素
子は、撮像した観察対象Oの映像信号4a,4bを映像
ミキサ5、フレームコンバータ6を介してモニタ7に所
定時間(例えば1/60秒)毎に交互に出力する。これ
により観察者Mは、モニタ7に交互に移し出される映像
からシャッタ眼鏡9を通して観察対象Oの立体映像が感
得できる。この観察状態において、ズームレンズ2a,
2b、仰角±α、輻輳角β、観察対象Oまでの距離L、
カメラ間隔lの検出位置信号10aは位置検出部10か
ら位置ズレ補正部11に送られる。この位置ズレ補正部
11では、予め作成された補正データ格納部12内のズ
レ量補正用データテーブルの各位置データと検出位置信
号10aの内容とが比較される。
時の作用について説明する。撮像装置1a,1bを観察
対象Oに向けてセットすると、観察対象Oからの反射光
はズームレンズ2a,2bを通して撮像装置1a,1b
に入射し、内蔵された撮像素子に結像する。この撮像素
子は、撮像した観察対象Oの映像信号4a,4bを映像
ミキサ5、フレームコンバータ6を介してモニタ7に所
定時間(例えば1/60秒)毎に交互に出力する。これ
により観察者Mは、モニタ7に交互に移し出される映像
からシャッタ眼鏡9を通して観察対象Oの立体映像が感
得できる。この観察状態において、ズームレンズ2a,
2b、仰角±α、輻輳角β、観察対象Oまでの距離L、
カメラ間隔lの検出位置信号10aは位置検出部10か
ら位置ズレ補正部11に送られる。この位置ズレ補正部
11では、予め作成された補正データ格納部12内のズ
レ量補正用データテーブルの各位置データと検出位置信
号10aの内容とが比較される。
【0018】このデータ比較において、撮像装置1a,
1bで撮像される左右映像に倍率誤差や位置ズレがない
場合には、上記ズレ量補正用データテーブルの各位置デ
ータと各検出位置信号10aとは一致する。このときの
輻輳角βは立体映像の感得に対して適正値と判断され、
補正信号26は位置補正用制御部14に出力されず、多
軸雲台18は駆動されない。観察者Mが撮像装置1a,
1bで撮像中に立体カメラコントローラ15を操作し
て、ズーム値あるいは観察対象Oとの距離Lあるいはカ
メラ間隔lを変更した場合、各可動部の検出位置信号1
0aは位置ズレ補正部11で補正データ格納部12のズ
レ量補正用データテーブルの位置データと比較され、ズ
レ量は補正信号26として位置補正用制御装置14に送
られる。そこで、位置補正用制御装置14によりズレ量
がなくなるまで、つまり最適な立体映像が感得できるま
で多軸雲台18の各駆動部へ制御信号17が送られ,多
軸雲台18は調整駆動される。
1bで撮像される左右映像に倍率誤差や位置ズレがない
場合には、上記ズレ量補正用データテーブルの各位置デ
ータと各検出位置信号10aとは一致する。このときの
輻輳角βは立体映像の感得に対して適正値と判断され、
補正信号26は位置補正用制御部14に出力されず、多
軸雲台18は駆動されない。観察者Mが撮像装置1a,
1bで撮像中に立体カメラコントローラ15を操作し
て、ズーム値あるいは観察対象Oとの距離Lあるいはカ
メラ間隔lを変更した場合、各可動部の検出位置信号1
0aは位置ズレ補正部11で補正データ格納部12のズ
レ量補正用データテーブルの位置データと比較され、ズ
レ量は補正信号26として位置補正用制御装置14に送
られる。そこで、位置補正用制御装置14によりズレ量
がなくなるまで、つまり最適な立体映像が感得できるま
で多軸雲台18の各駆動部へ制御信号17が送られ,多
軸雲台18は調整駆動される。
【0019】このように、撮像装置1a,1bで観察対
象Oを撮像しているときに観察者Mが立体カメラコント
ローラ15を任意な状態に操作しても、常に光軸ズレが
なくズーム値を等しくすることができ、併せて立体映像
の感得に最適な輻輳角βが自動的に制御できる。
象Oを撮像しているときに観察者Mが立体カメラコント
ローラ15を任意な状態に操作しても、常に光軸ズレが
なくズーム値を等しくすることができ、併せて立体映像
の感得に最適な輻輳角βが自動的に制御できる。
【0020】また、カメラ間隔lが調整可能であり、こ
のカメラ間隔lに対応して輻輳角βを自動設定できるこ
とから、この機構を利用して撮像装置1a,1bのズー
ムレンズ2a,2bを望遠側にすると同時にカメラ間隔
lを広げて撮像することにより、観察者Mは遠方に位置
する観察対象Oを実際に接近して観察しているような拡
大視効果が得られる。
のカメラ間隔lに対応して輻輳角βを自動設定できるこ
とから、この機構を利用して撮像装置1a,1bのズー
ムレンズ2a,2bを望遠側にすると同時にカメラ間隔
lを広げて撮像することにより、観察者Mは遠方に位置
する観察対象Oを実際に接近して観察しているような拡
大視効果が得られる。
【0021】なお、上述の立体カメラ装置の構成ではズ
レ量補正用データテーブルは予めオフラインで作成した
ものをカメラ制御部のループ中の補正データ格納部12
に導入しているため、レンズの保守交換やコンバージョ
ンレンズの装着などでレンズ特性が変わった場合には、
別途、適正なズレ量補正用データテーブルに変更するこ
とになる。
レ量補正用データテーブルは予めオフラインで作成した
ものをカメラ制御部のループ中の補正データ格納部12
に導入しているため、レンズの保守交換やコンバージョ
ンレンズの装着などでレンズ特性が変わった場合には、
別途、適正なズレ量補正用データテーブルに変更するこ
とになる。
【0022】図2は、第2の発明による立体カメラ装置
の構成を示したものである。本発明では、画像データ処
理部13に送られた2台の撮像装置1a,1bの映像信
号4a,4bは、まず画像データ処理部13内の画像フ
レームメモリ19に蓄えられる。この画像情報は補正デ
ータ生成部20に送られるが、この補正データ生成部2
0は画像解析部20aと補正値計算部20bとから構成
されており、まず画像解析部20aにおいて、上記画像
情報のうち色分布あるいは明るさの指標となる濃度分布
が求められる。
の構成を示したものである。本発明では、画像データ処
理部13に送られた2台の撮像装置1a,1bの映像信
号4a,4bは、まず画像データ処理部13内の画像フ
レームメモリ19に蓄えられる。この画像情報は補正デ
ータ生成部20に送られるが、この補正データ生成部2
0は画像解析部20aと補正値計算部20bとから構成
されており、まず画像解析部20aにおいて、上記画像
情報のうち色分布あるいは明るさの指標となる濃度分布
が求められる。
【0023】色分布の算定では、まず左右のモニタ画面
上の画像のRGB信号分布により撮像対象を示した部分
のエッジ検出、求積、重心算定を行い、撮像対象の画像
位置を決定する。この位置データを補正値計算部20b
に出力するようになっている。また、濃度分布の算定で
は左右のモニタ画面上の画像の画素情報を一列ごとに走
査加積して画面の濃度分布を求め、所定の階調にしきい
値を設定してこのしきい値以上の濃度部分を撮像対象の
画像として判断するようになっている。本実施例では2
56階調を設定し、100をしきい値としている。
上の画像のRGB信号分布により撮像対象を示した部分
のエッジ検出、求積、重心算定を行い、撮像対象の画像
位置を決定する。この位置データを補正値計算部20b
に出力するようになっている。また、濃度分布の算定で
は左右のモニタ画面上の画像の画素情報を一列ごとに走
査加積して画面の濃度分布を求め、所定の階調にしきい
値を設定してこのしきい値以上の濃度部分を撮像対象の
画像として判断するようになっている。本実施例では2
56階調を設定し、100をしきい値としている。
【0024】このようにして画像解析部20aによって
左右カメラの画像の類似度が計算され、その類似度の値
は補正値計算部20bに送られる。この補正計算部20
bには撮像装置1a,1bの検出位置信号10bも同時
に送られているため、補正値計算部20では検出位置信
号10aに対する撮像装置1a,1bの撮影方向の補正
値が算出され、所定の形式の補正データテーブルが作成
される。この補正データテーブルが作成された後は、検
出位置信号10bに対応した補正データテーブルの値が
読み出され、その値が各駆動部を制御する位置ズレ補正
部11に送られ、さらに位置補正用駆動部14を介して
モータなどの駆動機構を適正に駆動することができる。
左右カメラの画像の類似度が計算され、その類似度の値
は補正値計算部20bに送られる。この補正計算部20
bには撮像装置1a,1bの検出位置信号10bも同時
に送られているため、補正値計算部20では検出位置信
号10aに対する撮像装置1a,1bの撮影方向の補正
値が算出され、所定の形式の補正データテーブルが作成
される。この補正データテーブルが作成された後は、検
出位置信号10bに対応した補正データテーブルの値が
読み出され、その値が各駆動部を制御する位置ズレ補正
部11に送られ、さらに位置補正用駆動部14を介して
モータなどの駆動機構を適正に駆動することができる。
【0025】また、位置補正用制御装置11には観察者
Mからの指令信号16と、位置信号10bと等しい位置
信号10cとが送られ、これらの信号の偏差に応じて観
察者Mは撮像装置の調整駆動量を指定することができ
る。この撮像装置を調整駆動したことにより位置信号1
0bの値が変化すると、再び上述の作動サイクルによっ
て適切な補正データがリアルタイムで読み出され適切な
撮像条件が実現される。
Mからの指令信号16と、位置信号10bと等しい位置
信号10cとが送られ、これらの信号の偏差に応じて観
察者Mは撮像装置の調整駆動量を指定することができ
る。この撮像装置を調整駆動したことにより位置信号1
0bの値が変化すると、再び上述の作動サイクルによっ
て適切な補正データがリアルタイムで読み出され適切な
撮像条件が実現される。
【0026】本発明では、画像フレームメモリ19を使
用することにより、映像のズレ量を高精度で検出し、画
像処理により補正データテーブルを作成更新し、撮像装
置の位置補正を行うため、撮像精度及び撮像時の作業効
率が向上される。
用することにより、映像のズレ量を高精度で検出し、画
像処理により補正データテーブルを作成更新し、撮像装
置の位置補正を行うため、撮像精度及び撮像時の作業効
率が向上される。
【0027】図3は、上述の発明による立体カメラ装置
にコンバージョンレンズ交換装置を装着した場合の実施
例を示した図である。この実施例では、撮像装置1a,
1bによって撮像された映像を更に広角または望遠で観
察する場合、観察者Mは、立体カメラコントローラ15
を操作することにより、レンズ部に取付けられたコンバ
ージョンレンズ交換装置21a,21bによって、ズー
ムレンズ2a,2bの画角を変更することができる。本
実施例ではコンバージョンレンズは各ズームレンズ2
a,2bに対して2個ずつ用意されており、図示しない
コンバージョンレンズ交換制御機構によりコンバージョ
ンレンズ交換装置21a,21bがθ、φ周りに回転し
て画角を変更することができる。
にコンバージョンレンズ交換装置を装着した場合の実施
例を示した図である。この実施例では、撮像装置1a,
1bによって撮像された映像を更に広角または望遠で観
察する場合、観察者Mは、立体カメラコントローラ15
を操作することにより、レンズ部に取付けられたコンバ
ージョンレンズ交換装置21a,21bによって、ズー
ムレンズ2a,2bの画角を変更することができる。本
実施例ではコンバージョンレンズは各ズームレンズ2
a,2bに対して2個ずつ用意されており、図示しない
コンバージョンレンズ交換制御機構によりコンバージョ
ンレンズ交換装置21a,21bがθ、φ周りに回転し
て画角を変更することができる。
【0028】このとき上述の画像データ処理部13内に
はレンズ識別部23が設けられている。このレンズ識別
部23を介してコンバージョンレンズ交換装置21a,
21bのθ、φ周りの回転角信号22a,22bが補正
データテーブル作成部20に送られ、補正用データテー
ブルを登録する際のパラメータとして使用される。すな
わち、上記補正用データテーブルは使用するレンズごと
に作成されることになり、レンズ識別部23によるレン
ズ種類判別により読み出される補正用データテーブルが
適宜変更されるようになっている。
はレンズ識別部23が設けられている。このレンズ識別
部23を介してコンバージョンレンズ交換装置21a,
21bのθ、φ周りの回転角信号22a,22bが補正
データテーブル作成部20に送られ、補正用データテー
ブルを登録する際のパラメータとして使用される。すな
わち、上記補正用データテーブルは使用するレンズごと
に作成されることになり、レンズ識別部23によるレン
ズ種類判別により読み出される補正用データテーブルが
適宜変更されるようになっている。
【0029】以上の説明のうち、画像解析部20aは本
実施例ではモニタ画面上の画像の色あるいは濃度の類似
度を計算しているが、これに代え、複数の撮像装置の映
像の倍率誤差や位置、姿勢の偏差を判定できる手法とし
て各種相関計算法やAI(人工知能)を利用するができ
る。また、本実施例ではコンバージョンレンズ交換装置
21a,21bは回転板30に装着された2組のコンバ
ージョンレンズを回転30を回転軸30a回りに回動さ
せることで交換するようにしたが、レンズ交換方式は何
らこの方式に限定されないことは明らかである。
実施例ではモニタ画面上の画像の色あるいは濃度の類似
度を計算しているが、これに代え、複数の撮像装置の映
像の倍率誤差や位置、姿勢の偏差を判定できる手法とし
て各種相関計算法やAI(人工知能)を利用するができ
る。また、本実施例ではコンバージョンレンズ交換装置
21a,21bは回転板30に装着された2組のコンバ
ージョンレンズを回転30を回転軸30a回りに回動さ
せることで交換するようにしたが、レンズ交換方式は何
らこの方式に限定されないことは明らかである。
【0030】さらにレンズ識別部23ではコンバージョ
ンレンズ交換装置21a,21bの回転位置信号を検出
してレンズ識別を行っているが、このレンズ識別方式は
各種の方式をとることができる。
ンレンズ交換装置21a,21bの回転位置信号を検出
してレンズ識別を行っているが、このレンズ識別方式は
各種の方式をとることができる。
【0031】
【発明の効果】以上説明したように本発明によれば、各
撮像装置で撮像される映像に発生したズレを、多軸雲台
に取付けられた各位置検出装置の情報と補正データテー
ブルの情報とを比較して各撮像装置の撮影方向を修正す
る際、この補正データテーブルの作成自体が画像処理的
に行われるため、従来オフライン作業で行っていた補正
データテーブルをオンライン化でき、さらにレンズの保
守交換やコンバージョンレンズの装着によってレンズ特
性が変わった場合でも、制御ループ中に補正データテー
ブル作成過程を含めることができるため、あらゆる状態
で適正な撮像条件を設定でき、撮像作業の効率化を図れ
るというと作業精度が向上される。
撮像装置で撮像される映像に発生したズレを、多軸雲台
に取付けられた各位置検出装置の情報と補正データテー
ブルの情報とを比較して各撮像装置の撮影方向を修正す
る際、この補正データテーブルの作成自体が画像処理的
に行われるため、従来オフライン作業で行っていた補正
データテーブルをオンライン化でき、さらにレンズの保
守交換やコンバージョンレンズの装着によってレンズ特
性が変わった場合でも、制御ループ中に補正データテー
ブル作成過程を含めることができるため、あらゆる状態
で適正な撮像条件を設定でき、撮像作業の効率化を図れ
るというと作業精度が向上される。
【図1】第1の発明による立体カメラ装置の一実施例を
示したシステム構成図。
示したシステム構成図。
【図2】第2の発明による立体カメラ装置の一実施例を
示したシステム構成図。
示したシステム構成図。
【図3】コンバージョンレンズ交換装置を装着した立体
カメラ装置の一実施例を示したシステム構成部分図。
カメラ装置の一実施例を示したシステム構成部分図。
【図4】従来の立体カメラ装置の一例を示したシステム
構成図。
構成図。
1a,1b 撮像装置 2a,2b ズームレンズ 3 距離測定装置 4a,4b 映像信号 5 映像ミキサ 6 フレームコンバータ 7 モニタ 8 シャッタ眼鏡駆動装置 9 シャッタ眼鏡 10a,10b,10c 位置信号 11 位置ズレ補正部 12 補正データ格納部 13 画像データ処理部 14 位置補正用制御部 15 立体カメラコントローラ 16 観察者からの指令信号 17 制御信号 18 多軸雲台 19 画像フレームメモリ 20 補正データ生成部 20a 画像解析部 20b 補正値計算部 21a,21b コンバージョンレンズ交換装置 22a,22b コンバージョンレンズ交換装置の回転
角信号 23 レンズ識別部 26 補正信号 M 観察者 O 観察対象 l カメラ間隔 ±α 仰角 β 輻輳角 φ,θ コンバージョンレンズ交換装置の回転角
角信号 23 レンズ識別部 26 補正信号 M 観察者 O 観察対象 l カメラ間隔 ±α 仰角 β 輻輳角 φ,θ コンバージョンレンズ交換装置の回転角
Claims (2)
- 【請求項1】撮像条件設定部を有する撮像装置を複数用
い、立体像化処理部を介して観察対象の立体視像を感得
可能な立体カメラ装置において、上記撮像条件設定部は
上記撮像装置の位置を検出する位置検出部と、撮像条件
補正値が格納された補正データ格納部と、上記位置検出
部で検出された位置信号を上記補正データ格納部に格納
された撮像条件補正値で補正する位置ズレ補正部とを備
え、上記撮像条件補正値を参照して適正撮像条件となる
ように上記撮像装置の位置ズレ補正制御を行なうことを
特徴とする立体カメラ装置。 - 【請求項2】撮像条件設定部を有する撮像装置を複数用
い、立体像化処理部を介して観察対象の立体視像を感得
可能な立体カメラ装置において、上記撮像条件設定部は
上記撮像装置の位置を検出する位置検出部と、各撮像装
置で撮像された立体視画像を記憶する画像記憶部と、こ
の画像記憶部からの画像の色情報あるいは濃度情報を比
較計算する画像解析部と、この計算結果から撮像条件補
正値を作成し格納する補正値計算部と、上記位置検出部
で検出された位置信号を上記補正値計算部の撮像条件補
正値で補正する位置ズレ補正部とを備え、上記画像解析
部で標本化された画像データをもとに撮像条件補正値を
作成更新し、この撮像条件補正値を参照して各撮像時に
適正撮像条件となるように上記撮像装置の位置ズレ補正
制御を行なうことを特徴とする立体カメラ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3293197A JPH05130646A (ja) | 1991-11-08 | 1991-11-08 | 立体カメラ装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3293197A JPH05130646A (ja) | 1991-11-08 | 1991-11-08 | 立体カメラ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05130646A true JPH05130646A (ja) | 1993-05-25 |
Family
ID=17791680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3293197A Pending JPH05130646A (ja) | 1991-11-08 | 1991-11-08 | 立体カメラ装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05130646A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2271125A2 (en) | 2009-07-01 | 2011-01-05 | FUJIFILM Corporation | Image pickup apparatus, zoom correction information creation method and program, and recording medium |
CN102289804A (zh) * | 2010-06-11 | 2011-12-21 | 英特尔公司 | 通过合并方向传感器读数和图像配准估计实现3d视频稳定的系统和方法 |
WO2013146059A1 (ja) * | 2012-03-29 | 2013-10-03 | 富士フイルム株式会社 | レンズ装置、及び該レンズ装置を含む複数のレンズ装置の補正装置 |
JP2014527196A (ja) * | 2011-08-03 | 2014-10-09 | トゥルアリティ, エルエルシー | ステレオフィルムのフレームのズーム設定および/または垂直オフセットを補正する方法、および2つのカメラを有するカメラリグの制御または調整システム |
US9304388B2 (en) | 2010-04-19 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional imaging device and three-dimensional imaging method |
US10165249B2 (en) | 2011-07-18 | 2018-12-25 | Truality, Llc | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras |
-
1991
- 1991-11-08 JP JP3293197A patent/JPH05130646A/ja active Pending
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2271125A2 (en) | 2009-07-01 | 2011-01-05 | FUJIFILM Corporation | Image pickup apparatus, zoom correction information creation method and program, and recording medium |
US8508584B2 (en) | 2009-07-01 | 2013-08-13 | Fujifilm Corporation | Image pickup apparatus, zoom correction information creation method and program, and recording medium |
US9304388B2 (en) | 2010-04-19 | 2016-04-05 | Panasonic Intellectual Property Management Co., Ltd. | Three-dimensional imaging device and three-dimensional imaging method |
CN102289804A (zh) * | 2010-06-11 | 2011-12-21 | 英特尔公司 | 通过合并方向传感器读数和图像配准估计实现3d视频稳定的系统和方法 |
US8531504B2 (en) | 2010-06-11 | 2013-09-10 | Intel Corporation | System and method for 3D video stabilization by fusing orientation sensor readings and image alignment estimates |
KR101314487B1 (ko) * | 2010-06-11 | 2013-10-07 | 인텔 코오퍼레이션 | 방향 센서 판독과 이미지 정렬 추정의 융합에 의한 3d 비디오 안정화를 위한 시스템 및 방법 |
US10165249B2 (en) | 2011-07-18 | 2018-12-25 | Truality, Llc | Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras |
JP2014527196A (ja) * | 2011-08-03 | 2014-10-09 | トゥルアリティ, エルエルシー | ステレオフィルムのフレームのズーム設定および/または垂直オフセットを補正する方法、および2つのカメラを有するカメラリグの制御または調整システム |
US10356329B2 (en) | 2011-08-03 | 2019-07-16 | Christian Wieland | Method for correcting the zoom setting and/or the vertical offset of frames of a stereo film and control or regulating system of a camera rig having two cameras |
WO2013146059A1 (ja) * | 2012-03-29 | 2013-10-03 | 富士フイルム株式会社 | レンズ装置、及び該レンズ装置を含む複数のレンズ装置の補正装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3054002B2 (ja) | 複眼撮像装置 | |
US5175616A (en) | Stereoscopic video-graphic coordinate specification system | |
US8717420B2 (en) | Head mounted image-sensing display device and composite image generating apparatus | |
JP2008232776A (ja) | 3次元形状計測装置および方法並びにプログラム | |
KR20030048013A (ko) | 입체영상의 변형보정방법 및 시스템 | |
JP2002232913A (ja) | 複眼カメラ及び立体視画像観察システム | |
KR20080040542A (ko) | 양안식 자동화 입체영상 촬영시스템 | |
KR101452342B1 (ko) | 감시카메라 유닛 및 그 구동방법 | |
JP2011109630A (ja) | カメラ装置用雲台 | |
JPH05130646A (ja) | 立体カメラ装置 | |
KR100399047B1 (ko) | 교차축 입체 카메라의 주시각 제어 장치 및 그 방법 | |
JP5506656B2 (ja) | 画像処理装置 | |
JPH06105339A (ja) | 立体カメラ装置 | |
JP2013105002A (ja) | 3d映像撮影制御システム、3d映像撮影制御方法、およびプログラム | |
JP2002101408A (ja) | 監視カメラシステム | |
JP2752993B2 (ja) | 立体テレビ装置 | |
JPH01251990A (ja) | 立体テレビ装置 | |
JPH10291188A (ja) | 立体映像提示方法 | |
KR101996907B1 (ko) | 객체 추적 장치 | |
JP2005175852A (ja) | 撮影装置及び撮影装置の制御方法 | |
JPH07222754A (ja) | 手術顕微鏡 | |
JPH07328971A (ja) | Tvカメラ付マニピュレータ | |
EP3595287A1 (en) | Capturing video content with at least two cameras of a multi-camera rig | |
CN116449642B (zh) | 沉浸式光场智能感算系统、方法与装置 | |
WO2024230451A1 (zh) | 设备的标定方法、装置、系统和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 10 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |