[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6176114B2 - 投影像自動補正システム、投影像自動補正方法およびプログラム - Google Patents

投影像自動補正システム、投影像自動補正方法およびプログラム Download PDF

Info

Publication number
JP6176114B2
JP6176114B2 JP2013533499A JP2013533499A JP6176114B2 JP 6176114 B2 JP6176114 B2 JP 6176114B2 JP 2013533499 A JP2013533499 A JP 2013533499A JP 2013533499 A JP2013533499 A JP 2013533499A JP 6176114 B2 JP6176114 B2 JP 6176114B2
Authority
JP
Japan
Prior art keywords
projector
image
screen
camera
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013533499A
Other languages
English (en)
Other versions
JPWO2013038656A1 (ja
Inventor
剛志 柴田
剛志 柴田
彰彦 池谷
彰彦 池谷
仙田 修司
修司 仙田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2013038656A1 publication Critical patent/JPWO2013038656A1/ja
Application granted granted Critical
Publication of JP6176114B2 publication Critical patent/JP6176114B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3197Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using light modulating optical valves
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0693Calibration of display systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、投影像自動補正システム、投影像自動補正方法およびプログラムに関する。
プロジェクタなどの投射型表示装置では、PCなどからプロジェクタへ出力された画像(以下、プロジェクタ画像)をスクリーンなどに投影する。このとき、プロジェクタがスクリーンに対して斜めに配置されており、プロジェクタに搭載されているレンズの光軸(以下、プロジェクタの光軸)とスクリーン平面の法線ベクトルが平行でない場合、スクリーン上に投射された投影画像(以下、スクリーン投影画像)は、スクリーンに正対した方向から見て台形に歪んだ形状となる。より快適に、スクリーン投影画像を視聴するためには、スクリーン投影画像の歪みを補正する必要がある。
特開2010−128102号公報
上述のような歪みを補正する方法のひとつとして、スクリーン投影画像をカメラで撮影して得られた画像(以下、撮影画像)とプロジェクタ画像から、スクリーンとプロジェクタの位置関係(より具体的には、プロジェクタの光軸とスクリーン平面の傾き、及び、プロジェクタ・スクリーン間の距離)を算出し、スクリーン投影画像のひずみを補正する方法がある。
この方法の原理について、図を用いてより詳しく説明する。まず、プロジェクタ画像と撮影画像及びスクリーン投影画像の関係を、図9を用いて説明する。
図9では、プロジェクタ905を用いてプロジェクタ画像900をスクリーン906に投影した画像が、スクリーン投影画像903である。さらに、スクリーン906に投影した画像をカメラ907で撮影し得られた画像が、撮影画像901である。撮影画像901及びスクリーン投影画像903では、像が902及び904に示すように歪んでいる。この撮影画像901、スクリーン投影画像903の投影像の歪みの形状(すなわち、プロジェクタ画像900から撮影画像901への画像変換或いはスクリーン投影画像903への画像変換)は、カメラ・スクリーン・プロジェクタの幾何学的配置が決定すれば一意的に定まる。
一方、一般的にカメラ内蔵プロジェクタの場合には、カメラ・プロジェクタ間の幾何学的配置は固定され、予め定まっている。したがって、撮影画像とプロジェクタ画像から、プロジェクタ・スクリーン間の幾何学的配置を得ることができれば、プロジェクタ画像からスクリーン投影画像への画像変換が定まるため、歪みが補正されたスクリーン投影画像に対応するプロジェクタ画像を求めることができる。以上が、カメラを用いてスクリーン投影画像の歪みを補正する方法の原理である。
このような原理にもとづき、投影像の歪みを補正する方法が、例えば、特許文献1に開示されている。特許文献1に開示の技術では、まず、プロジェクタ画像2201に対し、所定形状の校正用パターン(2202及び2203)を重畳したスクリーン投影画像(2204及び2205)を複数撮影する。これら複数の撮影画像(2206及び2207)の差分を算出し、スクリーンとプロジェクタの位置関係を算出する測定用画像2208を生成する。測定用画像から、三角測量の原理に基づき、スクリーンの3次元座標を計測する。最後に、計測結果より、スクリーンとプロジェクタの位置関係を算出し、スクリーン投影画像の歪み補正を行う方法が開示されている。なお、図22は、特許文献1から引用した。
しかしながら、特許文献1に記載された方法には、2つの問題点がある。
第1の問題点は、スクリーン投影画像内の画像の解り易さ、すなわちスクリーン投影画像の視認性が低下するということである。
その理由は、利用者が本来投影しようと意図していたプロジェクタ画像上に校正用パターンが重畳された画像をスクリーンに投影するため、スクリーン投影画像内のコンテンツの一部が隠されるためである。
第2の問題点は、利用が静止した画像に限定されていることである。
その理由は、スクリーン・カメラ間の位置関係を算出するために必要な測定用画像の生成には、同一のプロジェクタ画像に対して、異なる2枚の校正用パターンを重畳したスクリーン投影画像をカメラで撮影することが必要である。このため、補正処理の間はプロジェクタ画像が変化しないことが前提となっているためである。
本発明の目的は、スクリーン投影画像内に視認性を低下させるような校正用パターンを重畳せず、かつ静止した画像以外の画像においてもスクリーン投影画像の歪み補正が可能な投影像自動補正システムを提供することにある。
本発明によれば、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段と、を有し、前記プロジェクタ平面パラメタ推定手段は、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システムが提供される。
また、本発明によれば、コンピュータを、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段、として機能させ、前記プロジェクタ平面パラメタ推定手段は、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラムが提供される。
また、本発明によれば、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定ステップ、をコンピュータが実行し、前記コンピュータは、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、前記プロジェクタ平面パラメタ推定ステップでは、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法が提供される。
本発明によれば、スクリーン投影画像内に視認性を低下させるような校正用パターンを重畳せず、かつ静止した画像以外の画像においてもスクリーン投影画像の歪み補正が可能な投影像自動補正システムが実現される。
上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
第1の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第1の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 第2の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第2の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 第3の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第3の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 第4の実施形態の投影像自動補正システムの機能ブロック図の一例である。 第4の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 本発明の構成を説明するための概念図である。 特許文献1に記載されている図である。
以下、本発明の実施の形態について図面を用いて説明する。
なお、本実施形態の装置は、任意のコンピュータのCPU、メモリ、メモリにロードされたプログラム(あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、CD等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む)、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
また、本実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は1つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。
<第1の実施形態>
図1を参照すると、本発明の第1の実施の形態の投影像自動補正システム1は、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)100と、画像投影部110と、撮影画像入力部120と、プロジェクタ画像入力部130と、画像出力部140とから構成されている。コンピュータ(中央処理装置;プロセッサ;データ処理装置)100は、投影像枠検出部101と、プロジェクタ平面パラメタ推定部102と、投影パターン生成部103とを含む。これらの各部はそれぞれ概略つぎのように動作する。
画像投影部110は、後述する画像出力部140から出力された画像をスクリーンに投影する。出力された画像をスクリーンに投影する方法としては、例えばプロジェクタなどの投射型表示装置を用いる。
撮影画像入力部120には、画像投影部110によりスクリーン上に投影されたスクリーン投影画像をカメラなどによって撮影した画像(以下、撮影画像)が入力される。そして、撮影画像入力部120は、入力された撮影画像をメモリ(図示せず)に記憶する。なお、図示しないが、投影像自動補正システム1は、スクリーン投影画像を撮像するためのカメラを備えており、当該カメラと、上記画像投影部110が備えるプロジェクタとの相対的な位置関係は固定されていてもよい。すなわち、カメラとプロジェクタの光軸の傾き及び光学中心間の距離は固定されており、投影像自動補正システムはこれらの値を予め保持しておいてもよい。
プロジェクタ画像入力部130には、利用者が本来スクリーンに投影しようと意図した画像(プロジェクタ画像)が入力される。例えば、投影像自動補正システム1は有線及び/又は無線で他の機器と通信可能に構成されており、プロジェクタ画像入力手段130には、例えばPCや、携帯端末などの他の機器から、プロジェクタ画像が入力される。そして、プロジェクタ画像入力部130は、入力されたプロジェクタ画像をメモリ(図示せず)に記憶する。
画像出力部140は、プロジェクタ画像入力部130に入力されたプロジェクタ画像あるいは、後述する投影パターン生成部103にて生成された「スクリーン投影画像が歪まないように補正されたプロジェクタ画像」を、画像投影部110に出力する。
投影像枠検出部101は、撮影画像入力部120に入力された撮影画像から、スクリーン投影画像の枠を構成する直線を検出する。例えば、投影像枠検出部101は、撮影画像に含まれるスクリーン投影画像から複数の直線を検出し、検出した直線群の中から、直線の信頼度、直線の傾き及び位置の中の少なくとも1つに基づいて、スクリーン投影画像の枠を構成する直線を検出してもよい。以下、スクリーン投影画像の枠を構成する直線として検出された直線を「検出直線」という。
例えば、投影像枠検出部101は、図10に示すように、まず撮影画像中に存在する直線群を検出し(図10中の1000の状態)、次に検出した直線の信頼度、直線の傾き及び位置に基づき撮影画像中のスクリーン投影画像の枠を構成する4本の直線を選択し(図10中の1001の状態)、その4本の直線各々の位置を、検出直線の位置としてメモリ(図示せず)に記憶する。以下、各処理の詳細の一例について説明する。
最初の処理となる撮影画像中に存在する直線を検出する方法としては、例えば、ハフ変換による直線検出法を用いることができる。なお、ハフ変換による直線検出法とは、まず初めに画像でエッジセグメントが存在する画素を判定し、次に撮影画像上での2次元座標を定義したとき、全ての傾きθ及び原点からの距離ρで表される直線について、それぞれの直線上に存在するエッジセグメントの画素数をそれぞれ投票し、最後に投票数が一定以上である直線のみを画像中に存在する直線として検出するという方法である。以下では、ハフ変換により検出された直線群のそれぞれの直線を添え字iで区別し、各直線の投票数、傾き、距離をそれぞれV、θ、ρで表す。
図10中の1000を例にとって説明すると、点線1002や点線1003がハフ変換により検出された直線である。なお、以上では、全ての傾きθ及び距離ρで表される直線を検出の対象とする場合について述べたが、図11に示すような撮影画像中の予め定められた領域(図11中の斜線部1101)に存在する直線のみ投票を行い、直線の検出をしてもよい。さらに、同時に、この予め定められた領域に存在するエッジセグメントの画素数のみを投票してもよい。このように予め定められた領域でのみ直線検出を行うことで、スクリーン投影画像の枠を構成しない直線の検出を抑えることができる。
次に、得られた直線群からスクリーン投影画像の枠を構成する4本の直線を選択する。以下では、図10における枠上部の直線1004を選択する場合について述べる。投影像枠検出部101は、投票数V、傾きθ、距離ρを引数とする信頼度L(V、θ、ρ)を全ての検出した直線について算出し、信頼度が最も大きい直線を枠上部の直線として選択する。信頼度Lは、傾きθ及び距離ρが、予め定められた直線の傾きθ0及び距離ρ0に最も近く、さらに投票数Vが最も多い直線ほど大きな値をとることを特徴とする関数である。例えば、信頼度L(V、θ、ρ)としては、以下のようなものを用いればよい。
Figure 0006176114
同様の処理を枠下部、枠右部、枠左部についても行い、4本の直線を検出する。最後に、投影像枠検出部101は、検出された4本の直線からなる枠の位置をメモリ(図示せず)に記憶する。一方で、投影像枠検出部101は、撮影画像中から3本以上の直線が検出されなかった場合には、枠検出失敗フラグをメモリ(図示せず)に記憶する。
図1に戻り、プロジェクタ平面パラメタ推定部102は、プロジェクタとスクリーンの関係、具体的には、スクリーンとプロジェクタ間の距離、及び/又は、プロジェクタの光軸に対するスクリーンの傾きを推定する。プロジェクタ平面パラメタ推定部102は、さらに、プロジェクタのズーム倍率をも推定することができる。
例えば、プロジェクタ平面パラメタ推定部102は、まず、スクリーン投影画像の原画であるプロジェクタ画像及び撮影画像各々に座標軸を定め、次いで、撮影画像の座標における検出直線の座標データ、及び、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データを取得する。そして、プロジェクタ平面パラメタ推定部102は、上記座標データと、予め定められたカメラの焦点距離やCCDの画素の縦横比などを表すカメラの内部パラメタ、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を用いて、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を推定することができる。
より詳細には、プロジェクタ平面パラメタ推定部102は、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を用いて、撮影画像の座標上の点をプロジェクタ画像の座標上の点に変換する変換ルールを保持しておく。そして、固定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、及び、カメラの内部パラメタ各々の値と、不定値であるスクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率各々の値とを用いて、撮影画像の座標における検出直線の座標データをプロジェクタ画像の座標における座標データに変換し、変換後の座標データと、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データとが近似するように複数の不定値の値を推定する。
または、プロジェクタ平面パラメタ推定部102は、上記変換ルールを保持しておき、固定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、及び、カメラの内部パラメタ各々の値と、不定値であるスクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率各々の値とを用いて、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データを撮影画像の座標における座標データに変換し、変換後の座標データと、撮影画像の座標における検出直線の座標データとが近似するように複数の不定値の値を推定してもよい。
これらの処理の詳細を述べる。まず、プロジェクタ平面パラメタ推定部102は、3つの座標系、プロジェクタ座標系、カメラ座標系、スクリーン座標系を定義する。図12に示すように、プロジェクタの光学中心を原点とし、光軸がZ軸と一致している座標系をプロジェクタ座標とし、各座標はX=(X、Y、Z)と表す。同様にカメラの光学中心を原点とし、光軸がZ軸と一致している座標をカメラ座標系とし、各座標はX'=(X',Y'、Z')と表す。このとき、プロジェクタ座標とカメラ座標との間の座標変化を以下で表せる。
Figure 0006176114
ここで、Rは回転行列でありプロジェクタとカメラとの間のXYZ軸における回転角を用いてオイラー表現を用いて定義される。Xは並進ベクトルである。R及びXは、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離から算出することができる。また、スクリーンLの平面上の互いに直交する2つの単位ベクトルe、eを、スクリーン平面の法線ベクトルに垂直なベクトルとして定義する。そして、x、y軸がそれぞれe、eに平行な座標系を、スクリーン座標系として定義する。なお、スクリーン投影画像はスクリーン座標系上に存在することに注意する。
さらに、図13に示すように、プロジェクタ座標X=(X,Y、Z)とプロジェクタ座標の同次座標x=(x,y、1)との関係を以下のように定義する。
Figure 0006176114
また、図14に示すように、同次座標xとプロジェクタ画像の座標u=(u、v、1)との関係を以下で定義する。
Figure 0006176114
ここでAは同次座標xとプロジェクタ画像の座標uの変換を表す行列(プロジェクタの擬似的な内部行列)であり、プロジェクタのズームfを用いて以下のように表わされる。
Figure 0006176114
同様に、カメラ座標の同次座標x=(x,y、1)と撮影画像の座標u=(u,v、1)及びカメラ座標との関係を、以下のように定義する。
Figure 0006176114
Figure 0006176114
ただし、Aは同次座標と撮影画像の座標の変換を表す行列であり、カメラ内部パラメタと呼ばれ、焦点距離やCCDの画素の縦横比などを表す量である。カメラ内部パラメタは、予め以下のような行列によって与えられている。
Figure 0006176114
また、スクリーン平面Lを、プロジェクタ座標を用いて以下のように表す。
Figure 0006176114
ここで、p、q、rは平面を特徴付けるパラメタであり、スクリーン・プロジェクタ間の距離、スクリーン平面の傾きにより表される。このとき、図12に示すように、プロジェクタ画像の座標における点xが平面Lに投影され、これが撮影画像の座標における点xとして撮像される。このとき、xとxの関係は以下で表される。
Figure 0006176114
ただし、Tは3×3の行列で、回転R、並進X、平面パラメタp、q、rを用いて以下で表される。なお、∝は、右辺と左辺のベクトルが比例の関係であることを示している(以下同様)。
Figure 0006176114
[数4]、[数7]、[数10]より、プロジェクタ画像における点up(プロジェクタ画像の座標上の点)と、撮影画像上の点u(撮影画像の座標上の点)は、以下の式を満たす。
Figure 0006176114
[数12]によれば、撮影画像上の点uからプロジェクタ画像上の点upへの変換(及びその逆の変換)は、カメラの内部パラメタA、ズームf、回転R、並進Xを用いて記述できることを示している。なお、本実施の形態では、内部パラメタA、回転R、並進Xの値は予め与えられており、未知変数は平面パラメタp、q、r及びズームfのみである。プロジェクタ平面パラメタ推定部102は、投影像枠検出部101にて検出された検出直線上の点のいくつか、例えば全ての点が[数12]の関係式を満たすように、平面パラメタp、q、r、及び、プロジェクタのズームfを決定する。
具体的には、プロジェクタ平面パラメタ推定部102は、まず、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線からサンプリングされたN個の座標データ{upk}=(up1、up2、・・・、upN)を、[数12]を用いて撮影画像の座標における座標データに変換する。N個の座標データは、例えば、枠の頂点(2つの直線の交点)や、4つの直線各々の中点などとすることができる。そして、プロジェクタ平面パラメタ推定部102は、変換後のN個の座標データと、撮影画像の座標における4本の検出直線の対応するN個の座標データ(2つの直線の交点、4つの直線各々の中点など)とが近似するように、平面パラメタp、q、r、プロジェクタのズームfを決定する。例えば、プロジェクタ平面パラメタ推定部102は、[数13]に示す誤差関数Eが最小になるように平面パラメタp、q、r、プロジェクタのズームfを決定してもよいし、または、誤差関数Eが所定値Eより小さくなるようにこれらを決定してもよい。所定値Eは、例えば、M個の座標データがある場合には、E=ε/Mとしてもよい。なお、εは1にくらべ充分に小さい正の実数であり、予め利用者が定めることができる設計的事項である。
Figure 0006176114
ただし、F(・)は3行1列のベクトルを引数とし、引数ベクトルの第3成分の要素で全ての成分を除した値を要素とするベクトルを出力する関数である。例えば、X=(X,Y,Z)を引数とした場合、F(X)=(X/Z,Y/Z,1)となる。
なお、上記に準じて、検出直線からサンプリングされた座標データをプロジェクタ画像の座標に変換し、上記処理を行ってもよい。
さらに、プロジェクタ平面パラメタ推定部102は、平面パラメタp、q、r、及びズームfをメモリ(図示せず)に記憶する。一方、投影像枠検出部101にて枠検出失敗フラグが出力された場合には、平面パラメタ推定は行わず、平面パラメタ推定失敗フラグを生成しメモリ(図示せず)に記憶する。
投影パターン生成部103は、プロジェクタ平面パラメタ推定部102が推定したスクリーンとプロジェクタ間の距離、及び、プロジェクタの光軸に対するスクリーンの傾きを用いて、仮想的なスクリーンの座標軸を定める。そして、投影パターン生成部103は、プロジェクタ平面パラメタ推定部102が推定したプロジェクタのズーム倍率をさらに用いて、プロジェクタ画像上の任意の複数の点の仮想的なスクリーン上での投影位置を算出する。その後、投影パターン生成部103は、当該結果を利用して、スクリーン投影画像が歪まないように補正されたプロジェクタ画像を生成する。以下、より具体的に説明する。
まず、図15に示すように、投影パターン生成部103は、スクリーン平面パラメタ推定部102にて推定された平面の傾き(法線ベクトルn:プロジェクタの光軸に対するスクリーンの傾き)から、スクリーンに接する互いに直交する2つの単位ベクトルe、eを法線ベクトルに垂直なベクトルとして決定する。この時、スクリーン座標系の定義より、スクリーン座標系におけるx、y軸(仮想的なスクリーンの座標軸)がそれぞれe、eとなる。
次に、スクリーン平面パラメタ推定部102は、図16に示すように、プロジェクタ画像の任意の複数の点、例えばコーナー4点に対応するスクリーン投影画像上の点を推定する。具体的には、スクリーン平面パラメタ推定部102は、プロジェクタ画像の座標におけるプロジェクタ画像の座標データを、上記仮想的なスクリーンの座標における座標データに変換する変換ルールを保持しておく。そして、スクリーン平面パラメタ推定部102は、当該変換ルールを用いて、プロジェクタ画像の座標におけるプロジェクタ画像の任意の複数の点(例:コーナー4点)を、仮想的なスクリーンの座標における座標データに変換する。そして、スクリーン平面パラメタ推定部102は、当該変換後の座標データを、プロジェクタ画像の任意の複数の点に対応するスクリーン投影画像上の点と推定する。
変換ルールの内容としては、例えば、図16に示すように、スクリーンの光学中心と、プロジェクタ画像の任意の点(例:プロジェクタ画像の枠の4つの頂点の1つ)とを結ぶ直線の式を算出し、当該直線と、仮想的なスクリーンの座標系におけるx−y平面との交点を算出するものであってもよい。例えば、図16では、プロジェクタ画像1601がスクリーン1602に投影され、スクリーン投影画像1603となるとき、プロジェクタ画像の枠の4つの頂点1604に対応するスクリーン投影画像上の点1605の座標値を、スクリーン座標系にて算出する。
次に、投影パターン生成部103が、スクリーン投影画像が歪まないようにプロジェクタ画像を補正する構成について説明する。
まず、投影パターン生成部103は、プロジェクタ画像の座標におけるプロジェクタ画像の任意の複数の座標点(例:プロジェクタ画像の枠の4つの頂点)を結んで構成される形状(例:プロジェクタ画像の枠の4つの頂点を結んで構成される四角形)と、当該複数の座標点を仮想的なスクリーンの座標系に変換した複数の座標点を結んで構成される形状とを比較し、これらの形状が略同一になるように、仮想的なスクリーンの座標系における複数の座標点を補正する。例えば、上述のようにプロジェクタ画像の枠の4つの頂点の座標点を変換した場合、投影パターン生成部103は、変換後の4つの座標点を結んで形成される四角形の4つの角が直角になり、かつ、アスペクト比がプロジェクタ画像の枠のものと等しくなるように、補正する。
ここで、図17を用いて一例を説明する。図17には、プロジェクタ画像の枠の4つの頂点を仮想的なスクリーンの座標系に変換した点を結んで形成される四角形(補正前のスクリーン投影画像1701)が記載されている。投影パターン生成部103は、補正前のスクリーン投影画像1701を、四角形の角が直角になり、かつ、アスペクト比がプロジェクタ画像の枠のものと等しくなるように、補正前のスクリーン投影画像1701の4つの頂点(1703等)の座標データを補正し、補正後のスクリーン投影画像1704を得る。
その後、投影パターン生成部103は、図18に示すように、補正後のスクリーン投影画像1704の4つの頂点(1801等)の座標データを、プロジェクタ画像の座標における座標データに変換する。例えば、補正後のスクリーン投影画像1704の4つの頂点(1801等)各々とプロジェクタの光学中心を結ぶ4つの直線の式を算出し、当該直線とプロジェクタ画像の座標におけるx−y平面との交点を算出することで、補正後のスクリーン投影画像1704の4つの頂点(例えば図18中の1801)に対応するプロジェクタ画像の座標における座標データ(例えば図18中の1802)を算出する。
その後、投影パターン生成部103は、図19に示すように、補正前のプロジェクタ画像(図19中の1901)の4つの頂点が補正後のプロジェクタ画像の4つの頂点に変換されるような変換(ホモグラフィ)を算出し、算出された変換にてプロジェクタ画像全体を変換することで、歪み補正されたプロジェクタ画像(図19中の1902)を生成する。投影パターン生成部103は、生成した補正画像をメモリ(図示せず)に記憶する。一方、プロジェクタ平面パラメタ推定部にて、平面パラメタ推定失敗フラグが出力された場合には、補正は行わず、プロジェクタ画像をそのままメモリ(図示せず)に記憶する。
次に、図2のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、撮影画像入力部120にて撮影画像を入力する(S201)。次に、プロジェクタ画像入力部130にて、プロジェクタ画像を入力する(S202)。さらに、投影像枠検出部101にて、スクリーン投影画像の枠を検出する(S203)。次に、プロジェクタ平面パラメタ推定部102にて、プロジェクタの平面を推定する(S204)。さらに、投影パターン生成部103にて、補正された投影パターンを生成する(S205)。次に、画像出力部140にて、補正された投影パターンを画像出力部110へ出力する(S206)。最後に、画像投影部110にて、補正された投影パターンを投影する(S207)。
本実施形態の投影像自動補正システム1は、例えば、以下のプログラムをコンピュータにインストールすることで実現することができる。
コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段、
として機能させるためのプログラム。
次に、本実施の形態の効果について説明する。撮影画像中のスクリーン投影画像の枠を構成する直線を検出し、検出した枠を構成する直線の位置からスクリーン・プロジェクタの間の距離及びスクリーン平面の傾きを算出し、さらに算出したスクリーン・プロジェクタの間の距離およびスクリーン平面の傾きから、角度及びアスペクト比が補正されたスクリーン投影画像を生成するよう動作する。このような構成を採用することで、撮影画像中のスクリーン投影画像の枠を構成する直線を用いてスクリーン投影画像の補正を行うため、スクリーン投影画像内部に校正用パターンを重畳する必要がなく、ゆえに視認性を低下させることなくスクリーン投影画像の歪みを補正できる。また、本実施の形態では、さらに、撮影画像中のスクリーン投影画像の枠を構成する直線からスクリーン投影画像を補正し、ゆえにスクリーン投影画像内のパターンによらずスクリーン投影画像の補正が可能であるため、静止した画像以外の画像においてもスクリーン投影画像の歪みを補正できる。
<第2の実施形態>
図3を参照すると、本発明の第2の実施の形態の投影像自動補正システム1aは、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)100aと、画像投影部110と、撮影画像入力部120と、プロジェクタ画像入力部130と、画像出力部140とから構成されている。コンピュータ(中央処理装置;プロセッサ;データ処理装置)100aは、投影像枠検出部101aと、プロジェクタ平面パラメタ推定部102と、平面パラメタ検証部304と、投影パターン103aとを含む。
これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部110、撮影画像入力部120、プロジェクタ画像入力部130、画像出力部140、プロジェクタ平面パラメタ推定部102、投影パターン生成部103aは、第1の実施の形態と同様であるため、説明を省略する。
投影像枠部101aは、後述する平面パラメタ検証部304にて投影像枠再検出フラグが生成されていない場合には、第1の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。一方、投影像枠再検出フラグが生成されている場合には、これまで検出された検出直線を除外して、再度、第1の実施の形態と同様の方法にて枠の検出を行う。
平面パラメタ検証部304は、プロジェクタ平面パラメタ推定部102にて推定された平面パラメタp、q、r、及び、ズームfの正誤を判定する。具体的には、平面パラメタ検証部304は、予め、平面パラメタp、q、r、及び、ズームfの数値範囲を定めたデータを保持しておき、プロジェクタ平面パラメタ推定部102にて推定された値が、当該数値範囲内に含まれるか否かを判定する。そして、これらの全て平面パラメタ及びズームが予め指定された値の範囲内である場合には正しいと判定し、範囲外である場合には誤りと判定する。
推定された平面パラメタp、q、r、及び、ズームfが正しいと判定された場合には、推定された値をメモリ(図示せず)に記録する。一方、推定された値が誤りであると判定された場合には、投影像枠再検出フラグを生成し、これをメモリ(図示せず)に記録する。なお、本実施の形態では、投影像枠検出部101aにおける枠検出と、平面パラメタ検証部304における推定パラメタの検証を、推定パラメタが正しいと判定されるまで繰り返し行ってもよいし、一定回数で打ち切っても良い。一定回数で打ち切る場合には、平面パラメタ検証部304は、平面パラメタ推定は行わず、平面パラメタ推定失敗フラグを生成しメモリ(図示せず)に記憶する。
投影パターン生成部103aは、平面パラメタ検証部304にて、平面パラメタ推定失敗フラグが出力されていない場合には、第1の実施の形態と同様にして、スクリーン投影画像が歪まないように補正したプロジェクタ画像を生成し、メモリ(図示せず)に記憶する。一方、平面パラメタ検証部304にて平面パラメタ推定失敗フラグを出力された場合には、歪み補正していないプロジェクタ画像を、メモリ(図示せず)に記憶する。
次に、図4のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、撮影画像入力部120にて撮影画像を入力する(S401)。次に、プロジェクタ画像入力部130にて、プロジェクタ画像を入力する(S402)。さらに、投影像枠検出部101aにて、スクリーン投影画像の枠を検出する(S403)。次に、プロジェクタ平面パラメタ推定部102にて、プロジェクタの平面を推定する(S404)。さらに、平面パラメタ検証部304にて、平面パラメタの正誤を判定する(S405)。平面パラメタの値が正である場合(或いは、投影像枠検出部101aにて一定回数以上の試行を行った場合)には、投影像パターン生成部103aにて、補正された投影パターンを生成する(S407)。それ以外の場合には再び、映像枠検出部101aにてスクリーン投影画像の枠を検出する(S406)。次に、画像出力部140にて、補正された投影パターンを画像出力部110へ出力する(S408)。最後に、画像投影部110にて、補正された投影パターンを投影する(S409)。
本実施形態では、平面パラメタ検証部304にて、プロジェクタ平面パラメタ推定部102にて算出された平面パラメタp、q、r、及び、ズームfの正誤を判定し、これらの平面パラメタ及びズームが正と判定された場合のみ投影パターン生成部103aにて、スクリーン投影画像の歪みの補正を行う。したがって、第1の実施形態に比べ、投影像が誤った形に補正されることを防ぐことができる。
<第3の実施形態>
図5を参照すると、本発明の第3の実施の形態の投影像自動補正システム1bは、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)100bと、画像投影部110と、撮影画像入力部120と、プロジェクタ画像入力部130と、画像出力部140とから構成されている。コンピュータ(中央処理装置;プロセッサ;データ処理装置)100bは、投影像枠検出部101bと、プロジェクタ平面パラメタ推定部102と、画像合成部501と、投影パターン103とを含む。
これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部110、撮影画像入力部120、プロジェクタ画像入力部130、プロジェクタ平面パラメタ推定部102、投影パターン生成部103、画像出力部140は、第1の実施の形態と同様であるため、説明を省略する。
画像合成部501は、後述する投影像枠検出部101bがスクリーン投影画像の枠の検出に失敗し、初期投影像枠検出失敗フラグが生成されている場合、投影像枠検出部101bにてより正確に枠を検出可能にするために、プロジェクタ画像に枠の画像を合成した画像(以下、合成画像)を生成し、メモリ(図示せず)に記録する。合成画像は、プロジェクタ画像の外枠から内部への数画素を一定の色(例えば、白或いは黒)で塗りつぶした画像を用いる。画像合成部501はこのような画像を、1枚生成してもいいし、或いは複数枚生成しても良い。以下では、図20に示すように合成画像として、プロジェクタ画像の外枠から内部への数画素を白色(図20中の2001)及び黒色(図20中の2002)で塗りつぶした画像を生成した例について述べる。なお、一定色強調された領域は、プロジェクタ画像の端の領域であり、この領域にコンテンツが含まれていることは少ない。従って、この領域を、一定色で塗りつぶしたプロジェクタ画像を投影しても、視聴者の視認性は損なわれない。
投影像枠検出部101bは、画像合成部501にて合成画像が生成されていない場合には、第1の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。スクリーン投影画像の枠の検出に成功した場合には、検出した枠の位置をメモリ(図示せず)に記録する。
一方、スクリーン投影画像の枠の検出に失敗した場合には、初期投影像枠検出失敗フラグを生成し、メモリ(図示せず)に記録する。そして、画像合成部501にて合成画像を生成し、さらに、以下のような手順で、枠の検出を行う。まず、画像出力部140が合成画像2001を画像投影部110に出力し、さらに画像投影部110は合成画像2001をスクリーンに投影する。これを撮影し得られた画像(図21中の2101)を用いて、第1の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ(図示せず)に記録する。
一方、検出に失敗した場合には、投影像枠検出部101bは、枠が合成されていないプロジェクタ画像の撮影画像と撮影画像2101の差分画像(以下、差分画像(白)と呼ぶ)を生成し、差分画像(白)に対し、第1の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ(図示せず)に記録する。
一方、検出に失敗した場合には、画像出力部140は合成画像2002を画像投影部110に出力し、さらに画像投影部110は合成画像2002をスクリーンに投影する。これを撮影し得られた画像(図21中の2102)を用いて、撮影画像2101及び撮影画像2102との差分画像(以下、差分画像(白黒))を生成する。さらに差分画像(白黒)に対し、第1の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ(図示せず)に記録する。一方、検出に失敗した場合には、投影像枠失敗フラグを生成し、これをメモリ(図示せず)に記録する。
次に、図6のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。
まず、撮影画像入力部120にて撮影画像を入力する(S601)。次に、プロジェクタ画像入力部130にて、プロジェクタ画像を入力する(S602)。さらに、投影像枠検出部101bにて、スクリーン投影画像の枠を検出する(S603)。スクリーン投影画像の枠の検出に成功した場合には、後述するS607に進み、一方、枠の検出に失敗した場合には、画像合成部501にて、合成画像を生成する(S605)。次に、投影像枠検出部101bにて、再びスクリーン投影画像の枠を検出する(S606)。さらに、プロジェクタ平面パラメタ推定部102にて、プロジェクタの平面を推定する(S607)。さらに、投影パターン生成部103にて、補正された投影パターンを生成する(S608)。次に、画像出力部140にて、補正された投影パターンを画像出力部110へ出力する(S609)。最後に、画像投影部110にて、補正された投影パターンを投影する(S409)。
本実施形態では、画像合成部501にて、プロジェクタ画像の枠領域が強調された合成画像を生成し、合成画像を画像投影部110にて、スクリーン上へ投影する。さらに、投影像枠検出部101bは、枠領域が強調されたスクリーン投影画像をカメラで撮影し得られた撮影画像から、スクリーン投影画像の枠を検出することで第1の実施の形態に比べ、視認性を損なうことなく、よりロバストに枠を検出できる。本実施の形態では、ロバストにスクリーン投影画像の枠を検出することが可能であるため、第1の実施の形態に比べ、よりロバストにスクリーン投影画像の歪み補正を行うことができる。
<第4の実施形態>
図7を参照すると、本発明の第4の実施の形態の投影像自動補正システム1cは、プログラム制御により動作するコンピュータ(中央処理装置;プロセッサ;データ処理装置)100cと、画像投影部110と、撮影画像入力部120と、プロジェクタ画像入力部130と、画像出力部140とを含む。コンピュータ(中央処理装置;プロセッサ;データ処理装置)100cは、投影像枠検出部101cと、プロジェクタ平面パラメタ推定部102と、投影パターン生成部103と、投影像枠記憶部701と、カメラパラメタ推定部702とを含む。
これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部110、撮影画像入力部120、プロジェクタ画像入力部130、投影像枠検出部101と、投影パターン生成部103、画像出力部140は、第1の実施の形態と同様であるため、説明を省略する。
投影像枠記憶部701は、過去に投影像枠検出部101にて検出された投影像の枠の位置(撮影画像の座標における検出直線の座標データ)を記憶する。この時、投影像枠記憶部701は、過去に検出された全ての投影像の枠の位置を記憶してもよいし、その一部を記憶してもよい。例えば、投影像枠記憶部701は、投影像枠検出部101にて検出された枠の位置が、投影像枠記憶部701に記憶されているどの枠の位置とも大きく異なっている場合のみ、その値を記憶してもよい。また、過去に投影像枠記憶部701にて記憶した枠の位置のうち、ある一定時間以上経過した枠の位置については、その値を記憶から削除してもよい。以下では、記憶された投影像の枠の位置はM種類であるとし、添え字mで区別する。例えば、M種類のスクリーン投影像から検出された各枠からサンプリングされたN個の点群とプロジェクタ画像のそれらに対応する点群は、それぞれ{ucmk}=(ucm1、ucm2、・・・、ucmN)、{upmk}=(upm1、up2、・・・、upmN)と表す。
カメラパラメタ推定部702は、投影像枠記憶部701に記憶された複数の投影像における枠の位置(撮影画像の座標における検出直線の座標データ)から、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を推定する。以下で、より詳細に説明する。
一般的に、投影像枠記憶部701に記憶された枠の位置は、異なるズーム及び異なるスクリーン・プロジェクタの位置関係での投影像から検出されたものである。以下では、これらを区別するために、記憶されたM種類の各枠に対応する平面パラメタをそれぞれp、q、r(m=1・・・M)とし、それぞれのズームをf(m=1・・・M)と表す。この時、[数11]と同様に、下記で定義される行列T及びApmを用いて、プロジェクタ画像における点upmk(プロジェクタ画像の座標上の点)と、撮影画像における点ucmk(撮影画像の座標上の点)の関係は以下のように表せる。
Figure 0006176114
Figure 0006176114
Figure 0006176114
[数16]は、撮影画像における点ucmkからプロジェクタ画像における点upmkへの変換はカメラの内部パラメタA、平面パラメタp、q、r、ズームf、回転R、並進Xを用いて記述できることを示している。カメラパラメタ推定部702では、内部パラメタAのみが予め与えられており、平面パラメタp、q、r、ズームf、回転R、並進Xが未知変数である。カメラパラメタ推定部702は、[数17]で表される誤差関数Eを最小化させることで、回転R、並進X、平面パラメタp、q、r、プロジェクタのズームfを算出する。カメラパラメタ推定部702は、誤差関数Eが所定値(設計的事項)よりも小さくなるように、回転R、並進X、平面パラメタp、q、r、プロジェクタのズームfを算出してもよい。
Figure 0006176114
ただし、F(・)は[数13]と同様に3行1列のベクトルを引数とし、ベクトルの第3成分の要素で全ての成分を除した値を出力する関数である。
すなわち、カメラパラメタ推定部702は、第1の実施形態で説明したプロジェクタ平面パラメタ推定部102と同様にして、プロジェクタとカメラの光軸の傾き及び光学中心間の距離を推定することができる。詳細には、カメラパラメタ推定部702は、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を用いて、撮影画像の座標上の点をプロジェクタ画像の座標上の点に変換する変換ルールを保持しておく。そして、固定値であるカメラの内部パラメタの値と、不定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、各スクリーン配置におけるスクリーンとプロジェクタ間の距離、各スクリーン配置におけるプロジェクタの光軸に対するスクリーンの傾き、及び、各スクリーン配置におけるプロジェクタのズーム倍率各々の値とを用いて、各スクリーン配置における撮影画像の座標における検出直線の座標データをプロジェクタ画像の座標における座標データに変換し、変換後の座標データと、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データとが近似するように複数の不定値の値を推定する。
さらに、カメラパラメタ推定部702は、平面パラメタp、q、r、ズームf、回転R、並進Xをメモリ(図示せず)に記録する。なお、カメラパラメタ推定部702による平面パラメタp、q、r、ズームf、回転R、並進Xの推定は、歪み補正を行うときは毎回行ってもよいし、定められた規則に従った間隔ごとに行っても良い。あるいは、利用者の指示によりカメラパラメタ推定部702によるこれらの推定を行ってもよい。
プロジェクタ平面パラメタ推定部102cは、予め与えられているカメラの内部パラメタAと、カメラパラメタ推定部702にて推定されたプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離(すなわち、回転R、並進X)と、投影像枠検出部101にて検出された投影像の枠の位置から、第1の実施の形態におけるプロジェクタ平面パラメタ推定部102と同様の方法にて、平面パラメタ及びプロジェクタのズームを算出する。算出した平面パラメタ及びズームは、メモリ(図示せず)に記憶する。
次に、本実施の形態の動作について述べる。
まず、撮影画像入力部120にて撮影画像を入力する(S801)。次に、プロジェクタ画像入力部130にて、プロジェクタ画像を入力する(S802)。さらに、投影像枠検出部101にて、投影像の枠を検出する(S803)。さらに、投影像枠記憶部701にて、検出された枠を記憶する(S804)。次に、投影像枠記憶部702にて記憶された複数の枠を用いて、カメラパラメタ推定を行う場合には、後述のS806に進む。一方、カメラパラメタ推定を行わない場合には、後述のS807に進む(S805)。さらに、カメラパラメタ推定部702にて、投影像枠記憶部701に記憶された複数の枠の位置から、カメラパラメタを推定する(S806)。次に、プロジェクタ平面パラメタ推定部にて、プロジェクタの平面パラメタを推定する(S807)。さらに、投影パターン生成部103にて、補正された投影パターンを生成する(S808)。次に、画像出力部140にて、補正された投影パターンを画像出力部110へ出力する(S809)。最後に、画像投影部110にて、補正された投影パターンを投影する(S810)。
投影像枠記憶部701にて複数の異なるスクリーン位置から投影されたスクリーン投影像の枠の位置を記憶し、記憶された複数の枠の位置からプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を推定する。第4の実施の形態では、スクリーン投影像を補正する過程で、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離も推定するため、何らかの原因(製品の劣化、衝撃など)により予め定めたプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離に誤差が生じていた場合にも、その誤差を補正し、投影像の歪みを補正できる。したがって、実施の形態1に比べ、高精度に歪みが補正された投影像を生成することができる。
<<付記>>
<発明1>
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段と、
を有する投影像自動補正システム。
<発明2>
発明1の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
<発明3>
発明1の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
<発明4>
発明1から3のいずれか1の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段をさらに有する投影像自動補正システム。
<発明5>
発明1から4のいずれか1の投影像自動補正システムにおいて、
前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
<発明6>
発明5の投影像自動補正システムにおいて、
前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも1つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
<発明7>
発明1から6のいずれか1の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段にて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証手段をさらに有する投影像自動補正システム。
<発明8>
発明1から7のいずれか1の投影像自動補正システムにおいて、
プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段をさらに有し、
前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
<発明9>
発明1から8のいずれか1の投影像自動補正システムにおいて、
前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段と、
をさらに有する投影像自動補正システム。
<発明10>
コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段、
として機能させるためのプログラム。
<発明11>
発明10のプログラムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
<発明12>
発明10のプログラムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
<発明13>
発明10から12のいずれか1のプログラムにおいて、
コンピュータを、さらに、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段として機能させるためのプログラム。
<発明14>
発明10から13のいずれか1のプログラムにおいて、
前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出するプログラム。
<発明15>
発明14のプログラムにおいて、
前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも1つに基づいてスクリーン投影画像の枠を構成する直線を検出するプログラム。
<発明16>
発明10から15のいずれか1のプログラムにおいて、
コンピュータを、さらに、
前記プロジェクタ平面パラメタ推定手段にて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証手段として機能させるためのプログラム。
<発明17>
発明10から16のいずれか1のプログラムにおいて、
コンピュータを、さらに、
プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段として機能させ、
前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出するプログラム。
<発明18>
発明10から17のいずれか1のプログラムにおいて、
コンピュータを、さらに、
前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段、
として機能させるためのプログラム。
<発明19>
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定ステップ、
をコンピュータが実行する投影像自動補正方法。
<発明20>
発明19の投影像自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップでは、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを利用し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
<発明21>
発明19の投影像自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップでは、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを利用し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
<発明22>
発明19から21のいずれか1の投影自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップで推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定ステップで推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成ステップをコンピュータがさらに実行する投影像自動補正方法。
<発明23>
発明19から22のいずれか1の投影像自動補正方法において、
前記投影像枠検出ステップでは、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
<発明24>
発明23の投影像自動補正方法において、
前記投影像枠検出ステップでは、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも1つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
<発明25>
発明19から24のいずれか1の投影像自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップにて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証ステップをコンピュータがさらに実行する投影像自動補正方法。
<発明26>
発明19から25のいずれか1の投影像自動補正方法において、
プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成ステップをコンピュータがさらに実行し、
前記投影像枠検出ステップでは、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
<発明27>
発明19から26のいずれか1の投影像自動補正方法において、
前記投影像枠検ステップにて検出された枠の位置を記憶する投影像枠記憶ステップと、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶ステップで記憶した枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定ステップと、
をコンピュータがさらに実行する投影像自動補正方法。
この出願は、2011年9月15日に出願された日本特許出願特願2011−201789号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (14)

  1. プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段と、
    を有し、
    前記プロジェクタ平面パラメタ推定手段は、
    前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
    固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
  2. プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段と、
    を有し、
    前記プロジェクタ平面パラメタ推定手段は、
    前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
    固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
  3. プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段と、
    前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段と、
    を有する投影像自動補正システム。
  4. 請求項1又は2に記載の投影像自動補正システムにおいて、
    前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段をさらに有する投影像自動補正システム。
  5. 請求項1から4のいずれか1項に記載の投影像自動補正システムにおいて、
    前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
  6. 請求項5に記載の投影像自動補正システムにおいて、
    前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも1つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
  7. 請求項1から6のいずれか1項に記載の投影像自動補正システムにおいて、
    前記プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段をさらに有し、
    前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
  8. 請求項1から7のいずれか1項に記載の投影像自動補正システムにおいて、
    前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段と、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段と、
    をさらに有する投影像自動補正システム。
  9. コンピュータを、
    プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段、
    として機能させ
    前記プロジェクタ平面パラメタ推定手段は、
    前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
    固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
  10. コンピュータを、
    プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段、
    として機能させ
    前記プロジェクタ平面パラメタ推定手段は、
    前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
    固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
  11. コンピュータを、
    プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定手段、
    前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段、
    として機能させるためのプログラム。
  12. プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定ステップ、
    をコンピュータが実行し、
    前記コンピュータは、
    前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
    前記プロジェクタ平面パラメタ推定ステップでは、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
  13. プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定ステップ、
    をコンピュータが実行し、
    前記コンピュータは、
    前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
    前記プロジェクタ平面パラメタ推定ステップでは、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
  14. プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
    前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも1つを推定するプロジェクタ平面パラメタ推定ステップ、
    前記プロジェクタ平面パラメタ推定ステップで推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定ステップで推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成ステップ、
    をコンピュータが実行する投影像自動補正方法。
JP2013533499A 2011-09-15 2012-09-11 投影像自動補正システム、投影像自動補正方法およびプログラム Active JP6176114B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011201789 2011-09-15
JP2011201789 2011-09-15
PCT/JP2012/005748 WO2013038656A1 (ja) 2011-09-15 2012-09-11 投影像自動補正システム、投影像自動補正方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2013038656A1 JPWO2013038656A1 (ja) 2015-03-23
JP6176114B2 true JP6176114B2 (ja) 2017-08-09

Family

ID=47882905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013533499A Active JP6176114B2 (ja) 2011-09-15 2012-09-11 投影像自動補正システム、投影像自動補正方法およびプログラム

Country Status (3)

Country Link
US (1) US9344695B2 (ja)
JP (1) JP6176114B2 (ja)
WO (1) WO2013038656A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336878B2 (en) 2020-04-02 2022-05-17 Samsung Electronics Co., Ltd. Image projecting apparatus and controlling method thereof

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5924020B2 (ja) * 2012-02-16 2016-05-25 セイコーエプソン株式会社 プロジェクター、及び、プロジェクターの制御方法
JP2015060012A (ja) * 2013-09-17 2015-03-30 株式会社リコー 画像処理システム、画像処理装置、画像処理方法および画像処理プログラム、ならびに、表示システム
JP6289003B2 (ja) * 2013-09-26 2018-03-07 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
CN104580966A (zh) * 2013-10-22 2015-04-29 光宝科技股份有限公司 投影装置以及其投影图像处理方法
JP6032219B2 (ja) * 2014-01-24 2016-11-24 トヨタ自動車株式会社 運転支援装置
JP6609098B2 (ja) 2014-10-30 2019-11-20 キヤノン株式会社 表示制御装置、表示制御方法、及びコンピュータプログラム
JP6525612B2 (ja) * 2015-01-30 2019-06-05 キヤノン株式会社 画像投射装置
WO2017038096A1 (ja) * 2015-09-01 2017-03-09 Necプラットフォームズ株式会社 投射装置、投射方法およびプログラム記憶媒体
CN105227881B (zh) * 2015-09-15 2019-02-26 海信集团有限公司 一种投影画面校正方法及投影设备
CN105472361B (zh) * 2015-11-19 2018-03-27 广景视睿科技(深圳)有限公司 一种投影仪图像荧光处理的方法及系统
US10536677B2 (en) * 2016-03-28 2020-01-14 Sony Corporation Image processing apparatus and method
WO2017169186A1 (ja) * 2016-03-31 2017-10-05 ソニー株式会社 画像投影システムおよび補正方法
JP2018007062A (ja) * 2016-07-04 2018-01-11 キヤノン株式会社 投影装置、その制御方法、および制御プログラム、並びに投影システム
TWI586173B (zh) * 2016-07-14 2017-06-01 張修誠 投影系統及投影影像的修正方法
CN109644248B (zh) * 2016-09-01 2021-03-19 麦克赛尔株式会社 投射型影像显示装置和投射影像的调整方法
US10915998B2 (en) * 2016-12-21 2021-02-09 Huawei Technologies Co., Ltd. Image processing method and device
US11601626B2 (en) * 2017-03-09 2023-03-07 Sony Corporation Image processing apparatus and method
JPWO2018167999A1 (ja) * 2017-03-17 2020-01-16 パナソニックIpマネジメント株式会社 プロジェクタ及びプロジェクタシステム
CN106937101A (zh) * 2017-03-22 2017-07-07 成都市极米科技有限公司 投影区域校正方法及系统
JP6766720B2 (ja) * 2017-03-27 2020-10-14 カシオ計算機株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN109587459B (zh) * 2017-09-29 2021-07-06 中强光电股份有限公司 投影系统及其自动设定方法
TWI678926B (zh) * 2018-09-25 2019-12-01 華碩電腦股份有限公司 投影方法及投影系統
CN110309828B (zh) * 2019-06-27 2021-08-17 浙江工业大学 一种倾斜车牌矫正方法
US11356611B2 (en) * 2019-07-01 2022-06-07 Canon Kabushiki Kaisha Image capture apparatus and control method thereof
CN114650400A (zh) * 2020-12-18 2022-06-21 深圳光峰科技股份有限公司 投影校正方法、投影校正装置及电子设备
CN112689135B (zh) * 2021-03-19 2021-07-02 深圳市火乐科技发展有限公司 投影校正方法、装置、存储介质及电子设备
CN114640833B (zh) * 2022-03-11 2024-07-02 峰米(重庆)创新科技有限公司 投影画面调整方法、装置、电子设备和存储介质
CN115174879B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法、装置、计算机设备和存储介质
CN116708734B (zh) * 2023-08-02 2023-11-24 深圳市科迈信息技术有限公司 一种基于投影机输出图像的校准设备及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3058791B2 (ja) * 1994-01-31 2000-07-04 東芝テック株式会社 画像認識装置の図形の切出し方法
JP2001320652A (ja) 2000-05-11 2001-11-16 Nec Corp プロジェクタ装置
JP3722146B1 (ja) * 2004-06-16 2005-11-30 セイコーエプソン株式会社 プロジェクタおよび画像補正方法
JP4978152B2 (ja) * 2006-10-25 2012-07-18 セイコーエプソン株式会社 プロジェクタ、プログラムおよび情報記憶媒体
JP5266953B2 (ja) * 2008-08-19 2013-08-21 セイコーエプソン株式会社 投写型表示装置および表示方法
JP5401940B2 (ja) * 2008-11-17 2014-01-29 セイコーエプソン株式会社 投写光学系のズーム比測定方法、そのズーム比測定方法を用いた投写画像の補正方法及びその補正方法を実行するプロジェクタ
JP5493340B2 (ja) 2008-11-26 2014-05-14 セイコーエプソン株式会社 投写型表示装置および配置関係検出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11336878B2 (en) 2020-04-02 2022-05-17 Samsung Electronics Co., Ltd. Image projecting apparatus and controlling method thereof
US11716452B2 (en) 2020-04-02 2023-08-01 Samsung Electronics Co., Ltd. Image projecting apparatus and controlling method thereof

Also Published As

Publication number Publication date
US20140340529A1 (en) 2014-11-20
JPWO2013038656A1 (ja) 2015-03-23
US9344695B2 (en) 2016-05-17
WO2013038656A1 (ja) 2013-03-21

Similar Documents

Publication Publication Date Title
JP6176114B2 (ja) 投影像自動補正システム、投影像自動補正方法およびプログラム
JP6079333B2 (ja) 校正装置、方法及びプログラム
CN110099267B (zh) 梯形校正系统、方法以及投影仪
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN110191326B (zh) 一种投影系统分辨率扩展方法、装置和投影系统
JP2011253376A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20140125772A1 (en) Image processing apparatus and method, image processing system and program
JP5388921B2 (ja) 3次元距離計測装置及びその方法
JP2001320652A (ja) プロジェクタ装置
JP2011182077A (ja) 補正情報算出装置、画像処理装置、画像表示システム、および画像補正方法
JP6594170B2 (ja) 画像処理装置、画像処理方法、画像投影システムおよびプログラム
JP6592277B2 (ja) 計測装置、校正方法およびプログラム
CN114299156A (zh) 无重叠区域下多相机的标定与坐标统一方法
US10252417B2 (en) Information processing apparatus, method of controlling information processing apparatus, and storage medium
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP6582683B2 (ja) 角度算出システム、角度算出装置、プログラム、および角度算出方法
US20220405968A1 (en) Method, apparatus and system for image processing
JP5187480B2 (ja) プロジェクタ、プログラム、情報記憶媒体および画像生成方法
JP5446285B2 (ja) 画像処理装置及び画像処理方法
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
JP2018088228A (ja) 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体
JP4548228B2 (ja) 画像データ作成方法
CN111145268A (zh) 一种视频注册方法及装置
JP2000339473A (ja) 2次元動画像中の特徴点の追跡方法
JP2013210410A (ja) 検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170626

R150 Certificate of patent or registration of utility model

Ref document number: 6176114

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150