JP4860835B2 - Panorama image display method and panorama image display apparatus - Google Patents
Panorama image display method and panorama image display apparatus Download PDFInfo
- Publication number
- JP4860835B2 JP4860835B2 JP2001176066A JP2001176066A JP4860835B2 JP 4860835 B2 JP4860835 B2 JP 4860835B2 JP 2001176066 A JP2001176066 A JP 2001176066A JP 2001176066 A JP2001176066 A JP 2001176066A JP 4860835 B2 JP4860835 B2 JP 4860835B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- monitor
- vehicle
- panoramic image
- panoramic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 37
- 239000000203 mixture Substances 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 239000002131 composite material Substances 0.000 claims description 19
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 230000015572 biosynthetic process Effects 0.000 description 29
- 238000003786 synthesis reaction Methods 0.000 description 29
- 230000014509 gene expression Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、複数のカメラにより撮影された映像を合成してパノラマ画像をモニタに表示するパノラマ画像の表示方法及び表示装置に関する。
【0002】
【従来の技術】
例えば車載カメラにより撮影された映像をパノラマ画像(本明細書では、「パノラマ画像」とは主に180°前後の超広角の画角を持つ半周囲画像をいうものとする。)としてモニタに表示する方法としては、出願人が特願2001−21612号において既に提案したものがある。このパノラマ画像表示方法では、図17に示すように、モニタ1の全面にパノラマ画像を表示し、パノラマ画像各部の方向(方位)については文字方位情報2、図形方位情報3等をスーパーインポーズすることにより表している。
【0003】
【発明が解決しようとする課題】
しかしながら、今後車両等に多数のカメラが搭載されるようになった場合に、いまモニタに表示されている画像が画角のさほど大きくない通常のカメラによる撮影映像であるのか、超広角撮影によるパノラマ映像であるのか、複数の方向を撮影可能であるときにはどの方向の撮影映像であるのかをモニタの看者に一瞬で認識させる必要があるが、モニタの全面にパノラマ画像を表示する上記方法ではそのような要求に必ずしも十分に応えることができない可能性もある。
【0004】
また、映像だけではモニタに映し出された物体がどの方向にあるのかを認識しづらい場合、看者はスーパーインポーズされた文字情報等を読み取らなければならないが、このようにモニタ画面中の文字情報を読み取らなければならないとするのは一瞬の視認性という観点からすると改良の余地があると思われる。一方、その視認性を向上させるために文字情報等の表示を大きくしたとしても、車載用モニタ等は比較的小型であるので表示画面が全体的に煩わしくなりがちであり、適切な解決にはならないおそれがある。
【0005】
本発明は、上記の事情に鑑みて為されたもので、モニタに表示されたパノラマ画像の内容あるいは方向感を看者が文字情報等に頼らなくても直感的に把握しやすく、一瞬の視認性に優れるパノラマ画像表示方法及びパノラマ画像表示装置を提供することを課題としている。
【0008】
【課題を解決するための手段】
上記課題を解決するため、請求項1に係る発明は、複数のカメラにより撮影された映像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示するパノラマ画像表示方法において、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示することを特徴とする。
【0009】
請求項2に係る発明は、請求項1に記載のパノラマ画像表示方法において、前記複数のカメラ及び前記モニタが車両に搭載されていることを特徴とする。
【0010】
請求項3に係る発明は、請求項1に記載のパノラマ画像表示方法において、前記複数のカメラ及び前記モニタが車両に搭載され、該車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示することを特徴とする。
【0011】
請求項4に係る発明は、請求項2又は請求項3に記載のパノラマ画像表示方法において、
前記補助線又は前記イメージ画像の表示方法を、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて切り替えることを特徴とする。
【0014】
請求項5に係る発明は、複数のカメラにより撮影された画像を、断面形状が円形、楕円形又は多角形である筒体の一部を切り取ってなる凹状の仮想スクリーンに前記筒体の軸線位置から仮想的に投影し、前記仮想スクリーンに投影した映像を前記軸線位置から所定距離だけ離れた位置に設置した仮想カメラで撮影したときに得られる、中心付近が上下方向に縮んだ合成画像を、パノラマ画像としてモニタに表示させるパノラマ画像表示装置であって、前記複数のカメラに接続され、該複数のカメラにより撮影された映像のアナログ画像データをデジタル画像データに変換するA/D変換手段と、該A/D変換手段に接続され、前記複数のカメラにより撮影された映像と前記合成画像との対応関係に基づいて、前記複数のカメラにより撮影された映像のデジタル画像データを前記合成画像のデジタル画像データに変換する画像合成手段と、該画像合成手段及び前記モニタに接続され、前記合成画像のデジタル画像データをアナログ画像データに変換するとともに該アナログ画像データを前記モニタに出力するD/A変換手段とを有するパノラマ画像表示装置において、前記画像合成手段と前記D/A変換手段との間に又は該D/A変換手段と前記モニタとの間に補助線重畳手段を有し、該補助線重畳手段が、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記補助線についての画像データを重畳させることを特徴とする。
【0015】
請求項6に係る発明は、請求項5に記載のパノラマ画像表示装置において、前記複数のカメラ及び前記モニタとともに車両に搭載されていることを特徴とする。
【0016】
請求項7に係る発明は、請求項5に記載のパノラマ画像表示装置において、前記複数のカメラ及び前記モニタとともに車両に搭載されるとともに、前記画像合成手段と前記D/A変換手段との間に又は該D/A変換手段と前記モニタとの間にイメージ画像重畳手段を有し、該イメージ画像重畳手段が、前記車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記イメージ画像の画像データを重畳させることを特徴とする。
【0017】
請求項8に係る発明は、請求項6に記載のパノラマ画像表示装置において、前記補助線重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記補助線の表示方法を切り替えることを特徴とする。
【0018】
請求項9に係る発明は、請求項7に記載のパノラマ画像表示装置において、前記イメージ画像重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記イメージ画像の表示方法を切り替えることを特徴とする。
【0021】
請求項1、請求項2、請求項5又は請求項6に係る発明によれば、軸線位置から仮想スクリーンに向かって放射状にのびる補助線がパノラマ画像とともにモニタに表示されるので、パノラマ画像の方向感が強調されて看者がその方向感を一層容易に把握することができる。
【0022】
請求項3又は請求項7に係る発明によれば、複数のカメラ及びモニタが車両に搭載され、この車両のイメージ画像がパノラマ画像とともにモニタに表示されるので、たとえ車両に多数のカメラが搭載されていたとしても、看者がパノラマ画像の内容、すなわち、どのカメラによる撮影映像かを容易に把握することができる。
【0023】
請求項4、請求項8又は請求項9に係る発明によれば、車両におけるスイッチ操作又は車両の走行状態に応じて補助線又はイメージ画像の表示方法が切り替えられるので、その時々の看者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【0024】
【発明の実施の形態】
本発明の実施の形態を図面に基づいて説明する。
【0025】
〔パノラマ画像表示装置の全体構成〕
図1は本発明に係るパノラマ画像表示装置の概略構成を示す。このパノラマ画像表示装置4は、車両5の後方の映像を車室内のモニタ6に表示するために車載され(図2参照)、A/D変換部7と、画像合成部8と、合成パターン演算/メモリ部9と、D/A変換部10と、画像重畳装置11と、重畳パターン演算/メモリ部12とを備える。
【0026】
A/D変換部7は、図2に模式的に示すように車両5の後部に設置された2台のカメラ13a,13bに接続され(同図においてはカメラ13a,13bの存在を明らかにすべくこれらを明示しているが、これらは実際にはレンズ部以外が車体に覆われて外部からは見えないようになっている。また、以下ではそのカメラを後述の仮想カメラと区別するために「実写カメラ」ともいう。)、各カメラにより撮影された映像のアナログ画像データをデジタル画像データに変換する。
【0027】
画像合成部8はA/D変換部7及び合成パターン演算/メモリ部9に接続され、カメラ13a,13bにより撮影された映像を後述するように合成してパノラマ画像を生成する。この画像合成部8における画像合成は合成パターン演算/メモリ部9の処理に従い行われ、ここでは画像合成部8及び合成パターン演算/メモリ部9が画像合成手段として機能する。
【0028】
D/A変換部10は画像合成部8に接続されるとともに、画像重畳装置11を介してモニタ6に接続されている。このD/A変換部10は画像合成部8で生成されたパノラマ画像のデジタル画像データをアナログ画像データに変換する。
【0029】
画像重畳装置11は、画面の見やすさ等を向上させるためにデザインされたパターンのアナログ画像データをパノラマ画像のアナログ画像データに重畳させる。この画像重畳装置11における画像の重畳は重畳パターン演算/メモリ部12の処理に従い行われ、ここでは画像重畳装置11及び重畳パターン演算/メモリ部12が補助線重畳手段又はイメージ画像重畳手段として機能する。なお、この実施の形態においては画像重畳装置11がD/A変換部10とモニタ6との間に設けられているが、画像合成部8とD/A変換部10との間に設けられていても、あるいは、画像合成部8と一体に設けられていてもよく、このとき画像重畳装置11は上記パターンのデジタル画像データをパノラマ画像のデジタル画像データに重畳させる。
【0030】
〔画像合成部における画像合成処理〕
図3は、画像合成部8及び合成パターン演算/メモリ部9におけるパノラマ画像の生成手法を説明するためのモデルを示す。同図において、符号Scは断面円形の筒体(円筒)の一部を切り取ってなる凹状の仮想的な立体スクリーン(円筒型スクリーン)を示し、符号Lはその筒体の軸線を示し、符号Ra,Rbはそれぞれ実写カメラ13a,13bによる撮影映像(実写カメライメージ、実写カメラスクリーン)を示す。
【0031】
画像合成部8及び合成パターン演算/メモリ部9における画像合成の考え方として、まず最初に実写カメラ13a,13bで撮影された映像Ra,Rbを軸線Lの位置(軸線Lの近傍を含む。)から円筒型スクリーンSc上へ投影し、その撮影映像Ra,Rbに対応する投影映像Qa,Qbを得る。従来は、その投影映像Qa,Qbからなる投影映像Qを円筒型スクリーンScを開いて平面状とすることによって図4に示すようなパノラマ画像としていたが、本実施の形態では、軸線Lの位置から所定距離だけ離れた位置に仮想カメラを想定し、この仮想カメラで投影映像Qを撮影したときに得られる画像をパノラマ画像とする。図3において、符号14はその仮想カメラのレンズ中心を示し、符号Iはその仮想カメラの撮影画像(仮想カメライメージ、仮想カメラスクリーン)を示す。
【0032】
例えば仮想カメラに単純なピンホールカメラモデルを用いる場合には、仮想カメラのレンズ中心14から円筒型スクリーンScを覗き、この円筒型スクリーンSc上の投影映像Qを仮想カメラスクリーンI上に投影することをイメージすればよい。この手法に従うと、仮想カメラスクリーンI上の中心付近の点と左右端付近の点とでは円筒型スクリーンSc上の対応する点までの距離が異なるので、結果として仮想カメラスクリーンI上へ投影される映像の拡大・縮小率が仮想カメラスクリーンI上の左右方向の位置によって異なる。図3からもわかるように、仮想カメラスクリーンI上の中心付近の点から円筒型スクリーンScまでの距離が最も長いので、その仮想カメラスクリーンI上の中心付近で映像は相対的に縮小される。これにより、仮想カメラスクリーンIにおいて図5に示すように中心付近が上下方向に縮んだ自然な変形が実現され、看者があたかも立体的なものを見ているかのような視覚効果を奏して画像の内容や方向感の直感的理解に供するパノラマ画像が生成される。
【0033】
また、仮想カメラを円筒型スクリーンScに対して近づけたり離したりすることによって、仮想カメラスクリーンI上の中心付近、左右端付近における拡大・縮小率を自然に調整することができる。これは、仮想カメラスクリーンI上の中心付近の点に対応する円筒型スクリーンSc上の点から仮想カメラまでの距離と、仮想カメラスクリーンI上の左右端付近の点に対応する円筒型スクリーンSc上の点から仮想カメラまでの距離との比が、仮想カメラの位置が変わることによって連続的に変化するからである。このとき、仮想カメラスクリーンI上に形成されるパノラマ画像の全体的な大きさも拡大又は縮小されるが、仮想カメラの焦点距離(仮想カメラのレンズ中心14と仮想カメラスクリーンIとの離間距離)f’を併せて調整することにより、その大きさが変化しないようにすることもできる。
【0034】
ここで、以上の考え方を定式化するために、軸線LがY軸と一致するようにXYZ直交座標系を設定し、図6に示すように、実写カメラ13a,13bのレンズ中心15a,15bがXZ平面内において原点(観察点)Oから距離rの位置にあるとする。また、円筒型スクリーンScの半径をPとすると、通常rはPに比べてかなり小さい値を取るが、ここではrのPに対する割合を実際よりも大きくして図示している。また、実写カメラ13a,13bは互いに外向きとなるようにZ軸に関して対称に配置され、これらの視線(LOS:Line of Site)がZ軸となす角度がそれぞれθ及び−θであるとし、その焦点距離をfとする。さらに、円筒型スクリーンSc上にZ軸との交点を原点としてX’Y’座標系を設定し、実写カメラスクリーンRa,Rb上にLOSとの交点を原点oとしてxy座標系を設定し、仮想カメラスクリーンI上にZ軸との交点を原点o’としてx’y’座標系を設定する(Y’,y,y’の各軸はY軸に平行とする。)。
【0035】
いま、カメラ13aに着目し、実写カメラスクリーンRa上の点(x,y)が円筒型スクリーンSc上の点K(X’,Y’)に射影された場合を考える。XZ平面内において線分OKがZ軸となす角度をαとし、線分oKがカメラ13aのLOSとなす角度をθ’とすると、
【0036】
【数1】
【数2】
【0038】
あるいは
【0039】
【数3】
【0040】
【数4】
【0041】
となり、このとき
【0042】
【数5】
【0043】
あるいは
【0044】
【数6】
【0045】
という関係が成り立つ。これらの関係を用いれば、実写カメラスクリーンRa上の点(x,y)と円筒型スクリーンSc上の点K(X’,Y’)とを互いに変換することができ、各式におけるθを−θとすれば上記関係をカメラ13bについても利用することができる。
【0046】
さらに、円筒型スクリーンSc上の点K(X’,Y’)と仮想カメラスクリーンI上の点(x’,y’)との関係を求めると、仮想カメラのレンズ中心14がXZ平面内において原点Oから距離dの位置にあるとして
【0047】
【数7】
【0048】
【数8】
【0049】
という関係が成り立つ。
【0050】
上記式(1)〜式(8)を用いることによって、実写カメラスクリーンRa,Rb上の座標(x,y)と仮想カメラスクリーンI上の座標(x’,y’)とを具体的に対応させることができ、これらの式を用いて画像合成部8及び合成パターン演算/メモリ部9が実際に行う画像合成処理の例をつぎに説明する。
【0051】
画像合成部8は、カメラ13a,13bの撮影映像の画素ごとのデジタル画像データを記憶する入力画像メモリ8aを備えるとともに、合成画像(パノラマ画像)の画素ごとのデジタル画像データを記憶する出力画像メモリ8bを備え(図1参照)、図7に示すように、その出力画像メモリ8bの所定画素に対応する領域についてアドレスを発生させる(ステップ1(図7においてS.1と記載。以下同様))。
【0052】
そのアドレスは図8に示すように合成パターン演算/メモリ部9に受信され(ステップ2)、仮想カメラスクリーンI上の座標(x’,y’)に変換された後(ステップ3)、式(7),(8)により円筒型スクリーンSc上の対応する座標(X’,Y’)が演算される(ステップ4)。
【0053】
続いて、演算されたX’座標値等に応じて対応するカメラが選択され(ステップ5)、カメラ13aが選択された場合には式(1),(2)等が、カメラ13bが選択された場合にはθを−θに置換した式(1),(2)等が用いられて実写カメラスクリーン上の対応する座標(x,y)が求められる(ステップ6)。
【0054】
そして、その座標(x,y)に対応する入力画像メモリ8aの領域のアドレスが演算により求められ(ステップ7)、合成パターン演算/メモリ部9はそのアドレスを画像合成部8に出力する(ステップ8)。
【0055】
画像合成部8はアドレスを受信すると(ステップ9)、入力画像メモリ8aの当該アドレスの領域に記憶された画像データを出力画像メモリ8bの先に送信したアドレス(ステップ1において送信したアドレス)の領域に移動させる(ステップ10)。
【0056】
このステップ1〜ステップ10の処理を合成画像の全画素について行うことにより、その全画素のデジタル画像データが決定されてパノラマ画像が生成されるが、上述のように単に入力画像メモリ8aから出力画像メモリ8bに画像データを移動させてパノラマ画像を生成するのではなく、カメラ13a,13bの撮影映像が重なる部分の処理や明るさ調整等の種々の演算を適宜行った上で生成してもよい。
【0057】
また、図8に示すようにステップ4〜ステップ6の処理は仮想カメラについてのパラメータd,f、仮想スクリーンについてのパラメータP、実写カメラについてのパラメータr,f,θに依存することとしてもよく、これらのパラメータを車両5の走行状態等(スイッチ情報、センサ情報)に応じてリアルタイムに変化させることによりその時々の運転者の感覚に合ったパノラマ画像が表示されるが、この点については後述する。ただ、ステップ5については、上述のように仮想スクリーンが円筒面状で実写カメラが2台であれば、ステップ4で求めたX’がX’≧0を満たせばカメラ13aが選択され、X’<0を満たせばカメラ13bが選択されるとすれば処理が簡単である。
【0058】
つぎに、その仮想スクリーンが円筒型ではなく他の形状を有する場合について述べる。
【0059】
図9乃至図11は、仮想スクリーンの形状を異ならせた場合のパノラマ画像の生成手法を説明するためのモデルを示し、図9において、符号Soは断面楕円形の筒体の一部を切り取ってなる仮想スクリーン(楕円筒型スクリーン)を、符号a,bはその楕円の長軸又は短軸の長さをそれぞれ示す。その他の符号については図6におけると同様であるので説明を省略する。なお、この楕円筒型スクリーンSoについて成立する関係式は円筒型スクリーンScについて求めたものに比べて煩雑になるので、ここでは図8のフローで重要となる仮想カメラスクリーンI上の座標(x’,y’)と楕円筒型スクリーンSo上の座標(X,Y,Z)との関係、及び、楕円筒型スクリーンSo上の座標(X,Y,Z)と実写カメラスクリーンRa上の座標(x,y)との関係を導くための演算手順を明らかにするに止める。
【0060】
仮想カメラスクリーンI上の座標(x’,y’)が楕円筒型スクリーンSo上の点K(X,Y,Z)=(XK,YK,ZK)に対応するとした場合、XK,ZKはつぎの連立方程式をX,Zについて解くことにより求められる。
【0061】
【数9】
【0062】
【数10】
【0063】
また、YKはXKを次式に代入することにより求められる。
【0064】
【数11】
【0065】
続いて、点Kに対応する実写カメラスクリーンRa上の座標をXYZ空間で求めると、その座標(XC,YC,ZC)は点Kの位置(XK,YK,ZK)とカメラ13aの位置(r sinθ,0,r cosθ)とを結ぶ線分の実写カメラスクリーンRaとの交点の座標に相当するから、XC,ZCはつぎの連立方程式をX,Zについて解くことにより求められる。
【0066】
【数12】
【0067】
【数13】
【0068】
また、YCはXCを次式に代入することにより求められる。
【0069】
【数14】
【0070】
Kに対応する実写カメラスクリーンRa上の座標(x,y)は、そのXC,YC,ZCを用いて次式により与えられる。
【0071】
【数15】
【0072】
【数16】
【0073】
以上で得られる関係を図8におけるステップ4、ステップ6で用いることにより、楕円筒型スクリーンSoによる画像合成が実現され、この楕円筒型スクリーンSoによる画像合成によってパノラマ画像の左右方向の拡大・縮小率も調整することが可能となる。なお、このとき図8における仮想スクリーンのパラメータはa,bとなる。
【0074】
一方、図10及び図11において、符号Srは断面長方形の筒体の一部を切り取ってなる仮想スクリーン(直方体型スクリーン)を示し、この直方体型スクリーンSrは、X軸を法線としてX軸と座標値−XDで交わるスクリーンS1と、Z軸を法線としてZ軸と座標値ZDで交わるスクリーンS2と、X軸を法線としてX軸と座標値XDで交わるスクリーンS3とからなっている。スクリーンS1,S2,S3には、X軸との交点を原点O1とするX1Y1座標系、Z軸との交点を原点O2とするX2Y2座標系、X軸との交点を原点O3とするX3Y3座標系をそれぞれ設定し(Y1,Y2,Y3の各軸はY軸に平行とする。)、これらのスクリーンを同時に扱うのは困難であるため各スクリーン上の座標を(Xn,Yn)(n=1,2,3)として別々に扱う。
【0075】
その直方体型スクリーンSr上の座標(Xn,Yn)と実写カメラスクリーンRa上の座標(x,y)との関係を求めると
【0076】
【数17】
【0077】
【数18】
【0078】
【数19】
【0079】
【数20】
【0080】
【数21】
【0081】
【数22】
【0082】
が成立する。したがって、これらの関係式及びその逆関数を用いることによって、実写カメラスクリーンRa上の座標(x,y)と長方形型スクリーンSr上の座標(Xn,Yn)とを互いに変換することができる。また、長方体型スクリーンSr上の座標(Xn,Yn)と仮想カメラスクリーンI上の座標(x’,y’)との関係を求めると
【0083】
【数23】
【0084】
【数24】
【0085】
【数25】
【0086】
【数26】
【0087】
【数27】
【0088】
【数28】
【0089】
が成立するので、以上の各式を組み合わせることにより直方体型スクリーンSr上の座標(Xn,Yn)を介して実写カメラスクリーンRa上の座標(x,y)と仮想カメラスクリーンI上の座標(x’,y’)とを対応させることができる。そして、その対応関係に基づいた直方体型スクリーンSrによる画像合成によって、図12に示すような三方を囲われている雰囲気のパノラマ画像を生成することができる。
【0090】
〔画像重畳装置における画像重畳処理〕
画像合成部8及び合成パターン演算/メモリ部9により生成されたパノラマ画像の画像データは、D/A変換部10を経た後に画像重畳装置11において上記パターンの画像データと重畳される。その一例として、図13は、円筒型スクリーンScを用いて生成されたパノラマ画像にパターンとして補助線が重畳された場合の画像を示す。すなわち、モニタ6の画面下部には円筒の中心部を意識した円弧16と、その中心部から円筒型スクリーンScに向かって放射状にのびる補助線17とが描かれ、看者に立体的なパノラマ映像であることを強く意識させるようになっている。その補助線17は上記中心部から一定の角度間隔ごとに描かれており、これにより看者はパノラマ画像の方向感あるいは方位角度を一層容易に把握することができる。
【0091】
また、図14は円筒型スクリーンScを用いて生成されたパノラマ画像にパターンとして自車のイメージ画像が重畳された場合の画像を示す。すなわち、モニタ6の画面下部中央には車両のイメージ画像18が描かれ、看者に撮影カメラの位置あるいは撮影方向を強く意識させるようになっている。そのイメージ画像18は、車両5の後部や側部、前部等に複数の実写カメラが取り付けられ、それらのカメラの撮影映像が切り替えてモニタ6に表示される場合には、その切替えに合わせてデザインが変更される。
【0092】
これらのパターンのデザインは、重畳パターン演算/メモリ部12において決定され、その決定されたデザインの画像データが画像重畳装置11に送信されて上記重畳が行われる。
【0093】
〔スイッチ操作等による画像表示方法の変更〕
図15は、車両5の運転者の手元にスイッチ装置19があり、このスイッチ装置19の操作により画像表示方法が変更される例を示している。例えばスイッチ装置19の左から一番目のスイッチが選択された場合、合成パターン演算/メモリ部9はそのメモリに記憶されている表示パターンのうち図中上から一番目にあるものを、重畳パターン演算/メモリ部12はそのメモリに記憶されている表示パターンのうち図中上から一番目にあるものを、それぞれ画像合成部8、画像重畳装置11に出力する。つまり、画像合成部8及び合成パターン演算/メモリ部9によっては円筒型スクリーンScによるパノラマ画像が生成され、画像重畳装置11及び重畳パターン演算/メモリ部12によってはパノラマ画像に対して何ら画像が重畳されず、結局、モニタ6には図5に示すような画像が表示される。
【0094】
また、スイッチ装置19の左から二番目のスイッチが選択された場合、合成パターン演算/メモリ部9はそのメモリに記憶されている表示パターンのうち図中上から二番目にあるものを、重畳パターン演算/メモリ部12はそのメモリに記憶されている表示パターンのうち図中上から二番目にあるものを、それぞれ画像合成部8、画像重畳装置11に出力する。つまり、画像合成部8及び合成パターン演算/メモリ部9によっては直方体型スクリーンSrによるパノラマ画像が生成され、画像重畳装置11及び重畳パターン演算/メモリ部12によってはスクリーンS1,S2及びスクリーンS2,S3の境界を示す画像が重畳され、モニタ6には図12に示すような画像が表示される。
【0095】
スイッチ装置19の左から三番目のスイッチが選択された場合、合成パターン演算/メモリ部9はそのメモリに記憶されている表示パターンのうち図中上から三番目にあるものを、重畳パターン演算/メモリ部12はそのメモリに記憶されている表示パターンのうち図中上から三番目にあるものを、それぞれ画像合成部8、画像重畳装置11に出力する。つまり、画像合成部8及び合成パターン演算/メモリ部9によっては円筒型スクリーンScによるパノラマ画像が生成され、画像重畳装置11及び重畳パターン演算/メモリ部12によっては円弧16及び補助線17が重畳され、モニタ6には図13に示すような画像が表示される。
【0096】
スイッチ装置19の左から四番目のスイッチが選択された場合、合成パターン演算/メモリ部9はそのメモリに記憶されている表示パターンのうち図中上から四番目にあるものを、重畳パターン演算/メモリ部12はそのメモリに記憶されている表示パターンのうち図中上から四番目にあるものを、それぞれ画像合成部8、画像重畳装置11に出力する。つまり、画像合成部8及び合成パターン演算/メモリ部9によっては円筒型スクリーンScによるパノラマ画像が生成され、画像重畳装置11及び重畳パターン演算/メモリ部12によっては円弧16、補助線17及びイメージ画像18が重畳され、モニタ6には図14に示すような画像が表示される。
【0097】
ところで、このように表示方法をパターン化して切り替える場合、リアルタイムでの画像の自動調整を不要とするならば、合成パターン演算/メモリ部9や重畳パターン演算/メモリ部12が予めいくつかの表示方法を記憶しておきそれを画像合成部8や画像重畳装置11に機械的に出力するようにしておくことによって、合成パターン演算/メモリ部9や重畳パターン演算/メモリ部12が演算処理を行わなくてすみ構成が簡略化される。
【0098】
図16は、車両5の走行状態を示すパラメータの一つである車速により、画像表示方法が変更される例を示している。車速に応じてモニタ画面の中心付近の映像を周縁部の映像に比べて相対的に拡大又は縮小したい場合には、仮想カメラの位置を規定する距離dを大きく又は小さくし、それに略比例するように焦点距離f’も大きく又は小さくすればよい。
【0099】
詳細には、速度センサ20により車速が検知されると、その車速に応じて合成パターン演算/メモリ部9において適切な距離d及び焦点距離f’が決定され、それに基づいて画像合成のための座標変換値(x,y等)がリアルタイムに演算されて画像合成部8における画像合成が行われる。例えば駐車時のように車速が小さい場合には、運転者は周囲を広く見渡したいと感じることが多いため、パノラマ画像の中心付近を比較的大きくすべく距離d,焦点距離f’を大きくする。一方、高速走行時のように車速が一定以上である場合には、運転者の窓越しの視界は狭くなるため、それを補うようにパノラマ画像の中心付近をやはり大きくすべく距離d,焦点距離f’を大きくする(このときの表示倍率は上記車速が小さい場合の表示倍率と異なっていても勿論よい。)。さらに、重畳パターン演算/メモリ部12においてもその距離d,焦点距離f’に基づいて補助線17の形状等が演算され、画像重畳装置11における画像重畳が行われる。
【0100】
以上のように車両5におけるスイッチ操作又は車両5の走行状態に応じて補助線17やイメージ画像18等の表示方法が切り替えられることにより、その時々の運転者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【0101】
なお、本発明の実施の形態は以上説明したものに限られず、例えば仮想スクリーンとして他の断面形状を有する筒体の一部を切り取ってなるものを用いてもかまわないし、車両の走行状態をギヤ操作や舵角等で判断して画像表示方法を変更してもよい。
【0104】
【発明の効果】
請求項1、請求項2、請求項5又は請求項6に係る発明によれば、軸線位置から仮想スクリーンに向かって放射状にのびる補助線がパノラマ画像とともにモニタに表示されるので、パノラマ画像の方向感が強調されて看者がその方向感を一層容易に把握することができる。
【0105】
請求項3又は請求項7に係る発明によれば、複数のカメラ及びモニタが車両に搭載され、この車両のイメージ画像がパノラマ画像とともにモニタに表示されるので、たとえ車両に多数のカメラが搭載されていたとしても、看者がパノラマ画像の内容、すなわち、どのカメラによる撮影映像かを容易に把握することができる。
【0106】
請求項4、請求項8又は請求項9に係る発明によれば、車両におけるスイッチ操作又は車両の走行状態に応じて補助線又はイメージ画像の表示方法が切り替えられるので、その時々の看者の感覚に合ったパノラマ画像が表示されてパノラマ画像の視認性が一層向上する。
【図面の簡単な説明】
【図1】本発明に係るパノラマ画像表示装置の概略構成を示す説明図である。
【図2】実写カメラの車両における配置を模式的に示す説明図である。
【図3】円筒型スクリーンを用いた画像合成のモデルを示す斜視図である。
【図4】図3のモデルにおいて仮想カメラを用いなかった場合のパノラマ画像を示す説明図である。
【図5】図3のモデルにおいて仮想カメラを用いた場合のパノラマ画像を示す説明図である。
【図6】図3の円筒型スクリーンを用いた画像合成のモデルを示す平面図である。
【図7】画像合成部における処理のフローを示す説明図である。
【図8】合成パターン演算/メモリ部における処理のフローを示す説明図である。
【図9】楕円筒型スクリーンを用いた画像合成のモデルを示す平面図である。
【図10】直方体型スクリーンを用いた画像合成のモデルを示す斜視図である。
【図11】図10の直方体型スクリーンを用いた画像合成のモデルを示す平面図である。
【図12】図11のモデルにより得られるパノラマ画像の例を示す説明図である。
【図13】図3のモデルにより得られるパノラマ画像に補助線を重畳した例を示す説明図である。
【図14】図3のモデルにより得られるパノラマ画像に車両のイメージ画像を重畳した例を示す説明図である。
【図15】スイッチ装置と合成パターン演算/メモリ部及び重畳パターン演算/メモリ部との連係を示す説明図である。
【図16】速度センサと合成パターン演算/メモリ部及び重畳パターン演算/メモリ部との連係を示す説明図である。
【図17】従来の方法により表示されたパノラマ画像を示す説明図である。
【符号の説明】
4 パノラマ画像表示装置
5 車両
6 モニタ
7 A/D変換部(A/D変換手段)
8 画像合成部
9 合成パターン演算/メモリ部
10 D/A変換部(D/A変換手段)
11 画像重畳装置
12 重畳パターン演算/メモリ部
13a,13b カメラ
17 補助線
18 イメージ画像
19 スイッチ装置
20 速度センサ
d 所定距離
L 軸線
Sc 円筒型スクリーン(仮想スクリーン)
So 楕円筒型スクリーン(仮想スクリーン)
Sr 直方体型スクリーン(仮想スクリーン)[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a panoramic image display method and a display device for combining videos taken by a plurality of cameras and displaying a panoramic image on a monitor.
[0002]
[Prior art]
For example, video captured by an in-vehicle camera is displayed on a monitor as a panoramic image (in this specification, “panoramic image” refers to a half-peripheral image having a super-wide angle of view of approximately 180 °). As a method for doing this, there is one already proposed by the applicant in Japanese Patent Application No. 2001-21612. In this panoramic image display method, as shown in FIG. 17, a panoramic image is displayed on the entire surface of the
[0003]
[Problems to be solved by the invention]
However, when a large number of cameras are installed in vehicles in the future, whether the image currently displayed on the monitor is an image taken by a normal camera that is not so large in view angle, or a panorama by super wide angle shooting It is necessary for the monitor viewer to instantly recognize which direction the video is taken when it is a video or when it is possible to shoot in multiple directions. There is a possibility that such a request cannot be sufficiently met.
[0004]
In addition, if it is difficult to recognize in which direction the object projected on the monitor is based on the image alone, the viewer must read the superimposed character information, etc. From the viewpoint of instantaneous visibility, there seems to be room for improvement. On the other hand, even if the display of character information or the like is increased in order to improve the visibility, the in-vehicle monitor or the like is relatively small and the display screen tends to be troublesome as a whole, so it is not an appropriate solution. There is a fear.
[0005]
The present invention has been made in view of the above circumstances, and it is easy for the viewer to intuitively grasp the content or direction of the panoramic image displayed on the monitor without relying on character information or the like, and the visual recognition for a moment. It is an object of the present invention to provide a panoramic image display method and a panoramic image display device that are excellent in performance.
[0008]
[Means for Solving the Problems]
To solve the above problem,Claim1The invention according toImages projected by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen formed by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical, or polygonal, and A composite image obtained by shooting the image projected on the virtual screen with a virtual camera installed at a predetermined distance from the axis line position and displayed in a panoramic image is displayed on the monitor as a panoramic image.In the panoramic image display method, auxiliary lines extending radially from the axis position toward the virtual screen are displayed on the monitor together with the panoramic image.
[0009]
Claim2The invention according to claim1In the panoramic image display method described in (1), the plurality of cameras and the monitor are mounted on a vehicle.
[0010]
Claim3The invention according to claim1In the panoramic image display method described above, the plurality of cameras and the monitor are mounted on a vehicle, and an image image of the vehicle is displayed on the monitor together with the panoramic image.
[0011]
Claim4The invention according to claim2Or claims3In the panoramic image display method described in
The display method of the auxiliary line or the image is switched according to a switch operation in the vehicle or a running state of the vehicle.
[0014]
Claim5The invention according toThe images photographed by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen obtained by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical or polygonal, and A panorama that displays on the monitor as a panoramic image a composite image obtained by shooting the image projected on the virtual screen with a virtual camera installed at a predetermined distance from the axis position, the center of which is shrunk vertically. An image display device connected to the plurality of cameras, A / D conversion means for converting analog image data of video captured by the plurality of cameras into digital image data, and connection to the A / D conversion means And digital image data of the video shot by the plurality of cameras based on the correspondence between the video shot by the plurality of cameras and the composite image. An image composition means for converting the image data into digital image data of the composite image, and connected to the image composition means and the monitor, and converts the digital image data of the composite image into analog image data and converts the analog image data into the monitor D / A conversion means for outputting toIn the panoramic image display device, an auxiliary line superimposing unit is provided between the image synthesizing unit and the D / A converting unit or between the D / A converting unit and the monitor, and the auxiliary line superimposing unit includes: In order to display the auxiliary line extending radially from the axial position toward the virtual screen on the monitor together with the panoramic image, the image data of the auxiliary line is superimposed on the image data of the panoramic image. .
[0015]
Claim6The invention according to claim5The panoramic image display device according to
[0016]
Claim7The invention according to claim5The panoramic image display device according to
[0017]
Claim8The invention according to claim6In the panoramic image display device described in
[0018]
Claim9The invention according to claim7In the panoramic image display device described in
[0021]
Claim1, Claims2, Claims5Or claims6According to the invention, since the auxiliary line extending radially from the axial position toward the virtual screen is displayed on the monitor together with the panoramic image, the direction feeling of the panoramic image is emphasized, and the viewer can more easily feel the direction feeling. I can grasp it.
[0022]
Claim3Or claims7According to the invention, since a plurality of cameras and monitors are mounted on the vehicle, and an image of the vehicle is displayed on the monitor together with the panoramic image, even if a large number of cameras are mounted on the vehicle. Can easily grasp the contents of the panoramic image, that is, which camera image is taken.
[0023]
Claim4, Claims8Or claims9According to the invention, since the display method of the auxiliary line or the image image is switched according to the switch operation in the vehicle or the running state of the vehicle, the panorama image that matches the sense of the viewer at that time is displayed and the panorama image is displayed. Visibility is further improved.
[0024]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described with reference to the drawings.
[0025]
[Overall configuration of panoramic image display device]
FIG. 1 shows a schematic configuration of a panoramic image display apparatus according to the present invention. The panoramic
[0026]
The A /
[0027]
The
[0028]
The D /
[0029]
The image superimposing device 11 superimposes analog image data of a pattern designed to improve the visibility of the screen on the analog image data of the panoramic image. The image superimposing in the image superimposing device 11 is performed according to the processing of the superimposing pattern calculation /
[0030]
[Image composition processing in the image composition unit]
FIG. 3 shows a model for explaining a panoramic image generation method in the
[0031]
As a concept of image synthesis in the
[0032]
For example, when a simple pinhole camera model is used for the virtual camera, the cylindrical screen Sc is viewed from the
[0033]
Further, by moving the virtual camera closer to or away from the cylindrical screen Sc, the enlargement / reduction ratios near the center and near the left and right ends on the virtual camera screen I can be adjusted naturally. This is because the distance from the point on the cylindrical screen Sc corresponding to the point near the center on the virtual camera screen I to the virtual camera and the point on the cylindrical screen Sc corresponding to the point near the left and right ends on the virtual camera screen I. This is because the ratio of the distance from the point to the virtual camera continuously changes as the position of the virtual camera changes. At this time, the overall size of the panoramic image formed on the virtual camera screen I is also enlarged or reduced, but the focal distance of the virtual camera (the distance between the
[0034]
Here, in order to formulate the above concept, an XYZ orthogonal coordinate system is set so that the axis L coincides with the Y axis, and as shown in FIG. 6, the lens centers 15a and 15b of the live-
[0035]
Now, focusing on the
[0036]
[Expression 1]
[0037]
[Expression 2]
[0038]
Or
[0039]
[Equation 3]
[0040]
[Expression 4]
[0041]
And this time
[0042]
[Equation 5]
[0043]
Or
[0044]
[Formula 6]
[0045]
This relationship holds. Using these relationships, the point (x, y) on the live-action camera screen Ra and the point K (X ′, Y ′) on the cylindrical screen Sc can be converted into each other, and θ in each equation can be expressed as − If it is set to (theta), the said relationship can be utilized also about the
[0046]
Further, when the relationship between the point K (X ′, Y ′) on the cylindrical screen Sc and the point (x ′, y ′) on the virtual camera screen I is obtained, the
[0047]
[Expression 7]
[0048]
[Equation 8]
[0049]
This relationship holds.
[0050]
By using the above formulas (1) to (8), the coordinates (x, y) on the live-action camera screens Ra and Rb and the coordinates (x ′, y ′) on the virtual camera screen I are specifically associated with each other. An example of image composition processing actually performed by the
[0051]
The
[0052]
The address is received by the composite pattern calculation /
[0053]
Subsequently, a corresponding camera is selected according to the calculated X ′ coordinate value or the like (step 5), and when the
[0054]
Then, the address of the area of the input image memory 8a corresponding to the coordinates (x, y) is obtained by calculation (step 7), and the combined pattern calculation /
[0055]
When the
[0056]
By performing the processing from
[0057]
Further, as shown in FIG. 8, the processing in
[0058]
Next, a case where the virtual screen has another shape instead of a cylindrical shape will be described.
[0059]
9 to 11 show models for explaining a panoramic image generation method when the virtual screens have different shapes. In FIG. 9, reference numeral So denotes a part of a cylinder having an elliptical cross section. In the virtual screen (elliptical cylindrical screen), symbols a and b indicate the length of the major axis or minor axis of the ellipse, respectively. The other symbols are the same as those in FIG. Since the relational expression established for the elliptical cylindrical screen So is more complicated than that obtained for the cylindrical screen Sc, the coordinates (x ′) on the virtual camera screen I which are important in the flow of FIG. , Y ′) and the coordinates (X, Y, Z) on the elliptical cylindrical screen So, and the coordinates (X, Y, Z) on the elliptical cylindrical screen So and the coordinates on the live-action camera screen Ra ( Only the calculation procedure for deriving the relationship with x, y) will be clarified.
[0060]
If the coordinates (x ′, y ′) on the virtual camera screen I correspond to the point K (X, Y, Z) = (XK, YK, ZK) on the elliptical cylindrical screen So, XK, ZK It is obtained by solving simultaneous equations for X and Z.
[0061]
[Equation 9]
[0062]
[Expression 10]
[0063]
YK is obtained by substituting XK into the following equation.
[0064]
[Expression 11]
[0065]
Subsequently, when the coordinates on the live-action camera screen Ra corresponding to the point K are obtained in the XYZ space, the coordinates (XC, YC, ZC) are the position of the point K (XK, YK, ZK) and the position of the
[0066]
[Expression 12]
[0067]
[Formula 13]
[0068]
YC is obtained by substituting XC into the following equation.
[0069]
[Expression 14]
[0070]
The coordinates (x, y) on the live-action camera screen Ra corresponding to K are given by the following equation using the XC, YC, and ZC.
[0071]
[Expression 15]
[0072]
[Expression 16]
[0073]
By using the relationship obtained above in
[0074]
On the other hand, in FIG. 10 and FIG. 11, symbol Sr indicates a virtual screen (rectangular screen) obtained by cutting a part of a cylinder having a rectangular cross section, and this rectangular parallelepiped screen Sr has an X axis as a normal line and an X axis. Screen S meeting at coordinate value -XD1And the screen S that intersects the Z axis and the coordinate value ZD with the Z axis as the normal line2And the screen S that intersects the X axis and the coordinate value XD with the X axis as the normal lineThreeIt is made up of. Screen S1, S2, SThreeThe origin of the intersection with the X axis1X1Y1Coordinate system, intersection point with Z axis is origin O2X2Y2The point of intersection with the coordinate system and the X axis is the origin OThreeXThreeYThreeSet each coordinate system (Y1, Y2, YThreeEach axis is parallel to the Y axis. Since these screens are difficult to handle at the same time, the coordinates on each screen are handled separately as (Xn, Yn) (n = 1, 2, 3).
[0075]
When the relationship between the coordinates (Xn, Yn) on the rectangular parallelepiped screen Sr and the coordinates (x, y) on the live-action camera screen Ra is obtained.
[0076]
[Expression 17]
[0077]
[Formula 18]
[0078]
[Equation 19]
[0079]
[Expression 20]
[0080]
[Expression 21]
[0081]
[Expression 22]
[0082]
Is established. Therefore, by using these relational expressions and their inverse functions, the coordinates (x, y) on the live-action camera screen Ra and the coordinates (Xn, Yn) on the rectangular screen Sr can be mutually converted. Further, when the relationship between the coordinates (Xn, Yn) on the rectangular screen Sr and the coordinates (x ′, y ′) on the virtual camera screen I is obtained.
[0083]
[Expression 23]
[0084]
[Expression 24]
[0085]
[Expression 25]
[0086]
[Equation 26]
[0087]
[Expression 27]
[0088]
[Expression 28]
[0089]
Therefore, by combining the above formulas, the coordinates (x, y) on the live-action camera screen Ra and the coordinates (x on the virtual camera screen I) are obtained via the coordinates (Xn, Yn) on the rectangular parallelepiped screen Sr. ', Y'). Then, an image panorama image surrounded by three sides as shown in FIG. 12 can be generated by image synthesis using the rectangular parallelepiped screen Sr based on the correspondence.
[0090]
[Image superimposition processing in the image superimposing apparatus]
The image data of the panoramic image generated by the
[0091]
FIG. 14 shows an image when an image of the vehicle is superimposed as a pattern on a panoramic image generated using the cylindrical screen Sc. That is, a
[0092]
The design of these patterns is determined in the superimposition pattern calculation /
[0093]
[Change of image display method by switch operation, etc.]
FIG. 15 shows an example in which the
[0094]
Further, when the second switch from the left of the
[0095]
When the third switch from the left of the
[0096]
When the fourth switch from the left of the
[0097]
By the way, when patterning and switching the display method in this way, if it is not necessary to automatically adjust the image in real time, the composite pattern calculation /
[0098]
FIG. 16 shows an example in which the image display method is changed according to the vehicle speed, which is one of the parameters indicating the running state of the
[0099]
Specifically, when the vehicle speed is detected by the
[0100]
As described above, the display method of the
[0101]
The embodiment of the present invention is not limited to the above-described embodiment. For example, a virtual screen obtained by cutting a part of a cylinder having another cross-sectional shape may be used. The image display method may be changed based on the operation or the steering angle.
[0104]
【The invention's effect】
Claim1, Claims2, Claims5Or claims6According to the invention, since the auxiliary line extending radially from the axial position toward the virtual screen is displayed on the monitor together with the panoramic image, the direction feeling of the panoramic image is emphasized, and the viewer can more easily feel the direction feeling. I can grasp it.
[0105]
Claim3Or claims7According to the invention, since a plurality of cameras and monitors are mounted on the vehicle, and an image of the vehicle is displayed on the monitor together with the panoramic image, even if a large number of cameras are mounted on the vehicle. Can easily grasp the contents of the panoramic image, that is, which camera image is taken.
[0106]
Claim4, Claims8Or claims9According to the invention, since the display method of the auxiliary line or the image image is switched according to the switch operation in the vehicle or the running state of the vehicle, the panorama image that matches the sense of the viewer at that time is displayed and the panorama image is displayed. Visibility is further improved.
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing a schematic configuration of a panoramic image display apparatus according to the present invention.
FIG. 2 is an explanatory view schematically showing the arrangement of a live-action camera in a vehicle.
FIG. 3 is a perspective view showing a model of image composition using a cylindrical screen.
4 is an explanatory diagram showing a panoramic image when a virtual camera is not used in the model of FIG. 3;
FIG. 5 is an explanatory diagram showing a panoramic image when a virtual camera is used in the model of FIG. 3;
6 is a plan view showing a model of image synthesis using the cylindrical screen of FIG. 3. FIG.
FIG. 7 is an explanatory diagram showing a flow of processing in an image composition unit.
FIG. 8 is an explanatory diagram showing a flow of processing in a composite pattern calculation / memory unit;
FIG. 9 is a plan view showing a model of image composition using an elliptical cylindrical screen.
FIG. 10 is a perspective view showing a model of image composition using a rectangular parallelepiped screen.
11 is a plan view showing a model of image composition using the rectangular parallelepiped screen of FIG.
12 is an explanatory diagram showing an example of a panoramic image obtained by the model of FIG.
13 is an explanatory diagram showing an example in which auxiliary lines are superimposed on a panoramic image obtained by the model of FIG. 3;
14 is an explanatory diagram showing an example in which an image of a vehicle is superimposed on a panoramic image obtained by the model of FIG.
FIG. 15 is an explanatory diagram showing a linkage between a switch device and a combined pattern calculation / memory unit and a superimposed pattern calculation / memory unit;
FIG. 16 is an explanatory diagram showing a linkage between a speed sensor, a combined pattern calculation / memory unit, and a superimposition pattern calculation / memory unit.
FIG. 17 is an explanatory diagram showing a panoramic image displayed by a conventional method.
[Explanation of symbols]
4 Panorama image display device
5 Vehicle
6 Monitor
7 A / D converter (A / D converter)
8 Image composition part
9 Composite pattern calculation / memory section
10 D / A converter (D / A converter)
11 Image superposition device
12 Superimposition pattern calculation / memory unit
13a, 13b camera
17 Auxiliary line
18 images
19 Switch device
20 Speed sensor
d Predetermined distance
L axis
Sc Cylindrical screen (virtual screen)
So Oval cylindrical screen (virtual screen)
Sr rectangular parallelepiped screen (virtual screen)
Claims (9)
前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示することを特徴とするパノラマ画像表示方法。 Images projected by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen formed by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical, or polygonal , and obtained when an image is projected onto the virtual screen taken by a virtual camera placed in a position spaced a predetermined distance from said axis position, near the center of the composite image is contracted in the vertical direction, that displays on the monitor as a panoramic image in the panorama image display method,
A panoramic image display method, wherein auxiliary lines extending radially from the axis position toward the virtual screen are displayed on the monitor together with the panoramic image.
前記複数のカメラ及び前記モニタが車両に搭載されていることを特徴とするパノラマ画像表示方法。The panoramic image display method according to claim 1 ,
A panoramic image display method, wherein the plurality of cameras and the monitor are mounted on a vehicle.
前記複数のカメラ及び前記モニタが車両に搭載され、該車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示することを特徴とするパノラマ画像表示方法。The panoramic image display method according to claim 1 ,
A panoramic image display method, wherein the plurality of cameras and the monitor are mounted on a vehicle, and an image of the vehicle is displayed on the monitor together with the panoramic image.
前記補助線又は前記イメージ画像の表示方法を、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて切り替えることを特徴とするパノラマ画像表示方法。In the panoramic image display method according to claim 2 or 3 ,
A method of displaying a panoramic image, wherein the display method of the auxiliary line or the image image is switched according to a switch operation in the vehicle or a traveling state of the vehicle.
前記複数のカメラに接続され、該複数のカメラにより撮影された映像のアナログ画像データをデジタル画像データに変換するA/D変換手段と、
該A/D変換手段に接続され、前記複数のカメラにより撮影された映像と前記合成画像との対応関係に基づいて、前記複数のカメラにより撮影された映像のデジタル画像データを前記合成画像のデジタル画像データに変換する画像合成手段と、
該画像合成手段及び前記モニタに接続され、前記合成画像のデジタル画像データをアナログ画像データに変換するとともに該アナログ画像データを前記モニタに出力するD/A変換手段とを有するパノラマ画像表示装置において、
前記画像合成手段と前記D/A変換手段との間に又は該D/A変換手段と前記モニタとの間に補助線重畳手段を有し、該補助線重畳手段が、前記軸線位置から前記仮想スクリーンに向かって放射状にのびる補助線を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記補助線についての画像データを重畳させることを特徴とするパノラマ画像表示装置。 The images photographed by a plurality of cameras are virtually projected from the axial position of the cylinder onto a concave virtual screen obtained by cutting a part of a cylinder whose cross-sectional shape is circular, elliptical or polygonal, and A panorama that displays on the monitor as a panoramic image a composite image obtained by shooting the image projected on the virtual screen with a virtual camera installed at a predetermined distance from the axis position, the center of which is shrunk vertically. An image display device,
A / D conversion means connected to the plurality of cameras and for converting analog image data of video captured by the plurality of cameras into digital image data;
The digital image data of the video captured by the plurality of cameras is converted into the digital image of the composite image based on the correspondence between the video captured by the plurality of cameras and the composite image connected to the A / D conversion means. Image composition means for converting to image data;
A panoramic image display device connected to the image synthesizing unit and the monitor, and having a D / A conversion unit which converts the digital image data of the synthesized image into analog image data and outputs the analog image data to the monitor;
An auxiliary line superimposing unit is provided between the image synthesizing unit and the D / A converting unit or between the D / A converting unit and the monitor. an auxiliary line extending radially toward the screen to be displayed on the monitor together with the panoramic image, the panoramic image display apparatus characterized by Ru is superimposed image data for said auxiliary line image data of the panoramic image.
前記複数のカメラ及び前記モニタとともに車両に搭載されていることを特徴とするパノラマ画像表示装置。The panoramic image display device according to claim 5 ,
A panoramic image display device mounted on a vehicle together with the plurality of cameras and the monitor.
前記複数のカメラ及び前記モニタとともに車両に搭載されるとともに、前記画像合成手段と前記D/A変換手段との間に又は該D/A変換手段と前記モニタとの間にイメージ画像重畳手段を有し、該イメージ画像重畳手段が、前記車両のイメージ画像を前記パノラマ画像とともに前記モニタに表示させるために、前記パノラマ画像の画像データに前記イメージ画像の画像データを重畳させることを特徴とするパノラマ画像表示装置。The panoramic image display device according to claim 5 ,
It is mounted on a vehicle together with the plurality of cameras and the monitor, and an image image superimposing unit is provided between the image synthesizing unit and the D / A conversion unit or between the D / A conversion unit and the monitor. The image image superimposing means superimposes the image data of the image image on the image data of the panorama image so that the image image of the vehicle is displayed on the monitor together with the panorama image. Display device.
前記補助線重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記補助線の表示方法を切り替えることを特徴とするパノラマ画像表示装置。The panoramic image display device according to claim 6 ,
The panoramic image display device, wherein the auxiliary line superimposing means switches a display method of the auxiliary line according to a switch operation in the vehicle or a traveling state of the vehicle.
前記イメージ画像重畳手段が、前記車両におけるスイッチ操作又は前記車両の走行状態に応じて前記イメージ画像の表示方法を切り替えることを特徴とするパノラマ画像表示装置。The panoramic image display device according to claim 7 ,
The panoramic image display device, wherein the image image superimposing means switches a display method of the image image according to a switch operation in the vehicle or a running state of the vehicle.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001176066A JP4860835B2 (en) | 2001-06-11 | 2001-06-11 | Panorama image display method and panorama image display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001176066A JP4860835B2 (en) | 2001-06-11 | 2001-06-11 | Panorama image display method and panorama image display apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2002369187A JP2002369187A (en) | 2002-12-20 |
JP4860835B2 true JP4860835B2 (en) | 2012-01-25 |
Family
ID=19017108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001176066A Expired - Lifetime JP4860835B2 (en) | 2001-06-11 | 2001-06-11 | Panorama image display method and panorama image display apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4860835B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4786076B2 (en) * | 2001-08-09 | 2011-10-05 | パナソニック株式会社 | Driving support display device |
JP2006240383A (en) * | 2005-03-01 | 2006-09-14 | National Univ Corp Shizuoka Univ | Cruising assist on-vehicle information system |
JP4679293B2 (en) * | 2005-08-08 | 2011-04-27 | 三洋電機株式会社 | In-vehicle panoramic camera system |
JP4966231B2 (en) * | 2008-03-13 | 2012-07-04 | 株式会社アイデンティファイ | Studio system |
JP2009225322A (en) | 2008-03-18 | 2009-10-01 | Hyundai Motor Co Ltd | Vehicle information display system |
JP4953137B2 (en) * | 2008-07-29 | 2012-06-13 | 独立行政法人産業技術総合研究所 | Display technology for all-round video |
JP5168213B2 (en) * | 2009-04-02 | 2013-03-21 | 株式会社デンソー | Display device |
US20150109446A1 (en) * | 2011-07-12 | 2015-04-23 | Nissan Motor Co., Ltd. | Vehicle monitoring device, vehicle monitoring system, terminal device, and vehicle monitoring method |
KR101481648B1 (en) * | 2013-06-28 | 2015-01-15 | (주) 세인 | Apparatus Reliably Providing Vehicle Around Image |
KR101678861B1 (en) * | 2015-07-28 | 2016-11-23 | 엘지전자 주식회사 | Mobile terminal and method for controlling the same |
CN113246861B (en) * | 2021-06-08 | 2023-05-19 | 北京福田戴姆勒汽车有限公司 | Control method of vehicle-mounted image system, vehicle-mounted image system and vehicle |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1049704A (en) * | 1996-07-31 | 1998-02-20 | Hitachi Ltd | Image conversion method |
JP3154676B2 (en) * | 1997-06-11 | 2001-04-09 | 松下電器産業株式会社 | In-vehicle camera image synthesis fluoroscope |
WO2000007373A1 (en) * | 1998-07-31 | 2000-02-10 | Matsushita Electric Industrial Co., Ltd. | Method and apparatus for displaying image |
EP1179958B1 (en) * | 1999-04-16 | 2012-08-08 | Panasonic Corporation | Image processing device and monitoring system |
JP2002230698A (en) * | 2001-01-30 | 2002-08-16 | Clarion Co Ltd | Vehicle circumferential image display method and vehicle circumferential image display device |
-
2001
- 2001-06-11 JP JP2001176066A patent/JP4860835B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002369187A (en) | 2002-12-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4257356B2 (en) | Image generating apparatus and image generating method | |
JP3871614B2 (en) | Driving assistance device | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
JP4786076B2 (en) | Driving support display device | |
JP4642723B2 (en) | Image generating apparatus and image generating method | |
US7429998B2 (en) | Method and apparatus for monitoring vehicle rear, and signal processor | |
JP5682788B2 (en) | Vehicle periphery monitoring device | |
WO2012096058A1 (en) | Image generating device | |
JP5497617B2 (en) | Image generating apparatus and operation support system | |
JP5870608B2 (en) | Image generation device | |
WO2000064175A1 (en) | Image processing device and monitoring system | |
KR101407806B1 (en) | Image generation device and operation support system | |
JP2010251939A (en) | Vehicle circumference image display system | |
JP4860835B2 (en) | Panorama image display method and panorama image display apparatus | |
JP2003219413A (en) | Vehicle rearward monitoring system and monitoring apparatus | |
JP2006100965A (en) | Monitoring system around vehicle | |
JP2008181330A (en) | Image processor and image processing method | |
JP2011066763A (en) | Driving support device | |
JP2012001126A (en) | Vehicle surroundings monitoring device | |
JP2008034964A (en) | Image display apparatus | |
JP4706896B2 (en) | Wide-angle image correction method and vehicle periphery monitoring system | |
JP4682664B2 (en) | Perimeter monitoring system | |
JP7135378B2 (en) | Perimeter monitoring device | |
JP2001334869A (en) | Driving support system | |
JP7492802B2 (en) | Display control device, vehicle, and display control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080527 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111104 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4860835 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |