[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2015125493A - 画像生成方法、画像生成装置及び画像生成プログラム - Google Patents

画像生成方法、画像生成装置及び画像生成プログラム Download PDF

Info

Publication number
JP2015125493A
JP2015125493A JP2013267780A JP2013267780A JP2015125493A JP 2015125493 A JP2015125493 A JP 2015125493A JP 2013267780 A JP2013267780 A JP 2013267780A JP 2013267780 A JP2013267780 A JP 2013267780A JP 2015125493 A JP2015125493 A JP 2015125493A
Authority
JP
Japan
Prior art keywords
image
image generation
viewpoint position
subject
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013267780A
Other languages
English (en)
Other versions
JP6200316B2 (ja
Inventor
伊達 宗和
Munekazu Date
宗和 伊達
高田 英明
Hideaki Takada
英明 高田
明 小島
Akira Kojima
明 小島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2013267780A priority Critical patent/JP6200316B2/ja
Publication of JP2015125493A publication Critical patent/JP2015125493A/ja
Application granted granted Critical
Publication of JP6200316B2 publication Critical patent/JP6200316B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる画像生成方法を提供する。【解決手段】被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、複数の撮像手段が撮像した画像を選択して出力する画像選択手段と、被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、被写体と視点位置との位置関係と、被写体と撮像手段との位置関係とが近い撮像手段を複数選択する選択ステップと、選択された撮像手段が出力する画像を画像選択手段によって複数選択して、伝送路を介して、選択した複数の画像を伝送する伝送ステップと、伝送路を介して伝送された複数の画像に基づいて、視点位置設定手段によって設定された視点位置から見た被写体の画像を生成する画像生成ステップとを有する。【選択図】図1

Description

本発明は、既存の画像から所望の視点位置の画像を生成する画像生成方法、画像生成装置及び画像生成プログラムに関する。
従来から、視点の変化に応じた画像を2次元ディスプレイ上に表示する技術が知られている(例えば、特許文献1参照)。図10(特許文献1の図1から引用)は、従来技術による映像表示のイメージを示す概念図である。図10において、ユーザ1が視点を変えると(3軸移動に対応)、映像中の対話相手2の奥行き位置(対話相手2とその背景の壁3)を、その視点の変化に応じて2次元ディスプレイ4上に表示することで、対話相手2、背景の壁3の見え方があたかも現実のように再現することができる。
これは、ユーザ1が位置P1にて2次元ディスプレイ4に対峙する場合には、対話相手2を正面から見ているように表示し、ユーザ1が左側の位置P2から見ている場合には、対話相手2、及びその背景にある壁3との位置関係(奥行き)を反映し、対話相手2を左側から見ているように表示し、ユーザ1が右側の位置 P3から見ている場合には、対話相手2、及びその背景にある壁3との位置関係(奥行き)を反映し、対話相手2を右側から見ているように表示するものである。
この従来技術を実現するために、ディスプレイ4に対するユーザ1の視点位置・姿勢の検出、ユーザ1の視点位置に応じた対話相手2の映像の生成・表示の2つの技術が重要であり、カメラから撮影された2次元映像から、人物と背景を分離し、多層化して奥行きを持つ3次元映像を生成し、ユーザの視点位置に応じて、ディスプレイ面に投影して表示することを提案している。
しかしながら、特許文献1に記載の映像表示方法にあっては、ユーザと背景の位置関係や大きさを正しく表現はできるものの、背景が立体的な構造を有していた場合、ユーザ1の視点が変化しても背景が変化しないため、背景の状態を正しく表現することができないという問題がある。このような問題は、視線方向に応じた背景画像を生成すれば解決することができる。このような問題を解決する技術として、複数のカメラ画像から所望の位置の視点からの映像を生成する仮想視点画像生成方法が知られている(例えば、特許文献2参照)。
特許第5237234号公報 特許第4052331号公報
しかしながら、特許文献2に記載の仮想視点画像生成方法にあっては、複数の画像のマッチングにより奥行位置を推定して画像を計算するため、画像のテクスチャ状態によって奥行が取得できなかったり、奥行の誤差が大きすぎてしまったりという問題を有している。特許文献2に記載の仮想視点画像生成方法においては奥行位置の尤度を考慮して画質の向上を図っているが、高臨場感を与えられるような品質での特定の視点からの画像を作成することは困難であるという問題がある。
本発明は、このような事情に鑑みてなされたもので、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる画像生成方法、画像生成装置及び画像生成プログラムを提供することを目的とする。
本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択ステップと、選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送ステップと、前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成ステップとを有することを特徴とする。
本発明は、前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の輝度値から加重平均によって求めた値を生成すべき画像の対象画素の輝度値とすることを特徴とする。
本発明は、前記画像生成ステップでは、生成すべき画像の画素位置と、前記撮像手段によって撮像した複数の画像の画素位置とのずれに応じて、シフトした位置の画素を前記対象画素として選択し、選択した前記対象画素の輝度値の加重平均を求めることを特徴とする。
本発明は、被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、前記被写体に対する視点位置を設定する視点位置設定手段と、前記被写体と前記視点位置の位置関係と、前記被写体と前記撮像手段の位置関係とが近い前記撮像手段を複数選択する選択手段と、複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送手段と、前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成手段とを備えたことを特徴とする。
本発明は、コンピュータに、前記画像生成方法を実行させるための画像生成プログラムである。
本発明によれば、所望の視点位置から見た画像を高臨場感が与えられる品質で生成することができるという効果が得られる。また、撮影する場所と表示を行う場所が離れている場合に、撮像手段と画像生成手段との間に伝送路を設け、複数の撮像手段によって撮像された画像のうち、必要な画像のみを伝送路によって伝送するようにしたため、低容量の伝送路を使用しても高画質で通信を行うことが可能になる。
本発明の第1の実施形態の構成を示すブロック図である。 図1に示す画像生成部5が行う画像生成処理の概略を示す説明図である。 図1に示す画像生成部5の処理動作を示すフローチャートである。 2つの画像の加重平均と輪郭位置の関係を示す図である。 カメラ位置の後方に視点位置がある場合の画像生成処理の概略を示す説明図である。 2つの画像の加重平均と輪郭位置の関係を示す図である。 図1に示す画像生成部5が行う画像生成処理の概略を示す説明図である。 本発明の第4の実施形態の構成を示すブロック図である。 加重が負の場合の2つの画像の加重平均と輪郭位置の関係を示す図である。 従来技術による映像表示のイメージを示す概念図である。
<第1の実施形態>
以下、図面を参照して、本発明の第1の実施形態による画像生成装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、画像生成対象の被写体である。符号2は、生成すべき画像を映す仮想のスクリーンである。符号3−1、3−2は、被写体1を撮像する複数のカメラである。図1においては、カメラを2台のみ図示したが、必要に応じて3台以上のカメラを備えていてもよい。生成する画像の品質を向上させるためには、多数のカメラを備えていることが望ましい。また、複数のカメラは、スクリーン2と平行な面状に配置されていることが望ましい。符号4は、生成した画像を見る者の視点位置を検出して、生成すべき画像の視点位置を設定する視点位置設定部である。符号5は、視点位置設定部4によって設定した視点位置から見た被写体1の画像を生成する画像生成部である。符号6は、画像生成部5において生成された生成画像を表示する表示装置である。
次に、図2を参照して、図1に示す画像生成部5の画像生成の原理について説明する。
図2は図1に示す画像生成部5が行う画像生成処理の概略を示す説明図である。図2は、スクリーン2に垂直な断面を示しており、スクリーン2上のある画素の輝度の計算方法の概略を示している。図2に示す視点位置から見た場合の画像の生成方法を説明する。図2に示す対象画素の輝度は、対象画素から出た光が視点位置に達する光線の近傍にあるカメラ位置から撮像された画像から計算する。図2に示す例では、第1のカメラ位置、第2のカメラ位置の2箇所のカメラによって撮像した画像から設定した視点位置の画像を生成する。対象画素の輝度Lは、第1のカメラ位置、第2のカメラ位置から撮像した画像の画素の輝度(画素値)をL1、L2とし、第1のカメラ位置、第2のカメラ位置それぞれから光線までの距離をd1、d2とすると、(1)式によって求める。ここで、d1、d2の値は、カメラ位置の座標X1、X2と視点位置の座標X0として、d1=X0−X1、d2=X2−X0として計算することにより算出する。
Figure 2015125493
なお、カラー画像の場合には、各原色ごとに同様の計算をすればよい。また、演算量を減らすため三原色の中で分解能が最も高い緑色のみについて計算し、他の原色については一方のカメラ画像の画素値を使用してもよい。また、YPbPrのように輝度信号と色差信号で映像が提供される場合に輝度信号のみに対してのみ同様の計算を行い色差信号については一方のカメラの情報を用いてもよい。カメラと光線の距離は、カメラ位置から光線におろした垂線の長さであるが、格子状にカメラを配置している場合は、格子を形成する面と光線の交点とカメラ位置の距離を用いるなど近似をしてもよい。また、近傍のカメラ数を2としたが、2より多くてもよい。この場合には近傍のカメラ数をnとすると、対象画素の輝度Lは、(2)式によって求める。
Figure 2015125493
なお、視点位置がカメラ位置と同一の場合、(1)式、(2)式は不安定になるがその場合は視点位置に配置されたカメラの画像の輝度値をそのまま対象画素の輝度Lとして用いればよい。
次に、図3を参照して、図1に示す画像生成部5の処理動作を説明する。図3は、図1に示す画像生成部5の処理動作を示すフローチャートである。図3に示す処理動作は、1枚の静止画像を生成する処理動作であるが、図3に示す処理動作を連続して繰り返すことで動画像にも対応することができる。
まず、画像生成部5は、生成すべきスクリーン上の画像中の対象画素を1個選択する(ステップS1)。そして、画像生成部5は、選択した対象画素と、視点位置設定部4において設定した視点位置とを結ぶ光線(直線)を計算する(ステップS2)。
次に、画像生成部5は、求めた光線の近傍に位置するカメラを選択する(ステップS3)。ここで、近傍に位置するカメラの選択は、(1)各カメラ位置について光線からの距離を計算し近い順に所定の個数選ぶ、(2)視点位置とカメラ位置の距離を算出し近い順に所定の個数選ぶ、(3)カメラを格子状にならべ、格子の単位胞がなす多角形の頂点に相当するカメラ位置を選ぶ、などの手法を適用することができる。
次に、画像生成部5は、光線からの距離をパラメータとする所定の重みで、選択されたカメラの画像のスクリーン上の対象画素の輝度を加重平均し、対象画素の輝度値とする(ステップS4)。そして、画像生成部5は、未計算の画素が残っているか否かを判定し(ステップS5)、残っていればステップS1に戻って他の対象画素の計算を繰り返し、残っていなければ処理を終了する。
この処理動作により作成された画像は、複数カメラ位置から撮像された画像となる。カメラ位置の違いによりずれた画像の加重平均となる。ずれの幅が小さい場合には図4のように輪郭位置が加重比によって連続的に変化するため、視点位置にあった適切な輪郭位置の画像が生成されることになる。図4は、2つの画像の加重平均と輪郭位置の関係を示す図である。
ここでは、カメラ位置と視点が同一直線上に並んだ場合を説明したが、異なってもよい。図5はカメラ位置の後方に視点位置がある場合の説明図である。このような場合にも図3に示す処理動作に従って画像生成を行えばよい。図3に示す処理動作に従うと画素によって加重平均する画像が変化する。図5に示す第1の対象画素については第1、第2のカメラ位置の画像、第2の対象画素については第2、第3のカメラ位置の画像、第3の対象画素については第3、第4のカメラ位置の画像になるが、カメラ位置が前後に変化しても同様な処理動作によって画像生成することができる。
本実施形態で使用する各カメラ位置から撮像された画像は、それぞれのカメラ位置で撮像された画像をスクリーン面に対し射影したものとする。このような画像は、一般的なカメラよって所定の位置から画像を撮像し、カメラの光軸がスクリーンの法線からずれに相当する台形補正を施すことで容易に取得することができる。また、カメラの光軸をスクリーン法線と平行として撮像し、スクリーンの表示領域に相当する部分を切り抜いてもよい。また、カメラの光軸をスクリーン法線と平行とし、シフト可能なレンズを使用しスクリーンの表示領域の中心と光軸のずれを補償しながら撮像して取得し、表示領域に相当する部分を切り抜いてもよい。
このように、所望の視点位置から見た画像生成において、複数カメラの画像から特定の視点の画像を生成する際に、画像を劣化させる原因となる奥行情報を使用しないようにしたため、高臨場感を与えられる品質で所望の視点位置から見た画像を生成することができる。
<第2の実施形態>
次に、本発明の第2の実施形態による画像生成装置を説明する。第2の実施形態おける装置構成は、図1に示す装置構成と同様であるので、ここでは詳細な説明を省略する。第2の実施形態おける画像生成装置が、第1の実施形態における画像生成装置と異なる点は、カメラ位置による画像のずれ量が大きい場合に適した加重とする点である。図6に示すように画像のずれが大きい場合には、輪郭位置は図4のように加重に比例するのではなく、図6に示したように敏感に変化するように人は知覚する。すなわち、視点位置に最も近いカメラ位置の画像の加重を0.5以上として主に使用し、他の近傍のカメラ位置の画像をそれより小さい加重で平均するものである。これにより、多重像を目立たせずに適切な輪郭位置の画像を生成することができるようになる。
<第3の実施形態>
次に、本発明の第3の実施形態による画像生成装置を説明する。第3の実施形態おける装置構成は、図1に示す装置構成と同様であるので、ここでは詳細な説明を省略する。また、画像生成の処理動作も図3に示す処理動作と同様である。第3の実施形態おける画像生成装置は、スクリーン位置と画像の物体(被写体1)位置が異なる場合に適した画像生成方法である。この場合、異なるカメラ位置の画像をそのまま重ねると、スクリーン上での画像のずれがそのまま重ねられてしまい、多重像が見苦しい画像となってしまう。図3に示す処理動作における加重平均処理(ステップS4)において、注目する画素に対応する物体(被写体1)上の位置を計算し、第1のカメラ位置、第2のカメラ位置の画像の物体(被写体1)上の位置に対応する画素の輝度を加重平均することで、多重像を抑制する。すなわち、図7に示すように、図3に示す画像生成処理における加重平均処理(ステップS4)において、第1のカメラ位置、第2のカメラ位置の画像の画素位置の算出の際に第1のシフト量、第2のシフト量に相当するオフセットを加えて計算する。図7は、画像生成部5が行う画像生成処理の概略を示す説明図である。これにより、多重像を抑制する輝度計算を容易に行うことができる。
なお、演算方法は前述した演算方法に限るものではなく、同等の結果が得られる別の演算方法を用いるようにしてもよい。例えば、第1〜第3の実施形態におけるスクリーン位置を本実施形態の物体(被写体)位置と仮定して計算し、得られた画像を被写体位置とスクリーン位置の差に相当する視差だけシフトするようにしてもよい。
次に、前述した第1〜第3の実施形態による画像生成装置によって生成した所望の視点位置における画像を表示装置6に表示した結果について説明する。使用者(画像を見る者)の視点位置の検出し、視点位置設定部4によって視点位置を設定して、画像生成部5によって視点位置に応じた画像を表示装置6に表示した。表示装置6に表示される画像は、視点位置に対応した画像となるので定位感が高く高臨場な表示が可能であった。また、表示装置6に表示される表示画像を被写体1の実サイズとすることで、より高い臨場感を得ることができた。また、使用者の左右眼の位置に合わせた画像を生成し、3Dメガネを使用して左右眼それぞれに画像を提示したところあたかもそこに実物があるかのような高臨場感で画像を見ることができた。さらに表示装置として、裸眼式の3D表示装置を使用し、各視点位置に対応した画像を生成表示したところ、3Dメガネのような特殊な器具を装着しなくてもあたかもそこに実物があるかのような高臨場感で画像を見ることができた。
<第4の実施形態>
次に、本発明の第4の実施形態による画像生成装置を説明する。図8は、第4実施形態による画像生成装置の構成を示すブロック図である。図8に示す画像生成装置は、撮影を行う場所と表示を行う場所が遠く離れている場合を想定したものである。図8において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図1に示す装置と異なる点は、映像スイッチ7を新たに設け、第1の地点(カメラが設置される地点)と第2の地点(表示装置が設置される地点)との間を伝送路8によって接続した点である。伝送路8は、公衆ネットワークであってもよい。この構成に伴い、画像生成部51は、複数のカメラ(ここでは、6台のカメラ3−1〜3−6)の映像を選択するための映像選択信号を伝送路8を介して映像スイッチ7に対して出力するようになっている。画像生成部51は、視点位置設定部4から出力する視点位置情報に基づいて、取得するべき映像を出力するカメラを特定し、そのカメラが出力する映像を選択するように映像選択信号を出力する。
撮影を行う第1の地点には、複数のカメラ3−1〜3−6と映像スイッチ7が備えられ、第2の地点には視点位置設定部4、画像生成部51、表示装置6が備えられる。第2の地点の画像生成部51から第1の地点の映像スイッチ7には映像選択信号が伝送路7を介して伝送され、所望のカメラからの映像を選択する。第1の地点から、第2の地点へは6台のカメラ3−1〜3−6が出力するカメラ映像のうち映像スイッチ7によって選択された映像のみが伝送路8を介して伝送される。例えば、視点位置設定部4によって設定された視点位置がカメラ3−3とカメラ3−4の間にある場合にはカメラ3−3とカメラ3−4のカメラ映像を選択し伝送する。映像スイッチは市販の遠隔制御機能がある映像マトリクススイッチを使用することができる。
図8に示す構成は、映像数を最も削減し視点位置の直近の2映像を送る例であるが、両眼の視点位置に対し4系統を送ったり、さらに多くのカメラ映像を送ってもよい。また、視点がカメラの後方にある場合には、広範囲のカメラが必要とされるが、狭いカメラ間隔は不要なので、広範囲のカメラの中から間隔を広げて選択し間引いて伝送してもよい。
この構成により画像生成部51による画像生成は観察者がいる第2の地点側で行われるため、観察者の位置情報の送信にかかる遅延が発生せず、観察者位置の変化への応答が高速な表示を実現することができる。また、第1の地点側でカメラ映像が選択されるため、すべての映像を送る場合に比べ伝送路8の帯域が狭くても高速に伝送することができる。
また、図8に示す構成では伝送路8の伝送遅延や映像スイッチ7の遅延により、入力画像が切り替わるまでに時間遅延が発生することがあるが、図9に示すようにおおむね外挿される。図9は、加重が負の場合の2つの画像の加重平均と輪郭位置の関係を示す図である。このため、視点がカメラの外にある場合でも同様の処理で臨場感がおおむね高い映像を提供することができる。
以上説明したように、所望の視点位置における画像の生成において、視点位置と画面上の位置を結ぶ直線(光線)の近傍の位置において撮像された画像を所定の比率で加重平均して画像生成するようにした。そして、所定の比率として、直線(光線)と撮像位置の距離に反比例する量を加重として用いるようにした。また、所定の比率として、直線(光線)と撮像位置の距離が最も近い画像に対する加重を重くするようにした。さらに、複数の撮像画像を光線と撮像位置の関係から決まる所定量だけシフトするようにした。
この構成により、所望の視点位置における画像の生成において、奥行情報を使用しないため、高画質の画像を生成することができる。また、加重平均となる対象の画像間のずれがあまり大きくない場合には、人間の知覚特性により正しい位置に物体のエッジを表現することができる。また、加重平均となる対象の画像間のずれが比較的大きい場合には、人間の知覚特性により正しい位置に物体のエッジが表現されかつ、エッジが目障りな二重像になることを抑制することができる。また、スクリーン位置と被写体の奥行方向の処理が異なる場合でも、多重像になることを防ぐことができる。これにより、高臨場な表現の画像を生成して表示することが実現できる。
前述した実施形態における画像生成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、PLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されるものであってもよい。
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
既存の画像から所望の視点位置の画像を生成することが不可欠な用途に適用できる。
1・・・被写体、2・・・スクリーン、3−1〜3−6・・・カメラ(撮像手段)、4・・・視点位置設定部、5、51・・・画像生成部、6・・・表示装置、7・・・映像スイッチ、8・・・伝送路

Claims (5)

  1. 被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、前記被写体に対する視点位置を設定する視点位置設定手段とを備えた画像生成装置が行う画像生成方法であって、
    前記被写体と前記視点位置との位置関係と、前記被写体と前記撮像手段との位置関係とが近い前記撮像手段を複数選択する選択ステップと、
    選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送ステップと、
    前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成ステップと
    を有することを特徴とする画像生成方法。
  2. 前記画像生成ステップでは、選択された複数の前記撮像手段によって撮像された複数の画像の対象画素の輝度値から加重平均によって求めた値を生成すべき画像の対象画素の輝度値とすることを特徴とする請求項1に記載の画像生成方法。
  3. 前記画像生成ステップでは、生成すべき画像の画素位置と、前記撮像手段によって撮像した複数の画像の画素位置とのずれに応じて、シフトした位置の画素を前記対象画素として選択し、選択した前記対象画素の輝度値の加重平均を求めることを特徴とする請求項2に記載の画像生成方法。
  4. 被写体をそれぞれ異なる位置から撮像する複数の撮像手段と、
    前記被写体に対する視点位置を設定する視点位置設定手段と、
    前記被写体と前記視点位置の位置関係と、前記被写体と前記撮像手段の位置関係とが近い前記撮像手段を複数選択する選択手段と、
    複数の前記撮像手段が撮像した画像を選択して出力する画像選択手段と、
    選択された前記撮像手段が出力する画像を前記画像選択手段によって複数選択して、伝送路を介して、選択した複数の前記画像を伝送する伝送手段と、
    前記伝送路を介して伝送された複数の前記画像に基づいて、前記視点位置設定手段によって設定された前記視点位置から見た前記被写体の画像を生成する画像生成手段と
    を備えたことを特徴とする画像生成装置。
  5. コンピュータに、請求項1から3のいずれか1項に記載の画像生成方法を実行させるための画像生成プログラム。
JP2013267780A 2013-12-25 2013-12-25 画像生成方法、画像生成装置及び画像生成プログラム Expired - Fee Related JP6200316B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013267780A JP6200316B2 (ja) 2013-12-25 2013-12-25 画像生成方法、画像生成装置及び画像生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013267780A JP6200316B2 (ja) 2013-12-25 2013-12-25 画像生成方法、画像生成装置及び画像生成プログラム

Publications (2)

Publication Number Publication Date
JP2015125493A true JP2015125493A (ja) 2015-07-06
JP6200316B2 JP6200316B2 (ja) 2017-09-20

Family

ID=53536181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013267780A Expired - Fee Related JP6200316B2 (ja) 2013-12-25 2013-12-25 画像生成方法、画像生成装置及び画像生成プログラム

Country Status (1)

Country Link
JP (1) JP6200316B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019066560A (ja) * 2017-09-28 2019-04-25 日本電信電話株式会社 表示装置及び表示方法
US11037270B2 (en) 2016-11-28 2021-06-15 Canon Kabushiki Kaisha Information processing apparatus and control method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142765A (ja) * 2003-11-05 2005-06-02 Sony Corp 撮像装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005142765A (ja) * 2003-11-05 2005-06-02 Sony Corp 撮像装置及び方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
今井悠介,高木康博: "複数のデプス情報を用いたカメラアレイによる指向性画像の生成(2)", 映像情報メディア学会技術報告, vol. 第32巻第14号, JPN6017008464, 5 March 2008 (2008-03-05), JP, pages 15 - 18, ISSN: 0003516219 *
國田豊 他: "多眼カメラを用いた任意視点人物像の実時間作成システム", 電子情報通信学会論文誌, vol. J84−D−II,第1号, JPN6016048726, 1 January 2001 (2001-01-01), JP, pages 129 - 138, ISSN: 0003463005 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037270B2 (en) 2016-11-28 2021-06-15 Canon Kabushiki Kaisha Information processing apparatus and control method
JP2019066560A (ja) * 2017-09-28 2019-04-25 日本電信電話株式会社 表示装置及び表示方法

Also Published As

Publication number Publication date
JP6200316B2 (ja) 2017-09-20

Similar Documents

Publication Publication Date Title
US11663778B2 (en) Method and system for generating an image of a subject from a viewpoint of a virtual camera for a head-mountable display
US10204452B2 (en) Apparatus and method for providing augmented reality-based realistic experience
US10373362B2 (en) Systems and methods for adaptive stitching of digital images
KR102181735B1 (ko) 옴니스테레오 이미징
JP6734620B2 (ja) 映像処理方法及び映像処理装置
US9270977B2 (en) 3D photo creation system and method
JP6644371B2 (ja) 映像表示装置
JP2019532535A (ja) 単一深度追跡型の遠近調節−両眼転導ソリューション
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
US9338426B2 (en) Three-dimensional image processing apparatus, three-dimensional imaging apparatus, and three-dimensional image processing method
JPWO2011052064A1 (ja) 情報処理装置および方法
CN105611267B (zh) 现实世界和虚拟世界图像基于深度和色度信息的合并
JP6585938B2 (ja) 立体像奥行き変換装置およびそのプログラム
JP2018500690A (ja) 拡大3d画像を生成するための方法およびシステム
TWI589150B (zh) 3d自動對焦顯示方法及其系統
JP6200316B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
JP6166985B2 (ja) 画像生成装置および画像生成プログラム
US11317082B2 (en) Information processing apparatus and information processing method
CN104253988B (zh) 成像设备、成像方法、图像生成设备以及图像生成方法
JP6181549B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
JP6042732B2 (ja) 画像生成方法、画像生成装置及び画像生成プログラム
JP2017525197A (ja) 立体視ビデオ生成
KR101907127B1 (ko) 입체 비디오 주밍 및 비디오 내의 전경 및 배경 검출
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
JP2014116818A (ja) 全天周立体映像表示装置、全天周立体映像表示方法、映像データ補正プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170825

R150 Certificate of patent or registration of utility model

Ref document number: 6200316

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees