[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2012156775A - カメラモジュール - Google Patents

カメラモジュール Download PDF

Info

Publication number
JP2012156775A
JP2012156775A JP2011013946A JP2011013946A JP2012156775A JP 2012156775 A JP2012156775 A JP 2012156775A JP 2011013946 A JP2011013946 A JP 2011013946A JP 2011013946 A JP2011013946 A JP 2011013946A JP 2012156775 A JP2012156775 A JP 2012156775A
Authority
JP
Japan
Prior art keywords
camera module
sub
image
unit
sub camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011013946A
Other languages
English (en)
Other versions
JP5398750B2 (ja
Inventor
Takayuki Ogasawara
隆行 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2011013946A priority Critical patent/JP5398750B2/ja
Priority to US13/353,537 priority patent/US9143756B2/en
Publication of JP2012156775A publication Critical patent/JP2012156775A/ja
Application granted granted Critical
Publication of JP5398750B2 publication Critical patent/JP5398750B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/133Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】製造コストの低減と、高品質な立体視画像の撮影とを可能とするカメラモジュールを提供すること。
【解決手段】実施形態によれば、カメラモジュールは、第1のサブカメラモジュール1と、第2のサブカメラモジュール2と、画像処理装置であるISP3と、を有する。第2のサブカメラモジュール2は、第1のサブカメラモジュール1とは画素数を異ならせて構成されている。画像処理装置は、第1の画像と第2の画像とについて信号処理を実施し、立体視表示のための画像信号を出力する。第2のサブカメラモジュール2の連続撮像部23は、第1のサブカメラモジュール1による撮像に対して複数回の撮像を連続して実施する。重ね合わせ部26は、連続撮像部23により取り込まれた複数の画像を重ね合わせて第2の画像とする。重ね合わせ部26は、第1のサブカメラモジュール1の信号対雑音比に応じた数の画像を重ね合わせる。
【選択図】図1

Description

本発明の実施形態は、カメラモジュールに関する。
従来、立体視画像(3D)の撮影には、例えば、被写体像を撮像する複数のサブカメラモジュールを備えるカメラモジュールが使用されている。カメラモジュールは、複数のサブカメラモジュールのうちの一つを通常の平面視画像の撮影に使用することで、立体視画像の撮影と平面視画像の撮影との切り替えが可能となる。従来、立体視画像の撮影には、互いに同程度の性能を持つ複数のサブカメラモジュールが使用されている。この場合、平面視画像の撮影に使用するメインのサブカメラモジュールが高性能であると、他のサブカメラモジュールも高性能が求められることとなるため、カメラモジュールの製造コストが大幅に増大することが問題となる。
特開2007−208704号公報
本発明の一つの実施形態は、製造コストの低減と、高品質な立体視画像の撮影とを可能とするカメラモジュールを提供することを目的とする。
本発明の一つの実施形態によれば、カメラモジュールは、第1のサブカメラモジュールと、第2のサブカメラモジュールと、画像処理装置と、を有する。第1のサブカメラモジュール及び第2のサブカメラモジュールは、被写体像を撮像する。第2のサブカメラモジュールは、第1のサブカメラモジュールとは画素数を異ならせて構成されている。画像処理装置は、第1のサブカメラモジュールから入力された第1の画像と、第2のサブカメラモジュールから入力された第2の画像とについて信号処理を実施し、立体視表示のための画像信号を出力する。第2のサブカメラモジュールは、連続撮像部と、重ね合わせ部と、を有する。連続撮像部は、第1のサブカメラモジュールによる撮像に対して複数回の撮像を連続して実施する。重ね合わせ部は、連続撮像部により取り込まれた複数の画像を重ね合わせて第2の画像とする。重ね合わせ部は、第1のサブカメラモジュールの信号対雑音比に応じた数の画像を重ね合わせる。
第1の実施形態にかかるカメラモジュールの構成を示すブロック図。 ISPの信号処理部による信号処理の手順を説明するフローチャート。 第2のサブカメラモジュールの信号処理部による信号処理の手順を説明するフローチャート。 第1の実施形態の変形例にかかる第2のサブカメラモジュールにおける信号処理の手順を説明するフローチャート。 第2の実施形態にかかるカメラモジュールの構成を示すブロック図。 第2のサブカメラモジュールの信号処理部による信号処理の手順を説明するフローチャート。
以下に添付図面を参照して、実施形態にかかるカメラモジュールを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
(第1の実施形態)
図1は、第1の実施形態にかかるカメラモジュールの構成を示すブロック図である。カメラモジュールは、第1のサブカメラモジュール1と、第2のサブカメラモジュール2と、ISP(Image Signal Processor)3とを有する。
第1のサブカメラモジュール1は、被写体像の撮像によって、第1のRAW画像(第1の画像)を出力する。第1のサブカメラモジュール1は、イメージセンサ10及び信号処理部11を有する。イメージセンサ10は、撮像光学系(図示省略)により取り込まれた光を信号電荷に変換する。信号処理部11は、R、G、Bの信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。
第2のサブカメラモジュール2は、被写体像の撮像によって、第2のRAW画像(第2の画像)を出力する。第2のサブカメラモジュール2は、イメージセンサ20、信号処理部21及びOTP(One Time Programmable memory)22を有する。イメージセンサ20は、撮像光学系(図示省略)により取り込まれた光を信号電荷に変換する。第2のサブカメラモジュール2のイメージセンサ20は、第1のサブカメラモジュール1のイメージセンサ10よりも少ない画素数を持たせて構成されている。
信号処理部21は、赤(R)、緑(G)、青(B)の信号値をベイヤー配列に対応する順序で取り込むことによりアナログ画像信号を生成し、得られた画像信号をアナログ方式からデジタル方式へ変換する。また、信号処理部21は、連続撮像部23、スケーリング部24、個体差補正部25、重ね合わせ部26及び解像度補正部27を有する。
連続撮像部23は、第1のサブカメラモジュール1による一回の撮像に対して、複数回の撮像を連続して実施する。スケーリング部24は、連続撮像部23により取り込まれた複数の画像について、第1のRAW画像のサイズに応じたスケーリング処理を実施する。この例では、スケーリング部24は、アップスケーリングを実施する。
個体差補正部25は、連続撮像部23により取り込まれた複数の画像について、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の間の個体差に応じて画質を補正する。個体差補正部25は、画質の補正として、例えば、画像の位置合わせを行う。個体差とは、例えば、レンズディストーションの誤差、レンズ等の部品の製造誤差、部品同士の組立誤差、第1のサブカメラモジュール1に対する第2のサブカメラモジュール2の取り付け誤差等とする。
重ね合わせ部26は、連続撮像部23により取り込まれた複数の画像を重ね合わせて、第2のRAW画像を生成する。重ね合わせ部26は、第1のサブカメラモジュール1の信号対雑音比(signal to noise ratio;SNR)に応じた数の画像を重ね合わせる。解像度補正部27は、第1のRAW画像の解像度に応じて、第2のRAW画像の解像度を補正する。OTP22は、信号処理部21での信号処理に使用されるパラメータを保持する。
ISP3は、第1のサブカメラモジュール1から入力された第1のRAW画像と、第2のサブカメラモジュール2から入力された第2の画像とについて信号処理を実施し、立体視表示のための画像信号を出力する画像処理装置として機能する。ISP3は、第1のサブカメラモジュールI/F31、第2のサブカメラモジュールI/F32、画像取り込み部33、信号処理部34、ドライバI/F35及びメモリ36を有する。
第1のサブカメラモジュール1での撮像により得られた第1のRAW画像は、第1のサブカメラモジュールI/F31から画像取り込み部33へ取り込まれる。第2のサブカメラモジュール2での撮像により得られた第2のRAW画像は、第2のサブカメラモジュールI/F32から画像取り込み部33へ取り込まれる。
信号処理部34は、画像取り込み部33へ取り込まれた第1のRAW画像及び第2のRAW画像について、信号処理を実施する。ドライバI/F35は、信号処理部34での信号処理を経た画像信号を、表示ドライバ4へ出力する。表示ドライバ4は、立体視画像を表示する。メモリ36は、連続撮像部23により取り込まれた複数の画像を保持する保持部として機能する。第2のサブカメラモジュール2の重ね合わせ部26は、メモリ36から読み出した複数の画像を重ね合わせる。
図2は、ISPの信号処理部による信号処理の手順を説明するフローチャートである。信号処理部34は、第1のサブカメラモジュール1での撮像により得られた第1のRAW画像、第2のサブカメラモジュール2での撮像により得られた第2のRAW画像のそれぞれについて、シェーディング補正を実施する(ステップS1)。シェーディング補正では、撮像光学系に起因する中央部と周辺部との光量差による輝度ムラを補正する。
信号処理部34は、固定パターンノイズ、暗電流ノイズ、ショットノイズなどのノイズを除去するノイズリダクション(ステップS2)及び解像度復元処理(ステップS3)を実施する。次に、信号処理部34は、ベイヤー配列の順序で伝達されてくるデジタル画像信号に対して、画素補間処理(デモザイキング)を施す(ステップS4)。デモザイキングでは、被写体像の撮像により得られた画像信号の補間処理により、不足色成分の感度レベル値を生成する。信号処理部34は、デモザイキングにより、第1のサブカメラモジュール1、第2のサブカメラモジュール2のそれぞれについてカラー画像を合成する。
信号処理部34は、カラー画像に対して、ホワイトバランスの自動調整(Automatic White Balance control;AWB)を実施する(ステップS5)。さらに、信号処理部34は、色再現性を得るためのリニアカラーマトリクス処理(ステップS6)、ディスプレイ等に表示される画像の彩度や明るさを補正するためのガンマ補正(ステップS7)を実施する。
なお、図2に示す信号処理の手順は一例であって、他の処理の追加、省略可能な処理の省略、順序の変更などを適宜しても良い。各要素による信号処理は、第1のサブカメラモジュール1及び第2のサブカメラモジュール2と、ISP3とのいずれで実施することとしても良く、分担して実施することとしても良い。
図3は、第2のサブカメラモジュールの信号処理部による信号処理の手順を説明するフローチャートである。信号処理部21は、連続撮像部23により、第1のサブカメラモジュール1での一回の撮像に同期して複数回の撮像を行い、連続する複数の画像を取り込む(ステップS11)。メモリ36は、連続撮像部23によって取り込まれた複数の画像を保持する。スケーリング部24は、メモリ36に保存された複数の画像を読み出し、スケーリング処理を実施する(ステップS12)。
アップスケーリングによる効果は、アルゴリズムに依存する。スケーリング部24は、例えば、バイリニア、バイキュービックによる補間を用いることで、画質を劣化させずに画像を拡大させることができる。スケーリング部24は、バイリニア、バイキュービック以外のアルゴリズムを使用して、アップスケーリングを実施しても良い。カメラモジュールは、スケーリング部24によるスケーリング処理の適用により、第1のRAW画像のサイズに合わせた立体視画像を得ることができる。
個体差補正部25は、スケーリング部24でのスケーリング処理を経た複数の画像について、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の間の個体差に応じて画質を補正する(ステップS13)。個体差補正部25は、カメラモジュールの製造時にOTP22へ書き込まれたパラメータを読み出し、画質の補正のための演算に使用する。
例えば、レンズディストーションを補正するためのパラメータは、カメラモジュールの製造時に、第1のサブカメラモジュール1及び第2のサブカメラモジュール2で調整用チャートを撮影した結果から得た補正係数とする。補正係数は、第1のサブカメラモジュール1で撮影されたチャートを基準として、第2のサブカメラモジュール2で撮影された調整用マーカーを、第1のサブカメラモジュール1で撮影された調整用マーカーに一致させるための座標変換の係数として求められる。
補正係数は、行列演算の係数とする。補正係数は、例えば最小二乗法により、以下に示す式により求められる。
Y=kX
k=YX[XX−1
なお、kは補正係数、Y、Xはいずれも調整用マーカーの座標であって、Yは第1のサブカメラモジュール1による画像から算出された座標、Xは第2のサブカメラモジュール2による画像から算出された座標とする。Xは、Xの転置行列とする。[XX−1は、XXの逆行列とする。補正係数は、最小二乗法により求める他、非線形最適化手法等、他のアルゴリズムを使用して求めることとしても良い。
カメラモジュールは、個体差補正部25での補正により、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の間の個体差に起因する立体視画像の劣化を低減させることが可能となる。なお、カメラモジュールは、個体差の補正のためのパラメータの保存先を、第2のサブカメラモジュール2のOTP22とする以外に、ISP3としても良い。
重ね合わせ部26は、個体差補正部25による補正を経た複数の画像を対象として、重ね合わせを実施する(ステップS14)。重ね合わせ部26で重ね合わせられる画像の数は、画像の重ね合わせによって実現されるSNRが、第1のRAW画像におけるSNRと同程度となるように、設定されている。重ね合わせ部26は、第1のサブカメラモジュール1のSNRに応じた数の画像を重ね合わせることで、画素ごとの信号値を平均化させ、第1のRAW画像と同程度の感度を持つ第2のRAW画像を得ることができる。カメラモジュールは、第1のサブカメラモジュール1の性能に応じた高感度な立体視画像を得ることが可能となる。
解像度補正部27は、重ね合わせ部26で得られた第2のRAW画像について、解像度の補正を実施する(ステップS15)。解像度補正部27は、カメラモジュールの製造時にOTP22へ書き込まれたパラメータを読み出し、解像度の補正のための演算に使用する。
解像度の補正のためのパラメータは、カメラモジュールの製造時に、第1のサブカメラモジュール1及び第2のサブカメラモジュール2でMTFチャートを撮影した結果から得たものとする。MTFチャートの撮影によって、例えば、0%、20%、40%、60%及び80%の各像高におけるMTFを取得する。
パラメータは、第1のサブカメラモジュール1のMTFを基準として、各像高について第2のサブカメラモジュール2のMTFが第1のサブカメラモジュール1のMTFと一致させるための解像度補正用フィルタの強度として求められる。特に、レンズの中心等、高精度が望まれる部分がある場合は、その位置を示す座標の付近に、MTF測定用のマーカーを増やすこととしても良い。
カメラモジュールは、解像度補正部27での補正により、第1のサブカメラモジュール1の解像度に合わせて第2のRAW画像を高解像度化させる。これにより、カメラモジュールは、高い解像度の立体視画像を得ることができる。なお、カメラモジュールは、解像度の補正のためのパラメータの保存先を、第2のサブカメラモジュール2のOTP22とする以外に、ISP3としても良い。
第2のサブカメラモジュール2は、以上の手順を経て得られた第2のRAW画像を出力する。カメラモジュールは、メインとする第1のサブカメラモジュール1に対して少ない画素数の第2のサブカメラモジュール2を使用することで、第1のサブカメラモジュール1と同じ画素数のサブカメラモジュールを使用する場合よりも製造コストを低減させる。
また、カメラモジュールは、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の画素数の差、個体差の影響による画質の劣化を低減させ、高品質な立体視画像を撮影することができる。カメラモジュールは、立体視表示のための複数の画像について、互いに同等の画質とすることで、互いに異なる画質の複数の画像を用いる場合に比べて違和感を軽減させることができる。
信号処理部21は、ステップS12からステップS15までの各処理の手順を適宜変更しても良い。スケーリング部24は、重ね合わせ部26で得られた第2のRAW画像についてスケーリング処理を実施するものであって良い。個体差補正部25は、重ね合わせ部26で得られた第2のRAW画像について補正を実施するものであっても良い。
信号処理部21は、連続撮像部23により取り込まれた複数の画像、および重ね合わせ部26で得られた第2のRAW画像のいずれかについて、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の間における各色(RGB)の感度差を補正することとしても良い。例えば、RGBの感度差は、第1のサブカメラモジュール1で得られる感度レベルに対する、第2のサブカメラモジュール2で得られる感度レベルの比として、各色成分について求められる。信号処理部21は、第2のサブカメラモジュール2で得られた画像を対象として各色の感度比を乗算することで、RGBの感度差を補正することができる。
図4は、第1の実施形態の変形例にかかる第2のサブカメラモジュールにおける信号処理の手順を説明するフローチャートである。本変形例では、第2のサブカメラモジュール2は、第1のサブカメラモジュール1よりも多い画素数を持たせて構成している。信号処理部21は、第1のサブカメラモジュール1での一回の撮像に同期して一回の撮像を行い、画像を取り込む(ステップS21)。
スケーリング部24は、ステップS21で取り込まれた画像のスケーリング処理を実施する(ステップS22)。この例では、スケーリング部24は、第1のRAW画像のサイズに応じたダウンスケーリングを実施する。個体差補正部25は、スケーリング部24によるスケーリング処理を経た画像について、個体差を補正する(ステップS23)。
信号処理部21は、個体差補正部25での補正を経た画像を、第1のサブカメラモジュール1のSNRに適合させるためのフィルタ処理を実施し(ステップS24)、第2のRAW画像とする。解像度補正部27は、第1のRAW画像の解像度に応じて、第2のRAW画像の解像度を補正する(ステップS25)。
本変形例においても、カメラモジュールは、第1のサブカメラモジュール1の性能に応じた立体視画像を得ることができる。また、カメラモジュールは、立体視表示のための複数の画像について、互いに同等の画質とすることで、互いに異なる画質の複数の画像を用いる場合に比べて違和感を軽減させることができる。
カメラモジュールは、例えば、動画の撮影において、大きい画像サイズを要求されないような場合に、大きいサイズのサブカメラモジュールで撮影された画像に対してダウンスケーリングを実施することとしても良い。なお、カメラモジュールは、図3に手順を示す信号処理を実施する場合も、小さいサイズのサブカメラモジュールで撮影された画像を基準とするダウンスケーリングを行うこととしても良い。第2のサブカメラモジュール2は、少なくとも、第1のサブカメラモジュール1とは画素数を異ならせて構成されていれば良いものとする。
(第2の実施形態)
図5は、第2の実施形態にかかるカメラモジュールの構成を示すブロック図である。第1のサブカメラモジュール1及び第2のサブカメラモジュール2は、手振れ補正を実施する。第1の実施形態と重複する説明については、適宜省略するものとする。
第1のサブカメラモジュール1の信号処理部11は、連続撮像部12及び手振れ補正部13を有する。連続撮像部12は、手振れ補正部13による手振れ補正のために、複数回の撮像を連続して実施する。手振れ補正部13は、連続撮像部12により取り込まれた画像について手振れ補正を実施する。
第2のサブカメラモジュール2のイメージセンサ20は、第1のサブカメラモジュール1のイメージセンサ10よりも少ない画素数を持たせて構成されている。第2のサブカメラモジュール2の信号処理部21は、連続撮像部23、スケーリング部24、個体差補正部25、重ね合わせ部26、解像度補正部27及び手振れ補正部28を有する。
連続撮像部23は、第1のサブカメラモジュール1による撮像に対して、複数回の撮像を連続して実施する。手振れ補正部28は、連続撮像部23によって取り込まれた画像について手振れ補正を実施する。重ね合わせ部26は、手振れ補正部28による手振れ補正を経た画像を重ね合わせる。
ISP3は、第1のサブカメラモジュールI/F31、第2のサブカメラモジュールI/F32、画像取り込み部33、信号処理部34、ドライバI/F35及びメモリ36、37を有する。メモリ36は、第2のサブカメラモジュール2の連続撮像部23により取り込まれた複数の画像を保持する保持部として機能する。メモリ37は、第1のサブカメラモジュール1の連続撮像部12により取り込まれた複数の画像を保持する保持部として機能する。
図6は、第2のサブカメラモジュールの信号処理部による信号処理の手順を説明するフローチャートである。信号処理部21は、連続撮像部23により複数回の撮像を行い、連続する複数の画像を取り込む(ステップS31)。メモリ36は、連続撮像部23によって取り込まれた複数の画像を保持する。スケーリング部24は、メモリ36に保存された複数の画像を読み出し、スケーリング処理を実施する(ステップS32)。
個体差補正部25は、スケーリング部24によるスケーリング処理を経た複数の画像について、第1のサブカメラモジュール1及び第2のサブカメラモジュール2の間の個体差に応じて画質を補正する(ステップS33)。個体差補正部25は、カメラモジュールの製造時にOTP22へ書き込まれたパラメータを読み出し、補正のための演算に使用する。
手振れ補正部28は、個体差補正部25による補正を経た画像について、手振れ補正のための移動量を算出する(ステップS34)。連続撮像部23により撮像された一枚目の画像に、二枚目の画像が一致するように、二枚目の画像を横方向(X軸方向)及び縦方向(Y軸方向)に移動させる。そして、手振れ補正のために設定された参照エリアについて、一枚目の画像の信号値と二枚目の画像の信号値との差分を求め、差分が最小となるような移動量を求める。
手振れ補正部28は、移動量を求める際に、G信号値を参照する。各画素のうちR信号値を持つ画素、B信号値を持つ画素については、ISP3の信号処理部34におけるデモザイキング(図2のステップS4)と同様の処理により、G信号値を生成する。手振れ補正部28は、ステップS34において求めた移動量にしたがって、当該二枚目の画像を移動させる(ステップS35)。
重ね合わせ部26は、一枚目の画像と、ステップS35での移動を経た二枚目の画像とを重ね合わせる(ステップS36)。信号処理部21は、連続撮像部23により撮像された三枚目以降の画像についても、ステップS34からステップS36の手順を繰り返す。解像度補正部27は、重ね合わせ部26により得られた第2のRAW画像について、解像度の補正を実施する(ステップS37)。
一方、第1のサブカメラモジュール1の信号処理部11は、連続撮像部12により複数回の撮像を行い、連続する複数の画像を取り込む。メモリ37は、連続撮像部12によって取り込まれた複数の画像を保持する。手振れ補正部13は、メモリ37に保存された複数の画像を読み出し、手振れ補正を実施する。第1のサブカメラモジュール1の手振れ補正部13は、第2のサブカメラモジュール2の手振れ補正部28と同様の処理により、手振れ補正を実施する。第1のサブカメラモジュール1は、手振れ補正部13による手振れ補正を経た画像を重ね合わせ、第1のRAW画像とする。
本実施形態にかかるカメラモジュールは、第1の実施形態と同様に、製造コストを低減可能とし、かつ高品質な立体視画像を撮影することができる。また、カメラモジュールは、第2のサブカメラモジュール2では重ね合わせ部26での画像の重ね合わせを手振れ補正にも流用するとともに、第1のサブカメラモジュール1でも手振れ補正を実施することで、手振れが軽減された立体視画像を得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
1 第1のサブカメラモジュール、2 第2のサブカメラモジュール、3 ISP、23 連続撮像部、24 スケーリング部、25 個体差補正部、26 重ね合わせ部、27 解像度補正部、28 手振れ補正部、36 メモリ。

Claims (5)

  1. 被写体像を撮像する第1のサブカメラモジュールと、
    前記第1のサブカメラモジュールとは画素数を異ならせて構成され、被写体像を撮像する第2のサブカメラモジュールと、
    前記第1のサブカメラモジュールから入力された第1の画像と、前記第2のサブカメラモジュールから入力された第2の画像とについて信号処理を実施し、立体視表示のための画像信号を出力する画像処理装置と、を有し、
    前記第2のサブカメラモジュールは、
    前記第1のサブカメラモジュールによる撮像に対して複数回の撮像を連続して実施する連続撮像部と、
    前記連続撮像部により取り込まれた複数の画像を重ね合わせて前記第2の画像とする重ね合わせ部と、を有し、
    前記重ね合わせ部は、前記第1のサブカメラモジュールの信号対雑音比に応じた数の画像を重ね合わせることを特徴とするカメラモジュール。
  2. 前記画像処理装置は、前記連続撮像部により取り込まれた複数の画像を保持する保持部を有し、
    前記重ね合わせ部は、前記保持部から読み出した複数の画像を重ね合わせることを特徴とする請求項1に記載のカメラモジュール。
  3. 前記第2のサブカメラモジュールは、前記連続撮像部により取り込まれた複数の画像、および前記重ね合わせ部で得られた前記第2の画像のいずれかについて、前記第1のサブカメラモジュール及び前記第2のサブカメラモジュールの間の個体差に応じて画質を補正する個体差補正部をさらに有することを特徴とする請求項1または2に記載のカメラモジュール。
  4. 前記第2のサブカメラモジュールは、前記連続撮像部により取り込まれた複数の画像、および前記重ね合わせ部で得られた前記第2の画像のいずれかについて、前記第1の画像のサイズに応じたスケーリング処理を実施するスケーリング部をさらに有することを特徴とする請求項1から3のいずれか一項に記載のカメラモジュール。
  5. 前記第2のサブカメラモジュールは、前記連続撮像部により取り込まれた複数の画像について手振れ補正を実施する手振れ補正部をさらに有し、
    前記重ね合わせ部は、前記手振れ補正部による前記手振れ補正を経た画像を重ね合わせることを特徴とする請求項1から4のいずれか一項に記載のカメラモジュール。
JP2011013946A 2011-01-26 2011-01-26 カメラモジュール Expired - Fee Related JP5398750B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011013946A JP5398750B2 (ja) 2011-01-26 2011-01-26 カメラモジュール
US13/353,537 US9143756B2 (en) 2011-01-26 2012-01-19 Camera module, photographing method, and electronic apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011013946A JP5398750B2 (ja) 2011-01-26 2011-01-26 カメラモジュール

Publications (2)

Publication Number Publication Date
JP2012156775A true JP2012156775A (ja) 2012-08-16
JP5398750B2 JP5398750B2 (ja) 2014-01-29

Family

ID=46543885

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011013946A Expired - Fee Related JP5398750B2 (ja) 2011-01-26 2011-01-26 カメラモジュール

Country Status (2)

Country Link
US (1) US9143756B2 (ja)
JP (1) JP5398750B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054304A1 (ja) * 2017-09-15 2019-03-21 株式会社ソニー・インタラクティブエンタテインメント 撮像装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5398750B2 (ja) * 2011-01-26 2014-01-29 株式会社東芝 カメラモジュール
JP6233869B2 (ja) * 2012-06-07 2017-11-22 日本電気株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
US9224042B2 (en) * 2013-04-17 2015-12-29 Honeywell International Inc. Cross-sensor iris matching
WO2015010098A1 (en) * 2013-07-19 2015-01-22 Google Inc. Asymmetric sensor array for capturing images
US10591969B2 (en) 2013-10-25 2020-03-17 Google Technology Holdings LLC Sensor-based near-field communication authentication
TWI524760B (zh) * 2014-04-18 2016-03-01 聚晶半導體股份有限公司 照相機陣列校正方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
JP2006093860A (ja) * 2004-09-21 2006-04-06 Olympus Corp 2眼撮像系を搭載したカメラ
JP2010154310A (ja) * 2008-12-25 2010-07-08 Fujifilm Corp 複眼カメラ及び撮影方法
JP2010157863A (ja) * 2008-12-26 2010-07-15 Fujifilm Corp 複眼カメラ及び画像処理方法
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH078055B2 (ja) 1992-10-21 1995-01-30 幹次 村上 立体撮像支援装置
JP4665781B2 (ja) 2006-02-02 2011-04-06 カシオ計算機株式会社 撮像装置、画像処理方法及びプログラム
JP2007335944A (ja) 2006-06-12 2007-12-27 Toshiba Corp 画像撮影装置及び画像撮影方法
FR2923341B1 (fr) * 2007-11-07 2010-04-23 Binocle Module support de camera et dispositif de prise de vues en relief.
JP4863527B2 (ja) * 2009-12-01 2012-01-25 稔 稲葉 立体映像撮像装置
GB2480193B (en) * 2009-01-19 2015-01-21 Minoru Inaba Stereoscopic video imaging display system
GB2471137B (en) * 2009-06-19 2011-11-30 Sony Comp Entertainment Europe 3D image processing method and apparatus
JP5121870B2 (ja) 2010-03-25 2013-01-16 株式会社東芝 画像処理方法および画像処理装置
JP2011250177A (ja) 2010-05-27 2011-12-08 Toshiba Corp カメラモジュール及び画像記録方法
US9314148B2 (en) * 2010-12-06 2016-04-19 Lensvector, Inc. Motionless adaptive stereoscopic scene capture with tuneable liquid crystal lenses and stereoscopic auto-focusing methods
JP5398750B2 (ja) * 2011-01-26 2014-01-29 株式会社東芝 カメラモジュール

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000102040A (ja) * 1998-09-28 2000-04-07 Olympus Optical Co Ltd 電子ステレオカメラ
JP2006093860A (ja) * 2004-09-21 2006-04-06 Olympus Corp 2眼撮像系を搭載したカメラ
JP2010154310A (ja) * 2008-12-25 2010-07-08 Fujifilm Corp 複眼カメラ及び撮影方法
JP2010157863A (ja) * 2008-12-26 2010-07-15 Fujifilm Corp 複眼カメラ及び画像処理方法
JP2010230879A (ja) * 2009-03-26 2010-10-14 Fujifilm Corp 複眼カメラ装置
WO2011096251A1 (ja) * 2010-02-02 2011-08-11 コニカミノルタホールディングス株式会社 ステレオカメラ

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019054304A1 (ja) * 2017-09-15 2019-03-21 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
JP2019054463A (ja) * 2017-09-15 2019-04-04 株式会社ソニー・インタラクティブエンタテインメント 撮像装置
US11064182B2 (en) 2017-09-15 2021-07-13 Sony Interactive Entertainment Inc. Imaging apparatus
US11438568B2 (en) 2017-09-15 2022-09-06 Sony Interactive Entertainment Inc. Imaging apparatus

Also Published As

Publication number Publication date
JP5398750B2 (ja) 2014-01-29
US20120188336A1 (en) 2012-07-26
US9143756B2 (en) 2015-09-22

Similar Documents

Publication Publication Date Title
JP5701785B2 (ja) カメラモジュール
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
US7529424B2 (en) Correction of optical distortion by image processing
US8339483B2 (en) Image processing device, solid-state imaging device, and camera module
JP5398750B2 (ja) カメラモジュール
TWI653887B (zh) 影像處理方法及施行該影像處理方法的影像處理裝置
TWI549519B (zh) 高解析度陣列相機
JP5901935B2 (ja) 固体撮像装置及びカメラモジュール
JP2012204856A (ja) 画像処理方法及びカメラモジュール
US20150146046A1 (en) Solid-state imaging device, digital camera, and image processing method
JP5535099B2 (ja) カメラモジュール及び画像記録方法
WO2015186510A1 (ja) 撮像装置および方法、並びにプログラム
JP2009157733A (ja) 画像歪み補正方法、画像歪み補正装置及び画像形成装置
JP5631769B2 (ja) 画像処理装置
JP5330439B2 (ja) カメラモジュール、画像処理装置及び画像処理方法
JP2011250177A (ja) カメラモジュール及び画像記録方法
JP5278421B2 (ja) 撮像装置
JP6051592B2 (ja) 画像処理装置および撮像装置
JP2009159404A (ja) 画像処理方法、画像処理装置及び画像形成装置
JP5333163B2 (ja) 撮像装置
WO2012165087A1 (ja) 撮像装置及びゴースト補正方法
JP5501884B2 (ja) 色ずれ補正装置
JP2016163315A (ja) 画像処理装置及び画像処理方法
JP2011015155A (ja) 撮像装置、レンズユニット

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

LAPS Cancellation because of no payment of annual fees