JP6673319B2 - Electronics - Google Patents
Electronics Download PDFInfo
- Publication number
- JP6673319B2 JP6673319B2 JP2017233417A JP2017233417A JP6673319B2 JP 6673319 B2 JP6673319 B2 JP 6673319B2 JP 2017233417 A JP2017233417 A JP 2017233417A JP 2017233417 A JP2017233417 A JP 2017233417A JP 6673319 B2 JP6673319 B2 JP 6673319B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- signal
- image
- circuit
- semiconductor chip
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 97
- 238000012545 processing Methods 0.000 claims description 58
- 238000006243 chemical reaction Methods 0.000 claims description 42
- 238000012546 transfer Methods 0.000 claims description 13
- 238000009792 diffusion process Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims 27
- 230000000875 corresponding effect Effects 0.000 description 64
- 230000002093 peripheral effect Effects 0.000 description 35
- 238000010586 diagram Methods 0.000 description 17
- 238000000034 method Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 13
- 230000035508 accumulation Effects 0.000 description 12
- 238000009825 accumulation Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 5
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 238000002161 passivation Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 229910000679 solder Inorganic materials 0.000 description 1
- 239000007790 solid phase Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、撮像素子を備えた電子機器に関する。 The present invention relates to an electronic device including an image sensor.
裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、積層型撮像素子という)を備えた電子機器が提案されている(特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。 2. Description of the Related Art An electronic device including an imaging element in which a back-illuminated imaging chip and a signal processing chip are stacked (hereinafter, referred to as a stacked imaging element) has been proposed (see Patent Document 1). The stacked image sensor is stacked such that a back-illuminated imaging chip and a signal processing chip are connected to each other via a microbump for each predetermined region.
しかしながら、従来の積層型撮像素子を備えた電子機器において、1または2以上の上記領域を有するブロックに画像を分けて、該ブロックごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。 However, there are not many proposals to divide an image into blocks each having one or more of the above regions and obtain a captured image for each block in an electronic device including a conventional stacked image sensor. The convenience of the electronic equipment provided was not sufficient.
発明の一態様による電子機器は、光を電荷に変換する第1光電変換部を含む複数の第1画素と、光を電荷に変換する第2光電変換部を含む複数の第2画素と、前記複数の第1画素に接続され、前記第1画素を制御するための第1制御信号が出力される第1配線と、前記複数の第2画素に接続され、前記第2画素を制御するための第2制御信号が出力される前記第1配線とは異なる第2配線と、を有する撮像素子と、前記第1画素からの第1信号に基づく第1画像と、前記第2画素からの第2信号に基づく第2画像と、を表示部に表示させる制御部と、を備え、前記第1光電変換部は、前記撮像素子の第1領域において第1方向と前記第1方向に交差する第2方向とにそれぞれ配置され、前記第2光電変換部は、前記撮像素子の第2領域において前記第1方向と前記第2方向とにそれぞれ配置される。 An electronic device according to one embodiment of the present invention includes a plurality of first pixels including a first photoelectric conversion unit that converts light into electric charges, a plurality of second pixels including a second photoelectric conversion unit that converts light into electric charges, A first wiring connected to the plurality of first pixels and outputting a first control signal for controlling the first pixel; and a first wiring connected to the plurality of second pixels and controlling the second pixel. An image sensor having a second wiring different from the first wiring to which a second control signal is output; a first image based on a first signal from the first pixel; and a second image from the second pixel. A control unit configured to display a second image based on the signal on a display unit, wherein the first photoelectric conversion unit is configured to intersect a first direction and a second direction in the first region of the image sensor. And the second photoelectric conversion unit is disposed in a second region of the image sensor. Respectively disposed on the first direction and the second direction.
本発明によれば、画像の視認性を向上した電子機器を実現できる。 According to the present invention, an electronic device with improved image visibility can be realized.
以下、図面を参照して本発明を実施するための形態について説明する。
<積層型撮像素子の説明>
始めに、本発明の一実施の形態による電子機器(例えば撮像装置1)に搭載する積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。図1は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
Hereinafter, embodiments for implementing the present invention will be described with reference to the drawings.
<Explanation of the stacked image sensor>
First, a stacked
なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
As shown in the figure, the incident light mainly enters in the Z-axis plus direction indicated by the white arrow. In the present embodiment, the surface of the
撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。
One example of the
PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。
The
カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。
On the incident side of the incident light in the
配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
The
配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
A plurality of
同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。
Similarly, a plurality of
なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。
Note that the bonding between the
信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。
The
図2は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下(例えば1画素)でもよい。
FIG. 2 is a diagram illustrating the pixel array of the
画素領域の部分拡大図に示すように、単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
As shown in the partial enlarged view of the pixel area, the
本実施形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。
In the present embodiment, a plurality of blocks are defined so as to include at least one
図3は、撮像チップ113の単位領域131に対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。
FIG. 3 is a circuit diagram corresponding to the
上述のように、単位領域131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。
As described above, the
各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。
The drain of each
各々の増幅トランジスタ304のドレインは、電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。
The drain of each amplifying
ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302に印加されると、PD104およびフローティングディフュージョンFDの電位がリセットされる。
Here, a flow from the start of charge accumulation to the pixel output after the end of accumulation will be described. When a reset pulse is applied to the
PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。
When the application of the transfer pulse is released, the
図3に示すように、本実施形態においては、単位領域131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素全てに対して同時に印加される。したがって、単位領域131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309から出力される。また、リセット配線306、TX配線307、出力配線309は、単位領域131毎に別個に設けられる。
As shown in FIG. 3, in the present embodiment, the
このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方の単位領域131に1回の電荷蓄積を行わせている間に、他方の単位領域131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域131間で異なるフレームレートで動画用の各フレームを出力することもできる。
By configuring the circuit based on the
図4は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する16個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。
FIG. 4 is a block diagram illustrating a functional configuration of the
マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。
The pixel signals output via the
演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくても良く、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。
The
上記の通り、単位領域131のそれぞれに対応して出力配線309が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
As described above, the
<撮像装置の説明>
図5は、上述した撮像素子100を有する撮像装置1の構成を例示するブロック図である。図5において、撮像装置1は、撮像光学系10、撮像部20、画像処理部30、ワークメモリ40、表示部50、記録部60、および制御部70を有する。
<Description of imaging device>
FIG. 5 is a block diagram illustrating the configuration of the
撮像光学系10は、複数のレンズから構成され、被写界からの光束を撮像部20へ導く。撮像光学系10は、撮像装置1と一体に構成されていても、撮像装置1に対して交換可能に構成されていてもよい。また、撮像光学系10には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。
The imaging
撮像部20は、上述した撮像素子100と、撮像素子100を駆動する駆動部21とを有する。撮像素子100は、駆動部21から出力される制御信号によって駆動制御されることにより、上述したブロック単位で独立した蓄積制御が可能である。駆動部21に対する上記ブロックの位置や形状、その範囲などの指示は、制御部70が行う。
The
画像処理部30は、ワークメモリ40と協働して、撮像部20で撮像された画像データに対する画像処理を行う。本実施形態において、画像処理部30は、通常の画像処理(色信号処理、ガンマ補正など)に加えて、画像に含まれる主要被写体の検出処理も行う。画像処理部30による主要被写体の検出は、公知の顔検出機能を用いて行うことができる。また、顔検出に加えて、例えば特開2010-16621号公報(US2010/0002940号)に記載されているように、画像に含まれる人体を主要被写体として検出するようにしてもよい。
The
ワークメモリ40は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネルによって構成され、撮像部20で撮像された画像(静止画や動画)や各種情報を表示したり、操作入力用画面を表示したりする。本実施形態による撮像装置1は、表示部50として第1表示部51および第2表示部53を有し、第1表示部51に第1タッチパネル52が、第2表示部53に第2タッチパネル54が、それぞれ組み込まれている。
The
図6は、撮像装置1に設けられた第1表示部51および第2表示部53を説明する外観図である。図6において、第1表示部51は撮像装置1の背面に設けられ、第2表示部53はヒンジ部55を介して折りたたみ可能に設けられる。第1タッチパネル52は、第1表示部51にユーザが触れた位置を示す信号を出力し、第2タッチパネル54は、第2表示部53にユーザが触れた位置を示す信号を出力する。
FIG. 6 is an external view illustrating the
本実施形態では、第1表示部51および第2表示部53によって表示部50を構成するようにしたが、この代わりに、表示部50を1つの表示装置で構成し、この表示装置を2つの表示領域に分けて分割表示させ、第1の表示領域を第1表示部51による表示とし、第2の表示領域を第2表示部53による表示として扱ってもよい。また、表示部50を1つの表示装置で構成し、この表示装置に第1表示部51に表示させるべき表示をさせたり、第2表示部53に表示させるべき表示をさせたりするように、表示内容を切り替えるように構成してもよい。例えば、表示部50に設けられているタッチパネルが操作されたタイミングで表示内容を切り替える。
In the present embodiment, the
図5の説明に戻ると、記録部60は、メモリカードなどの記憶媒体に画像データなどの各種データを記憶させる。制御部70はCPUを有し、撮像装置1による全体の動作を制御する。本実施形態では、制御部70は、撮像素子100の撮像面を複数のブロックに分け、ブロック間において異なるフレームレートで画像を取得させる。このために制御部70は、ブロックの位置、形状、範囲、および各ブロック用の制御パラメータを駆動部21へ指示する。
Returning to the description of FIG. 5, the
<注目領域と周辺領域>
本実施形態では、画面内に注目領域と周辺領域という概念を導入し、上記複数のブロックに対応させる。制御部70は、例えばライブビュー画像に基づいて、上記人体検出処理によって検出される人体を包含する領域を注目領域とする。そして、注目領域以外の領域を周辺領域とする。ここで、ライブビュー画像は本撮像が行われる前のプレビュー画像とも呼ばれ、撮像素子100によって所定のフレームレート(例えば90fps)で取得されるモニター用の画像をいう。
<Attention area and surrounding area>
In the present embodiment, the concept of an attention area and a peripheral area is introduced into a screen, and the screen is made to correspond to the plurality of blocks. The
人体検出処理を行う代わりに、ライブビュー画像を構成する複数のフレーム間から動きベクトルを検出し、この動きベクトルに基づいて検出される移動被写体を包含する領域を注目領域としてもよい。 Instead of performing the human body detection process, a motion vector may be detected from among a plurality of frames forming the live view image, and a region including the moving subject detected based on the motion vector may be set as the attention region.
また、表示部50のうち第1表示部51にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザが第1タッチパネル52に触れた位置に対応する(表示されている)主要被写体の領域を注目領域としてもよい。
Further, in a state where the live view image is displayed on the
なお、表示部50のうち第2表示部53にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザが第2タッチパネル54に触れた位置に対応する(表示されている)主要被写体の領域を注目領域としてもよい。
In a state where the live view image is displayed on the
制御部70は、このように注目領域および周辺領域を決定すると、撮像素子100を注目領域に対応するブロックと周辺領域に対応するブロックとに分けて蓄積制御するように、駆動部21へ指示を送る。なお、注目領域および周辺領域を決定する前のライブビュー画像は、画面全体で共通の制御パラメータを適用する。
When the
図7(a)は、注目領域および周辺領域を決定する前のライブビュー画像を例示する図である。図7(a)において、ライブビュー画像は、例えば、縦6×横8の計48の単位領域131で構成されている。図7(a)においては単位領域131の形状が縦長であるが、単位領域131の形状は正方形であっても横長であってもよい。
FIG. 7A is a diagram exemplifying a live view image before the attention area and the surrounding area are determined. In FIG. 7A, the live view image is composed of, for example, a total of 48
ここで、注目領域および周辺領域を決定する前のライブビュー画像を表示部50(第1表示部51または第2表示部53)に表示する際に、単位領域を示す格子線71を、ライブビュー画像に重ねて表示させてもよい。
Here, when displaying the live view image before determining the attention area and the surrounding area on the display unit 50 (the
図7(b)は、ライブビュー画像に基づく人体検出処理によって制御部70で決定された注目領域を例示する図である。図7(b)において、検出された人体を含む領域(枠72で囲んだ縦4×横5の計20の単位領域131で構成される)が注目領域にされる。また、注目領域以外の領域(枠72の外側の計28の単位領域131で構成される)が周辺領域にされる。
FIG. 7B is a diagram illustrating a region of interest determined by the
なお、制御部70が注目領域を決定した際に、決定した注目領域を示す枠72を、表示部50(第1表示部51または第2表示部53)に表示中のライブビュー画像に重ねて表示させてもよい。
When the
本実施形態では、注目領域および周辺領域を決定した以降において、撮像素子100の注目領域に対応するブロックと周辺領域に対応するブロックとで異なる制御パラメータを適用する。そして、異なる制御パラメータを適用して得た複数の画像に基づいて、第1表示部51と第2表示部53とで異なる画像を表示させる。
In the present embodiment, after determining the attention area and the peripheral area, different control parameters are applied to the block corresponding to the attention area of the
具体的には、注目領域に対応する画像と、周辺領域に対応する画像とを合成し、合成後の画像を第1表示部51にて第1ライブビュー画像として表示させる。また、注目領域に対応する画像のみを第2表示部53にて第2ライブビュー画像として表示させる。
Specifically, the image corresponding to the attention area and the image corresponding to the peripheral area are combined, and the combined image is displayed on the
図8(a)は、周辺領域に対応して取得される画像90、図8(b)は、注目領域に対応して取得される画像80、および図8(c)は、合成される第1ライブビュー画像90Aを例示する図である。図8(a)において、周辺領域に対応する画像90は、フレームレートを例えば90fpsとして取得される。図8(b)において、注目領域に対応する画像80は、例えば周辺領域の2倍のフレームレート180fpsで取得される。
8A shows an
図8(a)および図8(b)によれば、周辺領域に対応する画像90を4フレーム取得する間に、注目領域に対応する画像80を8フレーム取得できる。このように、注目領域において周辺領域に比べて高いフレームレートで取得することにより、第2表示部53(図6)に表示する注目領域についての第2ライブビュー画像80Aの視認性を向上させることができる。
According to FIGS. 8A and 8B, while acquiring four frames of the
第1表示部51(図6)に表示する第1ライブビュー画像90Aについては、周辺領域に対応する画像90の中に注目領域に対応する画像80を合成する際に、周辺領域と取得開始タイミングが同じフレーム(図8(b)のうち太線で囲んだフレーム)画像をはめ込み合成する。このように、第1ライブビュー画像90Aの再生フレームレートを、取得時のフレームレートが低い周辺領域のフレームレートに合わせるようにしたので、第1ライブビュー画像90Aを観察するユーザが違和感を覚えることがない。図6において第1表示部51の画面に表示した一点鎖線の枠は、はめ込み合成した画像80の範囲をわかりやすくするために便宜上記載したもので、必ずしも第1表示部51の画面に表示させなくてもよい。ここで、第1表示部51に表示中の第1ライブビュー画像90Aに重ねてアイコンなどを表示させる場合は、注目領域に対応する画像80を避けて周辺領域に対応する位置へ重ね合成させるものとする。
Regarding the first
なお、図6の例では、注目領域および周辺領域を含む第1ライブビュー画像90Aを第1表示部51に表示させ、注目領域のみに対応する第2ライブビュー画像80Aを第2表示部53に表示させるようにしたが、第1表示部51と第2表示部53との間で表示内容を逆にしても構わない。例えば、第1タッチパネル52、または第2タッチパネル54が操作されたタイミングで表示内容を逆にする。また、注目領域に対応する第2ライブビュー画像80Aを表示する場合に、電子ズーム処理により拡大させて表示するようにしてもよい。図6において第2表示部53に表示されている第2ライブビュー画像80Aは、第1表示部51に表示されている画像80よりも、第2表示部53に表示される第2ライブビュー画像80Aが大きいサイズで表示されるように、電気的な拡大処理(いわゆる電子ズーム)により拡大された状態を例示する。この場合の電子ズーム処理は、画像処理部30によって行う。
In the example of FIG. 6, the first
<フローチャートの説明>
図9は、撮像装置1の制御部70が実行する撮影動作の流れを説明するフローチャートである。制御部70は、不図示のON-OFFスイッチがオン操作され、撮像装置1の各部に対して通電が行われている場合に、図9による処理を繰り返し起動させる。図9のステップS101において、制御部70は、撮像部20による撮像を開始させる。ステップS101で開始するライブビュー画像の取得は、撮像素子100の全領域で共通の制御パラメータを適用して行う。すなわち、撮像素子100の全領域において同じフレームレート(例えば90fps)で撮像する。
<Explanation of flowchart>
FIG. 9 is a flowchart illustrating a flow of a shooting operation performed by the
制御部70は、撮像部20により取得されたライブビュー画像データを画像処理部30により画像処理させた後、第1表示部51に表示させる。なお、本実施形態では、この段階において第2表示部53の表示をオフさせている。
The
ステップS102において、制御部70は、上述したようにライブビュー画像に基づいて注目領域を決定し、ステップS103へ進む。制御部70は、注目領域以外の領域を周辺領域とする。ステップS103において、制御部70は、ステップS102で決定した注目領域と周辺領域とに基づいて撮像部20に対する制御と、表示部50に対する表示制御とを行う。
In step S102, the
制御部70は駆動部21へ指示を送り、撮像素子100の注目領域に対応するブロックのフレームレートを90fpsから2倍の180fpsへ変更させる。なお、90fpsから3倍の270fpsへ変更させてもよい。制御部70は、注目領域に対応するブロックのフレームレートを上げたのに応じて、第2表示部53の表示をオンさせ、注目領域のみに対応する第2ライブビュー画像80Aを第2表示部53に表示させる(図6)。一方、第1表示部51には、周辺領域に対応する画像90の中に注目領域に対応する画像80をはめ込み合成した第1ライブビュー画像90Aを表示させる(図6)。
The
この際、注目領域の視認性を向上するために、画像処理部30に上述した電子ズーム処理を行わせて、注目領域を拡大した第2ライブビュー画像80Aを第2表示部53に表示させる。この場合の拡大率(電子ズーム倍率)は、拡大後の注目領域の表示が第2表示部53の表示域からはみ出ないように設定すればよい。これにより、ユーザは、構図全体を第1表示部51の第1ライブビュー画像90Aで視認しながら、注目領域のフレームレートの高い第2ライブビュー画像80Aを第2表示部53から視認できる。
At this time, in order to improve the visibility of the attention area, the
ステップS104において、制御部70は、撮像装置1に対する操作の有無を判定する。制御部70は、操作が行われた場合にステップS104を肯定判定してステップS105へ進み、操作が行われない場合には、ステップS104を否定判定して当該判定処理を繰り返す。
In step S104, the
ステップS104において有無を判定する操作は、第1タッチパネル52や第2タッチパネル54に対して行われる操作や、不図示の操作部材に対して行われる操作を含む。本実施形態においては、第2表示部53に注目領域に対応する第2ライブビュー画像80Aを表示させているので、第2タッチパネル54に対する操作の有無を判断するものとする。
The operation of determining the presence or absence in step S104 includes an operation performed on the
制御部70は、例えば、図6に例示するように第2表示部53に前ピンアイコン56、後ピンアイコン57、フレームレートを上げるアイコン58、フレームレートを下げるアイコン59を表示させて、第2タッチパネル54でタッチ操作を受け付ける。ステップS105において、制御部70は、第2表示部53に表示中のアイコンであって、第2タッチパネル54によるタッチ位置に表示中のアイコンに対応付けられている処理を実行して、ステップS106へ進む。例えば、表示中の前ピンアイコン56がタッチ操作された場合の制御部70は、注目領域の主要被写体がいわゆる前ピンとなるように、撮像光学系10のフォーカスレンズを前ピン側に駆動させる。
The
ステップS106において、制御部70は、レリーズ操作されたか否かを判定する。制御部70は、不図示のレリーズボタンが押下操作(全押し操作)された場合に、ステップS106を肯定判定してステップS107へ進み、押下操作が行われない場合には、ステップS106を否定判定してステップS104へ戻る。ステップS104へ戻る場合は、上述した処理を繰り返す。なお、第2表示部53にレリーズアイコンを表示させておき、表示中のレリーズアイコンがタッチ操作された場合にステップS106を肯定判定するようにしてもよい。
In step S106, the
ステップS107において、制御部70は撮影処理を実行し、取得された画像のデータを記録部60によってメモリカードなどに記憶させて図9による処理を終了させる。撮影処理では、撮像素子100の全領域で共通の制御パラメータを適用して、1コマの静止画像を取得(本撮像)、記録するとともに、静止画像を取得した後も複数フレームの画像を取得する。そして、レリーズ操作の前後所定時間の間に取得した複数フレームの画像に基づいて、スロー再生動画データを生成、記録する。スロー再生動画データは、撮像素子100で取得した際のフレームレートより遅いフレームレート(例えば60fps)で再生する動画像のデータをいう。
In step S107, the
制御部70は、以下のようにスロー再生動画データを生成する。すなわち、レリーズ操作時刻(t1とする)より第1所定時間前(例えば0.6秒前)から時刻t1までに、上述した第1ライブビュー画像90Aおよび第2ライブビュー画像80Aの表示のためにワークメモリ40に一時的に記憶された複数のフレーム画像(フレームレートは周辺領域に設定されていたフレームレートとする。例えば90fpsで取得された場合の0.6秒分は54フレームである)、および時刻t1から時刻t1より第2所定時間後(例えば0.4秒後)までにワークメモリ40に記憶された複数のフレーム画像(レリーズ操作後のフレームレートは注目領域に設定されていたフレームレートとする。例えば180fpsで取得した場合の0.4秒分は72フレームである)に基づいて、スロー再生動画データを生成する。これにより、時刻t1を挟む1秒間(時刻t1の0.6秒前から時刻t1の0.4秒後)にワークメモリ40に記憶された複数のフレーム画像(計126枚)に基づいて、再生時間が約2秒間のスロー再生動画データを生成する。
The
このようにスロー再生動画像を生成すると、レリーズ操作前は遅いフレームレートで取得したフレーム画像に基づくスロー再生動画データが得られ、レリーズ操作後は速いフレームレートで取得したフレーム画像に基づくスロー再生動画データが得られる。なお、スロー画像動画データは、画像処理部30によりMPEGデータまたはJPEGデータとして生成される。
When the slow playback moving image is generated in this manner, slow playback moving image data based on a frame image acquired at a slow frame rate is obtained before a release operation, and slow playback moving image data based on a frame image acquired at a fast frame rate after a release operation. Data is obtained. Note that the slow image moving image data is generated by the
以上説明した実施形態によれば、次の作用効果が得られる。
(1)撮像装置1は、周辺領域を第1フレームレート90fpsで撮像し、注目領域を第1フレームレートよりも速い第2フレームレート180fpsで撮像可能な撮像部20と、周辺領域と注目領域とで撮像された画像を第1表示部51に表示させる制御部70と、注目領域で撮像された画像を第2表示部53に表示させる制御部70と、を備えたので、画像の視認性を向上できる。
According to the embodiment described above, the following operation and effect can be obtained.
(1) The
(2)上記(1)の撮像装置1において、制御部70はさらに、第2表示部53に表示させている画像の近傍に画像に関する操作に関わるアイコン表示をさせたので、視認性を高めた画像に対する操作性も向上できる。
(2) In the
(3)上記(1)、(2)の撮像装置1において、制御部70はさらに、第1表示部51に表示させている注目領域で撮像された画像に対して付加表示を行うようにしたので、例えば注目領域の範囲をわかりやすく表示できる。
(3) In the
(4)上記(1)〜(3)の撮像装置1において、制御部70は、注目領域で撮像された画像に拡大処理を施して第2表示部53に表示させるようにしたので、注目領域の視認性をさらに高めることができる。
(4) In the
(5)上記(1)〜(4)の撮像装置1において、制御部70は、周辺領域で撮像された画像と、注目領域で撮像された画像とを合成する合成部を含み、この合成部による合成画像(第1ライブビュー画像90A)を第1表示部51に表示させる。これにより、撮像された画像を1つのライブビュー画像として表示できる。
(5) In the
(6)上記(5)の撮像装置1において、合成部(制御部70)は、注目領域において第2フレームレート180fpsで撮像された時系列の画像80の中から、周辺領域における第1フレームレート90fpsに対応する画像を選択し、当該選択した画像を周辺領域で撮像された画像90と逐次合成するようにしたので、合成された第1ライブビュー画像90Aを観察するユーザに与える違和感を抑えることができる。
(6) In the
(7)上記(1)〜(5)の撮像装置1において、周辺領域として撮像された画像の一部を注目領域として決定する制御部70をさらに備えるようにしたので、例えば、周辺領域として撮像された画像で人物の顔を含む領域や、周辺領域で撮像された画像を表示する画面においてタッチ操作された領域を、注目領域として決定し得る。
(7) In the
(8)上記(7)の撮像装置1において、制御部70は、周辺領域において撮像された画像に対する顔検出もしくは人体検出に基づいて注目領域を決定するので、タッチ操作がなくても自動で注目領域を決めることができる。
(8) In the
(変形例1)
上述した実施形態では、主要被写体が1つの場合を例に説明した。変形例1では、主要被写体の数が複数である場合を説明する。図10は、複数の主要被写体が存在する場面を例示する図である。図10(a)に例示する場面を撮影する場合の制御部70は、例えば滑り台の後方にいる男の子を第1主要被写体とし、滑り台で滑っている女の子を第2主要被写体とする。この場合、第1主要被写体を含む領域を第1注目領域とし、第2主要被写体を含む領域を第2注目領域とする。
(Modification 1)
In the above-described embodiment, the case where there is one main subject has been described as an example. Modification Example 1 describes a case where the number of main subjects is plural. FIG. 10 is a diagram illustrating a scene where a plurality of main subjects exist. The
図10(b)に例示する場面を撮影する場合の制御部70は、例えばブランコをこいでいる女の子を第1主要被写体とし、ブランコをこいでいる男の子を第2主要被写体とする。この場合も、第1主要被写体を含む領域を第1注目領域とし、第2主要被写体を含む領域を第2注目領域とする。
The
変形例1において、制御部70は、画面内で動く速さが異なる第1主要被写体と第2主要被写体とが存在する場合に、ライブビュー画像に基づいて、第1主要被写体を包含する第1注目領域を決定し、第2主要被写体を包含する第2注目領域を決定する。この場合の周辺領域は、第1注目領域および第2注目領域以外の他の領域とする。
In the first modification, when there are a first main subject and a second main subject that move at different speeds in a screen, the
制御部70は、駆動部21へ指示を送り、撮像素子100の第1注目領域に対応するブロックのフレームレートを、例えば90fpsから150fpsに変更し、第2注目領域に対応するブロックのフレームレートを、例えば90fpsから240fpsに変更する。制御部70はさらに、図11に例示するように、第2表示部53に対して2つの表示領域に分けて分割表示させ、例えば画面右側に第1注目領域に対応するライブビュー画像81Aを表示させ、画面左側に第2注目領域に対応するライブビュー画像82Aを表示させる。
The
変形例1においては、このように複数の注目領域に対応する複数のライブビュー画像81A、81Bを並べたものを第2ライブビュー画像として表示させる。なお、図11において第2表示部53の画面中央に引いた一点鎖線は、複数のライブビュー画像81A、81Bの境界をわかりやすくするために便宜上引いたもので、必ずしも第2表示部53の画面に表示させなくてもよい。
In the first modification, an arrangement of a plurality of
一方、第1表示部51には、周辺領域に対応する画像の中に第1注目領域に対応する画像81および第2注目領域に対応する画像82をそれぞれはめ込み合成した第1ライブビュー画像90Aを表示させる。なお、図11において第1表示部51の画面に表示した一点鎖線の枠は、複数の画像81、82の範囲をわかりやすくするために便宜上記載したもので、必ずしも第1表示部51の画面に表示させなくてもよい。
On the other hand, the
また、図11において、第2表示部53の第1注目領域に対応するライブビュー画像81Aの近傍に、前ピンアイコン56A、後ピンアイコン57A、第1注目領域に対応するブロックのフレームレートを上げるアイコン58A、第1注目領域に対応するブロックのフレームレートを下げるアイコン59Aを表示させて、第2タッチパネル54でタッチ操作を受け付ける。ユーザは、ライブビュー画像81Aに着目してピント操作やフレームレートの調整操作を行える。
In FIG. 11, the frame rate of the
さらにまた、図11において、第2表示部53の第2注目領域に対応するライブビュー画像82Aの近傍に、前ピンアイコン56B、後ピンアイコン57B、第2注目領域に対応するブロックのフレームレートを上げるアイコン58B、第2注目領域に対応するブロックのフレームレートを下げるアイコン59Bを表示させて、第2タッチパネル54でタッチ操作を受け付ける。ユーザは、ライブビュー画像82Aに着目してピント操作やフレームレートの調整操作を行える。
Further, in FIG. 11, near the
(変形例2)
上述した実施形態および変形例1では、撮像装置1として光学ファインダーを有するタイプのカメラを例示したが、光学ファインダーを備えてないタイプのカメラによって撮像装置1を構成してもよい。
(Modification 2)
In the above-described embodiment and Modification Example 1, a camera having an optical finder is illustrated as the
(変形例3)
上述した実施形態および変形例1においては、第2表示部53がヒンジを介して回動可能に設けられる例を説明したが、第2表示部53を、撮像装置1の筐体に対して着脱自在に構成してもよい。この場合、撮像装置1の筐体側と第2表示部53の筐体側とにおいてそれぞれ無線通信部を備え、これら無線通信部を介した無線通信によって第2表示部53で表示すべき情報を撮像装置1側から第2表示部53側へ送信する。無線通信部は、筐体内部に組み込んでもよいし、筐体外部に装着してもよい。無線通信としては、例えば赤外光通信、Bluetooth(登録商標)、または無線LAN通信などを利用する。
(Modification 3)
In the above-described embodiment and the first modification, the example in which the
(変形例4)
上述した実施形態および変形例1においては、第2表示部53を専用の表示部として構成する例を説明した。この代わりに、高機能携帯電話機の液晶表示部を第2表示部として動作させたり、タブレット端末の液晶表示部を第2表示部として動作させたりしてもよい。この場合、撮像装置1の筐体側に無線LAN通信部を備え、撮像装置1と高機能携帯電話機(またはタブレット端末)との間の無線LAN通信によって、高機能携帯電話機(またはタブレット端末)の液晶表示部で表示すべき情報を撮像装置1側から高機能携帯電話機(またはタブレット端末)へ送信する。無線LAN通信部は、撮像装置1の筐体内部に組み込んでもよいし、筐体外部に装着してもよい。
(Modification 4)
In the above-described embodiment and
(変形例5)
上述した実施形態および変形例1では、撮像装置1としてカメラを例示したが、高機能携帯電話機(またはタブレット端末)によって撮像装置1を構成してもよい。この場合、高機能携帯電話機(またはタブレット端末)に搭載されるカメラユニットを、上記積層型撮像素子100を用いて構成する。
(Modification 5)
In the above-described embodiment and
変形例5において、撮像装置1を構成する第1高機能携帯電話機(または第1タブレット端末)の他に、第2表示部として動作させる第2高機能携帯電話機(または第2タブレット端末)を用いる。この場合、第1高機能携帯電話機(または第1タブレット端末)と第2高機能携帯電話機(または第2タブレット端末)との間の無線LAN通信によって、第2高機能携帯電話機(または第2タブレット端末)の液晶表示部で表示すべき情報を第1高機能携帯電話機(または第1タブレット端末)から第2高機能携帯電話機(または第2タブレット端末)へ送信する。
In the fifth modification, in addition to the first advanced mobile phone (or the first tablet terminal) constituting the
以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。 The above description is merely an example, and is not limited to the configuration of the above embodiment. The configurations of the above embodiment and each modified example may be appropriately combined.
1…撮像装置
10…撮像光学系
20…撮像部
30…画像処理部
40…ワークメモリ
50…表示部
51…第1表示部
52…第1タッチパネル
53…第2表示部
54…第2タッチパネル
60…記録部
70…制御部
80A…第2ライブビュー画像
90A…第1ライブビュー画像
100…撮像素子
109…バンプ
111…信号処理チップ
112…メモリチップ
113…撮像チップ
131…単位領域
DESCRIPTION OF
Claims (28)
前記第1撮像領域を、前記第2撮像領域に設定される撮像条件とは異なる撮像条件に設定する設定部と、前記設定部で設定された撮像条件により、前記第1撮像領域で撮像された被写体の画像であって前記第1画素からの第1信号に基づく第1画像を表示部の第1表示モニタに表示させ、前記第2撮像領域で撮像された被写体の画像であって前記第2画素からの第2信号に基づく第2画像を前記表示部の第2表示モニタに表示させる表示制御部と、を有する制御部と、を備え、
前記第1光電変換部は、前記第1撮像領域において前記第1方向と前記第2方向とにそれぞれ複数配置され、
前記第2光電変換部は、前記第2撮像領域において前記第1方向と前記第2方向とにそれぞれ複数配置される電子機器。 An imaging element having a plurality of imaging regions having a photoelectric conversion unit that converts light into electric charges is disposed in a first direction and a second direction that intersects the first direction. are arranged in the region, a plurality of first pixel including a first photoelectric conversion unit that converts light into electric charge are arranged in the second imaging area among the plurality of imaging regions, the second photoelectric converting the light into an electric charge conversion A plurality of second pixels including a portion, a first wiring connected to the plurality of first pixels and outputting a first control signal for controlling the first pixels, and a connection to the plurality of second pixels An image sensor having a second wiring different from the first wiring to which a second control signal for controlling the second pixel is output;
A setting unit configured to set the first imaging region to an imaging condition different from an imaging condition set to the second imaging region, and an image captured in the first imaging region by an imaging condition set by the setting unit. A first image based on a first signal from the first pixel is displayed on a first display monitor of a display unit, and the image of the subject captured in the second imaging area is the second image . A display control unit for displaying a second image based on a second signal from the pixel on a second display monitor of the display unit,
The first photoelectric conversion unit, a plurality of arranged respectively to the first direction and the front Stories second direction before Symbol first imaging area,
The second photoelectric conversion unit, the electronic equipment to be more disposed respectively in front SL to the first direction in the second imaging region and the second direction.
前記第2画素は、前記第2配線に接続される第2回路部を有する請求項1に記載の電子機器。 The first pixel has a first circuit unit connected to the first wiring,
The electronic device according to claim 1 , wherein the second pixel has a second circuit unit connected to the second wiring.
前記第2回路部は、前記第2配線に接続され、前記第2光電変換部で変換された電荷を転送する第2転送部を有する請求項2に記載の電子機器。 The first circuit unit includes a first transfer unit connected to the first wiring and transferring the charge converted by the first photoelectric conversion unit,
3. The electronic device according to claim 2 , wherein the second circuit unit includes a second transfer unit connected to the second wiring and transferring the charge converted by the second photoelectric conversion unit. 4.
前記第1回路部は、前記第3配線に接続され、前記第1光電変換部からの電荷が転送される第1フローティングディフュージョンの電位をリセットする第1リセット部を有し、
前記第2回路部は、前記第4配線に接続され、前記第4制御信号により前記第2光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部を有する請求項3又は請求項4に記載の電子機器。 The image sensor is connected to the plurality of first pixels, a third wiring for outputting a third control signal for controlling the first pixel, and connected to the plurality of second pixels, A fourth wiring different from the third wiring to which a fourth control signal for controlling a pixel is output,
The first circuit unit includes a first reset unit connected to the third wiring and resetting a potential of a first floating diffusion to which a charge from the first photoelectric conversion unit is transferred,
The second circuit unit includes a second reset unit connected to the fourth wiring and resetting a potential of a second floating diffusion to which a charge from the second photoelectric conversion unit is transferred by the fourth control signal. The electronic device according to claim 3 or 4 .
前記第2回路部は、前記第2配線に接続され、前記第2光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部を有する請求項2に記載の電子機器。 The first circuit unit includes a first reset unit connected to the first wiring and resetting a potential of a first floating diffusion to which charges from the first photoelectric conversion unit are transferred,
Said second circuit section, connected to said second wiring, electrons according to claim 2, charge from the second photoelectric conversion section has a second reset unit resets the potential of the second floating diffusion to be transferred machine.
前記制御部は、前記信号処理部により信号処理が行われた前記第1信号に基づく前記第1画像と、前記信号処理部により信号処理が行われた前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項1から請求項11のいずれか一項に記載の電子機器。 The image sensor has a signal processing unit that performs signal processing on the first signal and the second signal,
The control unit, the first image based on the first signal subjected to signal processing by the signal processing unit, and the second image based on the second signal subjected to signal processing by the signal processing unit The electronic device according to any one of claims 1 to 11 , further comprising: displaying on the display unit.
前記制御部は、前記増幅部により増幅された前記第1信号に基づく前記第1画像と、前記増幅部により増幅された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項12に記載の電子機器。 The signal processing unit includes an amplification unit that amplifies the first signal and the second signal,
The control unit causes the display unit to display the first image based on the first signal amplified by the amplification unit and the second image based on the second signal amplified by the amplification unit. The electronic device according to claim 12 .
前記制御部は、前記変換部を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像と、前記変換部を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項12又は請求項13に記載の電子機器。 The signal processing unit has a conversion unit used to convert the first signal and the second signal into a digital signal,
The control unit is configured to control the first image based on the first signal converted to a digital signal using the conversion unit, and the second image based on the second signal converted to a digital signal using the conversion unit. the electronic device according to claim 12 or claim 13 displaying the image, to the display unit.
前記制御部は、前記記憶部に記憶された前記第1信号に基づく前記第1画像と、前記記憶部に記憶された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項14に記載の電子機器。 The image sensor has a storage unit that stores the first signal converted to a digital signal using the conversion unit and the second signal converted to a digital signal using the conversion unit,
The control unit causes the display unit to display the first image based on the first signal stored in the storage unit and the second image based on the second signal stored in the storage unit. The electronic device according to claim 14 .
前記制御部は、前記第1信号処理回路により信号処理が行われた前記第1信号に基づく前記第1画像と、前記第2信号処理回路により信号処理が行われた前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項12に記載の電子機器。 The signal processing unit has a first signal processing circuit that performs signal processing on the first signal, and a second signal processing circuit that performs signal processing on the second signal,
The controller is configured to control the first image based on the first signal processed by the first signal processing circuit and the second image based on the second signal processed by the second signal processing circuit. The electronic device according to claim 12 , wherein a second image and a second image are displayed on the display unit.
前記第2信号処理回路は、前記第2信号を増幅する第2増幅回路を有し、
前記制御部は、前記第1増幅回路により増幅された前記第1信号に基づく前記第1画像と、前記第2増幅回路により増幅された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項20に記載の電子機器。 The first signal processing circuit has a first amplifier circuit that amplifies the first signal,
The second signal processing circuit has a second amplifier circuit that amplifies the second signal,
The control unit displays the first image based on the first signal amplified by the first amplifier circuit and the second image based on the second signal amplified by the second amplifier circuit. The electronic device according to claim 20 , which is displayed on a unit.
前記第2信号処理回路は、前記第2信号をデジタル信号に変換するために用いられる第2変換回路を有し、
前記制御部は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像と、前前記第2変換回路を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項20又は請求項21に記載の電子機器。 The first signal processing circuit has a first conversion circuit used to convert the first signal into a digital signal,
The second signal processing circuit has a second conversion circuit used to convert the second signal into a digital signal,
The control unit is configured to control the first image based on the first signal converted to a digital signal using the first conversion circuit, and the second signal converted to a digital signal using the previous second conversion circuit. 22. The electronic device according to claim 20 , wherein the second image and the second image are displayed on the display unit.
前記制御部は、前記第1記憶回路に記憶された前記第1信号に基づく前記第1画像と、前記第1記憶回路に記憶された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項22に記載の電子機器。 A first storage circuit that stores the first signal converted to a digital signal using the first conversion circuit; and a second signal that is converted to a digital signal using the second conversion circuit. And a second storage circuit for storing
The control unit displays the first image based on the first signal stored in the first storage circuit and the second image based on the second signal stored in the first storage circuit. 23. The electronic device according to claim 22 , which is displayed on a unit.
The image sensor includes a first output line connected to the first pixel and outputting the first signal, and a second output line connected to the second pixel and outputting the second signal. The electronic device according to any one of claims 1 to 27 , comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017233417A JP6673319B2 (en) | 2017-12-05 | 2017-12-05 | Electronics |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017233417A JP6673319B2 (en) | 2017-12-05 | 2017-12-05 | Electronics |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013037618A Division JP2014165855A (en) | 2013-02-27 | 2013-02-27 | Electronic apparatus |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020036927A Division JP2020178341A (en) | 2020-03-04 | 2020-03-04 | Electronic apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018042286A JP2018042286A (en) | 2018-03-15 |
JP6673319B2 true JP6673319B2 (en) | 2020-03-25 |
Family
ID=61626562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017233417A Active JP6673319B2 (en) | 2017-12-05 | 2017-12-05 | Electronics |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6673319B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005333265A (en) * | 2004-05-18 | 2005-12-02 | Olympus Corp | Solid state imaging element and unit |
TWI429066B (en) * | 2005-06-02 | 2014-03-01 | Sony Corp | Semiconductor image sensor module and manufacturing method thereof |
US8089522B2 (en) * | 2007-09-07 | 2012-01-03 | Regents Of The University Of Minnesota | Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest |
JP5393340B2 (en) * | 2009-08-20 | 2014-01-22 | オリンパス株式会社 | Imaging terminal, display terminal, display method, and imaging system |
-
2017
- 2017-12-05 JP JP2017233417A patent/JP6673319B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018042286A (en) | 2018-03-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7544116B2 (en) | Image pickup element and image pickup device | |
US11196923B2 (en) | Electronic apparatus, method for controlling electronic apparatus, and control program | |
CN109742094B (en) | Image pickup device and electronic apparatus | |
JP2020036330A (en) | Imaging device and image sensor | |
WO2014192152A1 (en) | Electronic device and control program | |
JP2014165855A (en) | Electronic apparatus | |
JP2014179778A (en) | Signal processing apparatus, imaging device, imaging apparatus, and electronic apparatus | |
CN111787246A (en) | Image pickup element and image pickup apparatus | |
JP7176591B2 (en) | Electronics | |
JP6673319B2 (en) | Electronics | |
JP7176583B2 (en) | Imaging element and imaging device | |
JP2020178341A (en) | Electronic apparatus | |
JP2024159886A (en) | Image sensor | |
JP2021193811A (en) | Image sensor and imaging device | |
JP2020171054A (en) | Electronic device | |
JP2019092219A (en) | Imaging apparatus, control method of the same, and control program | |
JP2018207504A (en) | Electronic apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180827 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181119 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190507 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190906 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6673319 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |