[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6673319B2 - Electronics - Google Patents

Electronics Download PDF

Info

Publication number
JP6673319B2
JP6673319B2 JP2017233417A JP2017233417A JP6673319B2 JP 6673319 B2 JP6673319 B2 JP 6673319B2 JP 2017233417 A JP2017233417 A JP 2017233417A JP 2017233417 A JP2017233417 A JP 2017233417A JP 6673319 B2 JP6673319 B2 JP 6673319B2
Authority
JP
Japan
Prior art keywords
unit
signal
image
circuit
semiconductor chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017233417A
Other languages
Japanese (ja)
Other versions
JP2018042286A (en
Inventor
政一 関口
政一 関口
孝 塩野谷
孝 塩野谷
敏之 神原
敏之 神原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2017233417A priority Critical patent/JP6673319B2/en
Publication of JP2018042286A publication Critical patent/JP2018042286A/en
Application granted granted Critical
Publication of JP6673319B2 publication Critical patent/JP6673319B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本発明は、撮像素子を備えた電子機器に関する。   The present invention relates to an electronic device including an image sensor.

裏面照射型撮像チップと信号処理チップとが積層された撮像素子(以下、積層型撮像素子という)を備えた電子機器が提案されている(特許文献1参照)。積層型撮像素子は、裏面照射型撮像チップと信号処理チップとが、所定の領域ごとにマイクロバンプを介して接続されるように積層されている。   2. Description of the Related Art An electronic device including an imaging element in which a back-illuminated imaging chip and a signal processing chip are stacked (hereinafter, referred to as a stacked imaging element) has been proposed (see Patent Document 1). The stacked image sensor is stacked such that a back-illuminated imaging chip and a signal processing chip are connected to each other via a microbump for each predetermined region.

特開2006−49361号公報JP 2006-49361 A

しかしながら、従来の積層型撮像素子を備えた電子機器において、1または2以上の上記領域を有するブロックに画像を分けて、該ブロックごとに撮像画像を取得する提案は多くなく、積層型撮像素子を備えた電子機器の使い勝手が十分とはいえなかった。   However, there are not many proposals to divide an image into blocks each having one or more of the above regions and obtain a captured image for each block in an electronic device including a conventional stacked image sensor. The convenience of the electronic equipment provided was not sufficient.

発明の態様による電子機器は、光を電荷に変換する第1光電変換部を含む複数の第1画素と、光を電荷に変換する第2光電変換部を含む複数の第2画素と、前記複数の第1画素に接続され、前記第1画素を制御するための第1制御信号が出力される第1配線と、前記複数の第2画素に接続され、前記第2画素を制御するための第2制御信号が出力される前記第1配線とは異なる第2配線と、を有する撮像素子と、前記第1画素からの第1信号に基づく第1画像と、前記第2画素からの第2信号に基づく第2画像と、を表示部に表示させる制御部と、を備え、前記第1光電変換部は、前記撮像素子の第1領域において第1方向と前記第1方向に交差する第2方向とにそれぞれ配置され、前記第2光電変換部は、前記撮像素子の第2領域において前記第1方向と前記第2方向とにそれぞれ配置される。 An electronic device according to one embodiment of the present invention includes a plurality of first pixels including a first photoelectric conversion unit that converts light into electric charges, a plurality of second pixels including a second photoelectric conversion unit that converts light into electric charges, A first wiring connected to the plurality of first pixels and outputting a first control signal for controlling the first pixel; and a first wiring connected to the plurality of second pixels and controlling the second pixel. An image sensor having a second wiring different from the first wiring to which a second control signal is output; a first image based on a first signal from the first pixel; and a second image from the second pixel. A control unit configured to display a second image based on the signal on a display unit, wherein the first photoelectric conversion unit is configured to intersect a first direction and a second direction in the first region of the image sensor. And the second photoelectric conversion unit is disposed in a second region of the image sensor. Respectively disposed on the first direction and the second direction.

本発明によれば、画像の視認性を向上した電子機器を実現できる。   According to the present invention, an electronic device with improved image visibility can be realized.

積層型撮像素子の断面図である。FIG. 3 is a cross-sectional view of a stacked image sensor. 撮像チップの画素配列と単位領域を説明する図である。FIG. 3 is a diagram illustrating a pixel array and a unit area of an imaging chip. 撮像チップの単位領域に対応する回路図である。FIG. 3 is a circuit diagram corresponding to a unit area of the imaging chip. 撮像素子の機能的構成を示すブロック図である。FIG. 2 is a block diagram illustrating a functional configuration of an imaging device. 一実施の形態による撮像装置の構成を例示するブロック図である。FIG. 1 is a block diagram illustrating a configuration of an imaging device according to an embodiment. 撮像装置に設けられた第1表示部および第2表示部を説明する外観図である。FIG. 3 is an external view illustrating a first display unit and a second display unit provided in the imaging device. 図7(a)は、注目領域および周辺領域を決定する前のライブビュー画像を例示する図である。図7(b)は、ライブビュー画像に基づく人体検出処理によって制御部で決定された注目領域を例示する図である。FIG. 7A is a diagram exemplifying a live view image before the attention area and the surrounding area are determined. FIG. 7B is a diagram illustrating a region of interest determined by the control unit in the human body detection process based on the live view image. 図8(a)は、周辺領域に対応して取得される画像を示す図、図8(b)は、注目領域に対応して取得される画像を示す図、図8(c)は、合成される第1ライブビュー画像を例示する図である。8A is a diagram illustrating an image acquired corresponding to a peripheral region, FIG. 8B is a diagram illustrating an image acquired corresponding to a region of interest, and FIG. FIG. 7 is a diagram illustrating a first live view image to be displayed. 撮像装置の制御部が実行する撮影動作の流れを説明するフローチャートである。6 is a flowchart illustrating a flow of a shooting operation performed by a control unit of the imaging device. 図10(a),(b)は、複数の主要被写体が存在する場面を例示する図である。FIGS. 10A and 10B are diagrams illustrating a scene where a plurality of main subjects exist. 撮像装置に設けられた第1表示部および第2表示部を説明する外観図である。FIG. 3 is an external view illustrating a first display unit and a second display unit provided in the imaging device.

以下、図面を参照して本発明を実施するための形態について説明する。
<積層型撮像素子の説明>
始めに、本発明の一実施の形態による電子機器(例えば撮像装置1)に搭載する積層型撮像素子100について説明する。なお、この積層型撮像素子100は、本願出願人が先に出願した特願2012−139026号に記載されているものである。図1は、積層型撮像素子100の断面図である。撮像素子100は、入射光に対応した画素信号を出力する裏面照射型撮像チップ113と、画素信号を処理する信号処理チップ111と、画素信号を記憶するメモリチップ112とを備える。これら撮像チップ113、信号処理チップ111およびメモリチップ112は積層されており、Cu等の導電性を有するバンプ109により互いに電気的に接続される。
Hereinafter, embodiments for implementing the present invention will be described with reference to the drawings.
<Explanation of the stacked image sensor>
First, a stacked image sensor 100 mounted on an electronic device (for example, the imaging device 1) according to an embodiment of the present invention will be described. Note that this stacked-type image sensor 100 is described in Japanese Patent Application No. 2012-139026 filed earlier by the present applicant. FIG. 1 is a cross-sectional view of the stacked image sensor 100. The imaging device 100 includes a backside illumination type imaging chip 113 that outputs pixel signals corresponding to incident light, a signal processing chip 111 that processes pixel signals, and a memory chip 112 that stores pixel signals. The imaging chip 113, the signal processing chip 111, and the memory chip 112 are stacked, and are electrically connected to each other by a conductive bump 109 such as Cu.

なお、図示するように、入射光は主に白抜き矢印で示すZ軸プラス方向へ向かって入射する。本実施形態においては、撮像チップ113において、入射光が入射する側の面を裏面と称する。また、座標軸に示すように、Z軸に直交する紙面左方向をX軸プラス方向、Z軸およびX軸に直交する紙面手前方向をY軸プラス方向とする。以降のいくつかの図においては、図1の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。   As shown in the figure, the incident light mainly enters in the Z-axis plus direction indicated by the white arrow. In the present embodiment, the surface of the imaging chip 113 on which incident light is incident is referred to as a back surface. As shown by the coordinate axes, the left direction perpendicular to the Z axis is defined as the plus direction of the X axis, and the near direction perpendicular to the Z axis and the X axis is defined as the plus direction of the Y axis. In the following figures, coordinate axes are displayed so that the directions of the respective figures can be understood with reference to the coordinate axes in FIG.

撮像チップ113の一例は、裏面照射型のMOSイメージセンサである。PD層106は、配線層108の裏面側に配されている。PD層106は、二次元的に配され、入射光に応じた電荷を蓄積する複数のPD(フォトダイオード)104、および、PD104に対応して設けられたトランジスタ105を有する。   One example of the imaging chip 113 is a back-illuminated MOS image sensor. The PD layer 106 is provided on the back side of the wiring layer 108. The PD layer 106 includes a plurality of PDs (photodiodes) 104 that are two-dimensionally arranged and accumulates charges corresponding to incident light, and a transistor 105 provided corresponding to the PD 104.

PD層106における入射光の入射側にはパッシベーション膜103を介してカラーフィルタ102が設けられる。カラーフィルタ102は、互いに異なる波長領域を透過する複数の種類を有しており、PD104のそれぞれに対応して特定の配列を有している。カラーフィルタ102の配列については後述する。カラーフィルタ102、PD104およびトランジスタ105の組が、一つの画素を形成する。   The color filter 102 is provided on the incident side of the incident light in the PD layer 106 via the passivation film 103. The color filters 102 have a plurality of types that transmit different wavelength regions, and have a specific arrangement corresponding to each of the PDs 104. The arrangement of the color filters 102 will be described later. A set of the color filter 102, the PD 104, and the transistor 105 forms one pixel.

カラーフィルタ102における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ101が設けられる。マイクロレンズ101は、対応するPD104へ向けて入射光を集光する。   On the incident side of the incident light in the color filter 102, a micro lens 101 is provided corresponding to each pixel. The micro lens 101 collects incident light toward the corresponding PD 104.

配線層108は、PD層106からの画素信号を信号処理チップ111に伝送する配線107を有する。配線107は多層であってもよく、また、受動素子および能動素子が設けられてもよい。   The wiring layer 108 has a wiring 107 for transmitting the pixel signal from the PD layer 106 to the signal processing chip 111. The wiring 107 may be a multilayer, and may be provided with a passive element and an active element.

配線層108の表面には複数のバンプ109が配される。当該複数のバンプ109が信号処理チップ111の対向する面に設けられた複数のバンプ109と位置合わせされて、撮像チップ113と信号処理チップ111とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。   A plurality of bumps 109 are arranged on the surface of the wiring layer 108. The plurality of bumps 109 are aligned with the plurality of bumps 109 provided on the opposite surface of the signal processing chip 111, and the imaging chip 113 and the signal processing chip 111 are aligned by pressing or the like. The bumps 109 are joined and electrically connected.

同様に、信号処理チップ111およびメモリチップ112の互いに対向する面には、複数のバンプ109が配される。これらのバンプ109が互いに位置合わせされて、信号処理チップ111とメモリチップ112とが加圧等されることにより、位置合わせされたバンプ109同士が接合されて、電気的に接続される。   Similarly, a plurality of bumps 109 are arranged on surfaces of the signal processing chip 111 and the memory chip 112 that face each other. These bumps 109 are aligned with each other, and the signal processing chip 111 and the memory chip 112 are pressurized or the like, whereby the aligned bumps 109 are joined and electrically connected.

なお、バンプ109間の接合には、固相拡散によるCuバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ109は、例えば後述する一つの単位領域に対して一つ程度設ければよい。したがって、バンプ109の大きさは、PD104のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ109よりも大きなバンプを併せて設けてもよい。   Note that the bonding between the bumps 109 is not limited to Cu bump bonding by solid-phase diffusion, and micro-bump bonding by solder melting may be employed. Further, for example, about one bump 109 may be provided for one unit region described later. Therefore, the size of the bump 109 may be larger than the pitch of the PD 104. In a peripheral region other than the pixel region where the pixels are arranged, a bump larger than the bump 109 corresponding to the pixel region may be additionally provided.

信号処理チップ111は、表裏面にそれぞれ設けられた回路を互いに接続するTSV(シリコン貫通電極)110を有する。TSV110は、周辺領域に設けられることが好ましい。また、TSV110は、撮像チップ113の周辺領域、メモリチップ112にも設けられてよい。   The signal processing chip 111 has a TSV (through-silicon via) 110 that connects circuits provided on the front and back surfaces to each other. The TSV 110 is preferably provided in a peripheral area. Further, the TSV 110 may be provided in a peripheral area of the imaging chip 113 and the memory chip 112.

図2は、撮像チップ113の画素配列と単位領域131を説明する図である。特に、撮像チップ113を裏面側から観察した様子を示す。画素領域には例えば2000万個以上もの画素がマトリックス状に配列されている。本実施形態においては、例えば隣接する4画素×4画素の16画素が一つの単位領域131を形成する。図の格子線は、隣接する画素がグループ化されて単位領域131を形成する概念を示す。単位領域131を形成する画素の数は、これに限られず1000個程度、例えば32画素×64画素でもよいし、それ以上でもそれ以下(例えば1画素)でもよい。   FIG. 2 is a diagram illustrating the pixel array of the imaging chip 113 and the unit area 131. In particular, this shows a state in which the imaging chip 113 is observed from the back side. In the pixel area, for example, more than 20 million pixels are arranged in a matrix. In the present embodiment, for example, 16 pixels of 4 × 4 adjacent pixels form one unit region 131. The grid lines in the figure show the concept of forming the unit area 131 by grouping adjacent pixels. The number of pixels forming the unit region 131 is not limited to this, and may be about 1000, for example, 32 × 64 pixels, or more or less (eg, one pixel).

画素領域の部分拡大図に示すように、単位領域131は、緑色画素Gb、Gr、青色画素Bおよび赤色画素Rの4画素から成るいわゆるベイヤー配列を、上下左右に4つ内包する。緑色画素は、カラーフィルタ102として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素は、カラーフィルタ102として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素は、カラーフィルタ102として赤色フィルタを有する画素であって赤色波長帯の光を受光する。   As shown in the partial enlarged view of the pixel area, the unit area 131 includes four so-called Bayer arrangements composed of four pixels of green pixels Gb, Gr, blue pixels B, and red pixels R in up, down, left, and right directions. The green pixel is a pixel having a green filter as the color filter 102, and receives light in a green wavelength band among incident light. Similarly, a blue pixel is a pixel having a blue filter as the color filter 102 and receives light in the blue wavelength band, and a red pixel is a pixel having a red filter as the color filter 102 and emits light in the red wavelength band. Receive light.

本実施形態において、1ブロックにつき単位領域131を少なくとも1つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積時間または蓄積回数、デジタル化のビット数等である。さらに、制御パラメータは、画素からの画像信号取得後の画像処理におけるパラメータであってもよい。   In the present embodiment, a plurality of blocks are defined so as to include at least one unit area 131 per block, and each block can control pixels included in each block with different control parameters. That is, image pickup signals having different image pickup conditions can be acquired between a pixel group included in a certain block and a pixel group included in another block. Examples of the control parameters include a frame rate, a gain, a thinning rate, the number of rows or columns to be added for adding pixel signals, the charge accumulation time or the number of accumulations, and the number of bits for digitization. Further, the control parameter may be a parameter in image processing after acquiring an image signal from a pixel.

図3は、撮像チップ113の単位領域131に対応する回路図である。図3において、代表的に点線で囲む矩形が、1画素に対応する回路を表す。なお、以下に説明する各トランジスタの少なくとも一部は、図1のトランジスタ105に対応する。   FIG. 3 is a circuit diagram corresponding to the unit area 131 of the imaging chip 113. In FIG. 3, a rectangle typically surrounded by a dotted line indicates a circuit corresponding to one pixel. Note that at least part of each transistor described below corresponds to the transistor 105 in FIG.

上述のように、単位領域131は、16画素から形成される。それぞれの画素に対応する16個のPD104は、それぞれ転送トランジスタ302に接続され、各転送トランジスタ302の各ゲートには、転送パルスが供給されるTX配線307に接続される。本実施形態において、TX配線307は、16個の転送トランジスタ302に対して共通接続される。   As described above, the unit region 131 is formed from 16 pixels. The 16 PDs 104 corresponding to each pixel are connected to the transfer transistor 302, and each gate of each transfer transistor 302 is connected to the TX wiring 307 to which a transfer pulse is supplied. In the present embodiment, the TX wiring 307 is commonly connected to the 16 transfer transistors 302.

各転送トランジスタ302のドレインは、対応する各リセットトランジスタ303のソースに接続されると共に、転送トランジスタ302のドレインとリセットトランジスタ303のソース間のいわゆるフローティングディフュージョンFDが増幅トランジスタ304のゲートに接続される。リセットトランジスタ303のドレインは電源電圧が供給されるVdd配線310に接続され、そのゲートはリセットパルスが供給されるリセット配線306に接続される。本実施形態において、リセット配線306は、16個のリセットトランジスタ303に対して共通接続される。   The drain of each transfer transistor 302 is connected to the source of the corresponding reset transistor 303, and the so-called floating diffusion FD between the drain of the transfer transistor 302 and the source of the reset transistor 303 is connected to the gate of the amplification transistor 304. The drain of the reset transistor 303 is connected to a Vdd wiring 310 to which a power supply voltage is supplied, and the gate is connected to a reset wiring 306 to which a reset pulse is supplied. In the present embodiment, the reset wiring 306 is commonly connected to the 16 reset transistors 303.

各々の増幅トランジスタ304のドレインは、電源電圧が供給されるVdd配線310に接続される。また、各々の増幅トランジスタ304のソースは、対応する各々の選択トランジスタ305のドレインに接続される。選択トランジスタの各ゲートには、選択パルスが供給されるデコーダ配線308に接続される。本実施形態において、デコーダ配線308は、16個の選択トランジスタ305に対してそれぞれ独立に設けられる。そして、各々の選択トランジスタ305のソースは、共通の出力配線309に接続される。負荷電流源311は、出力配線309に電流を供給する。すなわち、選択トランジスタ305に対する出力配線309は、ソースフォロアにより形成される。なお、負荷電流源311は、撮像チップ113側に設けてもよいし、信号処理チップ111側に設けてもよい。   The drain of each amplifying transistor 304 is connected to a Vdd wiring 310 to which a power supply voltage is supplied. Further, the source of each amplification transistor 304 is connected to the drain of each corresponding selection transistor 305. Each gate of the selection transistor is connected to a decoder wiring 308 to which a selection pulse is supplied. In the present embodiment, the decoder wiring 308 is provided independently for each of the 16 selection transistors 305. The source of each selection transistor 305 is connected to a common output wiring 309. The load current source 311 supplies a current to the output wiring 309. That is, the output wiring 309 for the selection transistor 305 is formed by a source follower. Note that the load current source 311 may be provided on the imaging chip 113 side or on the signal processing chip 111 side.

ここで、電荷の蓄積開始から蓄積終了後の画素出力までの流れを説明する。リセット配線306を通じてリセットパルスがリセットトランジスタ303に印加され、同時にTX配線307を通じて転送パルスが転送トランジスタ302に印加されると、PD104およびフローティングディフュージョンFDの電位がリセットされる。   Here, a flow from the start of charge accumulation to the pixel output after the end of accumulation will be described. When a reset pulse is applied to the reset transistor 303 through the reset wiring 306 and a transfer pulse is simultaneously applied to the transfer transistor 302 through the TX wiring 307, the potentials of the PD 104 and the floating diffusion FD are reset.

PD104は、転送パルスの印加が解除されると、受光する入射光を電荷に変換して蓄積する。その後、リセットパルスが印加されていない状態で再び転送パルスが印加されると、蓄積された電荷はフローティングディフュージョンFDへ転送され、フローティングディフュージョンFDの電位は、リセット電位から電荷蓄積後の信号電位になる。そして、デコーダ配線308を通じて選択パルスが選択トランジスタ305に印加されると、フローティングディフュージョンFDの信号電位の変動が、増幅トランジスタ304および選択トランジスタ305を介して出力配線309に伝わる。これにより、リセット電位と信号電位とに対応する画素信号は、単位画素から出力配線309に出力される。   When the application of the transfer pulse is released, the PD 104 converts the received incident light into a charge and stores the charge. Thereafter, when the transfer pulse is applied again in a state where the reset pulse is not applied, the accumulated charge is transferred to the floating diffusion FD, and the potential of the floating diffusion FD changes from the reset potential to the signal potential after the charge accumulation. . Then, when a selection pulse is applied to the selection transistor 305 through the decoder wiring 308, a change in the signal potential of the floating diffusion FD is transmitted to the output wiring 309 via the amplification transistor 304 and the selection transistor 305. Accordingly, a pixel signal corresponding to the reset potential and the signal potential is output from the unit pixel to the output wiring 309.

図3に示すように、本実施形態においては、単位領域131を形成する16画素に対して、リセット配線306とTX配線307が共通である。すなわち、リセットパルスと転送パルスはそれぞれ、16画素全てに対して同時に印加される。したがって、単位領域131を形成する全ての画素は、同一のタイミングで電荷蓄積を開始し、同一のタイミングで電荷蓄積を終了する。ただし、蓄積された電荷に対応する画素信号は、それぞれの選択トランジスタ305に選択パルスが順次印加されることにより、選択的に出力配線309から出力される。また、リセット配線306、TX配線307、出力配線309は、単位領域131毎に別個に設けられる。   As shown in FIG. 3, in the present embodiment, the reset wiring 306 and the TX wiring 307 are common to the 16 pixels forming the unit area 131. That is, the reset pulse and the transfer pulse are respectively applied to all 16 pixels at the same time. Therefore, all the pixels forming the unit region 131 start charge accumulation at the same timing and end charge accumulation at the same timing. However, a pixel signal corresponding to the stored charge is selectively output from the output wiring 309 by sequentially applying a selection pulse to each selection transistor 305. Further, the reset wiring 306, the TX wiring 307, and the output wiring 309 are separately provided for each unit region 131.

このように単位領域131を基準として回路を構成することにより、単位領域131ごとに電荷蓄積時間を制御することができる。換言すると、単位領域131間で、異なったフレームレートによる画素信号をそれぞれ出力させることができる。更に言えば、一方の単位領域131に1回の電荷蓄積を行わせている間に、他方の単位領域131に何回もの電荷蓄積を繰り返させてその都度画素信号を出力させることにより、これらの単位領域131間で異なるフレームレートで動画用の各フレームを出力することもできる。   By configuring the circuit based on the unit regions 131 as described above, the charge accumulation time can be controlled for each unit region 131. In other words, pixel signals at different frame rates can be output between the unit areas 131. More specifically, while one unit area 131 performs one charge accumulation, the other unit area 131 repeats the charge accumulation many times to output a pixel signal each time. Each frame for a moving image can be output at a different frame rate between the unit areas 131.

図4は、撮像素子100の機能的構成を示すブロック図である。アナログのマルチプレクサ411は、単位領域131を形成する16個のPD104を順番に選択して、それぞれの画素信号を当該単位領域131に対応して設けられた出力配線309へ出力させる。マルチプレクサ411は、PD104と共に、撮像チップ113に形成される。   FIG. 4 is a block diagram illustrating a functional configuration of the image sensor 100. The analog multiplexer 411 sequentially selects the 16 PDs 104 forming the unit area 131 and outputs each pixel signal to the output wiring 309 provided corresponding to the unit area 131. The multiplexer 411 is formed on the imaging chip 113 together with the PD 104.

マルチプレクサ411を介して出力された画素信号は、信号処理チップ111に形成された、相関二重サンプリング(CDS)・アナログ/デジタル(A/D)変換を行う信号処理回路412により、CDSおよびA/D変換が行われる。A/D変換された画素信号は、デマルチプレクサ413に引き渡され、それぞれの画素に対応する画素メモリ414に格納される。デマルチプレクサ413および画素メモリ414は、メモリチップ112に形成される。   The pixel signals output via the multiplexer 411 are converted into CDS and A / D signals by a signal processing circuit 412 formed on the signal processing chip 111 and performing correlated double sampling (CDS) / analog / digital (A / D) conversion. D conversion is performed. The A / D-converted pixel signal is delivered to a demultiplexer 413 and stored in a pixel memory 414 corresponding to each pixel. The demultiplexer 413 and the pixel memory 414 are formed on the memory chip 112.

演算回路415は、画素メモリ414に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路415は、信号処理チップ111に設けられてもよいし、メモリチップ112に設けられてもよい。なお、図4では1つの単位領域131の分の接続を示すが、実際にはこれらが単位領域131ごとに存在して、並列で動作する。ただし、演算回路415は単位領域131ごとに存在しなくても良く、例えば、一つの演算回路415がそれぞれの単位領域131に対応する画素メモリ414の値を順に参照しながらシーケンシャルに処理してもよい。   The arithmetic circuit 415 processes the pixel signal stored in the pixel memory 414 and delivers it to the subsequent image processing unit. The arithmetic circuit 415 may be provided in the signal processing chip 111 or may be provided in the memory chip 112. Note that FIG. 4 shows connections for one unit area 131, but these actually exist for each unit area 131 and operate in parallel. However, the arithmetic circuit 415 may not be provided for each unit area 131. For example, even if one arithmetic circuit 415 sequentially processes the values in the pixel memory 414 corresponding to each unit area 131, the processing may be sequentially performed. Good.

上記の通り、単位領域131のそれぞれに対応して出力配線309が設けられている。撮像素子100は撮像チップ113、信号処理チップ111およびメモリチップ112を積層しているので、これら出力配線309にバンプ109を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。   As described above, the output wiring 309 is provided corresponding to each of the unit regions 131. Since the image pickup device 100 has the image pickup chip 113, the signal processing chip 111, and the memory chip 112 stacked, by using the electrical connection between the chips using the bump 109 for the output wiring 309, each chip can be placed in the plane direction. The wiring can be routed without increasing the size.

<撮像装置の説明>
図5は、上述した撮像素子100を有する撮像装置1の構成を例示するブロック図である。図5において、撮像装置1は、撮像光学系10、撮像部20、画像処理部30、ワークメモリ40、表示部50、記録部60、および制御部70を有する。
<Description of imaging device>
FIG. 5 is a block diagram illustrating the configuration of the imaging device 1 including the above-described imaging device 100. 5, the imaging device 1 includes an imaging optical system 10, an imaging unit 20, an image processing unit 30, a work memory 40, a display unit 50, a recording unit 60, and a control unit 70.

撮像光学系10は、複数のレンズから構成され、被写界からの光束を撮像部20へ導く。撮像光学系10は、撮像装置1と一体に構成されていても、撮像装置1に対して交換可能に構成されていてもよい。また、撮像光学系10には、フォーカスレンズを内蔵していても、ズームレンズを内蔵していてもよい。   The imaging optical system 10 includes a plurality of lenses, and guides a light beam from the object scene to the imaging unit 20. The imaging optical system 10 may be configured integrally with the imaging device 1 or may be configured to be replaceable with respect to the imaging device 1. The imaging optical system 10 may have a built-in focus lens or a built-in zoom lens.

撮像部20は、上述した撮像素子100と、撮像素子100を駆動する駆動部21とを有する。撮像素子100は、駆動部21から出力される制御信号によって駆動制御されることにより、上述したブロック単位で独立した蓄積制御が可能である。駆動部21に対する上記ブロックの位置や形状、その範囲などの指示は、制御部70が行う。   The imaging unit 20 includes the above-described imaging device 100 and a driving unit 21 that drives the imaging device 100. The drive of the image sensor 100 is controlled by a control signal output from the drive unit 21 so that the above-described independent accumulation control can be performed on a block-by-block basis. The control unit 70 instructs the drive unit 21 on the position, shape, range, and the like of the block.

画像処理部30は、ワークメモリ40と協働して、撮像部20で撮像された画像データに対する画像処理を行う。本実施形態において、画像処理部30は、通常の画像処理(色信号処理、ガンマ補正など)に加えて、画像に含まれる主要被写体の検出処理も行う。画像処理部30による主要被写体の検出は、公知の顔検出機能を用いて行うことができる。また、顔検出に加えて、例えば特開2010-16621号公報(US2010/0002940号)に記載されているように、画像に含まれる人体を主要被写体として検出するようにしてもよい。   The image processing unit 30 performs image processing on the image data captured by the imaging unit 20 in cooperation with the work memory 40. In the present embodiment, the image processing unit 30 performs detection processing of a main subject included in an image in addition to normal image processing (color signal processing, gamma correction, and the like). The detection of the main subject by the image processing unit 30 can be performed using a known face detection function. In addition to the face detection, a human body included in an image may be detected as a main subject as described in, for example, Japanese Patent Application Laid-Open No. 2010-16621 (US2010 / 0002940).

ワークメモリ40は、JPEG圧縮前後やMPEG圧縮前後の画像データなどを一時的に記憶する。表示部50は、例えば液晶表示パネルによって構成され、撮像部20で撮像された画像(静止画や動画)や各種情報を表示したり、操作入力用画面を表示したりする。本実施形態による撮像装置1は、表示部50として第1表示部51および第2表示部53を有し、第1表示部51に第1タッチパネル52が、第2表示部53に第2タッチパネル54が、それぞれ組み込まれている。   The work memory 40 temporarily stores image data before and after JPEG compression and before and after MPEG compression. The display unit 50 includes, for example, a liquid crystal display panel, and displays an image (still image or moving image) captured by the imaging unit 20 and various information, and displays an operation input screen. The imaging device 1 according to the present embodiment has a first display unit 51 and a second display unit 53 as the display unit 50, a first touch panel 52 on the first display unit 51, and a second touch panel 54 on the second display unit 53. , Respectively.

図6は、撮像装置1に設けられた第1表示部51および第2表示部53を説明する外観図である。図6において、第1表示部51は撮像装置1の背面に設けられ、第2表示部53はヒンジ部55を介して折りたたみ可能に設けられる。第1タッチパネル52は、第1表示部51にユーザが触れた位置を示す信号を出力し、第2タッチパネル54は、第2表示部53にユーザが触れた位置を示す信号を出力する。   FIG. 6 is an external view illustrating the first display unit 51 and the second display unit 53 provided in the imaging device 1. 6, the first display unit 51 is provided on the back surface of the imaging device 1, and the second display unit 53 is provided so as to be foldable via a hinge unit 55. The first touch panel 52 outputs a signal indicating the position touched by the user to the first display unit 51, and the second touch panel 54 outputs a signal indicating the position touched by the user to the second display unit 53.

本実施形態では、第1表示部51および第2表示部53によって表示部50を構成するようにしたが、この代わりに、表示部50を1つの表示装置で構成し、この表示装置を2つの表示領域に分けて分割表示させ、第1の表示領域を第1表示部51による表示とし、第2の表示領域を第2表示部53による表示として扱ってもよい。また、表示部50を1つの表示装置で構成し、この表示装置に第1表示部51に表示させるべき表示をさせたり、第2表示部53に表示させるべき表示をさせたりするように、表示内容を切り替えるように構成してもよい。例えば、表示部50に設けられているタッチパネルが操作されたタイミングで表示内容を切り替える。   In the present embodiment, the display unit 50 is configured by the first display unit 51 and the second display unit 53. Instead, the display unit 50 is configured by one display device, and the display device is configured by two display devices. The display area may be divided and displayed, and the first display area may be displayed by the first display unit 51 and the second display area may be displayed by the second display unit 53. In addition, the display unit 50 is constituted by one display device, and the display unit 50 performs display such that a display to be displayed on the first display unit 51 or a display to be displayed on the second display unit 53 is performed. The content may be switched. For example, the display content is switched at the timing when the touch panel provided on the display unit 50 is operated.

図5の説明に戻ると、記録部60は、メモリカードなどの記憶媒体に画像データなどの各種データを記憶させる。制御部70はCPUを有し、撮像装置1による全体の動作を制御する。本実施形態では、制御部70は、撮像素子100の撮像面を複数のブロックに分け、ブロック間において異なるフレームレートで画像を取得させる。このために制御部70は、ブロックの位置、形状、範囲、および各ブロック用の制御パラメータを駆動部21へ指示する。   Returning to the description of FIG. 5, the recording unit 60 stores various data such as image data in a storage medium such as a memory card. The control unit 70 has a CPU and controls the entire operation of the imaging device 1. In the present embodiment, the control unit 70 divides the imaging surface of the imaging device 100 into a plurality of blocks, and obtains images at different frame rates among the blocks. To this end, the control unit 70 instructs the drive unit 21 on the position, shape, range, and control parameters for each block.

<注目領域と周辺領域>
本実施形態では、画面内に注目領域と周辺領域という概念を導入し、上記複数のブロックに対応させる。制御部70は、例えばライブビュー画像に基づいて、上記人体検出処理によって検出される人体を包含する領域を注目領域とする。そして、注目領域以外の領域を周辺領域とする。ここで、ライブビュー画像は本撮像が行われる前のプレビュー画像とも呼ばれ、撮像素子100によって所定のフレームレート(例えば90fps)で取得されるモニター用の画像をいう。
<Attention area and surrounding area>
In the present embodiment, the concept of an attention area and a peripheral area is introduced into a screen, and the screen is made to correspond to the plurality of blocks. The control unit 70 sets a region including a human body detected by the human body detection process as a region of interest based on, for example, a live view image. Then, an area other than the attention area is set as a peripheral area. Here, the live view image is also called a preview image before the main imaging is performed, and refers to a monitor image acquired by the imaging device 100 at a predetermined frame rate (for example, 90 fps).

人体検出処理を行う代わりに、ライブビュー画像を構成する複数のフレーム間から動きベクトルを検出し、この動きベクトルに基づいて検出される移動被写体を包含する領域を注目領域としてもよい。   Instead of performing the human body detection process, a motion vector may be detected from among a plurality of frames forming the live view image, and a region including the moving subject detected based on the motion vector may be set as the attention region.

また、表示部50のうち第1表示部51にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザが第1タッチパネル52に触れた位置に対応する(表示されている)主要被写体の領域を注目領域としてもよい。   Further, in a state where the live view image is displayed on the first display unit 51 of the display unit 50, the main subject corresponding to (displayed) the position where the user who views the live view image touches the first touch panel 52. May be set as the attention area.

なお、表示部50のうち第2表示部53にライブビュー画像を表示した状態で、このライブビュー画像を視認するユーザが第2タッチパネル54に触れた位置に対応する(表示されている)主要被写体の領域を注目領域としてもよい。   In a state where the live view image is displayed on the second display unit 53 of the display unit 50, the main subject corresponding to (displayed) the position at which the user viewing the live view image touches the second touch panel 54. May be set as the attention area.

制御部70は、このように注目領域および周辺領域を決定すると、撮像素子100を注目領域に対応するブロックと周辺領域に対応するブロックとに分けて蓄積制御するように、駆動部21へ指示を送る。なお、注目領域および周辺領域を決定する前のライブビュー画像は、画面全体で共通の制御パラメータを適用する。   When the control unit 70 determines the attention area and the peripheral area in this manner, the control unit 70 instructs the drive unit 21 to perform accumulation control by dividing the image sensor 100 into blocks corresponding to the attention area and blocks corresponding to the peripheral area. send. Note that a common control parameter is applied to the entire live view image of the live view image before the attention area and the surrounding area are determined.

図7(a)は、注目領域および周辺領域を決定する前のライブビュー画像を例示する図である。図7(a)において、ライブビュー画像は、例えば、縦6×横8の計48の単位領域131で構成されている。図7(a)においては単位領域131の形状が縦長であるが、単位領域131の形状は正方形であっても横長であってもよい。   FIG. 7A is a diagram exemplifying a live view image before the attention area and the surrounding area are determined. In FIG. 7A, the live view image is composed of, for example, a total of 48 unit areas 131 of 6 × 8. In FIG. 7A, the shape of the unit region 131 is vertically long, but the shape of the unit region 131 may be square or horizontally long.

ここで、注目領域および周辺領域を決定する前のライブビュー画像を表示部50(第1表示部51または第2表示部53)に表示する際に、単位領域を示す格子線71を、ライブビュー画像に重ねて表示させてもよい。   Here, when displaying the live view image before determining the attention area and the surrounding area on the display unit 50 (the first display unit 51 or the second display unit 53), the grid lines 71 indicating the unit area are displayed in the live view. It may be displayed over an image.

図7(b)は、ライブビュー画像に基づく人体検出処理によって制御部70で決定された注目領域を例示する図である。図7(b)において、検出された人体を含む領域(枠72で囲んだ縦4×横5の計20の単位領域131で構成される)が注目領域にされる。また、注目領域以外の領域(枠72の外側の計28の単位領域131で構成される)が周辺領域にされる。   FIG. 7B is a diagram illustrating a region of interest determined by the control unit 70 by the human body detection processing based on the live view image. In FIG. 7B, an area including the detected human body (consisting of a total of 20 unit areas 131 of 4 × 5 in a frame 72) is set as the attention area. An area other than the attention area (consisting of a total of 28 unit areas 131 outside the frame 72) is set as a peripheral area.

なお、制御部70が注目領域を決定した際に、決定した注目領域を示す枠72を、表示部50(第1表示部51または第2表示部53)に表示中のライブビュー画像に重ねて表示させてもよい。   When the control unit 70 determines the attention area, a frame 72 indicating the determined attention area is superimposed on the live view image being displayed on the display unit 50 (the first display unit 51 or the second display unit 53). It may be displayed.

本実施形態では、注目領域および周辺領域を決定した以降において、撮像素子100の注目領域に対応するブロックと周辺領域に対応するブロックとで異なる制御パラメータを適用する。そして、異なる制御パラメータを適用して得た複数の画像に基づいて、第1表示部51と第2表示部53とで異なる画像を表示させる。   In the present embodiment, after determining the attention area and the peripheral area, different control parameters are applied to the block corresponding to the attention area of the image sensor 100 and the block corresponding to the peripheral area. Then, different images are displayed on the first display unit 51 and the second display unit 53 based on a plurality of images obtained by applying different control parameters.

具体的には、注目領域に対応する画像と、周辺領域に対応する画像とを合成し、合成後の画像を第1表示部51にて第1ライブビュー画像として表示させる。また、注目領域に対応する画像のみを第2表示部53にて第2ライブビュー画像として表示させる。   Specifically, the image corresponding to the attention area and the image corresponding to the peripheral area are combined, and the combined image is displayed on the first display unit 51 as the first live view image. Further, only the image corresponding to the attention area is displayed on the second display unit 53 as the second live view image.

図8(a)は、周辺領域に対応して取得される画像90、図8(b)は、注目領域に対応して取得される画像80、および図8(c)は、合成される第1ライブビュー画像90Aを例示する図である。図8(a)において、周辺領域に対応する画像90は、フレームレートを例えば90fpsとして取得される。図8(b)において、注目領域に対応する画像80は、例えば周辺領域の2倍のフレームレート180fpsで取得される。   8A shows an image 90 obtained corresponding to the peripheral region, FIG. 8B shows an image 80 obtained corresponding to the region of interest, and FIG. It is a figure which illustrates one live view image 90A. In FIG. 8A, an image 90 corresponding to a peripheral area is acquired at a frame rate of, for example, 90 fps. In FIG. 8B, the image 80 corresponding to the region of interest is acquired at a frame rate of 180 fps, which is twice as large as the peripheral region, for example.

図8(a)および図8(b)によれば、周辺領域に対応する画像90を4フレーム取得する間に、注目領域に対応する画像80を8フレーム取得できる。このように、注目領域において周辺領域に比べて高いフレームレートで取得することにより、第2表示部53(図6)に表示する注目領域についての第2ライブビュー画像80Aの視認性を向上させることができる。   According to FIGS. 8A and 8B, while acquiring four frames of the image 90 corresponding to the peripheral region, eight frames of the image 80 corresponding to the attention region can be acquired. As described above, by acquiring the attention area at a higher frame rate than the peripheral area, the visibility of the second live view image 80A for the attention area displayed on the second display unit 53 (FIG. 6) is improved. Can be.

第1表示部51(図6)に表示する第1ライブビュー画像90Aについては、周辺領域に対応する画像90の中に注目領域に対応する画像80を合成する際に、周辺領域と取得開始タイミングが同じフレーム(図8(b)のうち太線で囲んだフレーム)画像をはめ込み合成する。このように、第1ライブビュー画像90Aの再生フレームレートを、取得時のフレームレートが低い周辺領域のフレームレートに合わせるようにしたので、第1ライブビュー画像90Aを観察するユーザが違和感を覚えることがない。図6において第1表示部51の画面に表示した一点鎖線の枠は、はめ込み合成した画像80の範囲をわかりやすくするために便宜上記載したもので、必ずしも第1表示部51の画面に表示させなくてもよい。ここで、第1表示部51に表示中の第1ライブビュー画像90Aに重ねてアイコンなどを表示させる場合は、注目領域に対応する画像80を避けて周辺領域に対応する位置へ重ね合成させるものとする。   Regarding the first live view image 90A displayed on the first display unit 51 (FIG. 6), when the image 90 corresponding to the attention area is combined with the image 90 corresponding to the peripheral area, the peripheral area and the acquisition start timing Fits and synthesizes the same frame (frame surrounded by a thick line in FIG. 8B). As described above, the reproduction frame rate of the first live view image 90A is adjusted to the frame rate of the peripheral area where the frame rate at the time of acquisition is low, so that the user who observes the first live view image 90A may feel uncomfortable. There is no. In FIG. 6, the dashed line frame displayed on the screen of the first display unit 51 is described for convenience in order to make the range of the image 80 that has been fitted and synthesized easy to understand, and is not necessarily displayed on the screen of the first display unit 51. You may. Here, when displaying an icon or the like on the first live view image 90A being displayed on the first display unit 51, the icon is superimposed on a position corresponding to the peripheral region, avoiding the image 80 corresponding to the attention region. And

なお、図6の例では、注目領域および周辺領域を含む第1ライブビュー画像90Aを第1表示部51に表示させ、注目領域のみに対応する第2ライブビュー画像80Aを第2表示部53に表示させるようにしたが、第1表示部51と第2表示部53との間で表示内容を逆にしても構わない。例えば、第1タッチパネル52、または第2タッチパネル54が操作されたタイミングで表示内容を逆にする。また、注目領域に対応する第2ライブビュー画像80Aを表示する場合に、電子ズーム処理により拡大させて表示するようにしてもよい。図6において第2表示部53に表示されている第2ライブビュー画像80Aは、第1表示部51に表示されている画像80よりも、第2表示部53に表示される第2ライブビュー画像80Aが大きいサイズで表示されるように、電気的な拡大処理(いわゆる電子ズーム)により拡大された状態を例示する。この場合の電子ズーム処理は、画像処理部30によって行う。   In the example of FIG. 6, the first live view image 90A including the attention area and the peripheral area is displayed on the first display unit 51, and the second live view image 80A corresponding to only the attention area is displayed on the second display unit 53. Although the display is performed, the display content may be reversed between the first display unit 51 and the second display unit 53. For example, the display content is reversed when the first touch panel 52 or the second touch panel 54 is operated. When the second live view image 80A corresponding to the attention area is displayed, the second live view image 80A may be enlarged and displayed by electronic zoom processing. In FIG. 6, the second live view image 80A displayed on the second display unit 53 is a second live view image displayed on the second display unit 53, rather than the image 80 displayed on the first display unit 51. A state in which 80A is enlarged by an electrical enlargement process (so-called electronic zoom) so that 80A is displayed in a large size is illustrated. The electronic zoom process in this case is performed by the image processing unit 30.

<フローチャートの説明>
図9は、撮像装置1の制御部70が実行する撮影動作の流れを説明するフローチャートである。制御部70は、不図示のON-OFFスイッチがオン操作され、撮像装置1の各部に対して通電が行われている場合に、図9による処理を繰り返し起動させる。図9のステップS101において、制御部70は、撮像部20による撮像を開始させる。ステップS101で開始するライブビュー画像の取得は、撮像素子100の全領域で共通の制御パラメータを適用して行う。すなわち、撮像素子100の全領域において同じフレームレート(例えば90fps)で撮像する。
<Explanation of flowchart>
FIG. 9 is a flowchart illustrating a flow of a shooting operation performed by the control unit 70 of the imaging device 1. When an ON-OFF switch (not shown) is turned on and power is supplied to each unit of the imaging apparatus 1, the control unit 70 repeatedly starts the processing in FIG. In step S101 of FIG. 9, the control unit 70 causes the imaging unit 20 to start imaging. The acquisition of the live view image started in step S101 is performed by applying a common control parameter in all regions of the image sensor 100. That is, imaging is performed at the same frame rate (for example, 90 fps) in the entire region of the image sensor 100.

制御部70は、撮像部20により取得されたライブビュー画像データを画像処理部30により画像処理させた後、第1表示部51に表示させる。なお、本実施形態では、この段階において第2表示部53の表示をオフさせている。   The control unit 70 causes the image processing unit 30 to perform image processing on the live view image data acquired by the imaging unit 20 and then causes the first display unit 51 to display the live view image data. In this embodiment, the display of the second display unit 53 is turned off at this stage.

ステップS102において、制御部70は、上述したようにライブビュー画像に基づいて注目領域を決定し、ステップS103へ進む。制御部70は、注目領域以外の領域を周辺領域とする。ステップS103において、制御部70は、ステップS102で決定した注目領域と周辺領域とに基づいて撮像部20に対する制御と、表示部50に対する表示制御とを行う。   In step S102, the control unit 70 determines a region of interest based on the live view image as described above, and proceeds to step S103. The control unit 70 sets an area other than the attention area as a peripheral area. In step S103, the control unit 70 performs control on the imaging unit 20 and display control on the display unit 50 based on the attention area and the peripheral area determined in step S102.

制御部70は駆動部21へ指示を送り、撮像素子100の注目領域に対応するブロックのフレームレートを90fpsから2倍の180fpsへ変更させる。なお、90fpsから3倍の270fpsへ変更させてもよい。制御部70は、注目領域に対応するブロックのフレームレートを上げたのに応じて、第2表示部53の表示をオンさせ、注目領域のみに対応する第2ライブビュー画像80Aを第2表示部53に表示させる(図6)。一方、第1表示部51には、周辺領域に対応する画像90の中に注目領域に対応する画像80をはめ込み合成した第1ライブビュー画像90Aを表示させる(図6)。   The control unit 70 sends an instruction to the drive unit 21 to change the frame rate of the block corresponding to the attention area of the image sensor 100 from 90 fps to 180 fps, which is twice as large. In addition, you may change from 90 fps to 270 fps which is 3 times. The control unit 70 turns on the display of the second display unit 53 in response to increasing the frame rate of the block corresponding to the attention area, and displays the second live view image 80A corresponding to only the attention area on the second display unit. 53 is displayed (FIG. 6). On the other hand, the first display unit 51 displays a first live view image 90A in which the image 80 corresponding to the attention area is inserted and synthesized in the image 90 corresponding to the peripheral area (FIG. 6).

この際、注目領域の視認性を向上するために、画像処理部30に上述した電子ズーム処理を行わせて、注目領域を拡大した第2ライブビュー画像80Aを第2表示部53に表示させる。この場合の拡大率(電子ズーム倍率)は、拡大後の注目領域の表示が第2表示部53の表示域からはみ出ないように設定すればよい。これにより、ユーザは、構図全体を第1表示部51の第1ライブビュー画像90Aで視認しながら、注目領域のフレームレートの高い第2ライブビュー画像80Aを第2表示部53から視認できる。   At this time, in order to improve the visibility of the attention area, the image processing unit 30 performs the above-described electronic zoom processing, and the second display unit 53 displays the second live view image 80A in which the attention area is enlarged. The enlargement ratio (electronic zoom magnification) in this case may be set so that the display of the attention area after the enlargement does not protrude from the display area of the second display unit 53. Accordingly, the user can visually recognize the second live view image 80A having a high frame rate of the attention area from the second display unit 53 while visually recognizing the entire composition on the first live view image 90A of the first display unit 51.

ステップS104において、制御部70は、撮像装置1に対する操作の有無を判定する。制御部70は、操作が行われた場合にステップS104を肯定判定してステップS105へ進み、操作が行われない場合には、ステップS104を否定判定して当該判定処理を繰り返す。   In step S104, the control unit 70 determines whether or not an operation has been performed on the imaging device 1. When the operation is performed, the control unit 70 makes an affirmative determination in step S104 and proceeds to step S105. When the operation is not performed, the control unit 70 makes a negative determination in step S104 and repeats the determination processing.

ステップS104において有無を判定する操作は、第1タッチパネル52や第2タッチパネル54に対して行われる操作や、不図示の操作部材に対して行われる操作を含む。本実施形態においては、第2表示部53に注目領域に対応する第2ライブビュー画像80Aを表示させているので、第2タッチパネル54に対する操作の有無を判断するものとする。   The operation of determining the presence or absence in step S104 includes an operation performed on the first touch panel 52 or the second touch panel 54, and an operation performed on an operation member (not shown). In the present embodiment, since the second display section 53 displays the second live view image 80A corresponding to the attention area, it is determined whether or not an operation has been performed on the second touch panel 54.

制御部70は、例えば、図6に例示するように第2表示部53に前ピンアイコン56、後ピンアイコン57、フレームレートを上げるアイコン58、フレームレートを下げるアイコン59を表示させて、第2タッチパネル54でタッチ操作を受け付ける。ステップS105において、制御部70は、第2表示部53に表示中のアイコンであって、第2タッチパネル54によるタッチ位置に表示中のアイコンに対応付けられている処理を実行して、ステップS106へ進む。例えば、表示中の前ピンアイコン56がタッチ操作された場合の制御部70は、注目領域の主要被写体がいわゆる前ピンとなるように、撮像光学系10のフォーカスレンズを前ピン側に駆動させる。   The control unit 70 causes the second display unit 53 to display a front pin icon 56, a rear pin icon 57, an icon 58 for increasing the frame rate, and an icon 59 for decreasing the frame rate on the second display unit 53 as illustrated in FIG. A touch operation on the touch panel 54 is accepted. In step S105, the control unit 70 executes a process corresponding to the icon being displayed on the second display unit 53 and being displayed at the touch position on the second touch panel 54, and then proceeds to step S106. move on. For example, when the front focus icon 56 being displayed is touch-operated, the control unit 70 drives the focus lens of the imaging optical system 10 to the front focus side so that the main subject in the attention area is a so-called front focus.

ステップS106において、制御部70は、レリーズ操作されたか否かを判定する。制御部70は、不図示のレリーズボタンが押下操作(全押し操作)された場合に、ステップS106を肯定判定してステップS107へ進み、押下操作が行われない場合には、ステップS106を否定判定してステップS104へ戻る。ステップS104へ戻る場合は、上述した処理を繰り返す。なお、第2表示部53にレリーズアイコンを表示させておき、表示中のレリーズアイコンがタッチ操作された場合にステップS106を肯定判定するようにしてもよい。   In step S106, the control unit 70 determines whether or not a release operation has been performed. When a release button (not shown) is pressed (full-press operation), the control unit 70 makes an affirmative determination in step S106 and proceeds to step S107, and when no press operation is performed, makes a negative determination in step S106. And returns to step S104. When returning to step S104, the above processing is repeated. In addition, a release icon may be displayed on the second display unit 53, and an affirmative determination may be made in step S106 when the release icon being displayed is touched.

ステップS107において、制御部70は撮影処理を実行し、取得された画像のデータを記録部60によってメモリカードなどに記憶させて図9による処理を終了させる。撮影処理では、撮像素子100の全領域で共通の制御パラメータを適用して、1コマの静止画像を取得(本撮像)、記録するとともに、静止画像を取得した後も複数フレームの画像を取得する。そして、レリーズ操作の前後所定時間の間に取得した複数フレームの画像に基づいて、スロー再生動画データを生成、記録する。スロー再生動画データは、撮像素子100で取得した際のフレームレートより遅いフレームレート(例えば60fps)で再生する動画像のデータをいう。   In step S107, the control unit 70 executes a shooting process, causes the recording unit 60 to store the acquired image data in a memory card or the like, and ends the process in FIG. In the photographing process, a common control parameter is applied to the entire region of the image sensor 100 to acquire (record) a still image of one frame, record the image, and acquire images of a plurality of frames after acquiring the still image. . Then, the slow reproduction moving image data is generated and recorded based on the images of a plurality of frames acquired during a predetermined time before and after the release operation. The slow reproduction moving image data refers to moving image data reproduced at a frame rate (for example, 60 fps) lower than the frame rate obtained by the image sensor 100.

制御部70は、以下のようにスロー再生動画データを生成する。すなわち、レリーズ操作時刻(t1とする)より第1所定時間前(例えば0.6秒前)から時刻t1までに、上述した第1ライブビュー画像90Aおよび第2ライブビュー画像80Aの表示のためにワークメモリ40に一時的に記憶された複数のフレーム画像(フレームレートは周辺領域に設定されていたフレームレートとする。例えば90fpsで取得された場合の0.6秒分は54フレームである)、および時刻t1から時刻t1より第2所定時間後(例えば0.4秒後)までにワークメモリ40に記憶された複数のフレーム画像(レリーズ操作後のフレームレートは注目領域に設定されていたフレームレートとする。例えば180fpsで取得した場合の0.4秒分は72フレームである)に基づいて、スロー再生動画データを生成する。これにより、時刻t1を挟む1秒間(時刻t1の0.6秒前から時刻t1の0.4秒後)にワークメモリ40に記憶された複数のフレーム画像(計126枚)に基づいて、再生時間が約2秒間のスロー再生動画データを生成する。   The control unit 70 generates slow reproduction moving image data as follows. That is, the first live view image 90A and the second live view image 80A described above are displayed from the first predetermined time (for example, 0.6 seconds before) to the time t1 before the release operation time (t1). A plurality of frame images temporarily stored in the work memory 40 (the frame rate is the frame rate set in the peripheral area. For example, when acquired at 90 fps, 0.6 seconds is 54 frames); And a plurality of frame images stored in the work memory 40 from the time t1 to the second predetermined time after the time t1 (for example, 0.4 seconds) (the frame rate after the release operation is the frame rate set in the attention area) For example, the slow reproduction moving image data is generated based on the value of 72 frames for 0.4 seconds obtained at 180 fps. . As a result, reproduction is performed based on a plurality of frame images (126 images in total) stored in the work memory 40 for one second (0.6 seconds before the time t1 to 0.4 seconds after the time t1) sandwiching the time t1. The slow reproduction moving image data for about 2 seconds is generated.

このようにスロー再生動画像を生成すると、レリーズ操作前は遅いフレームレートで取得したフレーム画像に基づくスロー再生動画データが得られ、レリーズ操作後は速いフレームレートで取得したフレーム画像に基づくスロー再生動画データが得られる。なお、スロー画像動画データは、画像処理部30によりMPEGデータまたはJPEGデータとして生成される。   When the slow playback moving image is generated in this manner, slow playback moving image data based on a frame image acquired at a slow frame rate is obtained before a release operation, and slow playback moving image data based on a frame image acquired at a fast frame rate after a release operation. Data is obtained. Note that the slow image moving image data is generated by the image processing unit 30 as MPEG data or JPEG data.

以上説明した実施形態によれば、次の作用効果が得られる。
(1)撮像装置1は、周辺領域を第1フレームレート90fpsで撮像し、注目領域を第1フレームレートよりも速い第2フレームレート180fpsで撮像可能な撮像部20と、周辺領域と注目領域とで撮像された画像を第1表示部51に表示させる制御部70と、注目領域で撮像された画像を第2表示部53に表示させる制御部70と、を備えたので、画像の視認性を向上できる。
According to the embodiment described above, the following operation and effect can be obtained.
(1) The imaging apparatus 1 captures an image of a peripheral region at a first frame rate of 90 fps, and captures an image of a region of interest at a second frame rate of 180 fps faster than the first frame rate. Since the control unit 70 displays the image captured in the first display unit 51 on the first display unit 51 and the control unit 70 displays the image captured in the attention area on the second display unit 53, the visibility of the image is improved. Can be improved.

(2)上記(1)の撮像装置1において、制御部70はさらに、第2表示部53に表示させている画像の近傍に画像に関する操作に関わるアイコン表示をさせたので、視認性を高めた画像に対する操作性も向上できる。 (2) In the imaging device 1 of the above (1), the control unit 70 further displays an icon related to an operation related to the image near the image displayed on the second display unit 53, so that the visibility is improved. Operability with respect to images can also be improved.

(3)上記(1)、(2)の撮像装置1において、制御部70はさらに、第1表示部51に表示させている注目領域で撮像された画像に対して付加表示を行うようにしたので、例えば注目領域の範囲をわかりやすく表示できる。 (3) In the imaging device 1 of (1) or (2), the control unit 70 further performs additional display on the image captured in the attention area displayed on the first display unit 51. Therefore, for example, the range of the attention area can be displayed in an easily understandable manner.

(4)上記(1)〜(3)の撮像装置1において、制御部70は、注目領域で撮像された画像に拡大処理を施して第2表示部53に表示させるようにしたので、注目領域の視認性をさらに高めることができる。 (4) In the imaging device 1 of (1) to (3), the control unit 70 performs an enlargement process on an image captured in the attention area and displays the image on the second display unit 53. Can be further improved.

(5)上記(1)〜(4)の撮像装置1において、制御部70は、周辺領域で撮像された画像と、注目領域で撮像された画像とを合成する合成部を含み、この合成部による合成画像(第1ライブビュー画像90A)を第1表示部51に表示させる。これにより、撮像された画像を1つのライブビュー画像として表示できる。 (5) In the imaging device 1 of (1) to (4), the control unit 70 includes a combining unit that combines an image captured in the peripheral region and an image captured in the attention region, and the combining unit (First live view image 90A) is displayed on the first display unit 51. Thereby, the captured image can be displayed as one live view image.

(6)上記(5)の撮像装置1において、合成部(制御部70)は、注目領域において第2フレームレート180fpsで撮像された時系列の画像80の中から、周辺領域における第1フレームレート90fpsに対応する画像を選択し、当該選択した画像を周辺領域で撮像された画像90と逐次合成するようにしたので、合成された第1ライブビュー画像90Aを観察するユーザに与える違和感を抑えることができる。 (6) In the imaging device 1 of the above (5), the synthesizing unit (control unit 70) selects the first frame rate in the peripheral area from the time-series images 80 imaged at the second frame rate 180 fps in the attention area. Since an image corresponding to 90 fps is selected and the selected image is sequentially combined with the image 90 captured in the peripheral area, it is possible to suppress a sense of discomfort given to a user who observes the combined first live view image 90A. Can be.

(7)上記(1)〜(5)の撮像装置1において、周辺領域として撮像された画像の一部を注目領域として決定する制御部70をさらに備えるようにしたので、例えば、周辺領域として撮像された画像で人物の顔を含む領域や、周辺領域で撮像された画像を表示する画面においてタッチ操作された領域を、注目領域として決定し得る。 (7) In the imaging apparatus 1 of (1) to (5), the control unit 70 that determines a part of the image captured as the peripheral area as the attention area is further provided. An area including a person's face in the performed image or an area where a touch operation is performed on a screen displaying an image captured in a peripheral area may be determined as the attention area.

(8)上記(7)の撮像装置1において、制御部70は、周辺領域において撮像された画像に対する顔検出もしくは人体検出に基づいて注目領域を決定するので、タッチ操作がなくても自動で注目領域を決めることができる。 (8) In the imaging device 1 of (7), since the control unit 70 determines the attention area based on the face detection or the human body detection for the image captured in the peripheral area, the control unit 70 automatically focuses attention even without touch operation. The area can be determined.

(変形例1)
上述した実施形態では、主要被写体が1つの場合を例に説明した。変形例1では、主要被写体の数が複数である場合を説明する。図10は、複数の主要被写体が存在する場面を例示する図である。図10(a)に例示する場面を撮影する場合の制御部70は、例えば滑り台の後方にいる男の子を第1主要被写体とし、滑り台で滑っている女の子を第2主要被写体とする。この場合、第1主要被写体を含む領域を第1注目領域とし、第2主要被写体を含む領域を第2注目領域とする。
(Modification 1)
In the above-described embodiment, the case where there is one main subject has been described as an example. Modification Example 1 describes a case where the number of main subjects is plural. FIG. 10 is a diagram illustrating a scene where a plurality of main subjects exist. The control unit 70 in the case of photographing the scene illustrated in FIG. 10A sets, for example, a boy behind the slide as the first main subject and a girl sliding on the slide as the second main subject. In this case, an area including the first main subject is defined as a first attention area, and an area including the second main subject is defined as a second attention area.

図10(b)に例示する場面を撮影する場合の制御部70は、例えばブランコをこいでいる女の子を第1主要被写体とし、ブランコをこいでいる男の子を第2主要被写体とする。この場合も、第1主要被写体を含む領域を第1注目領域とし、第2主要被写体を含む領域を第2注目領域とする。   The control unit 70 in the case of photographing the scene illustrated in FIG. 10B sets, for example, a girl on a swing as a first main subject and a boy on a swing as a second main subject. Also in this case, an area including the first main subject is defined as a first attention area, and an area including the second main subject is defined as a second attention area.

変形例1において、制御部70は、画面内で動く速さが異なる第1主要被写体と第2主要被写体とが存在する場合に、ライブビュー画像に基づいて、第1主要被写体を包含する第1注目領域を決定し、第2主要被写体を包含する第2注目領域を決定する。この場合の周辺領域は、第1注目領域および第2注目領域以外の他の領域とする。   In the first modification, when there are a first main subject and a second main subject that move at different speeds in a screen, the control unit 70 includes a first main subject that includes the first main subject based on the live view image. An attention area is determined, and a second attention area including the second main subject is determined. In this case, the peripheral region is a region other than the first region of interest and the second region of interest.

制御部70は、駆動部21へ指示を送り、撮像素子100の第1注目領域に対応するブロックのフレームレートを、例えば90fpsから150fpsに変更し、第2注目領域に対応するブロックのフレームレートを、例えば90fpsから240fpsに変更する。制御部70はさらに、図11に例示するように、第2表示部53に対して2つの表示領域に分けて分割表示させ、例えば画面右側に第1注目領域に対応するライブビュー画像81Aを表示させ、画面左側に第2注目領域に対応するライブビュー画像82Aを表示させる。   The control unit 70 sends an instruction to the driving unit 21 to change the frame rate of the block corresponding to the first region of interest of the image sensor 100 from, for example, 90 fps to 150 fps, and to change the frame rate of the block corresponding to the second region of interest. For example, it is changed from 90 fps to 240 fps. The control unit 70 further divides the display into two display areas on the second display unit 53 as shown in FIG. 11, and displays a live view image 81A corresponding to the first attention area on the right side of the screen, for example. Then, the live view image 82A corresponding to the second attention area is displayed on the left side of the screen.

変形例1においては、このように複数の注目領域に対応する複数のライブビュー画像81A、81Bを並べたものを第2ライブビュー画像として表示させる。なお、図11において第2表示部53の画面中央に引いた一点鎖線は、複数のライブビュー画像81A、81Bの境界をわかりやすくするために便宜上引いたもので、必ずしも第2表示部53の画面に表示させなくてもよい。   In the first modification, an arrangement of a plurality of live view images 81A and 81B corresponding to a plurality of attention areas is displayed as a second live view image. In FIG. 11, a dashed line drawn at the center of the screen of the second display unit 53 is drawn for convenience in order to make the boundaries between the plurality of live view images 81A and 81B easier to understand, and is not necessarily the screen of the second display unit 53. May not be displayed.

一方、第1表示部51には、周辺領域に対応する画像の中に第1注目領域に対応する画像81および第2注目領域に対応する画像82をそれぞれはめ込み合成した第1ライブビュー画像90Aを表示させる。なお、図11において第1表示部51の画面に表示した一点鎖線の枠は、複数の画像81、82の範囲をわかりやすくするために便宜上記載したもので、必ずしも第1表示部51の画面に表示させなくてもよい。   On the other hand, the first display unit 51 displays a first live view image 90A in which an image 81 corresponding to the first attention area and an image 82 corresponding to the second attention area are respectively fitted and synthesized in the image corresponding to the peripheral area. Display. Note that, in FIG. 11, the dashed line frame displayed on the screen of the first display unit 51 is described for convenience in order to make the range of the plurality of images 81 and 82 easy to understand, and is not necessarily displayed on the screen of the first display unit 51. It does not have to be displayed.

また、図11において、第2表示部53の第1注目領域に対応するライブビュー画像81Aの近傍に、前ピンアイコン56A、後ピンアイコン57A、第1注目領域に対応するブロックのフレームレートを上げるアイコン58A、第1注目領域に対応するブロックのフレームレートを下げるアイコン59Aを表示させて、第2タッチパネル54でタッチ操作を受け付ける。ユーザは、ライブビュー画像81Aに着目してピント操作やフレームレートの調整操作を行える。   In FIG. 11, the frame rate of the front pin icon 56A, the rear pin icon 57A, and the frame rate of the block corresponding to the first attention area are increased near the live view image 81A corresponding to the first attention area of the second display unit 53. An icon 58A and an icon 59A for lowering the frame rate of the block corresponding to the first region of interest are displayed, and a touch operation on the second touch panel 54 is accepted. The user can perform a focus operation and a frame rate adjustment operation by focusing on the live view image 81A.

さらにまた、図11において、第2表示部53の第2注目領域に対応するライブビュー画像82Aの近傍に、前ピンアイコン56B、後ピンアイコン57B、第2注目領域に対応するブロックのフレームレートを上げるアイコン58B、第2注目領域に対応するブロックのフレームレートを下げるアイコン59Bを表示させて、第2タッチパネル54でタッチ操作を受け付ける。ユーザは、ライブビュー画像82Aに着目してピント操作やフレームレートの調整操作を行える。   Further, in FIG. 11, near the live view image 82A corresponding to the second attention area of the second display unit 53, the front pin icon 56B, the rear pin icon 57B, and the frame rate of the block corresponding to the second attention area are displayed. An icon 58B for raising and an icon 59B for lowering the frame rate of the block corresponding to the second region of interest are displayed, and a touch operation on the second touch panel 54 is accepted. The user can perform a focus operation and a frame rate adjustment operation by focusing on the live view image 82A.

(変形例2)
上述した実施形態および変形例1では、撮像装置1として光学ファインダーを有するタイプのカメラを例示したが、光学ファインダーを備えてないタイプのカメラによって撮像装置1を構成してもよい。
(Modification 2)
In the above-described embodiment and Modification Example 1, a camera having an optical finder is illustrated as the imaging device 1, but the imaging device 1 may be configured with a camera having no optical finder.

(変形例3)
上述した実施形態および変形例1においては、第2表示部53がヒンジを介して回動可能に設けられる例を説明したが、第2表示部53を、撮像装置1の筐体に対して着脱自在に構成してもよい。この場合、撮像装置1の筐体側と第2表示部53の筐体側とにおいてそれぞれ無線通信部を備え、これら無線通信部を介した無線通信によって第2表示部53で表示すべき情報を撮像装置1側から第2表示部53側へ送信する。無線通信部は、筐体内部に組み込んでもよいし、筐体外部に装着してもよい。無線通信としては、例えば赤外光通信、Bluetooth(登録商標)、または無線LAN通信などを利用する。
(Modification 3)
In the above-described embodiment and the first modification, the example in which the second display unit 53 is rotatably provided via the hinge has been described, but the second display unit 53 is attached to and detached from the housing of the imaging device 1. You may be comprised freely. In this case, a wireless communication unit is provided on each of the housing side of the imaging device 1 and the housing side of the second display unit 53, and information to be displayed on the second display unit 53 by wireless communication via these wireless communication units is captured by the imaging device. The data is transmitted from the first side to the second display unit 53 side. The wireless communication unit may be incorporated inside the housing or may be mounted outside the housing. As the wireless communication, for example, infrared light communication, Bluetooth (registered trademark), wireless LAN communication, or the like is used.

(変形例4)
上述した実施形態および変形例1においては、第2表示部53を専用の表示部として構成する例を説明した。この代わりに、高機能携帯電話機の液晶表示部を第2表示部として動作させたり、タブレット端末の液晶表示部を第2表示部として動作させたりしてもよい。この場合、撮像装置1の筐体側に無線LAN通信部を備え、撮像装置1と高機能携帯電話機(またはタブレット端末)との間の無線LAN通信によって、高機能携帯電話機(またはタブレット端末)の液晶表示部で表示すべき情報を撮像装置1側から高機能携帯電話機(またはタブレット端末)へ送信する。無線LAN通信部は、撮像装置1の筐体内部に組み込んでもよいし、筐体外部に装着してもよい。
(Modification 4)
In the above-described embodiment and Modification 1, an example has been described in which the second display unit 53 is configured as a dedicated display unit. Instead, the liquid crystal display of the high-performance mobile phone may be operated as the second display, or the liquid crystal display of the tablet terminal may be operated as the second display. In this case, a wireless LAN communication unit is provided on the housing side of the imaging device 1, and the wireless LAN communication between the imaging device 1 and the advanced mobile phone (or tablet terminal) allows the liquid crystal of the advanced mobile phone (or tablet terminal) to be displayed. Information to be displayed on the display unit is transmitted from the imaging device 1 to the advanced mobile phone (or tablet terminal). The wireless LAN communication unit may be incorporated inside the housing of the imaging device 1 or may be mounted outside the housing.

(変形例5)
上述した実施形態および変形例1では、撮像装置1としてカメラを例示したが、高機能携帯電話機(またはタブレット端末)によって撮像装置1を構成してもよい。この場合、高機能携帯電話機(またはタブレット端末)に搭載されるカメラユニットを、上記積層型撮像素子100を用いて構成する。
(Modification 5)
In the above-described embodiment and Modification 1, a camera is illustrated as the imaging device 1, but the imaging device 1 may be configured by a high-performance mobile phone (or tablet terminal). In this case, a camera unit mounted on a high-performance mobile phone (or tablet terminal) is configured by using the above-described stacked imaging device 100.

変形例5において、撮像装置1を構成する第1高機能携帯電話機(または第1タブレット端末)の他に、第2表示部として動作させる第2高機能携帯電話機(または第2タブレット端末)を用いる。この場合、第1高機能携帯電話機(または第1タブレット端末)と第2高機能携帯電話機(または第2タブレット端末)との間の無線LAN通信によって、第2高機能携帯電話機(または第2タブレット端末)の液晶表示部で表示すべき情報を第1高機能携帯電話機(または第1タブレット端末)から第2高機能携帯電話機(または第2タブレット端末)へ送信する。   In the fifth modification, in addition to the first advanced mobile phone (or the first tablet terminal) constituting the imaging device 1, a second advanced mobile phone (or the second tablet terminal) operated as the second display unit is used. . In this case, the second advanced mobile phone (or the second tablet) is established by wireless LAN communication between the first advanced mobile phone (or the first tablet terminal) and the second advanced mobile phone (or the second tablet terminal). The information to be displayed on the liquid crystal display unit of the terminal is transmitted from the first advanced mobile phone (or the first tablet terminal) to the second advanced mobile phone (or the second tablet terminal).

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。上記実施形態および各変形例の構成は、適宜組合せて構わない。   The above description is merely an example, and is not limited to the configuration of the above embodiment. The configurations of the above embodiment and each modified example may be appropriately combined.

1…撮像装置
10…撮像光学系
20…撮像部
30…画像処理部
40…ワークメモリ
50…表示部
51…第1表示部
52…第1タッチパネル
53…第2表示部
54…第2タッチパネル
60…記録部
70…制御部
80A…第2ライブビュー画像
90A…第1ライブビュー画像
100…撮像素子
109…バンプ
111…信号処理チップ
112…メモリチップ
113…撮像チップ
131…単位領域
DESCRIPTION OF SYMBOLS 1 ... Imaging device 10 ... Imaging optical system 20 ... Imaging part 30 ... Image processing part 40 ... Work memory 50 ... Display part 51 ... First display part 52 ... First touch panel 53 ... Second display part 54 ... Second touch panel 60 ... Recording unit 70 Control unit 80A Second live view image 90A First live view image 100 Image pickup device 109 Bump 111 Signal processing chip 112 Memory chip 113 Image pickup chip 131 Unit area

Claims (28)

光を電荷に変換する光電変換部を有する撮像領域が第1方向と前記第1方向と交差する第2方向とに複数配置される撮像素子であって、複数の前記撮像領域のうち第1撮像領域において配置され、光を電荷に変換する第1光電変換部を含む複数の第1画素と、複数の前記撮像領域のうち第2撮像領域において配置され、光を電荷に変換する第2光電変換部を含む複数の第2画素と、前記複数の第1画素に接続され、前記第1画素を制御するための第1制御信号が出力される第1配線と、前記複数の第2画素に接続され、前記第2画素を制御するための第2制御信号が出力される前記第1配線とは異なる第2配線と、を有する撮像素子と、
前記第1撮像領域を、前記第2撮像領域に設定される撮像条件とは異なる撮像条件に設定する設定部と、前記設定部で設定された撮像条件により、前記第1撮像領域で撮像された被写体の画像であって前記第1画素からの第1信号に基づく第1画像を表示部の第1表示モニタに表示させ、前記第2撮像領域で撮像された被写体の画像であって前記第2画素からの第2信号に基づく第2画像を前記表示部の第2表示モニタに表示させる表示制御部と、を有する制御部と、を備え、
前記第1光電変換部は、前記第撮像領域において前記第1方向と前記第2方向とにそれぞれ複数配置され、
前記第2光電変換部は、前記第撮像領域において前記第1方向と前記第2方向とにそれぞれ複数配置される電子機器。
An imaging element having a plurality of imaging regions having a photoelectric conversion unit that converts light into electric charges is disposed in a first direction and a second direction that intersects the first direction. are arranged in the region, a plurality of first pixel including a first photoelectric conversion unit that converts light into electric charge are arranged in the second imaging area among the plurality of imaging regions, the second photoelectric converting the light into an electric charge conversion A plurality of second pixels including a portion, a first wiring connected to the plurality of first pixels and outputting a first control signal for controlling the first pixels, and a connection to the plurality of second pixels An image sensor having a second wiring different from the first wiring to which a second control signal for controlling the second pixel is output;
A setting unit configured to set the first imaging region to an imaging condition different from an imaging condition set to the second imaging region, and an image captured in the first imaging region by an imaging condition set by the setting unit. A first image based on a first signal from the first pixel is displayed on a first display monitor of a display unit, and the image of the subject captured in the second imaging area is the second image . A display control unit for displaying a second image based on a second signal from the pixel on a second display monitor of the display unit,
The first photoelectric conversion unit, a plurality of arranged respectively to the first direction and the front Stories second direction before Symbol first imaging area,
The second photoelectric conversion unit, the electronic equipment to be more disposed respectively in front SL to the first direction in the second imaging region and the second direction.
前記第1画素は、前記第1配線に接続される第1回路部を有し、
前記第2画素は、前記第2配線に接続される第2回路部を有する請求項に記載の電子機器。
The first pixel has a first circuit unit connected to the first wiring,
The electronic device according to claim 1 , wherein the second pixel has a second circuit unit connected to the second wiring.
前記第1回路部は、前記第1配線に接続され、前記第1光電変換部で変換された電荷を転送する第1転送部を有し、
前記第2回路部は、前記第2配線に接続され、前記第2光電変換部で変換された電荷を転送する第2転送部を有する請求項に記載の電子機器。
The first circuit unit includes a first transfer unit connected to the first wiring and transferring the charge converted by the first photoelectric conversion unit,
3. The electronic device according to claim 2 , wherein the second circuit unit includes a second transfer unit connected to the second wiring and transferring the charge converted by the second photoelectric conversion unit. 4.
前記第2制御信号は、前記第1制御信号が前記第1配線に出力されるタイミングとは異なるタイミングで前記第2配線に出力される請求項又は請求項に記載の電子機器。 Said second control signal, the electronic device according to claim 2 or claim 3 wherein the first control signal is output to the second wiring at a timing different from the timing to be output to the first wiring. 前記撮像素子は、前記複数の第1画素に接続され、前記第1画素を制御するための第3制御信号が出力される第3配線と、前記複数の第2画素に接続され、前記第2画素を制御するための第4制御信号が出力される前記第3配線とは異なる第4配線と、を有し、
前記第1回路部は、前記第3配線に接続され、前記第1光電変換部からの電荷が転送される第1フローティングディフュージョンの電位をリセットする第1リセット部を有し、
前記第2回路部は、前記第4配線に接続され、前記第4制御信号により前記第2光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部を有する請求項又は請求項に記載の電子機器。
The image sensor is connected to the plurality of first pixels, a third wiring for outputting a third control signal for controlling the first pixel, and connected to the plurality of second pixels, A fourth wiring different from the third wiring to which a fourth control signal for controlling a pixel is output,
The first circuit unit includes a first reset unit connected to the third wiring and resetting a potential of a first floating diffusion to which a charge from the first photoelectric conversion unit is transferred,
The second circuit unit includes a second reset unit connected to the fourth wiring and resetting a potential of a second floating diffusion to which a charge from the second photoelectric conversion unit is transferred by the fourth control signal. The electronic device according to claim 3 or 4 .
前記第4制御信号は、前記第3制御信号が前記第3配線に出力されるタイミングとは異なるタイミングで前記第4配線に出力される請求項に記載の電子機器。 The electronic device according to claim 5 , wherein the fourth control signal is output to the fourth wiring at a timing different from a timing at which the third control signal is output to the third wiring. 前記第1回路部は、前記第1配線に接続され、前記第1光電変換部からの電荷が転送される第1フローティングディフュージョンの電位をリセットする第1リセット部を有し、
前記第2回路部は、前記第2配線に接続され、前記第2光電変換部からの電荷が転送される第2フローティングディフュージョンの電位をリセットする第2リセット部を有する請求項に記載の電子機器。
The first circuit unit includes a first reset unit connected to the first wiring and resetting a potential of a first floating diffusion to which charges from the first photoelectric conversion unit are transferred,
Said second circuit section, connected to said second wiring, electrons according to claim 2, charge from the second photoelectric conversion section has a second reset unit resets the potential of the second floating diffusion to be transferred machine.
前記第2制御信号は、前記第1制御信号が前記第1配線に出力されるタイミングとは異なるタイミングで前記第2配線に出力される請求項に記載の電子機器。 The electronic device according to claim 7 , wherein the second control signal is output to the second wiring at a timing different from a timing at which the first control signal is output to the first wiring. 前記制御部は、前記第1画像を前記第2表示モニタに表示させる請求項1から請求項8のいずれか一項に記載の電子機器。 The electronic device according to claim 1, wherein the control unit displays the first image on the second display monitor. 前記制御部は、前記第1表示モニタでの前記第1画像を、前記第2表示モニタでの前記第1画像よりも拡大して表示させる請求項に記載の電子機器。 The electronic device according to claim 9 , wherein the control unit displays the first image on the first display monitor in an enlarged manner than the first image on the second display monitor. 前記制御部は、前記第1表示モニタを第1フレームレートで画像を表示させ、前記第2表示モニタを前記第1フレームレートとは異なる第2フレームレートで画像を表示させる請求項から請求項10のいずれか一項に記載の電子機器。 Wherein the control unit, the first display monitor to display the image at a first frame rate, claim from claim 1 to display an image with a different second frame rate from the first frame rate said second display monitor 10 electronic device according to any one of. 前記撮像素子は、前記第1信号と前記第2信号とに信号処理を行う信号処理部を有し、
前記制御部は、前記信号処理部により信号処理が行われた前記第1信号に基づく前記第1画像と、前記信号処理部により信号処理が行われた前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項1から請求項11のいずれか一項に記載の電子機器。
The image sensor has a signal processing unit that performs signal processing on the first signal and the second signal,
The control unit, the first image based on the first signal subjected to signal processing by the signal processing unit, and the second image based on the second signal subjected to signal processing by the signal processing unit The electronic device according to any one of claims 1 to 11 , further comprising: displaying on the display unit.
前記信号処理部は、前記第1信号と前記第2信号とを増幅する増幅部を有し、
前記制御部は、前記増幅部により増幅された前記第1信号に基づく前記第1画像と、前記増幅部により増幅された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項12に記載の電子機器。
The signal processing unit includes an amplification unit that amplifies the first signal and the second signal,
The control unit causes the display unit to display the first image based on the first signal amplified by the amplification unit and the second image based on the second signal amplified by the amplification unit. The electronic device according to claim 12 .
前記信号処理部は、前記第1信号と前記第2信号とをデジタル信号に変換するために用いられる変換部を有し、
前記制御部は、前記変換部を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像と、前記変換部を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項12又は請求項13に記載の電子機器。
The signal processing unit has a conversion unit used to convert the first signal and the second signal into a digital signal,
The control unit is configured to control the first image based on the first signal converted to a digital signal using the conversion unit, and the second image based on the second signal converted to a digital signal using the conversion unit. the electronic device according to claim 12 or claim 13 displaying the image, to the display unit.
前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記変換部が配置される前記第1半導体チップとは異なる第2半導体チップと、を有する請求項14に記載の電子機器。 The image sensor includes a first semiconductor chip on which the first photoelectric conversion unit and the second photoelectric conversion unit are arranged, and a second semiconductor chip different from the first semiconductor chip on which the conversion unit is arranged. The electronic device according to claim 14 , comprising: 前記第1半導体チップは、前記第2半導体チップに積層される請求項15に記載の電子機器。 The electronic device according to claim 15 , wherein the first semiconductor chip is stacked on the second semiconductor chip. 前記撮像素子は、前記変換部を用いてデジタル信号に変換された前記第1信号と、前記変換部を用いてデジタル信号に変換された前記第2信号と、を記憶する記憶部を有し、
前記制御部は、前記記憶部に記憶された前記第1信号に基づく前記第1画像と、前記記憶部に記憶された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項14に記載の電子機器。
The image sensor has a storage unit that stores the first signal converted to a digital signal using the conversion unit and the second signal converted to a digital signal using the conversion unit,
The control unit causes the display unit to display the first image based on the first signal stored in the storage unit and the second image based on the second signal stored in the storage unit. The electronic device according to claim 14 .
前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記変換部が配置される前記第1半導体チップとは異なる第2半導体チップと、前記記憶部が配置される前記第1半導体チップ及び前記第2半導体チップとは異なる第3半導体チップと、を有する請求項17に記載の電子機器。 A first semiconductor chip on which the first photoelectric conversion unit and the second photoelectric conversion unit are arranged; a second semiconductor chip different from the first semiconductor chip on which the conversion unit is arranged; The electronic device according to claim 17 , further comprising: a third semiconductor chip different from the first semiconductor chip and the second semiconductor chip on which a storage unit is arranged. 前記第1半導体チップは、前記第3半導体チップに積層される請求項18に記載の電子機器。 The electronic device according to claim 18 , wherein the first semiconductor chip is stacked on the third semiconductor chip. 前記信号処理部は、前記第1信号に信号処理を行う第1信号処理回路と、前記第2信号に信号処理を行う第2信号処理回路と、を有し、
前記制御部は、前記第1信号処理回路により信号処理が行われた前記第1信号に基づく前記第1画像と、前記第2信号処理回路により信号処理が行われた前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項12に記載の電子機器。
The signal processing unit has a first signal processing circuit that performs signal processing on the first signal, and a second signal processing circuit that performs signal processing on the second signal,
The controller is configured to control the first image based on the first signal processed by the first signal processing circuit and the second image based on the second signal processed by the second signal processing circuit. The electronic device according to claim 12 , wherein a second image and a second image are displayed on the display unit.
前記第1信号処理回路は、前記第1信号を増幅する第1増幅回路を有し、
前記第2信号処理回路は、前記第2信号を増幅する第2増幅回路を有し、
前記制御部は、前記第1増幅回路により増幅された前記第1信号に基づく前記第1画像と、前記第2増幅回路により増幅された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項20に記載の電子機器。
The first signal processing circuit has a first amplifier circuit that amplifies the first signal,
The second signal processing circuit has a second amplifier circuit that amplifies the second signal,
The control unit displays the first image based on the first signal amplified by the first amplifier circuit and the second image based on the second signal amplified by the second amplifier circuit. The electronic device according to claim 20 , which is displayed on a unit.
前記第1信号処理回路は、前記第1信号をデジタル信号に変換するために用いられる第1変換回路を有し、
前記第2信号処理回路は、前記第2信号をデジタル信号に変換するために用いられる第2変換回路を有し、
前記制御部は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号に基づく前記第1画像と、前前記第2変換回路を用いてデジタル信号に変換された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項20又は請求項21に記載の電子機器。
The first signal processing circuit has a first conversion circuit used to convert the first signal into a digital signal,
The second signal processing circuit has a second conversion circuit used to convert the second signal into a digital signal,
The control unit is configured to control the first image based on the first signal converted to a digital signal using the first conversion circuit, and the second signal converted to a digital signal using the previous second conversion circuit. 22. The electronic device according to claim 20 , wherein the second image and the second image are displayed on the display unit.
前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記第1変換回路及び前記第2変換回路が配置される前記第1半導体チップとは異なる第2半導体チップと、を有する請求項22に記載の電子機器。 The imaging device includes a first semiconductor chip on which the first photoelectric conversion unit and the second photoelectric conversion unit are arranged, and a first semiconductor chip on which the first conversion circuit and the second conversion circuit are arranged. 23. The electronic device according to claim 22 , comprising a different second semiconductor chip. 前記第1半導体チップは、前記第2半導体チップに積層される請求項23に記載の電子機器。 The electronic device according to claim 23 , wherein the first semiconductor chip is stacked on the second semiconductor chip. 前記撮像素子は、前記第1変換回路を用いてデジタル信号に変換された前記第1信号を記憶する第1記憶回路と、前記第2変換回路を用いてデジタル信号に変換された前記第2信号を記憶する第2記憶回路と、を有し、
前記制御部は、前記第1記憶回路に記憶された前記第1信号に基づく前記第1画像と、前記第1記憶回路に記憶された前記第2信号に基づく前記第2画像と、を前記表示部に表示させる請求項22に記載の電子機器。
A first storage circuit that stores the first signal converted to a digital signal using the first conversion circuit; and a second signal that is converted to a digital signal using the second conversion circuit. And a second storage circuit for storing
The control unit displays the first image based on the first signal stored in the first storage circuit and the second image based on the second signal stored in the first storage circuit. 23. The electronic device according to claim 22 , which is displayed on a unit.
前記撮像素子は、前記第1光電変換部及び前記第2光電変換部が配置される第1半導体チップと、前記第1変換回路及び前記第2変換回路が配置される前記第1半導体チップとは異なる第2半導体チップと、前記第1記憶回路及び前記第2記憶回路が配置される前記第1半導体チップ及び前記第2半導体チップとは異なる第3半導体チップと、を有する請求項25に記載の電子機器。 The imaging device includes a first semiconductor chip on which the first photoelectric conversion unit and the second photoelectric conversion unit are arranged, and a first semiconductor chip on which the first conversion circuit and the second conversion circuit are arranged. 26. The semiconductor device according to claim 25 , further comprising a different second semiconductor chip, and a third semiconductor chip different from the first semiconductor chip and the second semiconductor chip on which the first storage circuit and the second storage circuit are arranged. Electronics. 前記第1半導体チップは、前記第3半導体チップに積層される請求項26に記載の電子機器。 The electronic device according to claim 26 , wherein the first semiconductor chip is stacked on the third semiconductor chip. 前記撮像素子は、前記第1画素に接続され、前記第1信号が出力される第1出力線と、前記第2画素に接続され、前記第2信号が出力される第2出力線と、を有する請求項1から請求項27のいずれか一項に記載の電子機器。
The image sensor includes a first output line connected to the first pixel and outputting the first signal, and a second output line connected to the second pixel and outputting the second signal. The electronic device according to any one of claims 1 to 27 , comprising:
JP2017233417A 2017-12-05 2017-12-05 Electronics Active JP6673319B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017233417A JP6673319B2 (en) 2017-12-05 2017-12-05 Electronics

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017233417A JP6673319B2 (en) 2017-12-05 2017-12-05 Electronics

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2013037618A Division JP2014165855A (en) 2013-02-27 2013-02-27 Electronic apparatus

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020036927A Division JP2020178341A (en) 2020-03-04 2020-03-04 Electronic apparatus

Publications (2)

Publication Number Publication Date
JP2018042286A JP2018042286A (en) 2018-03-15
JP6673319B2 true JP6673319B2 (en) 2020-03-25

Family

ID=61626562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017233417A Active JP6673319B2 (en) 2017-12-05 2017-12-05 Electronics

Country Status (1)

Country Link
JP (1) JP6673319B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005333265A (en) * 2004-05-18 2005-12-02 Olympus Corp Solid state imaging element and unit
TWI429066B (en) * 2005-06-02 2014-03-01 Sony Corp Semiconductor image sensor module and manufacturing method thereof
US8089522B2 (en) * 2007-09-07 2012-01-03 Regents Of The University Of Minnesota Spatial-temporal multi-resolution image sensor with adaptive frame rates for tracking movement in a region of interest
JP5393340B2 (en) * 2009-08-20 2014-01-22 オリンパス株式会社 Imaging terminal, display terminal, display method, and imaging system

Also Published As

Publication number Publication date
JP2018042286A (en) 2018-03-15

Similar Documents

Publication Publication Date Title
JP7544116B2 (en) Image pickup element and image pickup device
US11196923B2 (en) Electronic apparatus, method for controlling electronic apparatus, and control program
CN109742094B (en) Image pickup device and electronic apparatus
JP2020036330A (en) Imaging device and image sensor
WO2014192152A1 (en) Electronic device and control program
JP2014165855A (en) Electronic apparatus
JP2014179778A (en) Signal processing apparatus, imaging device, imaging apparatus, and electronic apparatus
CN111787246A (en) Image pickup element and image pickup apparatus
JP7176591B2 (en) Electronics
JP6673319B2 (en) Electronics
JP7176583B2 (en) Imaging element and imaging device
JP2020178341A (en) Electronic apparatus
JP2024159886A (en) Image sensor
JP2021193811A (en) Image sensor and imaging device
JP2020171054A (en) Electronic device
JP2019092219A (en) Imaging apparatus, control method of the same, and control program
JP2018207504A (en) Electronic apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181119

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190507

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200217

R150 Certificate of patent or registration of utility model

Ref document number: 6673319

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250