JP7129219B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP7129219B2 JP7129219B2 JP2018101749A JP2018101749A JP7129219B2 JP 7129219 B2 JP7129219 B2 JP 7129219B2 JP 2018101749 A JP2018101749 A JP 2018101749A JP 2018101749 A JP2018101749 A JP 2018101749A JP 7129219 B2 JP7129219 B2 JP 7129219B2
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- video
- signal
- video signal
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 22
- 230000015654 memory Effects 0.000 claims description 56
- 238000012545 processing Methods 0.000 claims description 44
- 239000000284 extract Substances 0.000 claims description 10
- 230000000750 progressive effect Effects 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 18
- 238000000034 method Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 12
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 7
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Television Systems (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
Description
1080pの映像フォーマットを480pに変換する方式としては、例えば、1080pから480pの720×480の解像度をそのまま抽出する方式がある。しかし、1080pに対して画角が小さくなり、その分多くのラインメモリが必要となる。
一方、1080pから垂直画素数を最大とした画角、すなわち、1620×1080のような解像度を切り出してリサイズする方式もある。しかし、専用のリサイズ回路が必要となり、さらにリサイズ回路用のメモリも必要となるため、回路規模が大きくなるという問題がある。
本実施形態に係る撮像装置1は、イメージセンサ11と、プロセッサ13と、メモリ15とを含む。
なお、プロセッサ13は、映像信号に対して、ゲイン調整、アナログデジタル変換、カラーバランス調整、ガンマ補正、フィルタ処理などの一般的な信号処理を行ってもよい。
第2の映像規格は、第1の映像規格と異なる規格であり、ここでは第1の映像規格の画素数よりも画素数が少ない480pのプログレッシブ映像信号を示す。480pは、有効画素数が720×480画素であり、画素クロック周波数が27MHzであり、水平周波数が31.369kHzである。
一方、イメージセンサ11と、プロセッサ13及びメモリ15とが別体として構成される場合は、例えばイメージセンサ11を含むカメラから、当該カメラに搭載される通信インタフェースを介して、プロセッサ13及びメモリ15に映像信号を有線または無線で送信すればよい。
プロセッサ13は、書き込み制御機能131と、読み出し制御機能133と、発生機能135とを含む。
変換処理が読み出し制御で実施される場合、書き込み制御機能131は、第1の映像規格(1080p)に適合する画素群に対応する映像信号群をメモリ15に書き込む。
変換処理が読み出し制御で実施される場合、読み出し制御機能133は、メモリ15から、切り出し領域の画素に対応する映像信号群の一部を、第2の映像規格(480p)に適合するように間引きながら読み出す。
図2左図は、1080pの画素を示す。図の便宜上、1080pの横方向の画素数(映像の水平方向画素数)を15画素とし、縦方向の画素数(映像の垂直方向ライン数)を9ラインとして説明する。なお実際には、水平方向画素数が1920画素、垂直方向ライン数が1080ライン、つまり1920×1080画素に対して処理されるものとする。
図3は、変換処理に関するメモリ15に対する主な信号の入出力を示したハードウェア構成の一例である。
第2のアドレス発生回路303は、リードアドレス信号(r_add)及びリードイネーブル信号(r_en)を発生する。
同期信号生成回路305は、480pの同期信号を受け取り、1080pのアドレスと480pのアドレスとを水平方向及び垂直方向に同期させるための同期信号を生成する。具体的には、1080pの画素に関するアドレスの水平同期信号H1及び垂直同期信号V1と、480pの画素に関するアドレスの水平同期信号H2及び垂直同期信号V2を生成する。ここで、少なくともV1とV2とが同期しているものとする。
まず、間引き処理を読み出し制御で実施する場合の一例について説明する。
1080pの映像信号のメモリ15への書き込み処理時は、メモリ15に対し、イメージセンサ11からの1080pの映像信号と、1080pに関する第1の画素クロック信号(CLK1)と、第1のアドレス発生回路301からのライトアドレス信号(w_add)及びライトイネーブル信号(w_en)とが入力される。
図4は、水平同期信号H1及び垂直同期信号V1と、水平同期信号H2及び垂直同期信号V2とに関するタイミングチャートである。
読み出した映像信号のディスプレイ等への出力について、映像信号の出力は、1080pと480pとで同じフレームレートを想定している。よって、書き込み処理と読み出し処理との間で、いわゆる「追い越し現象」が発生しないように、アドレスを同期させる。
図4に示すように、水平方向は、1080p規格の水平同期信号H1により映像信号がメモリ15に書き込まれる一方、480p規格の水平同期信号H2により映像信号がメモリ15から読み出される。垂直方向は、1フレームの切り替わりを同期させるように、1080p規格の垂直同期信号V1と480p規格の垂直同期信号V2とが同期する。
これにより、読み出された映像信号が480pの描画タイミングに応じて出力される。
次に、間引き処理を書き込み制御で実施する場合について説明する。
メモリ15への1080pの映像信号の書き込み処理時は、メモリ15に対し、イメージセンサ11からの1080pの映像信号と、1080pに関する第1の画素クロック信号と、第1のアドレス発生回路301からのライトアドレス信号及びライトイネーブル信号とが入力される。
結果として、1080pの奇数画素かつ奇数ラインに対応する960×540画素の映像信号がメモリ15に書き込まれる。
結果として、間引き書き込みを実行する場合も、間引き読み出しを実行する場合と同様に、切り出し領域の画角を維持したまま1080pから480pへ変換できる。
間引き書き込みを、ライトアドレス信号を用いて制御する場合について、図5のシーケンスを参照して説明する。図5の例では、上から順に、1080pのクロック信号(CLK1)、ライトイネーブル信号(w_en)、映像信号、ライトアドレス信号(w_add)及び書き込み映像信号の時系列シーケンスを示す。
結果として、書き込み映像信号は「S1」「S3」「S5」となり、上述の処理が奇数ラインで行われることで、間引き書き込みが実行される。
図6に示す各信号の種類については、図5と同様である。図6では、ライトイネーブル信号が、クロック信号「CLK1」にあわせて奇数ラインかつ奇数番目の画素のタイミングで有効とするように設定される。なお、ライトアドレス信号は、先頭から2クロックごとに1つ、アドレスをインクリメントするように設定される。
なお、これに限らず、メモリ15に映像信号を書き込む際にイメージセンサ11から部分読み出し処理を行ってもよい。例えば、プロセッサ13が、イメージセンサ11からの部分読み出しを奇数画素及び奇数ラインに設定し、当該奇数画素及び奇数ラインに対応する映像信号に部分読み出し処理を行えばよい。例えば、奇数画素及び奇数ラインの画素位置情報に対応する画素からの電気信号のみを出力する部分読み出し処理を行う。なお、イメージセンサ115における部分読み出し処理は一般的な手法を用いればよく、ここでの説明は省略する。
例えば、書き込み制御では、書き込み制御機能131を実行することでプロセッサ13が、1080pの全ラインのうちの奇数ラインのみメモリ15に書き込むような間引き書き込みを行う。一方、読み出し制御では、読み出し制御機能133を実行することでプロセッサ13が、メモリ15に書き込まれたライン、すなわち、奇数ラインについて奇数画素のみを読み出すことで、映像信号を1080pから480pに変換できる。このように、間引き処理を分担してもよい。
図7に示すように、水平方向画素数3840及び垂直方向ライン数2160画素から、切り出し領域201として、480pの水平方向画素数及び垂直方向ライン数の整数倍となる、縦横それぞれ4倍の2880×1920画素が設定される。
プロセッサ13は、切り出し領域201の画素領域内の画素を、4画素毎かつ4ライン毎に間引き処理を行い、切り出し領域に対応する映像信号群の一部をメモリ15に書き込む。つまり、プロセッサ13は、4画素を一単位として、当該4画素の中から1画素を抽出し、4ラインを一単位として、当該4ラインの中から1ラインを抽出し、抽出された画素に対応する映像信号をメモリ15に書き込めばよい。
図8に示すように、水平方向画素数7680及び垂直方向ライン数4320画素から、切り出し領域201として、480pの水平方向画素数及び垂直方向ライン数の整数倍となる、縦横それぞれ8倍の5760×3840画素が設定される。
よって、プロセッサ13は、切り出し領域201の画素領域内の画素を、8画素毎かつ8ライン毎に間引き処理を行い、切り出し領域に対応する映像信号群の一部をメモリ15に書き込めばよい。つまり、プロセッサ13は、8画素を一単位として、当該8画素の中から1画素を抽出し、8ラインを一単位として、当該8ラインの中から1ラインを抽出し、抽出された画素に対応する映像信号をメモリ15に書き込めばよい。
これによって、第1の映像規格から第2の映像規格に映像信号の変換処理を実行する場合に、第2の映像規格の画素領域をそのまま切り出す場合と同様の回路規模で、かつ画角を大きくすることができる。すなわち、規格対応を低コストかつ小規模に実現できる。また、小規模のロジック回路に変換処理を実装することができるので、消費電力を少なくすることも可能である。
また、各回路に関する処理をCPUに統合し、CPUが各処理を実行してよい。
11 イメージセンサ
13 プロセッサ
15 メモリ
131 書き込み制御機能
133 読み出し制御機能
135 発生機能
201 切り出し領域
202 出力領域
301 第1のアドレス発生回路
303 第2のアドレス発生回路
305 同期信号生成回路
Claims (9)
- 行列状に配置された画素群を含むイメージセンサと、
前記イメージセンサから第1の映像規格に適合する画素群に対応する映像信号群を読み出し、前記画素群に含まれる切り出し領域の画素に対応する、前記映像信号群の一部を、前記第1の映像規格とは異なる第2の映像規格に適合するように間引きながらメモリに書き込む処理部と、
を備えた撮像装置。 - 行列状に配置された画素群を含むイメージセンサと、
前記イメージセンサから第1の映像規格に適合する画素群に対応する映像信号群を読み出し、前記映像信号群をメモリに書き込み、前記メモリから、前記画素群に含まれる切り出し領域の画素に対応する、前記映像信号群の一部を、前記第1の映像規格とは異なる第2の映像規格に適合するように間引きながら読み出す処理部と、
を備えた撮像装置。 - 前記処理部は、前記切り出し領域の水平方向画素数及び垂直方向ライン数は、前記第2の映像規格の水平方向画素数及び垂直方向ライン数の整数倍である、請求項1又は請求項2に記載の撮像装置。
- 前記処理部は、前記第2の映像規格の水平方向画素数及び垂直方向ライン数の整数倍毎の画素に対応する映像信号を抽出する、請求項1又は請求項2に記載の撮像装置。
- 前記第1の映像規格は、1920画素×1080画素であり、
前記第2の映像規格は、720画素×480画素であり、
前記メモリに書き込む領域は、960画素×540画素である、請求項1に記載の撮像装置。 - 前記第1の映像規格は、1920画素×1080画素であり、
前記第2の映像規格は、720画素×480画素であり、
前記切り出し領域は、1440画素×960画素に対応し、
前記処理部は、2画素毎かつ2ライン毎に、前記映像信号群の一部を間引く、請求項1から請求項4のいずれか1項に記載の撮像装置。 - 前記第1の映像規格は、3840画素×2160画素であり、
前記第2の映像規格は、720画素×480画素であり、
前記切り出し領域は、2880画素×1920画素に対応し、
前記処理部は、4画素毎かつ4ライン毎に、前記映像信号群の一部を間引く、請求項1から請求項4のいずれか1項に記載の撮像装置。 - 前記第1の映像規格は、7680画素×4320画素であり、
前記第2の映像規格は、720画素×480画素であり、
前記切り出し領域は、5760画素×3840画素に対応し、
前記処理部は、8画素毎かつ8ライン毎に、前記映像信号群の一部を間引く、請求項1から請求項4のいずれか1項に記載の撮像装置。 - 前記映像信号群は、プログレッシブ信号である請求項1から請求項8のいずれか1項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018101749A JP7129219B2 (ja) | 2018-05-28 | 2018-05-28 | 撮像装置 |
JP2022128997A JP7357734B2 (ja) | 2018-05-28 | 2022-08-12 | 撮像装置及びその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018101749A JP7129219B2 (ja) | 2018-05-28 | 2018-05-28 | 撮像装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128997A Division JP7357734B2 (ja) | 2018-05-28 | 2022-08-12 | 撮像装置及びその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019208109A JP2019208109A (ja) | 2019-12-05 |
JP7129219B2 true JP7129219B2 (ja) | 2022-09-01 |
Family
ID=68767845
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018101749A Active JP7129219B2 (ja) | 2018-05-28 | 2018-05-28 | 撮像装置 |
JP2022128997A Active JP7357734B2 (ja) | 2018-05-28 | 2022-08-12 | 撮像装置及びその制御方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022128997A Active JP7357734B2 (ja) | 2018-05-28 | 2022-08-12 | 撮像装置及びその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7129219B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023040A (ja) | 1998-06-30 | 2000-01-21 | Toshiba Corp | 固体撮像装置及びシステムオンチップ型固体撮像素子 |
JP2004248320A (ja) | 2004-04-21 | 2004-09-02 | Canon Inc | 画像記録再生装置 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3164481B2 (ja) * | 1994-12-20 | 2001-05-08 | シャープ株式会社 | 撮像装置 |
JP3614334B2 (ja) | 1999-12-22 | 2005-01-26 | 株式会社日立製作所 | 映像信号処理装置 |
JP5705037B2 (ja) | 2011-06-08 | 2015-04-22 | 株式会社日立国際電気 | 映像処理装置 |
-
2018
- 2018-05-28 JP JP2018101749A patent/JP7129219B2/ja active Active
-
2022
- 2022-08-12 JP JP2022128997A patent/JP7357734B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000023040A (ja) | 1998-06-30 | 2000-01-21 | Toshiba Corp | 固体撮像装置及びシステムオンチップ型固体撮像素子 |
JP2004248320A (ja) | 2004-04-21 | 2004-09-02 | Canon Inc | 画像記録再生装置 |
Also Published As
Publication number | Publication date |
---|---|
JP7357734B2 (ja) | 2023-10-06 |
JP2019208109A (ja) | 2019-12-05 |
JP2022161981A (ja) | 2022-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9215385B2 (en) | System and method for an image sensor operable in multiple video standards | |
KR100873880B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
US9569160B2 (en) | Display processing device and imaging apparatus | |
JP6948810B2 (ja) | 画像処理システム | |
US9658815B2 (en) | Display processing device and imaging apparatus | |
TWI649864B (zh) | 影像感測裝置及影像感測方法 | |
JP7129219B2 (ja) | 撮像装置 | |
US20140092310A1 (en) | Video signal processing device and display apparatus | |
JP2004260265A (ja) | 画素の折り返し機能を有する画素抽出回路、および撮像装置 | |
JP4697094B2 (ja) | 画像信号出力装置及びその制御方法 | |
JP6021556B2 (ja) | 画像処理装置 | |
JP2008244800A (ja) | 撮像装置及び撮像方法 | |
WO2017086218A1 (ja) | カメラ制御装置およびテレビジョンカメラ | |
US20190052829A1 (en) | Image pickup apparatus and method utilizing the same line rate for upscaling and outputting image | |
JP5965173B2 (ja) | 動画像処理システム、画像処理装置、および動画像処理システムの動作方法 | |
JP2687346B2 (ja) | 映像処理方法 | |
US9077841B2 (en) | Video processing apparatus and video processing method | |
KR100672617B1 (ko) | Hd급 디인터레이싱 구현 장치 및 구현 방법 | |
JP4919412B2 (ja) | 固体撮像装置 | |
JP2007243819A (ja) | 画像処理装置 | |
US10250829B2 (en) | Image processing apparatus that uses plurality of image processing circuits | |
US9277145B2 (en) | Imaging device dividing imaging region into first divided image data and second divided image data | |
JP2006005596A (ja) | 半導体集積回路装置及び撮像装置 | |
JP2010041173A (ja) | データ処理装置 | |
JPS63292782A (ja) | テレビジョン画像縮小方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20191001 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220307 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220526 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220715 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7129219 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |