JP2006340070A

JP2006340070A - 撮像装置及び撮像方法

Info

Publication number: JP2006340070A
Application number: JP2005162658A
Authority: JP
Inventors: Noriko Kawamura; 典子河村
Original assignee: Fujifilm Holdings Corp
Current assignee: Fujifilm Holdings Corp
Priority date: 2005-06-02
Filing date: 2005-06-02
Publication date: 2006-12-14

Abstract

【課題】デジタル撮影される動画画像に特殊効果を施すことができる撮像装置及び撮像方法を提供する。
【解決手段】本発明の撮像装置及び撮像方法は、撮像された動画画像に特殊効果を施す場合に、動画撮像のフレームレートを変換するフレームレート変換工程を有する。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルの静止画撮像において、クロスフィルタという特殊効果を施す手法が行われている。例えば、下記特許文献１においては、光学的クロスフィルタ部材を撮像装置のレンズ部に備え付ける手法の替わりに、通常のスチル撮影を行ったうえで、撮影された画像の中から輝度の高い部分を抽出し、高輝度の中心に光のスジ（以下、光条という。）を画像処理で施すことによってクロスフィルタを付加している。

図４は、画像にクロスフィルタを施す例を示す図であり、図４（ａ）は、通常のモードで撮影された画像であり、図４（ｂ）は、図４（ａ）に示す画像にクロスフィルタを施した状態の画像を示している。画像にクロスフィルタを施す場合には、デジタルカメラ等によって撮像された図４（ａ）に示すような画像において、光輝領域Ｋを抽出し、抽出された光輝領域Ｋの明るさ、大きさ、色味等に応じて各光輝領域に付加する光条データＤを生成する。そして、生成された光条データＤを画像データに合成することで、クロスフィルタが施された画像を得ることができる。

特開平６−３０３７３号公報

ところで、デジタルカメラのような撮像装置として、動画撮影機能を有するものが一般的に使用されるようになってきている。そして動画画像についても、静止画と同様に、クロスフィルタなどの特殊効果を施すための画像処理を行いたいといった要望がある。

しかし、通常の動画撮影モードにおいては、所定のフレームレート（例えば、約３０ｆｐｓ（frame-per-second））で動画処理されているが、画像にクロスフィルタなどの特殊効果を施すには、その特殊効果を施すための画像処理の分だけ動画の処理負担が増加してしまう点で改善の余地があった。

本発明は、デジタル撮影される動画画像に特殊効果を施すことができる撮像装置及び撮像方法を提供することにある。

本発明の上記目的は、デジタル画像の撮影が可能な撮像装置であって、動画撮像を行う動画撮像手段と、前記動画撮像手段で撮像された動画画像に特殊効果を施すため、該動画画像を加工処理する特殊効果付与手段と、動画撮像時に前記特殊効果を付与する場合に、動画撮像のフレームレートを変換するフレームレート変換手段とを有することを特徴とする撮像装置によって達成される。

また、本発明の上記目的は、動画撮像を行う動画撮像工程と、前記動画撮像手段で撮像された動画画像に特殊効果を施すため、該動画画像を加工処理する特殊効果付与工程と、動画撮像時に前記特殊効果を付与する場合に、動画撮像のフレームレートを変換するフレームレート変換工程とを有することを特徴とする撮像方法によって達成される。

本発明は、動画撮像時に前記特殊効果を付与する場合に、動画撮像のフレームレートを変換している。そして、フレームレートを適当な値に変換することで、動画撮像の処理と撮像された動画画像に特殊効果を施す処理とをともに行うことを可能とするものである。例えば、動画画像に特殊効果としてクロスフィルタを施すには、動画撮像のフレームレートを小さい値に変換するとともに、撮像された動画に光輝領域を中心として延びるクロス状の光スジを画像処理によって付加する処理を行う。こうすれば、動画撮像のフレームレートを小さい値に変換することにより、動画撮像の処理負担を軽減させることで、動画画像にクロスフィルタの画像処理を行うことを可能にしている。

本発明によれば、デジタル撮影される動画画像に特殊効果を施すことができる撮像装置及び撮像方法を提供できる。

以下に、図面を参照して、本発明の実施の形態の動画撮像装置及び動画再生装置を適用した撮像装置の一例を詳細に説明する。先ず、図１を参照して、撮像装置の一例を説明する。この撮像装置１００は、単写や連写の静止画情報及び動画情報をメモリカード４２に記憶するようにしたデジタルカメラであり、カメラ全体の動作は、中央処理装置（ＣＰＵ）２４によって統括制御されている。

デジタルカメラの操作部２６は、電源スイッチ、シャッタボタン、撮影モードと再生モードとを切り換えるためのモード切り換えスイッチ、ズームやコマ送り等の各種の指令信号を出力するマルチファンクションの十字キー等を含む。この操作部２６からの各種の操作信号は、ＣＰＵ２４に加えられるようになっている。

このデジタルカメラは、シャッタボタンをＯＮするごとに静止画を撮影する静止画撮影モードの他に、シャッタボタンがＯＮされている間、所定のインターバルで連続的に撮影を行う連写モード及び動画撮影モードがあり、これらのモードは操作部２６での操作によって適宜選択できるようになっている。

通常の撮影モード時にシャッタボタンがＯＮされると、被写体を示す画像光は、フォーカスレンズを含むレンズ光学系１０及び絞り１２を介して撮像素子（ＣＣＤ）１４の受光面に結像される。ＣＣＤ１４に蓄積された信号電荷は、ＣＣＤドライバ１６から加えられる転送パルスによって信号電荷に応じた電圧信号として順次読み出される。なお、ＣＣＤ１４は、シャッタゲートパルスのタイミングによって各フォトセンサの電荷蓄積時間（シャッタスピード）を制御する、いわゆる電子シャッタ機能を有している。

このＣＣＤ１４から順次読み出された電圧信号は、アナログ処理部１８に加えられる。アナログ処理部１８は、サンプリングホールド回路、色分離回路、ゲイン調整回路等の信号処理回路を含み、相関二重サンプリング（ＣＤＳ）処理並びにＲ、Ｇ、Ｂの各色信号に色分離処理され、各色信号の信号レベルの調整（プリホワイトバランス処理）が行われる。
アナログ処理部１８から出力された信号は、Ａ／Ｄ変換器２０によりデジタル信号に変換された後、ＳＤＲＡＭなどの一時記憶装置３２に記憶される。

一時記憶装置３２は、動画撮像時に所定のフレーム数（例えば、３０フレーム）のデジタルデータを一時記憶可能な記憶容量を有している。なお、一時記憶装置３２の記憶容量はこれらに限定されない。

また、タイミングジェネレータ（ＴＧ）２２は、ＣＰＵ２４の指令に従ってＣＣＤドライバ１６、アナログ処理部１８及びＡ／Ｄ変換器２０に対してタイミング信号を与えており、このタイミング信号によって各回路の同期がとられている。

ＲＯＭ３４には、予め、単写や連写や動画撮影、画像処理等のプログラムや調整値などが記憶されており、これらのプログラムや調整値は適宜読み出される。

信号処理部３６は、図示を省略するも、Ｒ、Ｇ、Ｂ信号のゲインを調整してホワイトバランス（ＷＢ）補正を行うＷＢゲイン部と、ＷＢ補正された各Ｒ、Ｇ、Ｂ信号に対して所定のガンマ特性が記憶されたＲＯＭテーブルにしたがってガンマ補正するガンマ補正部と、ＣＣＤ１４のカラーフィルタ配列に対応した色補間処理を行う色補間処理部と、輝度データＹ及び色差データＣ_ｒ、Ｃ_ｂの生成処理（ＹＣ変換）を行うＹＣ処理部と、輝度データＹにアパーチャ信号を付加して輪郭強調を行う輪郭強調部と、平滑化処理やメディアンフィルタ処理などのノイズ低減処理を行うノイズ低減処理部と、色差データＣ_ｒ、Ｃ_ｂのゲインを増減する彩度強調部と、輝度抽出部等を有しており、一時記憶装置３２に記憶された前記デジタルデータに対して各処理部で順次信号処理を行う。

信号処理部３６で処理された画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている液晶モニタ（ＬＣＤ）３０に出力され、これにより被写体像がＬＣＤ３０の表示画面上に表示される。

また、一時記憶装置３２に記憶されたデジタルデータは、信号処理部３６で処理された画像データ（ＹＣデータ）に書き換えられる。この一時記憶装置３２に記憶されたＹＣデータは、図示を省略した圧縮伸長処理部に出力され、ＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｇｒａｐｈｉｃＥｘｐｅｒｔｓＧｒｏｕｐ）またはＭｏｔｉｏｎＪＰＥＧなどの所定の圧縮処理が実行され、再び一時記憶装置３２に記憶される。

メディアコントローラ３８は、一時記憶装置３２に一時記憶された圧縮データを、カードインターフェース４０を介してメモリカード４２に記録する。

また、ＣＰＵ２４にはクロスフィルタモードを選択するための特殊効果機能モード選択手段５０が接続されている。撮影者は、クロスフィルタの効果を得るための撮影を希望する場合には、特殊効果機能モード選択手段５０を操作してクロスフィルタモードを選択する。

この後、操作部２６の前記シャッタボタンが押されると、ＣＰＵ２４は、メディアコントローラ３８に適正露出で一時記憶装置３２内の画像データをメモリカード４２に記憶させる。

また、ＣＰＵ２４は、前記画像データのレベルを予め設定した閾値で判定し、信号処理回路３６の輝度抽出部で高輝度データを適正露出データから分離、抽出する。この抽出された高輝度データは、ＣＰＵに接続された補助メモリ５２に書き込まれる。

補助メモリ５２に書き込まれた高輝度データは、後述のようなクロスパターンデータに変換され、メディアコントローラ３８により、適正露出で撮影、記録された前記画像データに対応付けられて、メモリカード４２に書き込まれる。

次に、動画撮像の動作を説明する。
まず、通常の動画撮像モードについて説明する。動画撮影では、動画処理のフレームレートが例えば３０ｆｐｓの各フレームの当初において、フォーカスレンズを含むレンズ光学系１０及び絞り１２を介して撮像素子（ＣＣＤ）１４の受光面に、被写体を示す画像光が結像される。

このとき、所定の露光時間にわたって、信号電荷がＣＣＤ１４に蓄積され、そのＣＣＤ１４に蓄積された信号電荷は、その後の所定の非蓄積時間内に、ＣＣＤドライバ１６から加えられる転送パルスによって、前記信号電荷に応じた電圧信号として順次読み出される。

この電圧信号は、アナログ処理部１８を通じて、Ａ／Ｄ変換器２０に供給されてデジタル信号に変換された後、一時記憶装置３２に記憶される。動画の撮像期間中、毎秒３０フレーム分のデジタルデータがこの一時記憶装置３２に保存される。

動画の撮像後、一時記憶装置３２に記憶されたデジタルデータは、信号処理部３６で処理された画像データに書き換えられる。この一時記憶装置３２に記憶された画像データは、図示を省略した圧縮伸長処理部に出力され、ＭｏｔｉｏｎＪＰＥＧの動画圧縮処理が実行され、再び一時記憶装置３２に記憶される。
メディアコントローラ３８は、一時記憶装置３２に一時記憶された圧縮データを、メモリカード４２に動画ファイルとして保存する。

また、ＣＰＵ２４は、動画画像に特殊効果を付与するための特殊機能付与手段としても機能する。このＣＰＵ２４は、デジタル撮影される動画画像に、前記クロスフィルタなどの特殊効果を施すが、この場合には、通常の動画撮影モードに比べて動画の処理負担が増加し、処理時間の遅延が発生する。

このため、ＣＰＵ２４は、動画画像を読み出すタイミングを、特殊機能を付与した動画処理の遅いタイミングに合わせるようにフレームレートを調整するフレームレート変換（調整）手段として機能する。このフレームレートの調整を行った上で、前記のように高輝度データをクロスパターンデータに変換し、メディアコントローラ３８の制御下で、適正露出の画像データと合成し、合成画像データとしてメモリカード４２上に書き込む。なお、このフレームレートの調整は、通常の動画撮影モードでは、例えば３０ｆｐｓとした場合に、２０ｆｐｓのように小さくするように実施される。

また、メモリカード４２に書き込まれた合成画像データは、ＣＰＵ２４によりメディアコントローラ３８を通して読み出され、ビデオエンコーダ２８により所定の出力信号に変換されて、ＬＣＤ３０に表示される。

図２は、本発明による動画撮影手順を示すフローチャートである。
まず、動画撮影モードにおいて、動画の撮影前に特殊効果機能を入れるかどうかの選択を、特殊効果機能モード選択手段５０のスイッチ操作により行う(ステップＳ１０１）。このスイッチオン操作により、特殊効果動画の撮影開始となる（ステップＳ１０２）。スイッチオフ状態では、通常の動画の撮影開始へ移行する。

前述のように特殊効果を付加すると、この特殊効果付与の画像処理分時間が掛かるため、通常の動画の撮像画像を読み出すタイミングを遅らせて、特殊効果処理により遅れて得られる画像処理信号のタイミングに合わせる方向に、フレームレートを調整する（ステップＳ１０３）。

このフレームレートの調整は、ＣＰＵ２４の制御下で、ＣＣＤドライバ１６がＣＣＤ１４を所定のフレームタイミングで駆動することにより行われる。

次に、シャッタボタン操作による通常の動画撮影を開始すると（ステップＳ１０４）、レンズ光学系１０からは、絞り１２を介して、被写体の適正露出の光学画像が撮像素子１４に結像される。この光学画像の信号は、前記のようにアナログ処理部１８およびＡ／Ｄ変換部２０を介して、毎秒３０フレーム分のデジタルデータとして一時記憶装置３２に記憶される。このとき、ＣＰＵ２４は、前記光学画像の信号を予め設定された閾値と比較し、この閾値を超える部分を高輝度データと判定し、一方、この閾値を下廻る部分を適正露出データと判定する（ステップＳ１０５）。

高輝度データは、高輝度が得られるフレーム上の位置情報を持ち、高輝度データと判定された場合には（ステップＳ１０６）、この高輝度データをクロスパターンデータに変換する（ステップＳ１０７）。一方、適正露出データと判定された場合には、適正露出データを出力し（ステップＳ１０８）、この適正露出データのフレーム上の、前記高輝度データが得られる対応位置に、前記クロスパターンデータを重ね合わせる（ステップＳ１０９）。

この重ね合わせた合成画像データは、メディアコントローラ３８によりメモリカード４２に書き込まれるとともに、ビデオエンコーダ２８を介してＬＣＤ３０に表示される（ステップＳ１１０）。また、撮影を続行するか否かを調べ(ステップＳ１１１）、続行する場合には、ステップＳ１０４以下の処理を繰返し実行し、撮影を終了する場合には、動画撮影モードが終了となる。

一方、ステップＳ１０１で、特殊効果機能モードではなく、通常の動画撮影モードである場合には、撮影を開始し（ステップＳ１１２）、通常のシャッタボタン操作による撮影を行って（ステップＳ１１３）、撮像素子１４に結像された被写体の動画データを、３０ｆｐｓのフレームレートでメディアコントローラ３８によりメモリカードに書き込むとともに、ビデオエンコーダ２８を介してＬＣＤ３０に表示する(ステップＳ１１４)。

また、撮影を続行するか否かを調べ（ステップＳ１１５）、続行する場合にはステップＳ１１３以下の処理を繰返し実行し、続行しない場合には動画撮影モードが終了となる。

なお、このような動画の撮影処理は、動画の撮影時のみならず、動画のプレビュー時にも適用できる。この場合には、特殊効果による撮影画像の状態がどのようであるかを確認することができる。

図３は、前記補助メモリ５２等に予め格納された、前記クロスパターンを示す。図３（ａ）は、画像の一部に輝度の高い光輝領域６１を中心とする、先端が尖った光条６２であり、図３（ｂ）は、光輝領域６３を中心とする撚り糸状の光条６４である。また、図３（ｃ）は、光輝領域６５を中心として、大小複数の亀甲形がエコー上に並んだ光条６６である。なお、このほか、光輝領域を中心とする波状や、花火が開いた模様など、種々の光条を動画画像に施すことができる。

このような本発明の実施形態によれば、動画撮像を行う動画撮像手段を設け、特殊効果付与手段により、前記動画撮像手段で撮像された動画画像に特殊効果を施すための画像処理を行う場合に、フレームレート変換手段により動画撮像のフレームレートを変換することにより、動画画像の読出しタイミングと動画画像に特殊効果を施した画像信号が得られるタイミングを合わせることができる。また、特殊効果付与のため動画撮像のフレームレートを小さい値に変換する場合には、動画撮像の処理負担を軽減できる。

以上のように、本発明の撮像装置および撮像方法は、デジタル撮影される動画画像に特殊効果を施すことができるという効果を有し、撮像装置及び撮像方法等に有用である。

本発明に係る撮像装置の一例を示すブロック図である。本発明に係る撮像装置を用いて動画画像に特殊効果を施す手順を示すフローチャートである。クロスパターンを示す図である。クロスフィルタを施す例を説明する図である。

符号の説明

１０レンズ光学系
１２シャッタ
１４ＣＣＤ
３６信号処理部
１００撮像装置

Claims

デジタル画像の撮影が可能な撮像装置であって、
動画撮像を行う動画撮像手段と、
前記動画撮像手段で撮像された動画画像に特殊効果を施すため、該動画画像を画像処理する特殊効果付与手段と、
動画撮像時に前記特殊効果を付与する場合に、動画撮像のフレームレートを変換するフレームレート変換手段とを有することを特徴とする撮像装置。
特殊効果を施した動画画像を表示することができる表示手段を備えていることを特徴とする請求項１に記載の撮像装置。
前記特殊効果付与手段が、動画画像にクロスフィルタを付与するクロスフィルタ部であることを特徴とする請求項１または２に記載の撮像装置。
動画撮像を行う動画撮像工程と、
前記動画撮像手段で撮像された動画画像に特殊効果を施すため、該動画画像を画像処理する特殊効果付与工程と、
動画撮像時に前記特殊効果を付与する場合に、動画撮像のフレームレートを変換するフレームレート変換工程とを有することを特徴とする撮像方法。