[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2011233986A - 画像処理装置及びその制御方法 - Google Patents

画像処理装置及びその制御方法 Download PDF

Info

Publication number
JP2011233986A
JP2011233986A JP2010100361A JP2010100361A JP2011233986A JP 2011233986 A JP2011233986 A JP 2011233986A JP 2010100361 A JP2010100361 A JP 2010100361A JP 2010100361 A JP2010100361 A JP 2010100361A JP 2011233986 A JP2011233986 A JP 2011233986A
Authority
JP
Japan
Prior art keywords
raw
image data
moving image
frame
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010100361A
Other languages
English (en)
Other versions
JP2011233986A5 (ja
JP5603641B2 (ja
Inventor
Tomokazu Mori
智和 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010100361A priority Critical patent/JP5603641B2/ja
Priority to US13/088,788 priority patent/US8848067B2/en
Priority to EP11163055.4A priority patent/EP2381449B1/en
Priority to KR1020110036571A priority patent/KR101283421B1/ko
Priority to CN201110103630.8A priority patent/CN102238333B/zh
Priority to CN201510472257.1A priority patent/CN105187714B/zh
Publication of JP2011233986A publication Critical patent/JP2011233986A/ja
Publication of JP2011233986A5 publication Critical patent/JP2011233986A5/ja
Priority to US14/465,359 priority patent/US9443554B2/en
Application granted granted Critical
Publication of JP5603641B2 publication Critical patent/JP5603641B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8126Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3242Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of processing required or performed, e.g. for reproduction or before recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Endoscopes (AREA)

Abstract

【課題】Raw動画像データを構成する複数のRaw画像フレームに対応する現像パラメータを生成可能なRaw動画像データを記録することができる画像処理装置を提供する。
【解決手段】Raw画像フレームに対応する現像パラメータを生成する生成手段と、Raw動画像データと、Raw動画像データに含まれるRaw画像フレームに対して生成手段が生成した現像パラメータとを記録媒体に記録する記録手段と、生成手段の動作と記録手段の動作とを制御する制御手段と、を有し、制御手段は、複数のRaw画像フレームのうち予め定められた条件を満たす複数の第1のRaw画像フレームに対応する現像パラメータと、複数のRaw画像フレームのうちRaw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータとが、Raw動画像データとともに記録媒体に記録されるように生成手段及び記録手段を制御する。
【選択図】図1

Description

本発明は、画像処理装置及びその制御方法に関する。
静止画像の編集では、撮像素子で生成された画像信号をそのまま記録したRaw形式の画像データに対して、ユーザが様々な現像パラメータを指定することで、かかる現像パラメータに応じた画像を得ることができるRaw現像処理が利用されている。なお、現像パラメータとは、例えば、コントラスト、露出補正、ホワイトバランス、色相などの画像(の画質)を調整するために必要な情報である。
また、近年では、デジタルビデオカメラの普及やパーソナルコンピュータの性能の向上などによって、動画像の編集も一般的に行われるようになってきている。このような背景から、今後は静止画像だけではなく、動画像についてもRaw形式の画像データを扱うようになり、Raw形式でファイルを記録することができるデジタルビデオカメラが普及していくと考えられる。
動画像データは、静止画像データとは異なり、多数のフレームの画像データ(画像フレーム)を含む。従って、Raw形式の動画像データ(Raw動画像データ)を適切に表現するためには、Raw動画像データを構成する全てのRaw画像フレームに対して現像パラメータを記録(付与)しておく必要がある。但し、1つの動画像コンテンツについて、特に、同一シーンにおいては、現像パラメータがフレーム単位で大きく変化することは殆どないため、動画像コンテンツを構成する全てのRaw画像フレームに対して現像パラメータを記録しておくことは効率的ではない。
そこで、Raw動画像データを記録する際に、一定間隔のRaw画像フレームのみに対して現像パラメータを記録する技術が提案されている(特許文献1参照)。特許文献1の技術では、Raw動画像データを再生(現像)する際には、一定間隔のRaw画像フレームの現像パラメータを用いて補間処理を行うことによって、現像パラメータが記録されていないRaw画像フレームの現像パラメータを生成している。
特開2009−55335号公報
図12は、従来技術において記録されるRaw動画像データを示す図であって、Raw動画像データを構成するRaw画像フレームと現像パラメータ(色温度)とを時間軸に沿って配置した図である。従来技術では、図12に示すように、複数のRaw画像フレームのうち一定間隔のRaw画像フレームF及びFのみに対して現像パラメータP及びPが記録される。
このようなRaw動画像データを再生する場合、Raw画像フレームFとRaw画像フレームFとの間の区間ZのRaw画像フレームについては、現像パラメータP及びPを用いて補間処理を行うことで、適切な現像パラメータを生成することができる。
しかしながら、Raw画像フレームFと最終Raw画像フレームFとの間の区間ZのRaw画像フレームについては、補間処理に必要となる現像パラメータ(最終Raw画像フレームFの現像パラメータ)が記録されていない。従って、区間ZのRaw画像フレームを現像するための適切な現像パラメータを生成することができず、所望の画質でRaw動画像データを再生することができなくなってしまう。
本発明は、Raw動画像データを構成する複数のRaw画像フレームに対応する現像パラメータを生成可能なRaw動画像データを記録することができる技術を提供することを例示的目的とする。
上記目的を達成するために、本発明の一側面としての画像処理装置は、複数のRaw画像フレームから構成されるRaw動画像データを記録する画像処理装置であって、Raw画像フレームに対応する現像パラメータを生成する生成手段と、前記Raw動画像データと、前記Raw動画像データに含まれるRaw画像フレームに対して前記生成手段が生成した前記現像パラメータとを記録媒体に記録する記録手段と、前記生成手段の動作と前記記録手段の動作とを制御する制御手段と、を有し、前記制御手段は、前記複数のRaw画像フレームのうち予め定められた条件を満たす複数の第1のRaw画像フレームに対応する現像パラメータと、前記複数のRaw画像フレームのうち前記Raw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータとが、前記Raw動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御することを特徴とする。
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
本発明によれば、例えば、Raw動画像データを構成する複数のRaw画像フレームに対応する現像パラメータを生成可能なRaw動画像データを記録する技術を提供することができる。
本発明の一側面としての画像処理装置として機能する撮像装置の構成を示す概略ブロック図である。 図1に示す撮像装置の第1の実施形態における動作を説明するためのフローチャートである。 図1に示す撮像装置の第1の実施形態における動作で記録されるRaw動画像データを示す図である。 図3に示すRaw動画像データを再生(現像)する際に行われる補間処理を説明するための図である。 図1に示す撮像装置の第2の実施形態における動作を説明するためのフローチャートである。 図1に示す撮像装置の第2の実施形態における動作で記録されるRaw動画像データを説明するための図である。 図1に示す撮像装置の第3の実施形態における動作を説明するためのフローチャートである。 図1に示す撮像装置の第3の実施形態における動作で記録されるRaw動画像データを説明するための図である。 本発明の一側面としての画像処理装置の構成を示す概略ブロック図である。 図9に示す画像処理装置における動作を説明するためのフローチャートである。 図9に示す画像処理装置における動作で記録されるRaw動画像データを説明するための図である。 従来技術において記録されるRaw動画像データを示す図である。
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。なお、本実施形態では、Raw形式で記録された動画像データをRaw動画像データ又はRaw動画像ファイルと称する。また、Raw動画像データ又はRaw動画像ファイルを構成する画像フレームをRaw画像フレーム又はRaw画像データと称する。
<第1の実施形態>
図1は、本発明の一側面としての画像処理装置として機能する撮像装置100の構成を示す概略ブロック図である。撮像装置100は、Raw形式の動画像データ(Raw動画像データ)とRaw形式の静止画像データ(Raw静止画像データ)とを選択的に生成して記録する撮像装置であって、本実施形態では、デジタルビデオカメラとして具現化される。なお、Raw動画像データは、複数のRaw画像フレームで構成される画像データである。
撮像装置100は、撮像部101と、A/D変換部102と、パラメータ生成部103と、Raw動画像ファイル生成部104と、現像パラメータファイル生成部105とを有する。更に、撮像装置100は、操作部106と、記録・再生部107と、制御部108と、メモリ109と、記録媒体110とを有する。
撮像部101は、撮像レンズや焦点距離を変更可能なフォーカスレンズなどを含む撮像光学系と、絞り値を変更可能な絞り機構と、CCDやCMOS素子(光電変換素子)などの撮像素子とを有し、被写体からの光(入射光)を電気信号に変換する。A/D変換部102は、撮像部101からフレーム単位で順次出力される電気信号をRaw画像データに変換(デジタル変換)する。
パラメータ生成部103は、A/D変換部102から出力されたRaw画像データに基づいて、Raw画像データを再生(現像)する際に必要となる現像パラメータをフレーム単位で生成する。換言すれば、パラメータ生成部103は、Raw動画像データを構成する複数のRaw画像フレームのそれぞれに対応する現像パラメータを生成する。また、現像パラメータは、具体的には、コントラスト、ホワイトバランス、色空間、トーンカーブ、輪郭強調などの画像(の画質)を調整するための情報を含む。
Raw動画像ファイル生成部104は、A/D変換部102からフレーム単位で出力されるRaw画像データに基づいて、Raw動画像ファイルを生成する。Raw動画像ファイル生成部104で生成されたRaw動画像ファイルは、記録・再生部107を介して、記録媒体110に記録される。
現像パラメータファイル生成部105は、パラメータ生成部103から出力される現像パラメータに基づいて、現像パラメータファイルを生成する。なお、現像パラメータファイル生成部105で生成された現像パラメータファイルを構成する現像パラメータのそれぞれは、A/D変換部102から出力されたRaw画像データの対応するRaw画像フレームに関連付けられている。
操作部106は、ユーザの操作を受け付ける(動作指示を入力する)ための各種ボタンなどで構成される。例えば、操作部106は、撮像開始ボタンや撮像終了ボタンなどを含む。ユーザは、撮像開始ボタンを操作することでRaw動画像データの生成を指示することができ、撮像終了ボタンを操作することでRaw動画像データの生成の停止を指示することができる。
記録・再生部107は、記録媒体110への画像データの書き込み、又は、記録媒体110に記録された画像データの読み出しなどを行う。記録・再生部107は、本実施形態では、後述するように、Raw動画像データと、かかるRaw動画像データを構成するRaw画像フレームに対する現像パラメータとを記録媒体110に記録する機能を有する。
制御部108は、CPUなどを含み、撮像装置100の全体の動作を制御する。制御部108は、Raw動画像データを構成する複数のRaw画像フレームのうち予め定められた条件を満たすRaw画像フレームに対応する現像パラメータが、Raw動画像データとともに記録媒体110に記録されるように、撮像装置100の各部を制御する。更に、制御部108は、Raw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータが、Raw動画像データとともに記録媒体110に記録されるように、撮像装置100の各部を制御する。
メモリ109は、例えば、SDRAM(Synchronous Dynamic Random Access Memory)などの半導体記憶素子で構成され、撮像装置100の各部から出力されるデータを一時的に記憶する。
図2を参照して、撮像装置100の動作、具体的には、複数のRaw画像フレームから構成されるRaw動画像データを記録媒体110に記録する動作について説明する。かかる動作は、制御部108が撮像装置100の各部を統括的に制御することによって実行される。
S202では、制御部108は、操作部106を介して、ユーザからRaw動画像データの生成が指示されたこと(即ち、撮像開始ボタンが操作されたこと)を検知する。これにより、撮像装置100による動画像の撮像が開始される。
S204では、制御部108は、動画像の撮像に関連するフラグや変数などの初期化を行う。具体的には、制御部108は、フレーム単位で繰り返し行われる一連の処理におけるフレーム番号nの初期化(n=0)を行う。また、制御部108は、ユーザからRaw動画像データの生成の停止が指示されたこと(即ち、撮像終了ボタンが操作されたこと)を記憶するための撮像終了フラグend_flagの初期化(end_flag=0)を行う。
S206では、制御部108は、フレーム番号nを+1だけインクリメント(n=n+1)する。例えば、動画像の撮像が開始されたフレームであれば、フレーム番号nは1に設定される。
S208では、制御部108の制御下において、撮像部101及びA/D変換部102は、フレーム番号nのRaw画像データ(Raw画像フレーム)を生成する。
S210では、制御部108の制御下において、パラメータ生成部103は、S208で生成されたフレーム番号nのRaw画像データに基づいて、現像パラメータ(即ち、フレーム番号nのRaw画像フレームの現像パラメータ)を生成する。
S212では、制御部108の制御下において、Raw動画像ファイル生成部104は、S208で生成されたフレーム番号nのRaw画像データをファイルに記録(追記)してRaw動画像ファイルを生成する。なお、Raw画像ファイルの生成では、図2に示すように、フレーム単位でRaw画像データをファイルに記録してもよいし、メモリ109にRaw画像データをバッファリングして所定の時間間隔ごとにファイルに記録するようにしてもよい。
S214では、制御部108は、操作部106を介して、ユーザからRaw動画像データの生成の停止が指示されたかどうか(即ち、撮像停止ボタンが操作されたかどうか)を判定する。Raw動画像データの生成の停止が指示されていない場合、即ち、動画像の撮像が継続されている場合には、S216に移行する。
S216では、制御部108は、フレーム番号nのRaw画像データが予め定められた条件を満たすかどうか、即ち、フレーム番号nのRaw画像フレームが予め定められた条件を満たすRaw画像フレーム(第1のRaw画像フレーム)であるかどうかを判定する。ここで、予め定められた条件を満たすRaw画像フレームは、例えば、Raw動画像データを構成する複数のRaw画像フレームから一定のフレーム間隔で抽出されたRaw画像フレームやシーンチェンジが検出された前後のRaw画像フレームである。また、予め定められた条件を満たすRaw画像フレームは、例えば、最終Raw画像フレームから直前の一定のフレーム間隔で抽出されたRaw画像フレームとの間に存在する所定数のRaw画像フレームであってもよい。フレーム番号nのRaw画像データが予め定められた条件を満たさない場合には、現像パラメータを記録することなく、S206に移行する。また、フレーム番号nのRaw画像データが予め定められた条件を満たす場合には、現像パラメータを記録するために、S218に移行する。
S218では、制御部108の制御下において、現像パラメータファイル生成部105は、S210で生成されたフレーム番号nのRaw画像フレームの現像パラメータをファイルに記録(追記)して現像パラメータファイルを生成する。なお、現像パラメータファイルの生成では、図2に示すように、フレーム単位で現像パラメータをファイルに記録してもよいし、メモリ109に現像パラメータをバッファリングして所定の時間間隔ごとにファイルに記録するようにしてもよい。
S220では、制御部108は、撮像終了フラグend_flagが1(end_flag=1)であるかどうかを判定する。撮像終了フラグend_flagが1でない場合には、S216に移行し、撮像終了フラグend_flagが1である場合には、S224に移行する。
動画像の撮像が継続されている間(即ち、ユーザからRaw動画像データの生成の停止が指示されるまで)は、S206乃至S220の処理がフレーム単位で実行される。
一方、S214において、Raw動画像データの生成の停止が指示されている場合には、S222に移行する。S222では、制御部108は、撮像終了フラグend_flagを1に設定して、S218に移行する。この際、制御部108は、撮像部101及びA/D変換部102によるRaw動画像データの生成を停止させる。なお、Raw動画像データの生成の停止が指示されている場合には、フレーム番号nのRaw画像フレームが最後に生成されたRaw画像フレーム(最終Raw画像フレーム)となる。そして、S218において、最終Raw画像フレームであるフレーム番号nのRaw画像フレームの現像パラメータがファイルに記録されて現像パラメータファイルが生成される。
S224では、制御部108の制御下において、記録・再生部107は、S212で生成されたRaw動画像ファイル及びS218で生成された現像パラメータファイルを記録媒体110に記録する。
図3は、本実施形態の撮像装置100において記録されるRaw動画像データ(即ち、図2に示す動作によって生成されるRaw動画像データ)を示す図である。図3では、Raw動画像データを構成するRaw画像フレームと現像パラメータ(本実施形態では、ホワイトバランス)とが時間軸に沿って配置されている。
図3(a)は、S216において、予め定められた条件を満たすRaw画像フレームを、Raw動画像データを構成する複数のRaw画像フレームから一定のフレーム間隔で抽出されたRaw画像フレームとした場合を示している。図3(a)を参照するに、時刻t1のRaw画像フレームFt1及び時刻t2のRaw画像フレームFt2が一定のフレーム間隔で抽出されたRaw画像フレームと判定され、それぞれに対応するホワイトバランスPt1及びPt2が記録されている。また、時刻t3にRaw動画像データの生成の停止が指示されたとすると、時刻t3に生成されたRaw画像フレームFt3が最終Raw画像フレームとされ、Raw画像フレームFt3に対応するホワイトバランスPt3が記録されている。
また、メモリ109に現像パラメータをバッファリングしている場合には、図3(b)に示すように、一定のフレーム間隔で抽出されたRaw画像フレームだけではなく、任意のRaw画像フレームに対しても現像パラメータを記録することが可能である。図3(b)は、最終Raw画像フレームから2つ目までのRaw画像フレームを予め定められた条件を満たすRaw画像フレームとして加えた場合を示している。図3(b)を参照するに、ホワイトバランスPt乃至Ptだけではなく、最終Raw画像フレームFt3から2つ目までのRaw画像フレームFt4及びFt5のそれぞれに対応するホワイトバランスPt4及びPt5も記録されている。
図4を参照して、本実施形態の撮像装置100において記録されるRaw動画像データを、記録・再生部107により再生(現像)する場合について説明する。但し、Raw動画像データ及び現像パラメータファイルをコピーしたメモリカード等を外部の再生装置に挿入し、かかる再生装置でRaw動画像データを再生(現像)してもよい。Raw動画像データを再生する場合には、現像パラメータが記録されていないRaw画像フレームについては、Raw動画像データに記録されている現像パラメータを用いて補間処理を行い、適切な現像パラメータを生成することが必要となる。なお、図4(a)は、図3(a)に示すRaw動画像データを再生する場合の補間処理を示し、図4(b)は、図3(b)に示すRaw動画像データを再生する場合の補間処理を示している。図4(a)及び図4(b)では、Raw動画像データを構成するRaw画像フレームと現像パラメータ(本実施形態では、ホワイトバランス)とが時間軸に沿って配置されている。
図4(a)を参照するに、実線で示すRaw画像フレームFt1及びFt2のそれぞれに対応する現像パラメータPt1及びPt2は、上述したように、Raw動画像データに記録されている。また、破線で示すRaw画像フレームに対応する現像パラメータPt1−t2及びPt2−t3は、補間処理によって生成される。具体的には、Raw画像フレームFt1とRaw画像フレームFt2との間に存在するRaw画像フレームについては、現像パラメータPt1及びPt2を用いた補間処理によって、適切な現像パラメータPt1−t2が生成される。また、Raw画像フレームFt2とRaw画像フレームFt3との間に存在するRaw画像フレームについては、現像パラメータPt2及びPt3を用いた補間処理によって、適切な現像パラメータPt2−t3が生成される。
図4(b)を参照するに、実線で示すRaw画像フレームFt1乃至Ft5のそれぞれに対応する現像パラメータPt1乃至Pt5は、上述したように、Raw動画像データに記録されている。また、破線で示すRaw画像フレームに対応する現像パラメータPt1−t2及びPt2−t4は、補間処理によって生成される。具体的には、Raw画像フレームFt1とRaw画像フレームFt2との間に存在するRaw画像フレームについては、現像パラメータPt1及びPt2を用いた補間処理によって、適切な現像パラメータPt1−t2が生成される。また、Raw画像フレームFt2とRaw画像フレームFt4との間に存在するRaw画像フレームについては、現像パラメータPt2、Pt3、Pt4及びPt5を用いた補間処理によって、適切な現像パラメータPt2−t4が生成される。
このように、本実施形態によれば、予め定められた条件を満たすRaw画像フレームに対応する現像パラメータと、最終Raw画像フレームに対応する現像パラメータとを、Raw動画像データと関連付けて記録することができる。従って、かかるRaw動画像データを再生する際には、現像パラメータが記録されていないRaw画像フレームに対しても、補間処理によって適切な現像パラメータを生成することが可能であり、所望の画質でRaw動画像データを再生することができる。
<第2の実施形態>
図5を参照して、撮像装置100の動作、具体的には、複数のRaw画像フレームから構成されるRaw動画像データを記録媒体110に記録する動作について説明する。かかる動作は、制御部108が撮像装置100の各部を統括的に制御することによって実行される。なお、本実施形態では、Raw動画像ファイル生成部104は、Raw動画像データを構成するRaw画像フレームを記録したRaw画像ファイルを予め生成しているものとする。また、現像パラメータファイル生成部105は、Raw動画像データを構成するRaw画像フレームのそれぞれに対応する現像パラメータ(本実施形態では、ホワイトバランス)を記録した現像パラメータファイルを予め生成しているものとする。
S502では、制御部108は、操作部106を介して、ユーザからRaw動画像データの記録が指示されたことを検知する。これにより、Raw画像ファイル及び現像パラメータファイルの記録媒体110への記録が開始される。
S504では、制御部108は、フレーム単位で繰り返し行われる一連の処理におけるフレーム番号nの初期化(n=0)を行う。かかるフレーム番号nは、Raw動画像ファイルに記録されている複数のRaw画像フレームの記録順に相当する。S504では、制御部108は、フレーム番号nを+1だけインクリメント(n=n+1)する。例えば、Raw動画像ファイルに最初に記録されたRaw画像フレームであれば、フレーム番号nは1となる。
S506では、制御部108は、フレーム番号nのRaw画像フレームが最終Raw画像フレームであるかどうかを判定する。フレーム番号nのRaw画像フレームが最終Raw画像フレームでない場合には、S510に移行する。
S510では、制御部108は、フレーム番号nのRaw画像フレームが予め定められた条件を満たすかどうか、即ち、フレーム番号nのRaw画像フレームが予め定められた条件を満たすRaw画像フレームであるかどうかを判定する。なお、予め定められた条件を満たすRaw画像フレームは、第1の実施形態と同様であり、例えば、Raw動画像データを構成する複数のRaw画像フレームから一定のフレーム間隔で抽出されたRaw画像フレームである。フレーム番号nのRaw画像データが予め定められた条件を満たない場合には、S512に移行する。
S512では、制御部108の制御下において、現像パラメータファイル生成部105は、現像パラメータファイルからフレーム番号nのRaw画像フレームに対応する現像パラメータを削除して、S506に移行する。
一方、S510において、フレーム番号nのRaw画像データが予め定められた条件を満たす場合には、現像パラメータファイルからフレーム番号nのRaw画像フレームに対応する現像パラメータを削除することなく、S506に移行する。
フレーム番号nのRaw画像フレームが最終Raw画像フレームに到達するまでの間は、S506乃至S512の処理がフレーム単位で実行される。そして、フレーム番号nのRaw画像フレームが最終Raw画像フレームに到達すると(即ち、S508のYes)、S514に移行する。
S514では、制御部108の制御下において、記録・再生部107は、Raw動画像ファイル及び現像パラメータファイルを記録媒体110に記録する。この際、予め定められた条件を満たすRaw画像フレームに対応する現像パラメータと、最終Raw画像フレームに対応する現像パラメータを除く現像パラメータとが削除された現像パラメータファイルが記録媒体110に記録される。
図6は、本実施形態の撮像装置100において記録されるRaw動画像データを説明するための図である。図6では、Raw動画像データを構成するRaw画像フレームと現像パラメータ(本実施形態では、ホワイトバランス)とが時間軸に沿って配置されている。
図6(a)は、図5に示す動作を行う前の(即ち、Raw動画像データを構成するRaw画像フレームのそれぞれに対応する現像パラメータが記録されている)Raw動画像データを示している。図6(b)は、図5に示す動作によって生成されるRaw動画像データの現像パラメータを示している。図6(b)を参照するに、Raw画像フレームFt1とRaw画像フレームFt2との間に存在するRaw画像フレームは、一定のフレーム間隔で抽出されたRaw画像フレームではなく、最終Raw画像フレームでもない。Raw画像フレームFt1とRaw画像フレームFt2との間に存在するRaw画像フレームに対応する現像パラメータPt1−t2は削除されている。同様に、Raw画像フレームFt2とRaw画像フレームFt3との間に存在するRaw画像フレームは、一定のフレーム間隔で抽出されたRaw画像フレームではなく、最終Raw画像フレームでもない。従って、Raw画像フレームFt2とRaw画像フレームFt3との間に存在するRaw画像フレームに対応する現像パラメータPt2−t3は削除されている。
このように、本実施形態では、全てのRaw画像フレームに対応する現像パラメータを記録した後で、予め定められた条件を満たすRaw画像フレーム及び最終Raw画像フレームに対応する現像パラメータを除く現像パラメータを削除している。その結果、予め定められた条件を満たすRaw画像フレームに対応する現像パラメータと、最終Raw画像フレームに対応する現像パラメータとを、Raw動画像データと関連付けて記録することができる。従って、かかるRaw動画像データを再生する際には、現像パラメータが記録されていないRaw画像フレームに対しても、補間処理によって適切な現像パラメータを生成することが可能であり、所望の画質でRaw動画像データを再生することができる。
<第3の実施形態>
第1の実施形態では、ユーザからRaw動画像データの生成の停止が指示されると、Raw動画像データの生成を即座に停止する場合について説明した。本実施形態では、ユーザからRaw動画像データの生成の停止が指示されても、予め定められた条件を満たすRaw画像フレームが生成されるまでRaw動画像データの生成を継続する場合について説明する。
図7を参照して、撮像装置100の動作、具体的には、複数のRaw画像フレームから構成されるRaw動画像データを記録媒体110に記録する動作について説明する。かかる動作は、制御部108が撮像装置100の各部を統括的に制御することによって実行される。
S702からS720まで番号順に移行する処理は、Raw動画像データの生成の停止が指示されていない場合(即ち、動画像の撮像が継続されている場合)の処理を示している。なお、S702乃至S720の処理は、S202乃至S220の処理と同じであるため、ここでの詳細な説明は省略する。
以下、ユーザからRaw動画像データの動画像データの生成の停止が指示された場合(即ち、動画像の撮像の停止が指示された場合)の処理について説明する。
ユーザからRaw動画像データの生成の停止が指示されると、S722に移行する。S722では、制御部108は、撮像終了フラグend_flagを1に設定して、S716に移行する。この際、制御部108は、撮像部101及びA/D変換部102によるRaw動画像データの生成を停止させない。S716では、制御部108は、フレーム番号nのRaw画像フレーム、即ち、Raw動画像データの生成の停止が指示されたときに生成されているRaw画像フレームが予め定められた条件を満たすかどうかを判定する。
Raw動画像データの生成の停止が指示されたときに生成されているRaw画像フレームが予め定められた条件を満たす場合には、S718に移行する。この際、制御部108は、撮像部101及びA/D変換部102によるRaw動画像データの生成を停止させる。S718では、制御部108の制御下において、現像パラメータファイル生成部105は、Raw動画像データの生成の停止が指示されたときに生成されているRaw画像フレームの現像パラメータをファイルに記録(追記)して現像パラメータファイルを生成する。そして、Raw動画像データの生成の停止が指示されている(撮像終了フラグend_flag=1)ため、S720を経てS724に移行する。S724では、制御部108の制御下において、記録・再生部107は、S712で生成されたRaw動画像ファイル及びS718で生成された現像パラメータファイルを記録媒体110に記録する。
一方、Raw動画像データの生成の停止が指示されたときに生成されているRaw画像フレームが予め定められた条件を満たさない場合には、S706に移して、予め定められた条件を満たすRaw画像フレームが生成されるまで、上述した処理が繰り返される。予め定められた条件を満たすRaw画像フレームが生成されると、S718において、かかるRaw画像フレームの現像パラメータを記録(追記)した現像パラメータファイルが生成される。そして、Raw動画像データの生成の停止が指示されている(撮像終了フラグend_flag=1)ため、S720を経てS724に移行する。S724では、制御部108の制御下において、記録・再生部107は、S712で生成されたRaw動画像ファイル及びS718で生成された現像パラメータファイルを記録媒体110に記録する。
図8は、本実施形態の撮像装置100において記録されるRaw動画像データ(即ち、図7に示す動作によって生成されるRaw動画像データ)を示す図である。図8では、Raw動画像データを構成するRaw画像フレームと現像パラメータ(本実施形態では、ホワイトバランス)とが時間軸に沿って配置されている。
図8(a)は、時刻t3にRaw動画像データの生成の停止が指示され、且つ、時刻t3のRaw画像フレームFt3が予め定められた条件を満たす場合に記録されるRaw動画像データを示している。図8(a)を参照するに、時刻t1のRaw画像フレームFt1及び時刻t2のRaw画像フレームFt2が一定のフレーム間隔で抽出されたRaw画像フレームと判定され、それぞれに対応するホワイトバランスPt1及びPt2が記録されている。また、Raw動画像データの生成の停止が指示されたときに生成された時刻t3のRaw画像フレームFt3は、予め定められた条件を満たし、一定のフレーム間隔で抽出されたRaw画像フレームと判定される。従って、Raw画像フレームFt3が最終Raw画像フレームとされ、Raw画像フレームFt3に対応するホワイトバランスPt3が記録されている。
図8(b)は、時刻t3にRaw動画像データの生成の停止が指示され、且つ、時刻t3のRaw画像フレームFt3が予め定められた条件を満たさない場合に記録されるRaw動画像データを示している。図8(b)を参照するに、時刻t1のRaw画像フレームFt1及び時刻t2のRaw画像フレームFt2が一定のフレーム間隔で抽出されたRaw画像フレームと判定され、それぞれに対応するホワイトバランスPt1及びPt2が記録されている。但し、Raw動画像データの生成の停止が指示されたときに生成された時刻t3のRaw画像フレームFt3は、予め定められた条件を満たさないため、一定のフレーム間隔で抽出されたRaw画像フレームと判定されない。従って、次に予め定められた条件を満たすRaw画像フレームが生成されるまで、Raw動画像データの生成が継続される。そして、時刻t7で生成されたRaw画像フレームFt7が予め定められた条件を満たし、一定のフレーム間隔で抽出されたRaw画像フレームと判定される。その結果、Raw画像フレームFt7が最終Raw画像フレームとされ、Raw画像フレームFt7に対応するホワイトバランスPt7が記録されている。
このように、本実施形態では、Raw動画像データの生成の停止が指示された場合に、予め定められた条件を満たすRaw画像フレームが生成されるまで、Raw動画像データの生成を継続する(即ち、動画像の撮像を停止するタイミングをずらす)。これにより、最後に生成された予め定められた条件を満たすRaw画像フレームを最終Raw画像フレームとして、かかるRaw画像フレームに対応する現像パラメータを、Raw動画像データと関連付けて記録することができる。従って、かかるRaw動画像データを再生する際には、現像パラメータが記録されていないRaw画像フレームに対しても、補間処理によって適切な現像パラメータを生成することが可能であり、所望の画質でRaw動画像データを再生することができる。
<第4の実施形態>
図9は、本発明の一側面としての画像処理装置900の構成を示す概略ブロック図である。画像処理装置900は、Raw動画像データを複数のRaw動画像データ(本実施形態では、第1のRaw動画像データと第2のRaw動画像データ)に分割する。なお、画像処理装置900で分割されるRaw動画像データは、例えば、撮像装置100で記録され、複数のRaw画像フレームで構成され、一部のRaw画像フレームのそれぞれに対して現像パラメータが関連付けられているものとする。
画像処理装置900は、記録媒体901と、記録・再生部902と、操作部903と、制御部904と、メモリ905とを有する。更に、画像処理装置900は、Raw動画像処理部906と、Raw動画像ファイル生成部907と、現像パラメータ処理部908と、現像パラメータファイル生成部909とを有する。
記録媒体901は、例えば、光学式記録媒体や半導体記録媒体で構成される。記録媒体901には、Raw動画像データが記録され、本実施形態では、Raw動画像ファイルと現像パラメータファイルとが記録されている。
記録・再生部902は、記録媒体901に記録された画像データの読み出し、及び、記録媒体901への画像データの書き込みなどを行う。記録・再生部902は、本実施形態では、記録媒体901に記録されたRaw動画像データと、かかるRaw動画像データを構成するRaw画像フレームに対する現像パラメータを記録媒体901から読み出す機能を有する。また、記録・再生部902は、Raw動画像データと、かかるRaw動画像データを構成するRaw画像フレームに対する現像パラメータとを記録媒体901に記録する機能を有する。
操作部903は、ユーザの操作を受け付ける(動作指示を入力する)ための各種ボタンなどで構成される。例えば、操作部106は、分割開始ボタンや分割位置ボタンなどを含む。ユーザは、分割開始ボタンを操作することでRaw動画像データの分割の開始を指示することができる。また、ユーザは、分割位置ボタンを操作することでRaw動画像データの分割位置、即ち、第1のRaw動画像データの最終Raw画像フレーム又は第2のRaw動画像データの先頭Raw画像フレームを指示することができる。
制御部904は、CPUなどを含み、画像処理装置900の全体の動作を制御する。制御部904は、例えば、Raw動画像データを分割する際に、分割後のRaw動画像データの最終Raw画像フレーム又は先頭Raw画像フレームに対応する現像パラメータが記録されるように、画像処理装置900の各部を制御する。
メモリ905は、例えば、SDRAMなどの半導体記憶素子で構成され、Raw動画像処理部906から出力されるRaw動画像データや現像パラメータ処理部908から出力される現像パラメータを一時的に記憶する。
Raw動画像処理部906は、記録・再生部902によって読み出されたRaw動画像ファイルから、Raw画像データをフレーム単位で抽出する。また、Raw動画像処理部906は、制御部904に制御され、第1のRaw動画像データを構成するRaw画像フレームと、第2のRaw動画像データを構成するRaw画像フレームとを分けて出力する。
Raw動画像ファイル生成部907は、Raw動画像処理部906から出力されるRaw画像データに基づいて、第1のRaw画像データに相当する第1の動画像ファイルと、第2のRaw画像データに相当する第2の動画像ファイルとを生成する。Raw動画像ファイル生成部907で生成された第1の動画像ファイル及び第2の動画像ファイルは、記録・再生部902を介して、記録媒体901に記録される。
現像パラメータ処理部908は、記録・再生部902によって読み出された現像パラメータファイルから、現像パラメータをフレーム単位で抽出する。また、現像パラメータ処理部908は、制御部904に制御され、現像パラメータを生成するための補間処理を行う。現像パラメータ処理部908は、現像パラメータファイルから抽出した現像パラメータ及び補間処理によって生成した現像パラメータを出力する。
現像パラメータファイル生成部909は、現像パラメータ処理部908から出力される現像パラメータに基づいて、現像パラメータファイルを生成する。現像パラメータファイル生成部909で生成された現像パラメータファイルは、記録・再生部902を介して、記録媒体901に記録される。
図10を参照して、画像処理装置900の動作、即ち、記録媒体901に記録されているRaw動画像データを第1のRaw動画像データと第2のRaw動画像データとに分割する動作について説明する。かかる動作は、制御部904が画像処理装置900の各部を統括的に制御することによって実行される。なお、フレーム番号nは、分割前のRaw動画像データにおいて、先頭画像フレームに相当する先頭Raw画像フレームを1(n=1)とし、最終画像フレームに相当する最終Raw画像フレームをN(n=N)とする。
S1002では、制御部904は、操作部903を介して、ユーザからRaw動画像データの分割が指示されたこと(即ち、分割開始ボタンが操作されたこと)を検知する。これにより、画像処理装置900によるRaw動画像データの分割が開始され、記録・再生部902は、記録媒体901に記録されているRaw動画像データを読み出す。
S1004では、制御部904は、ユーザによる分割位置ボタンの操作に応じて、Raw動画像データの分割位置、即ち、第1のRaw動画像データの最終Raw画像フレーム又は第2のRaw動画像データの先頭Raw画像フレームを指定する。本実施形態では、制御部904は、フレーム番号M(1<M<N)のRaw画像フレームを第2のRaw動画像データの先頭Raw画像フレームとして指定したものとする。
S1006では、制御部904の制御下において、Raw動画像ファイル生成部907は、S1004で指定された分割位置に基づいて、第1のRaw動画像ファイル及び第2のRaw動画像ファイルを生成する。第1のRaw動画像ファイルは、第1のRaw動画像データに相当し、先頭Raw画像フレームからフレーム番号(M−1)のRaw画像フレームで構成される。また、第2のRaw動画像ファイルは、フレーム番号MのRaw画像フレームからフレーム番号Nの最終Raw画像フレームで構成される。なお、本実施形態では、第1のRaw動画像ファイル及び第2のRaw動画像ファイルが生成されるものとして説明するが、新たなRaw動画像ファイルを生成するのではなく、分割位置の情報だけを記録してもよい。
S1008では、Raw動画像データの分割に関連するフラグや変数などの初期化を行う。具体的には、制御部904は、現像パラメータの補間処理におけるフレーム番号nの初期化を行う。本実施形態では、フレーム番号(M−1)のRaw画像フレーム及びフレーム番号MのRaw画像フレームのそれぞれの現像パラメータを補間処理によって生成する場合を説明するため、フレーム番号nは、まず、M−1に設定される。
S1010では、制御部904は、フレーム番号nのRaw画像フレームに対応する現像パラメータが存在するかどうかを判定する。フレーム番号nのRaw画像フレームに対応する現像パラメータが存在する場合には、S1018に移行する。また、フレーム番号nのRaw画像フレームに対応する現像パラメータが存在していない場合には、S1012に移行する。
S1012では、制御部904の制御下において、現像パラメータ処理部908は、現像パラメータが記録されているRaw画像フレームのうち、フレーム番号nのRaw画像フレームの直前のRaw画像フレームの現像パラメータを取得する。
S1014では、制御部904の制御下において、現像パラメータ処理部908は、現像パラメータが記録されているRaw画像フレームのうち、フレーム番号nのRaw画像フレームの直後のRaw画像フレームの現像パラメータを取得する。
S1016では、制御部904の制御下において、現像パラメータ処理部908は、S1012及びS1014で取得した現像パラメータを用いて補間処理を行い、フレーム番号nのRaw画像フレームに対応する現像パラメータを生成する。
S1018では、制御部904の制御下において、現像パラメータファイル生成部909は、フレーム番号nのRaw画像フレームの現像パラメータをファイルに記録(追記)して現像パラメータファイルを生成する。具体的には、フレーム番号nのRaw画像フレームの現像パラメータが存在する場合には、かかる現像パラメータが記録される。また、フレーム番号nのRaw画像フレームの現像パラメータが存在しない場合には、S1016で生成された現像パラメータが記録される。
S1020では、制御部904は、フレーム番号nがM(n=M)であるかどうかを判定する。フレーム番号nがMでない場合には、S1008に移行して、制御部904は、フレーム番号nを1だけインクリメントする。本実施形態では、フレーム番号nが(M−1)である場合にS1008に移行し、フレーム番号nがM−1+1=M(n=M)に設定され、S1010乃至S1018の処理が実行される。一方、フレーム番号nがMである場合には、S1022に移行する。
S1022では、制御部904の制御下において、記録・再生部902は、S1006で生成された第1のRaw画像ファイル及び第2の動画像ファイル、及び、S1018で生成された現像パラメータファイルを記録媒体901に記録する。換言すれば、S1022では、Raw動画像データが第1のRaw動画像データと第2のRaw動画像データとに分割されて記録媒体901に記録される。この際、第1のRaw動画像データにおいては、フレーム番号(M−1)のRaw画像フレーム(第1のRaw動画像データの最終Raw画像フレーム)と、かかるRaw画像フレームに対応する現像パラメータとが関連付けられて記録される。また、第2のRaw動画像データにおいては、フレーム番号MのRaw画像フレーム(第2のRaw動画像データの先頭Raw画像フレーム)と、かかるRaw画像フレームに対応する現像パラメータとが関連付けられて記録される。
図11は、画像処理装置900において分割されるRaw動画像データ(即ち、図10に示す動作によって生成される第1のRaw動画像データ及び第2のRaw動画像データ)を示す図である。図11では、Raw動画像データを構成するRaw画像フレームと現像パラメータ(本実施形態では、ホワイトバランス)とが時間軸に沿って配置されている。
図11(a)は、画像処理装置900によって分割されるRaw動画像データ(即ち、分割前のRaw動画像データ)を示している。図11(a)を参照するに、分割前のRaw動画像データにおいては、フレーム番号2のRaw画像フレームF及びフレーム番号(N−2)のRaw画像フレームFN−2のそれぞれに対応するホワイトバランスP及びPN−2が記録されている。
図11(b)は、画像処理装置900によって分割されたRaw動画像データ(即ち、第1のRaw動画像データ及び第2のRaw動画像データ)を示している。Raw動画像データは、フレーム番号1乃至(M−1)のRaw画像フレームF乃至FM−1で構成される第1のRaw動画像データと、フレーム番号M乃至NのRaw画像フレームF乃至Fで構成される第2のRaw動画像データに分割される。この際、Raw画像フレームF及びFN−2のホワイトバランスP及びPN−2を用いた補間処理によって、第1のRaw動画像データの最終Raw画像フレームであるRaw画像フレームFM−1に対応するホワイトバランスPM−1が生成される。同様に、Raw画像フレームF及びFN−2のホワイトバランスP及びPN−2を用いた補間処理によって、第2のRaw動画像データの先頭Raw画像フレームであるRaw画像フレームFに対応するホワイトバランスPが生成される。そして、第1のRaw動画像データでは、Raw画像フレームFのホワイトバランスPに加えて、Raw画像フレームFM−1のホワイトバランスPM−1が記録される。同様に、第2のRaw動画像データでは、Raw画像フレームFN−2のホワイトバランスPN−2に加えて、Raw画像フレームFのホワイトバランスPが記録される。
このように、本実施形態では、Raw動画像データを複数のRaw動画像データに分割する際に、分割後のRaw動画像データの最終Raw画像フレーム又は先頭Raw画像フレームに対応する現像パラメータを補間処理によって生成している。従って、分割後のRaw動画像データの最終Raw画像フレーム又は先頭Raw画像フレームに対応する現像パラメータと、分割後のRaw動画像データとを、分割後のRaw動画像データと関連付けて記録することができる。従って、分割後のRaw動画像データを再生する際に、現像パラメータが記録されていないRaw画像フレームに対しても、補間処理によって適切な現像パラメータを生成することが可能であり、所望の画質でRaw動画像データを再生することができる。
これまで説明したように、本発明によれば、Raw動画像データを構成する最終Raw画像フレームに対応する現像パラメータを、Raw動画像データと関連付けて記録することができる。従って、かかるRaw動画像データを再生(現像)する際に、最終Raw画像フレームの近傍のRaw画像フレームに対して、適切な現像パラメータを補間処理によって生成することが可能となる。その結果、Raw動画像データを構成する最終Raw画像フレームに対応する現像パラメータが記録されるように制御されていない従来技術と比べて、所望の画質でRaw動画像データを再生することができる。
なお、本実施形態では、現像パラメータは、現像パラメータファイルとしてRaw動画像データ(Raw動画像ファイル)とは別に記録されているが、Raw動画像データと同一のファイルに記録するようにしてもよい。また、現像パラメータを記録する際には、対応するRaw画像フレームのフレーム番号や撮像時の時刻情報なども記録することが可能である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び、かかるプログラムを記憶した記憶媒体は本発明を構成することになる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (10)

  1. 複数のRaw画像フレームから構成されるRaw動画像データを記録する画像処理装置であって、
    Raw画像フレームに対応する現像パラメータを生成する生成手段と、
    前記Raw動画像データと、前記Raw動画像データに含まれるRaw画像フレームに対して前記生成手段が生成した前記現像パラメータとを記録媒体に記録する記録手段と、
    前記生成手段の動作と前記記録手段の動作とを制御する制御手段と、
    を有し、
    前記制御手段は、前記複数のRaw画像フレームのうち予め定められた条件を満たす複数の第1のRaw画像フレームに対応する現像パラメータと、前記複数のRaw画像フレームのうち前記Raw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータとが、前記Raw動画像データとともに前記記録媒体に記録されるように前記生成手段及び前記記録手段を制御することを特徴とする画像処理装置。
  2. 前記第1のRaw画像フレームは、前記複数のRaw画像フレームから予め定められた一定のフレーム間隔で抽出されたRaw画像フレームと、前記最終Raw画像フレームから直前の前記第1のRaw画像フレームとの間に存在する所定数のRaw画像フレームと、の少なくとも一方を含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記Raw動画像データを生成する撮像手段を更に有し、
    前記制御手段は、前記撮像手段が前記Raw動画像データを生成している際にユーザから前記Raw動画像データの生成を停止するように指示があった場合、前記撮像手段による前記Raw動画像データの生成を停止させるとともに、前記撮像手段によって最後に生成されたRaw画像フレームを前記最終Raw画像フレームとして前記生成手段及び前記記録手段を制御することを特徴とする請求項1又は2に記載の画像処理装置。
  4. 前記Raw動画像データを生成する撮像手段を更に有し、
    前記制御手段は、前記撮像手段が前記Raw動画像データを生成している際にユーザから前記Raw動画像データの生成を停止するように指示があった場合、前記ユーザから前記Raw動画像データの生成を停止するように指示されたときに前記撮像手段が生成しているRaw画像フレームが前記第1のRaw画像フレームでなければ、前記撮像手段によって次の第1のRaw画像フレームが生成されてから前記撮像手段による前記Raw動画像データの生成を停止させ、前記撮像手段によって生成された前記次の第1のRaw画像フレームを前記最終Raw画像フレームとして前記生成手段及び前記記録手段を制御することを特徴とする請求項1又は2に記載の画像処理装置。
  5. 複数のRaw画像フレームから構成されるRaw動画像データを記録する画像処理装置であって、
    前記複数のRaw画像フレームのそれぞれに対応する複数の現像パラメータを生成する生成手段と、
    前記Raw動画像データと、前記複数のRaw画像フレームのそれぞれに対して前記生成手段が生成した前記複数の現像パラメータとを記録媒体に記録する記録手段と、
    前記複数のRaw画像フレームのうち予め定められた条件を満たす複数の第1のRaw画像フレームに対応する現像パラメータと、前記複数のRaw画像フレームのうち前記Raw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータとを除く現像パラメータを削除する削除手段と、
    を有することを特徴とする画像処理装置。
  6. 複数のRaw画像フレームで構成され、前記複数のRaw画像フレームのうち一部のRaw画像フレームのそれぞれに対して現像パラメータが関連付けられているRaw動画像データを第1のRaw動画像データと第2のRaw動画像データに分割する画像処理装置であって、
    前記複数のRaw画像フレームから、前記第1のRaw動画像データの最終画像フレームに相当する最終Raw画像フレーム又は前記第2のRaw動画像データの先頭画像フレームに相当する先頭Raw画像フレームを指定する指定手段と、
    前記第1のRaw動画像データの前記最終Raw画像フレーム及び前記第2のRaw動画像データの前記先頭Raw画像フレームのそれぞれに対応する現像パラメータを、前記一部のRaw画像フレームに対して関連付けられている現像パラメータを用いた補間処理により生成する生成手段と、
    前記第1のRaw動画像データの前記最終Raw画像フレームと、当該最終Raw画像フレームに対応する、前記生成手段によって生成された現像パラメータとを関連付け、且つ、前記第2のRaw動画像データの前記先頭Raw画像フレームと、当該先頭Raw画像フレームに対応する、前記生成手段によって生成された現像パラメータとを関連付けて、前記Raw動画像データを前記第1のRaw動画像データと前記第2のRaw動画像データとに分割する分割手段と、
    を有することを特徴とする画像処理装置。
  7. 前記生成手段は、前記第1のRaw動画像データの前記最終Raw画像フレーム及び前記第2のRaw動画像データの前記先頭Raw画像フレームのそれぞれに対応する現像パラメータを、前記一部のRaw画像フレームのうち、前記指定手段によって指定されたRaw画像フレームの直前のRaw画像フレーム及び直後のRaw画像フレームのそれぞれに対して関連付けられている現像パラメータを用いた補間処理により生成することを特徴とする請求項6に記載の画像処理装置。
  8. 複数のRaw画像フレームから構成されるRaw動画像データを記録する画像処理装置の制御方法であって、
    生成手段が、Raw画像フレームに対応する現像パラメータを生成する生成ステップと、
    記録手段が、前記Raw動画像データと、前記Raw動画像データに含まれるRaw画像フレームに対して前記生成ステップで生成した前記現像パラメータとを記録媒体に記録する記録ステップと、
    制御手段が、前記生成ステップと前記記録ステップとを制御する制御ステップと、
    を有し、
    前記制御ステップでは、前記複数のRaw画像フレームのうち予め定められた条件を満たす複数の第1のRaw画像フレームに対応する現像パラメータと、前記複数のRaw画像フレームのうち前記Raw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータとが、前記Raw動画像データとともに前記記録媒体に記録されるように前記生成ステップ及び前記記録ステップを制御することを特徴とする制御方法。
  9. 複数のRaw画像フレームから構成されるRaw動画像データを記録する画像処理装置の制御方法であって、
    生成手段が、前記複数のRaw画像フレームのそれぞれに対応する複数の現像パラメータを生成する生成ステップと、
    記録手段が、前記Raw動画像データと、前記複数のRaw画像フレームのそれぞれに対して前記生成ステップで生成した前記複数の現像パラメータとを記録媒体に記録する記録ステップと、
    削除手段が、前記複数のRaw画像フレームのうち予め定められた条件を満たす複数の第1のRaw画像フレームに対応する現像パラメータと、前記複数のRaw画像フレームのうち前記Raw動画像データの最終画像フレームに相当する最終Raw画像フレームに対応する現像パラメータとを除く現像パラメータを前記記録媒体から削除する削除ステップと、
    を有することを特徴とする制御方法。
  10. 複数のRaw画像フレームで構成され、前記複数のRaw画像フレームのうち一部のRaw画像フレームのそれぞれに対して現像パラメータが関連付けられているRaw動画像データを第1のRaw動画像データと第2のRaw動画像データに分割する画像処理装置の制御方法であって、
    指定手段が、前記複数のRaw画像フレームから、前記第1のRaw動画像データの最終画像フレームに相当する最終Raw画像フレーム又は前記第2のRaw動画像データの先頭画像フレームに相当する先頭Raw画像フレームを指定する指定ステップと、
    生成手段が、前記第1のRaw動画像データの前記最終Raw画像フレーム及び前記第2のRaw動画像データの前記先頭Raw画像フレームのそれぞれに対応する現像パラメータを、前記一部のRaw画像フレームに対して関連付けられている現像パラメータを用いた補間処理により生成する生成ステップと、
    分割手段が、前記第1のRaw動画像データの前記最終Raw画像フレームと、当該最終Raw画像フレームに対応する、前記生成ステップで生成された現像パラメータとを関連付け、且つ、前記第2のRaw動画像データの前記先頭Raw画像フレームと、当該先頭Raw画像フレームに対応する、前記生成ステップで生成された現像パラメータとを関連付けて、前記Raw動画像データを前記第1のRaw動画像データと前記第2のRaw動画像データとに分割する分割ステップと、
    を有することを特徴とする制御方法。
JP2010100361A 2010-04-23 2010-04-23 撮像装置、画像処理装置、制御方法及びプログラム Active JP5603641B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2010100361A JP5603641B2 (ja) 2010-04-23 2010-04-23 撮像装置、画像処理装置、制御方法及びプログラム
US13/088,788 US8848067B2 (en) 2010-04-23 2011-04-18 Image processing apparatus and method of controlling the same
EP11163055.4A EP2381449B1 (en) 2010-04-23 2011-04-19 Image processing apparatus and method of controlling the same
KR1020110036571A KR101283421B1 (ko) 2010-04-23 2011-04-20 화상처리장치 및 그 제어 방법
CN201110103630.8A CN102238333B (zh) 2010-04-23 2011-04-22 图像处理设备及其控制方法
CN201510472257.1A CN105187714B (zh) 2010-04-23 2011-04-22 图像处理设备及其控制方法
US14/465,359 US9443554B2 (en) 2010-04-23 2014-08-21 Image processing apparatus and method of controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010100361A JP5603641B2 (ja) 2010-04-23 2010-04-23 撮像装置、画像処理装置、制御方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2011233986A true JP2011233986A (ja) 2011-11-17
JP2011233986A5 JP2011233986A5 (ja) 2014-01-09
JP5603641B2 JP5603641B2 (ja) 2014-10-08

Family

ID=44260778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010100361A Active JP5603641B2 (ja) 2010-04-23 2010-04-23 撮像装置、画像処理装置、制御方法及びプログラム

Country Status (5)

Country Link
US (2) US8848067B2 (ja)
EP (1) EP2381449B1 (ja)
JP (1) JP5603641B2 (ja)
KR (1) KR101283421B1 (ja)
CN (2) CN102238333B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032518A (ja) * 2010-07-29 2012-02-16 Canon Inc 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2014171102A (ja) * 2013-03-04 2014-09-18 Dodwell Bms Ltd カメラ監視システム及びカメラ監視方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9521315B2 (en) * 2011-11-01 2016-12-13 Nokia Technologies Oy Apparatus and method for forming new images by determining stylistic settings of existing images
US9106936B2 (en) 2012-01-25 2015-08-11 Altera Corporation Raw format image data processing
JP6190236B2 (ja) * 2013-10-10 2017-08-30 キヤノン株式会社 画像表示装置、撮像装置、画像表示方法
CN107835362B (zh) * 2017-10-30 2019-12-31 Oppo广东移动通信有限公司 图像存储方法、图像显示方法及电子设备
GB2582422B (en) * 2019-02-05 2022-01-26 Canon Kk Video processing progress bar, indicating which parts have already been processed and which are yet to be processed
JP2023001629A (ja) * 2021-06-21 2023-01-06 キヤノン株式会社 撮像装置、情報処理装置及びその制御方法並びにプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259268A (ja) * 2002-03-05 2003-09-12 Canon Inc 動画像管理方法及び装置
JP2009055335A (ja) * 2007-08-27 2009-03-12 Sony Corp 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、現像プログラムおよびRaw動画フォーマット
JP2009147745A (ja) * 2007-12-14 2009-07-02 Samsung Techwin Co Ltd 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009171060A (ja) * 2008-01-11 2009-07-30 Canon Inc 画像処理装置およびその制御方法
JP2010263520A (ja) * 2009-05-11 2010-11-18 Nikon Corp 撮像装置、データ生成装置、およびデータ構造

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000064154A1 (en) * 1999-04-15 2000-10-26 Sony Corporation Imaging device and signal processing method
GB2356509B (en) 1999-11-16 2004-02-11 Sony Uk Ltd Video data formatting and storage
US7286724B2 (en) * 1999-12-06 2007-10-23 Hyundai Curitel, Inc. Method and apparatus for searching, browsing and summarizing moving image data using fidelity for tree-structure moving image hierarchy
US7287222B2 (en) 2002-01-31 2007-10-23 Canon Kabushiki Kaisha Information processing apparatus and method that determines effectiveness of metadata for editing information content
US20050099499A1 (en) 2003-11-10 2005-05-12 Ariel Braunstein Recyclable, digital one time use video camera
JP2006174412A (ja) 2004-11-18 2006-06-29 Fuji Photo Film Co Ltd 撮像装置
TWI300159B (en) 2004-12-24 2008-08-21 Sony Taiwan Ltd Camera system
JP4148228B2 (ja) * 2005-02-10 2008-09-10 ソニー株式会社 画像記録装置、画像再生制御装置、画像記録再生制御装置、これらの装置の処理方法およびその方法をコンピュータに実行させるプログラム
JP4035543B2 (ja) 2005-04-04 2008-01-23 キヤノン株式会社 撮像装置
JP2006303595A (ja) 2005-04-15 2006-11-02 Sony Corp 素材記録装置および素材記録方法
JPWO2006126679A1 (ja) * 2005-05-27 2008-12-25 三洋電機株式会社 データ記録装置、及びデータ記録装置におけるデータファイルの送信方法
JP4720387B2 (ja) * 2005-09-07 2011-07-13 ソニー株式会社 撮像装置、画像処理装置、および方法、並びにコンピュータ・プログラム
JP4743180B2 (ja) * 2006-09-28 2011-08-10 セイコーエプソン株式会社 画像表示制御装置、撮影装置、画像表示方法及びそのプログラム
JP4743179B2 (ja) * 2006-09-28 2011-08-10 セイコーエプソン株式会社 画像表示制御装置、撮影装置、画像表示方法及びそのプログラム
US7676146B2 (en) 2007-03-09 2010-03-09 Eastman Kodak Company Camera using multiple lenses and image sensors to provide improved focusing capability
JP2008301357A (ja) 2007-06-01 2008-12-11 Fujifilm Corp 撮像装置及びその制御方法
JP4958758B2 (ja) 2007-12-14 2012-06-20 三星電子株式会社 記録装置、再生装置、記録方法、再生方法及びプログラム
JP5290568B2 (ja) * 2007-12-17 2013-09-18 三星電子株式会社 動画像記録装置、動画像再生装置及びプログラム
US20090290645A1 (en) 2008-05-21 2009-11-26 Broadcast International, Inc. System and Method for Using Coded Data From a Video Source to Compress a Media Signal
CN101568039B (zh) * 2009-06-03 2011-04-20 广东威创视讯科技股份有限公司 一种白平衡调整方法、调整装置及摄像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259268A (ja) * 2002-03-05 2003-09-12 Canon Inc 動画像管理方法及び装置
JP2009055335A (ja) * 2007-08-27 2009-03-12 Sony Corp 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、現像プログラムおよびRaw動画フォーマット
JP2009147745A (ja) * 2007-12-14 2009-07-02 Samsung Techwin Co Ltd 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009171060A (ja) * 2008-01-11 2009-07-30 Canon Inc 画像処理装置およびその制御方法
JP2010263520A (ja) * 2009-05-11 2010-11-18 Nikon Corp 撮像装置、データ生成装置、およびデータ構造

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012032518A (ja) * 2010-07-29 2012-02-16 Canon Inc 画像処理装置、画像処理システム及び画像処理装置の制御方法
JP2014171102A (ja) * 2013-03-04 2014-09-18 Dodwell Bms Ltd カメラ監視システム及びカメラ監視方法

Also Published As

Publication number Publication date
EP2381449A3 (en) 2012-04-11
KR20110118566A (ko) 2011-10-31
KR101283421B1 (ko) 2013-07-08
US9443554B2 (en) 2016-09-13
CN102238333A (zh) 2011-11-09
CN105187714A (zh) 2015-12-23
CN102238333B (zh) 2015-08-12
US20140363136A1 (en) 2014-12-11
EP2381449B1 (en) 2016-02-10
CN105187714B (zh) 2018-10-02
EP2381449A2 (en) 2011-10-26
US20110261216A1 (en) 2011-10-27
JP5603641B2 (ja) 2014-10-08
US8848067B2 (en) 2014-09-30

Similar Documents

Publication Publication Date Title
JP4987129B2 (ja) 画像処理装置及びその制御方法
JP5603641B2 (ja) 撮像装置、画像処理装置、制御方法及びプログラム
JP2013533669A (ja) ビデオサマリ指示メタデータ格納
JP4958758B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009147549A (ja) 動画像記録装置、動画像再生装置及びプログラム
JP5213503B2 (ja) 記憶再生装置
JP6049425B2 (ja) 撮像装置、画像処理装置、及び制御方法
JP2009147743A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP4901673B2 (ja) 撮像装置、記録装置、再生装置、撮像方法、記録方法、再生方法及びプログラム
JP5683301B2 (ja) 画像記録装置
JP2011233985A (ja) 画像処理装置及びその制御方法
JP2009147745A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP4587178B2 (ja) 撮像装置及び撮像方法
JP6366268B2 (ja) 撮像装置及びその制御方法
JP6463967B2 (ja) 撮像装置及びその制御方法
JP6395532B2 (ja) 画像記録装置および方法、並びにプログラム
JP2021180396A (ja) 撮像装置および撮像装置の制御方法
JP2010011416A (ja) 撮像装置
JP2015159387A (ja) 動画記録装置
JP2009147746A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2017102588A (ja) 画像処理装置および画像処理装置の制御方法
JP2018152766A (ja) ファイル生成装置、ファイル生成方法、及び、プログラム
JP2011109292A (ja) 撮像装置、その制御方法及びプログラム並びに記憶媒体
JP2010004171A (ja) 信号処理装置、撮像装置
JP2010004172A (ja) 信号処理装置、撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130422

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140430

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140822

R151 Written notification of patent or utility model registration

Ref document number: 5603641

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151