JP5745134B2 - Image output device, display device, image output method, and program - Google Patents
Image output device, display device, image output method, and program Download PDFInfo
- Publication number
- JP5745134B2 JP5745134B2 JP2014089546A JP2014089546A JP5745134B2 JP 5745134 B2 JP5745134 B2 JP 5745134B2 JP 2014089546 A JP2014089546 A JP 2014089546A JP 2014089546 A JP2014089546 A JP 2014089546A JP 5745134 B2 JP5745134 B2 JP 5745134B2
- Authority
- JP
- Japan
- Prior art keywords
- image output
- frame
- image data
- exposure
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 64
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 9
- 230000002194 synthesizing effect Effects 0.000 claims description 7
- 238000013459 approach Methods 0.000 claims 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001172 regenerating effect Effects 0.000 description 3
- 230000008929 regeneration Effects 0.000 description 3
- 238000011069 regeneration method Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Description
本発明は、露光条件を異ならせて複数の画像が撮影された画像データを再生する再生装置および再生方法に関する。 The present invention relates to a playback apparatus and playback method for playing back image data obtained by shooting a plurality of images under different exposure conditions.
近年、露光条件の異なる複数の画像を撮影し、これらの複数の画像による画像データを合成して、ダイナミックレンジの拡大された１の画像を得る方法が提案されている（例えば、特許文献１、特許文献２参照）。また、近年では、ＣＭＯＳセンサなどの撮像素子による画像データの読み出し速度の高速化や高解像度化に伴い、撮像装置において、高解像度、ハイフレームレートの撮影が可能になった。 In recent years, a method has been proposed in which a plurality of images with different exposure conditions are taken and image data obtained by combining the plurality of images is obtained to obtain one image with an expanded dynamic range (for example, Patent Document 1, Patent Document 2). In recent years, with the increase in the reading speed and resolution of image data by an image sensor such as a CMOS sensor, it has become possible to shoot at a high resolution and a high frame rate in the imaging device.
しかしながら、従来では、表示出力の１フレーム期間内に露光条件を変えながら複数フレームが撮影された高解像かつハイフレームレートの動画を再生する際に、次のような問題点があった。すなわち、従来では、１フレーム期間内の複数フレームを合成してダイナミックレンジの拡大はできても、１フレーム期間内の複数フレームからユーザの好みに合わせて明るいフレームや暗いフレームを選択して再生することができなかった。 However, conventionally, when reproducing a high resolution and high frame rate moving image in which a plurality of frames are photographed while changing the exposure condition within one frame period of display output, there are the following problems. That is, conventionally, even if the dynamic range can be expanded by synthesizing a plurality of frames within one frame period, a bright frame or a dark frame is selected and reproduced from the plurality of frames within one frame period according to the user's preference. I couldn't.
したがって、本発明の目的は、露光条件を変えながら複数の画像が撮影された画像データの再生を、より柔軟に行うことが可能な再生装置を提供することにある。 Accordingly, an object of the present invention is to provide a reproducing apparatus that can more flexibly reproduce image data obtained by capturing a plurality of images while changing exposure conditions.
本発明は、上述した課題を解決するために、互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データが格納される記録媒体と、前記互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データを前記記録媒体から読み出す読出手段と、前記読出手段により前記記録媒体から読み出された、前記互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データを合成処理し、合成処理後の画像データを表示部に出力する合成手段と、前記合成手段により前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得手段と、前記取得手段により取得された前記指定領域の輝度特性に基づき、前記合成手段による合成処理を制御する制御手段と、を備えることを特徴とする画像出力装置である。 In order to solve the above-described problems, the present invention provides a recording medium storing a plurality of image data obtained by shooting under a plurality of different predetermined exposure conditions, and a plurality of different predetermined exposure conditions. reading means for reading the plurality of image data obtained by photographing from the recording medium, said read from said recording medium by reading means, a plurality obtained by photographing the different predetermined plurality of exposure conditions to each other The image data obtained by combining the image data and outputting the combined image data to the display unit; and a specified area of the image data output to the display unit by the combining unit is designated by the user depending on, an acquisition unit configured to acquire luminance characteristics of the designated region based on the luminance characteristics of the specified area which has been acquired by the acquisition unit, control for controlling the synthesizing process by said synthesis means A stage which is an image output apparatus, characterized in that it comprises a.
本発明は、画像出力装置の読出手段が、互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データが格納される記録媒体から前記複数の画像データを読み出す読出工程と、画像出力装置の合成手段が、前記読出工程により前記記録媒体から読み出された、前記互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データを合成処理し、合成処理後の画像データを表示部に出力する合成工程と、前記画像出力装置の取得手段が、前記合成工程により前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得工程と、前記画像出力装置の制御手段が、前記取得工程により取得された前記指定領域の輝度特性に基づき、前記合成工程による合成処理を制御する制御工程と、を備えることを特徴とする画像出力方法である。 According to the present invention, there is provided a reading step in which the reading means of the image output apparatus reads the plurality of image data from a recording medium storing a plurality of image data obtained by photographing with a plurality of different predetermined exposure conditions, The combining means of the output device combines the plurality of image data read out from the recording medium in the reading step and photographed under the predetermined plurality of different exposure conditions, and the combined image In accordance with the designation of a part of the designated area of the image data output to the display unit by the synthesis step, the synthesis step of outputting data to the display unit and the acquisition unit of the image output device, an acquisition step of acquiring luminance characteristics of the specified area, the control means of the image output device based on the luminance characteristic of the specified region obtained by the obtaining step, the synthesis processing by the synthesis process A control step of controlling an image output method, characterized in that it comprises a.
本発明は、露光条件を変えながら複数の画像が撮影された画像データの再生を、より柔軟に行うことができる。 According to the present invention, it is possible to more flexibly reproduce image data obtained by shooting a plurality of images while changing exposure conditions.
＜第１の実施形態＞
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本発明の第１の実施形態に適用可能な再生装置１００の一例の構成を示す。再生装置１００は、記録部１０１、再生フレーム選択部１０２、再生条件付加部１０３、表示部１０４、制御部１０５および操作部１０８を備える。制御部１０５は、メモリ１０６およびＣＰＵ(Central Processing Unit)１０７が設けられる。ＣＰＵ１０７は、メモリ１０６に記憶されるプログラムに従ってこの再生装置１００の各部の動作を制御する。
<First Embodiment>
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings. FIG. 1 shows an example of the configuration of a playback apparatus 100 applicable to the first embodiment of the present invention. The reproduction apparatus 100 includes a recording unit 101, a reproduction frame selection unit 102, a reproduction condition addition unit 103, a display unit 104, a control unit 105, and an operation unit 108. The control unit 105 includes a memory 106 and a CPU (Central Processing Unit) 107. The CPU 107 controls the operation of each unit of the playback device 100 according to a program stored in the memory 106.
記録手段としての記録部１０１は、例えばハードディスクドライブや光ディスク、不揮発性の半導体メモリなどを記録媒体として用い、この再生装置１００で再生する動画データが格納される。ここでは、記録部１０１に対して、表示出力の１フレーム期間内に露光時間などの露光条件を異ならせながら複数フレームが撮影されてなる動画データが格納されているものとする。つまり、この動画データは、表示部１０４で映像を表示するフレームレートよりも高いフレームレートの動画データであり、かつ、露光条件を異ならせた複数のフレームの組で構成されているものである。 The recording unit 101 as a recording unit uses, for example, a hard disk drive, an optical disk, a non-volatile semiconductor memory, or the like as a recording medium, and stores moving image data to be reproduced by the reproducing apparatus 100. Here, it is assumed that moving image data obtained by shooting a plurality of frames while different exposure conditions such as exposure time are stored in the recording unit 101 within one frame period of display output. That is, the moving image data is moving image data having a frame rate higher than the frame rate for displaying video on the display unit 104, and is composed of a set of a plurality of frames with different exposure conditions.
表示部１０４は、表示出力の１フレーム期間に動画データの１フレームを表示装置などに出力する。以下、表示出力の１フレーム期間を１再生フレーム期間と呼び、撮像画像のフレーム期間と区別する。なお、本第１の実施形態において、表示部１０４の再生レートは、６０ｆｐｓ(Frame per Second)とする。 The display unit 104 outputs one frame of moving image data to a display device or the like during one frame period of display output. Hereinafter, one frame period of display output is called one reproduction frame period, and is distinguished from the frame period of the captured image. In the first embodiment, the playback rate of the display unit 104 is 60 fps (Frame per Second).
選択手段および再生手段としての再生フレーム選択部１０２は、制御部１０５の制御に従い、記録部１０１に格納される動画データの再生時に、１再生フレーム期間内の複数フレームから再生するフレームを選択し、選択されたフレームを再生する。再生条件保存手段としての再生条件付加部１０３は、記録部１０１に格納される動画データの再生状態を保存する。例えば、再生条件付加部１０３は、再生フレーム選択部１０２で選択されたフレームの情報を保存する。 A reproduction frame selection unit 102 as a selection unit and a reproduction unit selects a frame to be reproduced from a plurality of frames within one reproduction frame period when reproducing moving image data stored in the recording unit 101 according to the control of the control unit 105. Play the selected frame. A playback condition adding unit 103 serving as a playback condition storage unit stores the playback state of the moving image data stored in the recording unit 101. For example, the playback condition adding unit 103 stores information on the frame selected by the playback frame selecting unit 102.
操作部１０８は、ユーザ操作を受け付けるためのもので、動画再生指示部１０９および再生条件設定部１１０を備える。操作部１０８は、動画再生指示部１０９および再生条件設定部１１０に対してなされたユーザ操作に応じた制御信号を出力し、制御部１０５に供給する。動画再生指示部１０９は、記録部１０１に格納された動画データの再生を指示する。また、再生条件設定部１１０は、記録部１０１に格納される動画データの再生条件を設定する。例えば、再生条件設定部１１０は、１フレーム期間の複数フレームから、所定の露光条件のフレームを再生するように条件を設定することができる。 The operation unit 108 is for accepting user operations, and includes a moving image reproduction instruction unit 109 and a reproduction condition setting unit 110. The operation unit 108 outputs a control signal corresponding to a user operation performed on the moving image reproduction instruction unit 109 and the reproduction condition setting unit 110 and supplies the control signal to the control unit 105. The moving image reproduction instructing unit 109 instructs to reproduce the moving image data stored in the recording unit 101. The playback condition setting unit 110 also sets playback conditions for moving image data stored in the recording unit 101. For example, the reproduction condition setting unit 110 can set conditions so as to reproduce frames with a predetermined exposure condition from a plurality of frames in one frame period.
図２は、記録部１０１に保存されている動画データと、表示部１０４に対して出力されるフレームとの一例の関係を、横軸を時間として示す。図２（ａ）は、記録部１０１に格納される動画データの一例を示し、図２（ｂ）は、表示部１０４に対して出力される動画データの一例を示す。 FIG. 2 shows an example of the relationship between the moving image data stored in the recording unit 101 and the frame output to the display unit 104, with the horizontal axis as time. 2A shows an example of moving image data stored in the recording unit 101, and FIG. 2B shows an example of moving image data output to the display unit 104.
この例では、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓであるものとする。一方、表示部１０４に出力される動画データの再生フレームレートは、６０ｆｐｓである。すなわち、記録部１０１に格納される動画データは、１再生フレーム期間に３フレームが露光条件を変えながら撮影されたものである。ここでは、記録部１０１に格納される動画データは、図２（ａ）に例示されるように、（−１）乃至（＋１）の露出レベルで、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の順で、フレーム毎に繰り返し撮影されているものとする。 In this example, it is assumed that the recording frame rate of the moving image data stored in the recording unit 101 is 180 fps. On the other hand, the reproduction frame rate of the moving image data output to the display unit 104 is 60 fps. That is, the moving image data stored in the recording unit 101 is captured while changing the exposure conditions for 3 frames in one playback frame period. Here, as illustrated in FIG. 2A, the moving image data stored in the recording unit 101 has an exposure level of (−1) to (+1), underexposure (−1), and appropriate exposure (0). ) And overexposed (+1) in this order.
なお、露出アンダー、適正露出および露出オーバーといった露光条件を示す情報は、動画データのフレームに関連付けられて記録部１０１に格納されるものとする。例えば、露光条件を示す情報を、フレームの属性情報として各フレームのデータに付加することが考えられる。これに限らず、露光条件を示す情報を、フレームを特定可能な情報と関連付けて、動画データとは別の管理データとして記録部１０１に格納してもよい。露光条件を示す情報は、例えば動画データが記録部１０１から再生される際に、対応するフレームと共に出力される。再生フレーム選択部１０２は、フレームと共に出力される露光条件を示す情報に基づき、１再生フレーム期間内の複数フレームから再生するフレームを選択することができる。 Note that information indicating exposure conditions such as underexposure, proper exposure, and overexposure is stored in the recording unit 101 in association with a frame of moving image data. For example, it is conceivable that information indicating exposure conditions is added to the data of each frame as frame attribute information. However, the present invention is not limited thereto, and the information indicating the exposure condition may be stored in the recording unit 101 as management data different from the moving image data in association with information that can specify the frame. The information indicating the exposure condition is output together with the corresponding frame when moving image data is reproduced from the recording unit 101, for example. The reproduction frame selection unit 102 can select a frame to be reproduced from a plurality of frames within one reproduction frame period based on information indicating the exposure condition output together with the frame.
＜第１の実施形態による再生動作＞
次に、第１の実施形態による動画データの再生動作について説明する。例えば図２の時刻Ａにおいて、ユーザ操作に応じて操作部１０８の動画再生指示部１０９により、記録部１０１に格納される動画データの再生が指示される。
<Reproduction Operation According to First Embodiment>
Next, the operation of reproducing moving image data according to the first embodiment will be described. For example, at time A in FIG. 2, reproduction of moving image data stored in the recording unit 101 is instructed by the moving image reproduction instruction unit 109 of the operation unit 108 in response to a user operation.
ここで、上述したように、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓであり、表示部１０４に出力する際の再生フレームレートが６０ｆｐｓである。そこで、記録部１０１に格納される動画データの３フレームにつき１枚の、最適な露光条件のフレームを再生フレーム選択部１０２にて選択する。 Here, as described above, the recording frame rate of the moving image data stored in the recording unit 101 is 180 fps, and the reproduction frame rate when output to the display unit 104 is 60 fps. Therefore, the reproduction frame selection unit 102 selects one frame with the optimum exposure condition for every three frames of the moving image data stored in the recording unit 101.
ここでは、再生フレーム選択部１０２にて、記録部１０１から再生されるフレームのうち、適正露出（０）で露光され記録されたフレームが選択されるものとする。例えば、再生条件設定部１１０に対して所定のユーザ操作が無い限り、適正露出（０）のフレームが選択されるものとする。図２の例では、期間Ｔ１（図２（ｃ）参照）において、適正露出（０）のフレームが選択されている。なお、再生フレーム選択部１０２は、記録部１０１に格納されている動画データから、指定された露出のフレームを選択的に読み出すようにしてもよい。 Here, it is assumed that the playback frame selection unit 102 selects a frame exposed and recorded with appropriate exposure (0) from among the frames played back from the recording unit 101. For example, it is assumed that a frame with proper exposure (0) is selected unless a predetermined user operation is performed on the playback condition setting unit 110. In the example of FIG. 2, a frame with appropriate exposure (0) is selected in the period T1 (see FIG. 2C). Note that the playback frame selection unit 102 may selectively read a frame with a specified exposure from the moving image data stored in the recording unit 101.
次に、図２の時刻Ｂにおいて、再生条件設定部１１０に対するユーザ操作により、再生している動画データによる映像の明るさを下げる指示が入力されたものとする。この場合、現在再生されているフレームよりも露出が低いフレームを選択することで、再生映像の明るさを下げることができる。この例では、選択するフレームを、適正露出（０）のフレームから露出アンダー（−１）のフレームに変更することになる。 Next, at time B in FIG. 2, it is assumed that an instruction to lower the brightness of the video based on the moving image data being reproduced is input by a user operation on the reproduction condition setting unit 110. In this case, the brightness of the reproduced video can be lowered by selecting a frame whose exposure is lower than that of the currently reproduced frame. In this example, the frame to be selected is changed from a frame with proper exposure (0) to a frame with underexposure (−1).
制御部１０５は、再生条件設定部１１０に対するユーザ操作に応じて操作部１０８から供給された制御信号に応じて、再生フレーム選択部１０２に対して、露出アンダー（−１）のフレームを選択するように指示する。再生フレーム選択部１０２は、この制御部１０５からの指示に応じて、記録部１０１から再生される動画データから、露光条件を示す情報を用いて露出アンダー（−１）のフレームを１再生フレーム期間に付き１枚、選択する。図２の例では、時刻Ｂ以降の期間Ｔ２（図２（ｃ）参照）の各再生フレーム期間において、露出アンダー（−１）のフレームが選択され、再生される。この場合、例えば適正露出では白飛びしていた部分の画像の確認が可能になる。 The control unit 105 selects the under-exposed (−1) frame for the reproduction frame selection unit 102 in accordance with a control signal supplied from the operation unit 108 in response to a user operation on the reproduction condition setting unit 110. To instruct. In response to an instruction from the control unit 105, the playback frame selection unit 102 selects an underexposed (−1) frame from moving image data played back from the recording unit 101 using information indicating an exposure condition for one playback frame period. Select one for each. In the example of FIG. 2, an underexposed (−1) frame is selected and played back in each playback frame period of time period T2 after time B (see FIG. 2C). In this case, for example, it is possible to check an image of a portion that has been overexposed at an appropriate exposure.
上記の処理をフローチャートを用いて説明する。図３は第１の実施形態における動画データの再生動作を制御するフローチャートである。まず、Ｓ３０１では、ユーザにより再生コンテンツが選択される。再生コンテンツの選択はユーザが操作部１０８の動画再生指示部１０９を操作することで入力された制御信号によって指示される。 The above process will be described with reference to a flowchart. FIG. 3 is a flowchart for controlling the moving image data reproduction operation according to the first embodiment. First, in S301, playback content is selected by the user. Selection of the playback content is instructed by a control signal input by the user operating the moving image playback instruction unit 109 of the operation unit 108.
再生コンテンツが選択されると、Ｓ３０２において制御部１０５は、このコンテンツが露光条件を変えて撮影された映像コンテンツであるか否かを判定する。なお、本フローチャートでは表示していないが、再生コンテンツのフレームレートが表示フレームレートよりも高い場合に、本制御を実行するものとする。再生コンテンツが露光条件を変えて撮影されたコンテンツである場合（Ｓ３０２でＹｅｓ）、ステップＳ３０３に処理を移行する。ステップＳ３０３では、再生フレーム選択部１０２が、デフォルトで定められた再生条件に対応するフレームをコンテンツのフレームから選択する。例えば、適正露出（０）という露光条件を示す情報が付与されたフレームを１再生フレーム期間に付き１枚選択する。そして、選択されたフレームを用いて再生が行われる。一方、コンテンツが露光条件を変えて撮影されたコンテンツではない場合（Ｓ３０２でＮｏ）、一般的に知られた通常の再生処理を実行する。この再生処理では、１再生フレーム期間に付き１枚のフレームを一定間隔で選択して表示部１０４の表示フレームレートで表示する処理である。この再生処理は本発明と直接関係するものではないので詳細な説明は省略する。 When the reproduction content is selected, in step S302, the control unit 105 determines whether or not this content is video content that has been shot with different exposure conditions. Although not displayed in this flowchart, this control is executed when the frame rate of the playback content is higher than the display frame rate. If the playback content is content that was shot with different exposure conditions (Yes in S302), the process proceeds to step S303. In step S303, the playback frame selection unit 102 selects a frame corresponding to the playback condition defined by default from the content frame. For example, one frame to which information indicating an exposure condition of appropriate exposure (0) is given is selected for one playback frame period. Then, playback is performed using the selected frame. On the other hand, if the content is not content captured by changing the exposure conditions (No in S302), generally known normal reproduction processing is executed. In this reproduction process, one frame is selected at a predetermined interval per one reproduction frame period and displayed at the display frame rate of the display unit 104. Since this reproduction processing is not directly related to the present invention, a detailed description is omitted.
Ｓ３０３でのコンテンツの再生後、ステップＳ３０４では、再生条件設定部１１０に対するユーザ操作により、再生している映像の明るさをアップする指示入力が発生したか否かを制御部１０５が判定する。明るさをアップする指示入力が発生した場合（Ｓ３０４でＹｅｓ）、制御部１０５はステップＳ３０７にて現在再生しているフレームよりも明るい露光条件を示す情報が付与されたフレームがあるか否かをこの情報を用いて判定する。明るいフレームがある場合（Ｓ３０７でＹｅｓ）、Ｓ３０８へ移行し、制御部１０５は再生フレーム選択部１０２に対して、現在再生中のフレームの露光条件よりも明るい露光条件となるフレームを選択するように指示する。例えば、現在再生中のフレームの露光条件が適正露出（０）である場合は、Ｓ３０３の処理と同様の処理で露出オーバー（＋１）のフレームを選択し、再生を行う。 After playback of the content in S303, in step S304, the control unit 105 determines whether or not an instruction input for increasing the brightness of the video being played has been generated by a user operation on the playback condition setting unit 110. When the instruction input for increasing the brightness occurs (Yes in S304), the control unit 105 determines in step S307 whether there is a frame to which information indicating exposure conditions brighter than the frame currently reproduced is present. This information is used for determination. If there is a bright frame (Yes in S307), the process proceeds to S308, and the control unit 105 selects a frame that has an exposure condition brighter than the exposure condition of the frame currently being reproduced, with respect to the reproduction frame selection unit 102. Instruct. For example, if the exposure condition of the frame currently being reproduced is appropriate exposure (0), the overexposed (+1) frame is selected by the same process as the process of S303, and reproduction is performed.
Ｓ３０７において、再生フレームよりも明るいフレームが存在しないと制御部１０５が判定した場合には（Ｓ３０７でＮｏ）、ステップＳ３１０に移行して、制御部１０５は表示部１０４に映像コンテンツの明るさの変更ができない旨のメッセージを表示する。 In S307, when the control unit 105 determines that there is no frame brighter than the playback frame (No in S307), the process proceeds to step S310, and the control unit 105 changes the brightness of the video content on the display unit 104. Displays a message that cannot be done.
ステップＳ３０４において、明るさをアップする指示入力ではない場合（Ｓ３０４でＮｏ）、ステップＳ３０５に処理を移行する。ステップＳ３０５では、再生条件設定部１１０に対するユーザ操作により、再生している映像の明るさをダウンする指示入力が発生したか否かを制御部１０５が判定する。Ｓ３０５の判定結果がＹｅｓの場合に移行するステップＳ３０９では、制御部１０５が再生フレームより暗いフレームがあるか否かを判定する。再生フレームより暗いフレームが無い場合（Ｓ３０９でＮｏ）、上述したＳ３１０に処理を移行する。再生フレームより暗いフレームがある場合（Ｓ３０９でＹｅｓ）、上述したＳ３０８へ移行する。 If it is not an instruction to increase brightness in step S304 (No in S304), the process proceeds to step S305. In step S <b> 305, the control unit 105 determines whether or not an instruction input for reducing the brightness of the video being played is generated by a user operation on the playback condition setting unit 110. In step S309, which shifts to a case where the determination result in S305 is Yes, the control unit 105 determines whether there is a darker frame than the playback frame. If there is no darker frame than the playback frame (No in S309), the process proceeds to S310 described above. If there is a darker frame than the playback frame (Yes in S309), the process proceeds to S308 described above.
Ｓ３０６では、制御部１０５が再生しているコンテンツの再生が停止したか否かを判定する。再生の停止はユーザの指示入力による停止またはコンテンツの終端到達による自動停止である。コンテンツの再生が停止していない場合は、Ｓ３０４以後の処理を繰り返すことで、再生コンテンツに対するユーザの再生条件の変更処理が発生した場合に対応する。再生が停止した場合は上述した制御を停止する。以上の処理がコンテンツの再生条件の変更を実現する制御である。 In step S306, the control unit 105 determines whether the reproduction of the content being reproduced has stopped. The stop of reproduction is a stop by an instruction input by the user or an automatic stop by reaching the end of the content. When the reproduction of the content is not stopped, the processing after S304 is repeated to correspond to the case where the user's reproduction condition changing process for the reproduced content occurs. When the reproduction is stopped, the above-described control is stopped. The above processing is control for realizing the change of the content reproduction condition.
なお、再生フレーム選択部１０２で選択されたフレームは、再生条件付加部１０３に供給される。再生条件付加部１０３は、供給されたフレームをそのまま表示部１０４に対して出力すると共に、再生条件設定部１１０に対するユーザ操作に応じて、当該再生動画データに対して指定された再生条件を保存する処理を行う。 Note that the frame selected by the playback frame selection unit 102 is supplied to the playback condition adding unit 103. The playback condition adding unit 103 outputs the supplied frame as it is to the display unit 104, and stores the playback conditions specified for the playback moving image data in accordance with a user operation on the playback condition setting unit 110. Process.
一例として、動画データを再生した状態を保存するか否かが、再生条件設定部１１０に対するユーザ操作により予め決定される。この決定内容に応じて、再生条件付加部１０３は、再生フレーム選択部１０２により選択された再生フレームの情報を、記録部１０１に格納される対応する動画データに対して付加する。再生フレームの情報は、例えば、再生中の動画データにおけるフレームデータのヘッダやフッタに対して関連付けて保存することが考えられる。これに限らず、再生フレームの情報を動画データとは別のデータとして、動画データのフレームと関連付けて管理することもできる。また、再生条件付加部１０３は、再生フレーム選択部１０２で選択されたフレームを特定する情報を、当該フレームの露光条件と関連付けて保存することができる。 As an example, whether or not to save the state where the moving image data is reproduced is determined in advance by a user operation on the reproduction condition setting unit 110. In accordance with this determination, the playback condition adding unit 103 adds the information of the playback frame selected by the playback frame selection unit 102 to the corresponding moving image data stored in the recording unit 101. For example, it is conceivable that the information on the reproduction frame is stored in association with the header or footer of the frame data in the moving image data being reproduced. However, the present invention is not limited to this, and the playback frame information can be managed as data different from the moving image data in association with the frame of the moving image data. Further, the reproduction condition adding unit 103 can store the information specifying the frame selected by the reproduction frame selection unit 102 in association with the exposure condition of the frame.
表示部１０４は、再生条件付加部１０３から供給されたフレームを、再生フレームレートを有する再生動画データとして出力する。例えば、表示部１０４は、選択したフレームを図示されないバッファに一旦溜め込み、バッファに溜め込んだフレームを再生フレームレートで読み出して、再生動画データとして出力する。 The display unit 104 outputs the frame supplied from the playback condition adding unit 103 as playback moving image data having a playback frame rate. For example, the display unit 104 temporarily stores the selected frame in a buffer (not shown), reads out the frame stored in the buffer at a playback frame rate, and outputs it as playback moving image data.
このように、動画データを再生した状態を保存することで、当該動画データを再び再生する際に、当該動画データにフレーム単位で関連付けられた再生フレームの情報を参照して、再生フレーム選択部１０２により再生した状態を容易に再現することが可能になる。 In this way, by saving the state in which the moving image data is reproduced, when the moving image data is reproduced again, the reproduction frame selection unit 102 refers to the information of the reproduction frame associated with the moving image data in units of frames. This makes it possible to easily reproduce the reproduced state.
以上説明したように、本発明の第１の実施形態によれば、１再生フレーム期間内に露光条件を変えながら撮影した複数のフレームを記録媒体から再生する際に、ユーザの指定した明るさでの再生が可能となる。 As described above, according to the first embodiment of the present invention, when playing back a plurality of frames shot while changing the exposure condition within one playback frame period from the recording medium, the brightness specified by the user is used. Can be played.
なお、上述では、再生条件設定部１１０に対してユーザ操作により再生条件が指定されなかった場合に、適正露出（０）のフレームを選択するように説明したが、これはこの例に限られず、露出アンダー（−１）または露出オーバー（＋１）のフレームを選択するようにしてもよい。 In the above description, when the reproduction condition is not designated by the user operation with respect to the reproduction condition setting unit 110, the frame with the appropriate exposure (0) is selected. However, this is not limited to this example. An underexposed (−1) or overexposed (+1) frame may be selected.
また、上述では、記録部１０１に格納される動画データは、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の３状態を順次繰り返して撮影され記録されているように説明したが、これはこの例に限定されない。記録部１０１に記録される動画データは、例えば露出レベルとして（−３）から（＋３）でフレーム毎に順次撮影されたものであってもよい。 Further, in the above description, the moving image data stored in the recording unit 101 is described as being photographed and recorded by sequentially repeating three states of underexposure (−1), proper exposure (0), and overexposure (+1). However, this is not limited to this example. The moving image data recorded in the recording unit 101 may be captured sequentially for each frame from (−3) to (+3) as an exposure level, for example.
さらに、上述では、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓ、表示部１０４に対して出力される再生動画データの再生フレームレートが６０ｆｐｓであるものとして説明したが、これはこの例に限定されない。すなわち、記録部１０１に格納される動画データが、再生レートに対してより高いフレームレート、且つ、より多様な露光条件で撮影された動画データであれば、再生したい露出レベルの選択の幅も広がる。これにより、再生時に明るさの変化量の種類も増加させ、段階的に明るさを変化させることが可能になる。 Further, in the above description, it has been described that the recording frame rate of the moving image data stored in the recording unit 101 is 180 fps and the reproduction frame rate of the reproduced moving image data output to the display unit 104 is 60 fps. It is not limited to examples. That is, if the moving image data stored in the recording unit 101 is moving image data shot at a higher frame rate than the reproduction rate and under various exposure conditions, the range of selection of the exposure level to be reproduced is widened. . As a result, the type of brightness change amount during reproduction can be increased, and the brightness can be changed step by step.
＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。本第２の実施形態は、ユーザによって注目領域が選択された場合、その注目領域の画像の明るさに応じて、最適なフレームを自動的に選択する。
<Second Embodiment>
Next, a second embodiment of the present invention will be described. In the second embodiment, when an attention area is selected by the user, an optimal frame is automatically selected according to the brightness of the image of the attention area.
図４は、本発明の第２の実施形態に適用可能な再生装置２００の一例の構成を示す。なお、図４において、上述の図１に示す再生装置１００と共通する部分には同一の符号を付して、詳細な説明を省略する。 FIG. 4 shows an example of the configuration of a playback apparatus 200 applicable to the second embodiment of the present invention. In FIG. 4, the same reference numerals are given to portions common to the playback apparatus 100 shown in FIG. 1 described above, and detailed description thereof is omitted.
図４に示される再生装置２００において、図１に示す再生装置１００に対して、統計量取得部３０１、注目領域選択拡大部３０２および注目領域選択指示部３０３が追加されている。統計量取得部３０１は、画像の特性に基づく所定の統計量を取得する。受付手段としての注目領域選択指示部３０３は、操作部１０８に対するユーザ操作に応じて、記録部１０１から再生された動画データから生成される表示画像における注目領域を選択する指示を行う。フレーム生成手段としての注目領域選択拡大部３０２は、再生フレーム選択部１０２から供給された動画データのフレーム毎に、注目領域選択指示部３０３により選択が指示された注目領域を選択し、拡大する。 In the playback device 200 shown in FIG. 4, a statistic acquisition unit 301, a region of interest selection enlargement unit 302, and a region of interest selection instruction unit 303 are added to the playback device 100 shown in FIG. The statistic acquisition unit 301 acquires a predetermined statistic based on image characteristics. The attention area selection instruction unit 303 as an accepting unit instructs to select the attention area in the display image generated from the moving image data reproduced from the recording unit 101 in response to a user operation on the operation unit 108. The attention area selection enlargement unit 302 as a frame generation unit selects and enlarges the attention area designated by the attention area selection instruction unit 303 for each frame of the moving image data supplied from the reproduction frame selection unit 102.
図５は、記録部１０１に保存されている動画データと、表示部１０４に対して出力されるフレームとの一例の関係を、横軸を時間として示す。図５（ａ）は、記録部１０１に格納される動画データの一例を示し、図５（ｂ）は、再生フレームにおいて、注目領域選択拡大部３０２により選択される領域の例を示す。 FIG. 5 shows an example of the relationship between moving image data stored in the recording unit 101 and frames output to the display unit 104, with the horizontal axis as time. FIG. 5A shows an example of moving image data stored in the recording unit 101, and FIG. 5B shows an example of a region selected by the attention region selection / enlargement unit 302 in the reproduction frame.
この例では、記録部１０１に格納される動画データは、記録フレームレートが１８０ｆｐｓ、画像サイズが８０００画素×４０００画素であるものとする。一方、表示部１０４に出力される動画データの再生フレームレートは、６０ｆｐｓである。すなわち、記録部１０１に格納される動画データは、１再生フレーム期間に３フレームが露光条件を変えながら撮影されたものである。ここでは、記録部１０１に格納される動画データは、図５（ａ）に例示されるように、（−１）乃至（＋１）の露出レベルで、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の順で、フレーム毎に繰り返し撮影されているものとする。なお、露出アンダー、適正露出および露出オーバーといった露光条件を示す情報は、動画データのフレームに関連付けられて記録部１０１に格納されるものとする。 In this example, it is assumed that the moving image data stored in the recording unit 101 has a recording frame rate of 180 fps and an image size of 8000 pixels × 4000 pixels. On the other hand, the reproduction frame rate of the moving image data output to the display unit 104 is 60 fps. That is, the moving image data stored in the recording unit 101 is captured while changing the exposure conditions for 3 frames in one playback frame period. Here, as illustrated in FIG. 5A, the moving image data stored in the recording unit 101 has an exposure level of (−1) to (+1), underexposure (−1), and proper exposure (0). ) And overexposed (+1) in this order. Note that information indicating exposure conditions such as underexposure, proper exposure, and overexposure is stored in the recording unit 101 in association with a frame of moving image data.
図６は、第２の実施形態による一例の再生処理を示すフローチャートである。図６のフローチャートによる各処理は、制御部１０５のＣＰＵ１０７で実行されるプログラムによって行われる。 FIG. 6 is a flowchart showing an example of reproduction processing according to the second embodiment. Each process according to the flowchart of FIG. 6 is performed by a program executed by the CPU 107 of the control unit 105.
図６のフローチャートの処理に先立って、ユーザ操作に応じて操作部１０８の動画再生指示部１０９により、記録部１０１に格納される動画データの再生が指示される。ここで、上述したように、記録部１０１に格納される動画データの記録フレームレートが１８０ｆｐｓであり、表示部１０４に出力する際の再生フレームレートが６０ｆｐｓである。再生フレーム選択部１０２は、再生指示に応じて記録部１０１から再生された動画データの１再生フレーム期間に付き１枚の、適切な露光条件のフレームを選択する。ここでは、適正露出（０）のフレームを選択するものとする。 Prior to the processing of the flowchart of FIG. 6, reproduction of moving image data stored in the recording unit 101 is instructed by the moving image reproduction instruction unit 109 of the operation unit 108 according to a user operation. Here, as described above, the recording frame rate of the moving image data stored in the recording unit 101 is 180 fps, and the reproduction frame rate when output to the display unit 104 is 60 fps. The reproduction frame selection unit 102 selects one frame with appropriate exposure conditions per one reproduction frame period of the moving image data reproduced from the recording unit 101 in accordance with the reproduction instruction. Here, it is assumed that a frame with proper exposure (0) is selected.
再生フレーム選択部１０２で選択されたフレームは、注目領域選択拡大部３０２を介して再生条件付加部１０３に供給される。再生条件付加部１０３は、供給されたフレームをそのまま表示部１０４に対して出力すると共に、上述したようにして、再生条件設定部１１０に対するユーザ操作に応じて、当該再生動画データに対して指定された再生条件を保存する処理を行う。 The frame selected by the reproduction frame selection unit 102 is supplied to the reproduction condition addition unit 103 via the attention area selection enlargement unit 302. The reproduction condition adding unit 103 outputs the supplied frame to the display unit 104 as it is, and is designated for the reproduction moving image data according to a user operation on the reproduction condition setting unit 110 as described above. Process to save the playback conditions.
説明は図６のフローチャートに戻り、動画データの再生が始まると、制御部１０５は、再生条件設定部１１０で再生条件を付加して保存するように予め設定されていたか否かを判断する（ステップＳ４０１）。若し、再生条件の付加を行わないように設定されていると判断されたら、処理はステップＳ４０３に移行される。 Returning to the flowchart of FIG. 6, when the reproduction of the moving image data starts, the control unit 105 determines whether or not the reproduction condition setting unit 110 has previously set the reproduction condition to be added and stored (step). S401). If it is determined that the reproduction condition is not added, the process proceeds to step S403.
一方、再生条件の付加を行うように設定されていると判断されたら、処理はステップＳ４０２に移行される。ステップＳ４０２では、制御部１０５は、再生条件付加部１０３に対して再生条件の動画データへの付加および保存を行うように指示する。再生条件付加部１０３は、この指示を受けると、再生条件をフレーム毎に付加して、記録部１０１に格納する。再生条件は、例えば対応するフレームのヘッダやフッタに付加することができる。これに限らず、再生条件を動画データとは別のデータとして管理することもできる。 On the other hand, if it is determined that the reproduction condition is added, the process proceeds to step S402. In step S402, the control unit 105 instructs the reproduction condition adding unit 103 to add and save the reproduction condition to the moving image data. Upon receiving this instruction, the reproduction condition adding unit 103 adds the reproduction condition for each frame and stores it in the recording unit 101. The playback condition can be added to the header or footer of the corresponding frame, for example. However, the reproduction condition can be managed as data different from the moving image data.
ステップＳ４０２で再生条件の付加および保存が行われると、処理はステップＳ４０３に移行される。ステップＳ４０３では、注目領域選択指示部３０３において、注目領域選択指示部３０３に対するユーザ操作に応じて、再生フレーム選択部１０２から供給されたフレームによる画像の注目領域を選択する。図５の例では、時刻Ｃで注目領域が図５（ｅ）に例示されるように選択されている。すなわち、フレームによる画像の座標（ｘ,ｙ）を、画素を単位として表現すると、画像全体では(0,0)-(8000,4000)の範囲となる。本実施形態では、注目領域が座標(2000,1000)-(3919,2079)として選択されたものとする。この選択された注目領域の座標は、動画データの再生条件として扱われる。すなわち、領域情報保存手段としての再生条件付加部１０３は、この選択された注目領域の座標を再生条件として、フレームに関連付けて記録部１０１に格納する。制御部１０５は、選択された注目領域を示す注目領域情報を統計量取得部３０１に供給する。 When the reproduction condition is added and stored in step S402, the process proceeds to step S403. In step S <b> 403, the attention area selection instruction unit 303 selects the attention area of the image based on the frame supplied from the reproduction frame selection unit 102 in response to a user operation on the attention area selection instruction unit 303. In the example of FIG. 5, the attention area is selected at time C as illustrated in FIG. That is, when the coordinates (x, y) of the image by the frame are expressed in units of pixels, the entire image is in the range of (0,0)-(8000,4000). In this embodiment, it is assumed that the attention area is selected as coordinates (2000, 1000)-(3919, 2079). The coordinates of the selected attention area are handled as a reproduction condition for moving image data. That is, the reproduction condition adding unit 103 as the area information storage unit stores the coordinates of the selected attention area in the recording unit 101 in association with the frame as a reproduction condition. The control unit 105 supplies attention area information indicating the selected attention area to the statistic acquisition unit 301.
処理はステップＳ４０４に移行され、統計量取得部３０１は、記録部１０１から再生される動画データの各フレームによる画像について、注目領域情報に示される注目領域内の特性を取得する。ここでは、注目領域における画素毎の輝度値による輝度特性、より具体的には輝度ヒストグラムを注目領域内の特性として取得するものとする。図５（ｃ）に、取得された輝度ヒストグラムの例を示す。この例では、再生フレーム選択部１０２で時刻Ｃの直後に選択されたフレームの画像について取得された輝度ヒストグラムが示されている。取得された輝度ヒストグラムの情報は、制御部１０５に供給される。 The process proceeds to step S404, and the statistic acquisition unit 301 acquires the characteristics in the attention area indicated by the attention area information for the image of each frame of the moving image data reproduced from the recording unit 101. Here, it is assumed that a luminance characteristic based on a luminance value for each pixel in the attention area, more specifically, a luminance histogram is acquired as a characteristic in the attention area. FIG. 5C shows an example of the acquired luminance histogram. In this example, a luminance histogram acquired for an image of a frame selected immediately after time C by the reproduction frame selection unit 102 is shown. The acquired luminance histogram information is supplied to the control unit 105.
処理は次のステップＳ４０５に移行され、制御部１０５により、取得された輝度ヒストグラムに基づき現在選択されているフレームの露出条件が適切か否かが判断される。例えば、制御部１０５は、選択された注目領域の輝度ヒストグラムの分布が、輝度の高い方向および輝度の低い方向に偏っていなければ、露光条件が適切であると判断する。また、当該輝度ヒストグラムの分布が輝度の高い方向および輝度の低い方向のうち少なくとも一方に偏っていれば、露出条件が適切ではないと判断する。若し、露出条件が適切であると判断されたら、処理はステップＳ４０７に移行される。 The process proceeds to the next step S405, and the control unit 105 determines whether or not the exposure condition of the currently selected frame is appropriate based on the acquired luminance histogram. For example, the control unit 105 determines that the exposure condition is appropriate if the distribution of the luminance histogram of the selected region of interest is not biased toward a high luminance direction and a low luminance direction. Further, if the distribution of the luminance histogram is biased to at least one of a high luminance direction and a low luminance direction, it is determined that the exposure condition is not appropriate. If it is determined that the exposure condition is appropriate, the process proceeds to step S407.
一方、ステップＳ４０５で、現在選択されているフレームの露出条件が適切ではないと判断されたら、処理はステップＳ４０６に移行される。ステップＳ４０６で、制御部１０５は、取得した注目領域の輝度ヒストグラムに基づき注目領域の明暗を判断し、判断結果に応じて適切な露光条件に対応する露出レベルを選択する。これは、輝度ヒストグラムの形状をいくつかのパターンとし、各パターンに対応して予め選択すべき露出レベルを定めておくことで実現できる。そして、制御部１０５は、再生フレーム選択部１０２に対して、当該適切な露光条件のフレームを選択するように指示する。 On the other hand, if it is determined in step S405 that the exposure condition of the currently selected frame is not appropriate, the process proceeds to step S406. In step S406, the control unit 105 determines the brightness of the attention area based on the acquired luminance histogram of the attention area, and selects an exposure level corresponding to an appropriate exposure condition according to the determination result. This can be realized by setting the shape of the luminance histogram to several patterns and determining the exposure level to be selected in advance corresponding to each pattern. Then, the control unit 105 instructs the reproduction frame selection unit 102 to select a frame with the appropriate exposure condition.
具体的には、輝度の高い側の階調に多くの度数がある場合は、映像が白飛びしている可能性があるため、表示部１０４に対して現在出力しているフレームより露出がアンダー（−１）のフレームを適切な露光条件のフレームとして選択する。一方、輝度が低い側の階調に多くの度数がある場合は、映像が黒潰れしている可能性があるため、表示部１０４に対して現在出力しているフレームより露出がオーバー（＋１）のフレームを適切な露光条件のフレームとして選択する。 Specifically, if there are many frequencies in the high-brightness gradation, the image may be overexposed, so the exposure is underexposed to the frame currently being output to the display unit 104. The frame of (-1) is selected as a frame with appropriate exposure conditions. On the other hand, when there are many frequencies in the low-brightness gradation, the video may be blacked out, so the exposure is over (+1) from the frame currently output to the display unit 104. Are selected as frames having appropriate exposure conditions.
図５（ｃ）の例では、輝度の高い側の階調に多くの度数が存在しているため、統計量の取得がなされた次のフレームに対応する時刻Ｄ以降で、露出アンダー（−１）のフレームを選択し、表示部１０４に対して出力している。なお、ここで選択された露光条件は、再生条件として扱われる。すなわち、露光条件保存手段としての再生条件付加部１０３は、この選択された露光条件を再生条件として、フレームに関連付けて記録部１０１に格納する。 In the example of FIG. 5C, since there are many frequencies in the gradation on the higher luminance side, an underexposure (−1) is performed after time D corresponding to the next frame where the statistics are acquired. ) Frame is selected and output to the display unit 104. Note that the exposure condition selected here is treated as a reproduction condition. That is, the reproduction condition adding unit 103 serving as an exposure condition storage unit stores the selected exposure condition as a reproduction condition in the recording unit 101 in association with the frame.
適切な露光条件のフレームが選択されると、処理は次のステップＳ４０７に移行される。ステップＳ４０７で、制御部１０５は、注目領域選択拡大部３０２に対して注目領域情報を送信し、フレームの画像における注目領域の拡大指示を出す。注目領域選択拡大部３０２では、制御部１０５から送信された注目領域情報に基づき、再生露光フレーム選択部１０２から供給されたフレームの画像の注目領域を拡大する。そして、注目領域が拡大された画像によるフレームを生成し、再生条件付加部１０３に対して出力する。すなわち、元の画像が注目領域でトリミングされ、１フレームの画像サイズに拡大されてフレームとして出力される。 When a frame with appropriate exposure conditions is selected, the process proceeds to the next step S407. In step S407, the control unit 105 transmits attention area information to the attention area selection enlargement section 302, and issues an instruction to enlarge the attention area in the image of the frame. Attention area selection enlargement section 302 enlarges the attention area of the image of the frame supplied from reproduction exposure frame selection section 102 based on attention area information transmitted from control section 105. Then, a frame based on the image in which the attention area is enlarged is generated and output to the reproduction condition adding unit 103. That is, the original image is trimmed in the attention area, enlarged to the image size of one frame, and output as a frame.
なお、注目領域選択拡大部３０２は、注目領域選択指示部３０３に対して注目領域を選択するユーザ操作が行われていない場合や、選択された注目領域がリセットされた場合は、供給されたフレームをそのまま出力するものとする。 Note that the attention area selection enlargement unit 302 receives the supplied frame when the user operation for selecting the attention area is not performed on the attention area selection instruction unit 303 or when the selected attention area is reset. Are output as they are.
制御部１０５は、ステップＳ４０８で、動画再生指示部１０９から動画データの再生の停止要求が出されたか否かが判断される。例えばユーザ操作に応じて動画再生指示部１０９から制御部１０５に対して再生停止要求が送信されると、制御部１０５は、記録部１０１格納される動画データの再生を停止して、一連の処理を終了させる。一方、再生の停止要求が出されていないと判断されたら、処理はステップＳ４０３に戻される。当然ながら、映像の進展に従って、注目領域の輝度ヒストグラムの値は変化する。そのため、現在選択している露出レベルのフレームでは適正な明るさではないケースが生じることがある。本実施形態では、再生が停止するまでの間、Ｓ４０４からＳ４０６の処理を都度繰り返しているので、表示するフレーム単位に適正な露光条件のフレームを選択することが可能である。また、再生途中で注目領域が変更された場合においても、上述の処理を行うことで適正な露光条件のフレームを選択して表示することが可能である。 In step S408, the control unit 105 determines whether or not a moving image data reproduction stop request has been issued from the moving image reproduction instruction unit 109. For example, when a playback stop request is transmitted from the video playback instruction unit 109 to the control unit 105 in response to a user operation, the control unit 105 stops playback of the video data stored in the recording unit 101 and performs a series of processing. End. On the other hand, if it is determined that a reproduction stop request has not been issued, the process returns to step S403. Of course, the value of the luminance histogram of the region of interest changes as the video progresses. For this reason, there may be a case in which the brightness is not appropriate in the frame of the currently selected exposure level. In the present embodiment, since the processing from S404 to S406 is repeated each time until the reproduction is stopped, it is possible to select a frame with an appropriate exposure condition for each frame to be displayed. Further, even when the attention area is changed during reproduction, it is possible to select and display a frame with an appropriate exposure condition by performing the above-described processing.
以上説明したように、本第２の実施形態によれば、再生フレーム期間内に露光条件を変えながら撮影した複数のフレームによる画像の注目領域を選択する場合、選択された注目領域における輝度ヒストグラムを取得し、この輝度ヒストグラムに基づき適切な露光条件のフレームを選択している。これにより、選択された注目領域の画像に合わせた明るさでの再生が可能となる。記録されたフレームでは画面全体として露光条件が変更されているため、仮に適正露出であると判定されているフレームの画像であっても、そのフレーム画像には黒潰れしている領域や白飛びしている領域が存在しているケースがある。従って、ユーザがフレーム画像内から選択した領域が適正露出であるとは限らない。本実施形態は、こうしたケースにおいても、ユーザが選択した注目領域を表示する場合に、より適切な明るさの画像を表示することを可能とするものである。 As described above, according to the second embodiment, when selecting a region of interest of an image of a plurality of frames shot while changing the exposure condition within the playback frame period, a luminance histogram in the selected region of interest is displayed. The frame having the appropriate exposure condition is selected based on the acquired brightness histogram. As a result, it is possible to reproduce with the brightness that matches the image of the selected region of interest. Since the exposure conditions of the recorded frame are changed for the entire screen, even if it is an image of a frame that has been determined to be properly exposed, the frame image has a blackened area or whiteout. There is a case where there is a region. Accordingly, the area selected by the user from within the frame image is not always appropriate exposure. Even in such a case, the present embodiment makes it possible to display an image having a more appropriate brightness when displaying the attention area selected by the user.
なお、再生される動画データによる画像がより高解像度（より大きな画像サイズ）であるほど、当該画像のある領域に注目しても十分に高解像度の動画をトリミング再生することが可能である。また、トリミングした座標も再生条件として記録することで、簡単な編集作業が可能となる。 Note that the higher the resolution (larger image size) of the image based on the moving image data to be reproduced, the more high-resolution moving image can be trimmed and reproduced even if attention is paid to a certain area of the image. In addition, by recording the trimmed coordinates as playback conditions, a simple editing operation can be performed.
なお、上述した第１の実施形態及び第２の実施形態では、記録フレームレートから１つのフレームを選択して表示しているが、複数枚のフレームを合成して生成した１枚のフレーム画像を用いることも可能である。例えば、露出アンダー（−１）と適正露出（０）のフレームを用いることで、露出アンダー（−１）と適正露出（０）の間の露出レベルの画像を生成することが可能である。このように、記録フレームの合成処理を用いることで、実際の露光条件よりも細かい露出レベルを選択することが可能となる。第１の実施形態であれば、ユーザによる明るさの選択をより詳細に行うことができるという効果を有する。また、第２の実施形態であれば、注目領域の画像をより適正な明るさの画像とすることが可能となる。 In the first embodiment and the second embodiment described above, one frame is selected from the recording frame rate and displayed, but one frame image generated by combining a plurality of frames is displayed. It is also possible to use it. For example, it is possible to generate an image with an exposure level between underexposure (-1) and proper exposure (0) by using frames with underexposure (-1) and proper exposure (0). As described above, by using the recording frame composition process, it becomes possible to select an exposure level finer than the actual exposure condition. If it is 1st Embodiment, it has the effect that selection of the brightness by a user can be performed in detail. In the second embodiment, it is possible to make the image of the attention area an image with more appropriate brightness.
＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。第１の実施形態及び第２の実施形態では、ユーザからの指示または輝度ヒストグラムに対応して、目的の明るさのフレームを即座に選択して表示していた。対して、第３の実施形態は、上述した記録フレームを複数用いた合成処理により、動画の明るさを目標の明るさに向けて段階的に変化させる。これにより、滑らかな動画再生を実現し、且つ、再生している動画の明るさを、目標の明るさに変化させることができる。なお、この処理は、上述した第１の実施形態及び第２の実施形態に対して適用することが可能である。ここでは、第２の実施形態に適用した場合として説明を行う。
<Third Embodiment>
Next, a third embodiment of the present invention will be described. In the first embodiment and the second embodiment, a frame having a target brightness is immediately selected and displayed in response to an instruction from the user or a luminance histogram. On the other hand, in the third embodiment, the brightness of the moving image is changed stepwise toward the target brightness by the synthesis process using a plurality of recording frames. As a result, smooth video playback can be realized, and the brightness of the video being played back can be changed to the target brightness. Note that this process can be applied to the first and second embodiments described above. Here, the case where it is applied to the second embodiment will be described.
図７は、本発明の第３の実施形態に適用可能な再生装置３００の一例の構成を示す。なお、図７において、上述の図１および図４に示す再生装置１００および再生装置２００と共通する部分には同一の符号を付して、詳細な説明を省略する。 FIG. 7 shows an exemplary configuration of a playback apparatus 300 applicable to the third embodiment of the present invention. In FIG. 7, the same reference numerals are given to portions common to the playback device 100 and the playback device 200 shown in FIGS. 1 and 4 described above, and detailed description thereof is omitted.
図７に示される再生装置３００において、図４に示す再生装置２００に対して、フレーム演算処理部６０１が追加されている。第３の実施形態では、再生露光フレーム選択部１０２は、１再生フレーム期間に複数すなわち２以上のフレームを選択する。フレーム合成手段としてのフレーム演算処理部６０１は、再生フレーム選択部１０２から供給された２以上のフレームに対して、累積加算処理や加重平均処理といった所定の演算処理を施す。そして、この演算処理から１つのフレームを生成して、注目領域選択拡大部３０２に対して出力する。 In the playback apparatus 300 shown in FIG. 7, a frame calculation processing unit 601 is added to the playback apparatus 200 shown in FIG. In the third embodiment, the reproduction exposure frame selection unit 102 selects a plurality, that is, two or more frames in one reproduction frame period. A frame calculation processing unit 601 as a frame synthesizing unit performs predetermined calculation processing such as cumulative addition processing and weighted average processing on two or more frames supplied from the reproduction frame selection unit 102. Then, one frame is generated from this calculation process, and is output to the attention area selection enlargement unit 302.
図８は、記録部１０１に保存されている動画データと、表示部１０４に対して出力されるフレームとの一例の関係を、横軸を時間として示す。図８（ａ）は、記録部１０１に格納される動画データの一例を示し、図８（ｃ）は、出力されるフレームの例を示す。 FIG. 8 shows an example of the relationship between the moving image data stored in the recording unit 101 and the frame output to the display unit 104, with the horizontal axis as time. FIG. 8A shows an example of moving image data stored in the recording unit 101, and FIG. 8C shows an example of an output frame.
この例では、記録部１０１に格納される動画データは、記録フレームレートが１２００ｆｐｓ、画像サイズが８０００画素×４０００画素であるものとする。一方、表示部１０４に出力される動画データの再生フレームレートは、１２０ｆｐｓであるものとする。すなわち、記録部１０１に格納される動画データは、１再生フレーム期間に１０フレームが露光条件を変えながら撮影されたものである。ここでは、記録部１０１に格納される動画データは、図８（ａ）に例示されるように、（−１）乃至（＋１）の露出レベルで、露出アンダー（−１）、適正露出（０）および露出オーバー（＋１）の順で、フレーム毎に繰り返し撮影されているものとする。なお、露出アンダー、適正露出および露出オーバーといった露光条件を示す情報は、動画データのフレームに関連付けられて記録部１０１に格納されるものとする。 In this example, it is assumed that the moving image data stored in the recording unit 101 has a recording frame rate of 1200 fps and an image size of 8000 pixels × 4000 pixels. On the other hand, it is assumed that the reproduction frame rate of the moving image data output to the display unit 104 is 120 fps. That is, the moving image data stored in the recording unit 101 is obtained by shooting 10 frames while changing the exposure condition in one playback frame period. Here, as illustrated in FIG. 8A, the moving image data stored in the recording unit 101 has an exposure level of (−1) to (+1), underexposure (−1), and appropriate exposure (0). ) And overexposed (+1) in this order. Note that information indicating exposure conditions such as underexposure, proper exposure, and overexposure is stored in the recording unit 101 in association with a frame of moving image data.
図９は、本第３の実施形態による一例の再生処理を示すフローチャートである。図９のフローチャートによる各処理は、制御部１０５のＣＰＵ１０７で実行されるプログラムによって行われる。なお、図９のフローチャートにおいて、上述した図６のフローチャートと共通する処理には同一の符号を付し、詳細な説明を省略する。すなわち、図９のフローチャートにおけるステップＳ４０１〜ステップＳ４０５の処理と、ステップＳ４０７およびステップＳ４０８の処理は、図６のフローチャートの処理と共通である。また、図９のフローチャートに先んじて行われる動画データの再生処理は、上述の第２の実施形態で既に説明した処理と同様であるので、ここでの説明を省略する。 FIG. 9 is a flowchart showing an example of reproduction processing according to the third embodiment. Each process according to the flowchart of FIG. 9 is performed by a program executed by the CPU 107 of the control unit 105. In the flowchart of FIG. 9, the same reference numerals are given to the processes common to the flowchart of FIG. 6 described above, and detailed description thereof is omitted. That is, the processes in steps S401 to S405 and the processes in steps S407 and S408 in the flowchart in FIG. 9 are the same as the processes in the flowchart in FIG. In addition, the moving image data reproduction processing performed prior to the flowchart of FIG. 9 is the same as the processing already described in the second embodiment, and thus description thereof is omitted here.
以下、図９のフローチャートについて、上述の図６のフローチャートによる処理と異なる処理について説明する。ステップＳ４０４で選択された注目領域の輝度ヒストグラムが取得されると、処理はステップＳ７０１に移行される。 Hereinafter, processing different from the processing according to the flowchart of FIG. 6 described above will be described with respect to the flowchart of FIG. 9. When the luminance histogram of the attention area selected in step S404 is acquired, the process proceeds to step S701.
ステップＳ７０１で、制御部１０５は、ステップＳ４０４で取得した輝度ヒストグラムに基づき、目標となる明るさに対応する露出レベルを決定する。次に、ステップＳ７０２では、制御部１０５は決定した目標露出レベルに至るまでに表示する中間露出レベルを決定する。例えば、現在のフレームの露出レベルが＋１であり、目標露出レベルが−１である場合に、中間露出レベルとしては、＋０．５、０、−０．５という値が決定される。この中間露出レベルの決定は、現在のフレームの露出レベルから目標露出レベルまでの差や、フレーム毎の露光条件、目標露出レベルに到達するために必要な時間（表示フレーム数）などの条件に基づいて適宜決定することが可能である。 In step S701, the control unit 105 determines an exposure level corresponding to the target brightness based on the luminance histogram acquired in step S404. Next, in step S702, the control unit 105 determines an intermediate exposure level to be displayed before reaching the determined target exposure level. For example, when the exposure level of the current frame is +1 and the target exposure level is −1, values of +0.5, 0, and −0.5 are determined as the intermediate exposure level. The determination of the intermediate exposure level is based on conditions such as the difference from the exposure level of the current frame to the target exposure level, the exposure conditions for each frame, and the time required to reach the target exposure level (number of display frames). Can be determined as appropriate.
続いて、ステップＳ７０３では、制御部１０５は、ステップＳ７０１及び７０２で決定された露出レベルとするために用いるフレームを１再生フレーム期間内のフレームから選択する指示を、再生フレーム選択部１０２に対して供給する。より具体的には、制御部１０５は、Ｓ７０２で決定した中間露出レベルに対応するようにフレームを選択する。このとき、１枚のフレームの露光条件が中間露出レベルに対応している場合には、１再生フレーム期間内から１枚のフレームを選択すれば良い。また、１枚のフレームの露光条件が中間露出レベルに対応していない場合には、１再生フレーム期間内から複数のフレームを選択し、これらのフレームを合成することで生成する。 Subsequently, in step S703, the control unit 105 instructs the reproduction frame selection unit 102 to select from the frames within one reproduction frame period a frame to be used for setting the exposure level determined in steps S701 and 702. Supply. More specifically, the control unit 105 selects a frame so as to correspond to the intermediate exposure level determined in S702. At this time, if the exposure condition of one frame corresponds to the intermediate exposure level, one frame may be selected from one playback frame period. If the exposure condition of one frame does not correspond to the intermediate exposure level, a plurality of frames are selected from one playback frame period, and these frames are synthesized.
図８の例では、１再生フレーム期間内の１０枚のフレームのうち３枚を選択して累積加算し、中間露出レベルに対応する１枚のフレームを生成する。生成されたフレームによる画像の明るさを段階的に暗くする場合の例（図８（ｃ）参照）について説明する。なお、図８（ｄ）に示される「レベル」は、画像の明るさを数値で示した露出レベルであり、数値が大きいほど明るい画像、数値が小さいほど暗い画像であることを示すものとする。 In the example of FIG. 8, three frames out of ten frames within one playback frame period are selected and cumulatively added to generate one frame corresponding to the intermediate exposure level. An example (see FIG. 8C) in which the brightness of an image by the generated frame is gradually reduced will be described. The “level” shown in FIG. 8D is an exposure level that represents the brightness of the image as a numerical value. The larger the numerical value, the brighter the image, and the smaller the value, the darker the image. .
一例として、図８（ｄ）に例示されるように、画像の明るさを数値（０）から数値（−３）まで下げる場合について考える。この場合、例えば画像の明るさを数値（０）、数値（−１）、数値（−２）および数値（−３）と段階的に下げていくことが考えられる。なお、ここでは、数値（−３）は、露出アンダー（−１）の画像の明るさに対応し、数値値（０）は、適正露出（０）の画像の明るさに対応するものとする。 As an example, consider a case where the brightness of an image is lowered from a numerical value (0) to a numerical value (−3) as illustrated in FIG. In this case, for example, it is conceivable that the brightness of the image is gradually reduced to a numerical value (0), a numerical value (-1), a numerical value (-2), and a numerical value (-3). Here, the numerical value (−3) corresponds to the brightness of an underexposed (−1) image, and the numerical value (0) corresponds to the brightness of an image with appropriate exposure (0). .
より具体的には、時刻Ｅから時刻Ｆまでは数値（−１）になるような組み合わせの複数枚のフレームを選択する。次に、時刻Ｆから時刻Ｇまでは数値値（−２）になるような組み合わせの複数枚のフレームを選択する。そして、時刻Ｇ以降では、目標の明るさである数値（−３）になるような組み合わせの複数枚のフレームを選択する。 More specifically, a plurality of frames having a combination of values (−1) from time E to time F are selected. Next, a plurality of frames are selected in such a combination that the numerical value (−2) is obtained from time F to time G. After time G, a plurality of frames are selected in such a combination that the numerical value (−3) that is the target brightness is obtained.
一例として、図８の時刻Ｅから時刻Ｆでは、数値（−１）になるように、対応する１再生フレーム期間の１０枚のフレームから３枚を選択する。例えば、図８（ｂ）に例示されるように、露出アンダー（−１）のフレームが１枚と、適正露出（０）のフレームが２枚との組み合わせで、フレームが選択される。図８の時刻Ｆから時刻Ｇでは、数値（−２）になるように、対応する１再生フレーム期間の１０枚のフレームから３枚を選択する。例えば、図８（ｂ）に例示されるように、露出アンダー（−１）のフレームが２枚と、適正露出（０）のフレームが１枚との組み合わせで、フレームが選択される。また、図８の時刻Ｇから時刻Ｈでは、数値（−３）になるように、対応する１再生フレーム期間の１０枚のフレームから３枚を選択する。例えば、図８（ｂ）に例示されるように、露出アンダー（−１）のフレームが３枚、選択される。 As an example, from time E to time F in FIG. 8, 3 frames are selected from 10 frames in the corresponding one playback frame period so as to be a numerical value (−1). For example, as illustrated in FIG. 8B, a frame is selected by a combination of one underexposed (−1) frame and two appropriately exposed (0) frames. From time F to time G in FIG. 8, three frames are selected from the 10 frames in the corresponding one playback frame period so as to be a numerical value (−2). For example, as illustrated in FIG. 8B, a frame is selected by combining two underexposed (−1) frames and one properly exposed (0) frame. Also, from time G to time H in FIG. 8, three frames are selected from the 10 frames in the corresponding one playback frame period so as to be a numerical value (−3). For example, as illustrated in FIG. 8B, three underexposed (−1) frames are selected.
なお、１再生フレーム期間に含まれる複数枚のフレームから、どのフレームを選択するかを決める方法は、様々に考えられる。例えば、選択されたフレームの間隔がなるべく等しい間隔になるように、連続する複数の再生フレーム期間のそれぞれにおいて選択するフレームを決めることが考えられる。 There are various methods for determining which frame to select from a plurality of frames included in one playback frame period. For example, it is conceivable to determine a frame to be selected in each of a plurality of consecutive playback frame periods so that the intervals of the selected frames are as equal as possible.
フレームの選択が完了したら、処理はステップＳ７０４に移行される。ステップＳ７０４では、１再生フレーム期間において選択された複数枚のフレームが再生フレーム選択部１０２からフレーム演算処理部６０１に供給される。フレーム演算処理部６０１は、供給された複数枚のフレームを累積的に加算する。フレームの加算は、例えば加算フレームおよび被加算フレームの対応する画素同士で画素値を加算して行う。そして、加算結果を、加算したフレーム枚数で除して１枚のフレームを生成する。この複数のフレームの累積加算により１枚のフレームを生成する処理は、１再生フレーム期間毎に加算結果をリセットしながら行われる。もちろん、１再生フレーム期間において選択去れたフレームが１枚の場合には加算処理を行わずない。 When the frame selection is completed, the process proceeds to step S704. In step S704, a plurality of frames selected in one playback frame period are supplied from the playback frame selection unit 102 to the frame calculation processing unit 601. The frame calculation processing unit 601 cumulatively adds the supplied plurality of frames. For example, the addition of frames is performed by adding pixel values between corresponding pixels of an addition frame and an addition frame. Then, one frame is generated by dividing the addition result by the added number of frames. The process of generating one frame by accumulating a plurality of frames is performed while resetting the addition result every one reproduction frame period. Of course, when one frame is selected in one playback frame period, no addition processing is performed.
フレーム演算処理部６０１で累積加算により生成されたこのフレームは、注目領域選択拡大部３０２へ供給される。以降、ステップＳ４０７でユーザ操作に応じて注目領域の選択および拡大処理が行われ、ステップＳ４０８で再生停止が指示されたか否かが判断される。若し、再生停止が指示されたと判断したら、記録部１０１からの動画データの再生動作を停止し、一連の処理を終了させる。一方、再生停止が指示されていないと判断したら、処理はステップＳ４０３に戻される。 This frame generated by the cumulative addition in the frame calculation processing unit 601 is supplied to the attention area selection enlargement unit 302. Thereafter, in step S407, a region of interest is selected and enlarged according to a user operation, and it is determined in step S408 whether or not playback stop is instructed. If it is determined that the reproduction stop is instructed, the reproduction operation of the moving image data from the recording unit 101 is stopped, and the series of processes is ended. On the other hand, if it is determined that playback stop is not instructed, the process returns to step S403.
以上説明したように、第３の実施形態によれば、１再生フレーム期間内に露出条件を変えながら撮影した複数のフレームの再生の際に、１再生フレーム期間の複数のフレームを選択して１枚のフレームに合成して出力するようにしている。これにより、目標となるフレームに対して滑らかな明るさの変更が可能となるため、違和感の低い表示を行うことが可能となる。 As described above, according to the third embodiment, when playing back a plurality of frames shot while changing the exposure condition within one playback frame period, a plurality of frames in one playback frame period are selected and 1 is selected. It is designed to be combined into a single frame and output. Thereby, since the brightness can be smoothly changed with respect to the target frame, a display with a low sense of discomfort can be performed.
なお、第３の実施形態では、フレーム演算処理部６０１において、複数のフレームを累積的に加算するようにしているが、これはこの例に限定されない。例えば、１再生フレーム期間内の全てのフレームの加重平均を算出し、算出結果に基づき１枚の再生フレームを生成することもできる。その際、各フレームにかける重みは、ステップＳ７０２の中間露出レベルの決定の際に、入力された各露光条件のフレームから、求めた中間露出レベルのフレームを生成するように設定する。こうすることで、複数のフレームを単純に累積加算するよりも、より良好な画質の動画を生成することができる。 In the third embodiment, the frame calculation processing unit 601 adds a plurality of frames cumulatively, but this is not limited to this example. For example, a weighted average of all frames within one playback frame period can be calculated, and one playback frame can be generated based on the calculation result. At this time, the weight applied to each frame is set so that a frame having the obtained intermediate exposure level is generated from the frame of each input exposure condition when the intermediate exposure level is determined in step S702. By doing this, it is possible to generate a moving image with better image quality than simply accumulating a plurality of frames.
Claims (26)
前記互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データを前記記録媒体から読み出す読出手段と、
前記読出手段により前記記録媒体から読み出された、前記互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データを合成処理し、合成処理後の画像データを表示部に出力する合成手段と、
前記合成手段により前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得手段と、
前記取得手段により取得された前記指定領域の輝度特性に基づき、前記合成手段による合成処理を制御する制御手段と、
を備えることを特徴とする画像出力装置。 A recording medium storing a plurality of image data obtained by photographing under a plurality of predetermined different exposure conditions;
Reading means for reading a plurality of image data obtained by photographing under a plurality of different predetermined exposure conditions from the recording medium;
A plurality of image data read out from the recording medium by the reading unit and photographed under a plurality of different predetermined exposure conditions are combined, and the combined image data is output to a display unit. Combining means;
An acquisition means for acquiring a luminance characteristic of the designated area in response to the designation of a part of the designated area of the image data output to the display unit by the synthesizing means ;
Control means for controlling the synthesis processing by the synthesis means based on the luminance characteristics of the designated area acquired by the acquisition means;
An image output apparatus comprising:
前記表示部と、を備えることを特徴とする表示装置。 The image output apparatus according to any one of claims 1 to 12 ,
And a display unit.
画像出力装置の合成手段が、前記読出工程により前記記録媒体から読み出された、前記互いに異なる所定の複数の露光条件で撮影して得られた複数の画像データを合成処理し、合成処理後の画像データを表示部に出力する合成工程と、
前記画像出力装置の取得手段が、前記合成工程により前記表示部に出力された画像データの一部の指定領域がユーザに指定されたことに応じて、前記指定領域の輝度特性を取得する取得工程と、
前記画像出力装置の制御手段が、前記取得工程により取得された前記指定領域の輝度特性に基づき、前記合成工程による合成処理を制御する制御工程と、
を備えることを特徴とする画像出力方法。 A reading step in which the reading unit of the image output apparatus reads the plurality of image data from a recording medium in which the plurality of image data obtained by photographing under a plurality of different predetermined exposure conditions is stored;
A synthesizing unit of the image output device performs a synthesizing process on the plurality of image data read out from the recording medium by the reading step and obtained by photographing with a plurality of different predetermined exposure conditions . A composition step of outputting image data to the display unit;
An acquisition step in which the acquisition unit of the image output device acquires the luminance characteristics of the specified region in response to a user specifying a specified region of part of the image data output to the display unit by the combining step. When,
A control step in which the control means of the image output device controls the synthesis processing by the synthesis step based on the luminance characteristics of the designated region acquired by the acquisition step;
An image output method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014089546A JP5745134B2 (en) | 2014-04-23 | 2014-04-23 | Image output device, display device, image output method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014089546A JP5745134B2 (en) | 2014-04-23 | 2014-04-23 | Image output device, display device, image output method, and program |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014032129A Division JP5539600B2 (en) | 2014-02-21 | 2014-02-21 | REPRODUCTION DEVICE, DISPLAY DEVICE, AND REPRODUCTION METHOD |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2014135775A JP2014135775A (en) | 2014-07-24 |
| JP5745134B2 true JP5745134B2 (en) | 2015-07-08 |
Family
ID=51413699
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014089546A Active JP5745134B2 (en) | 2014-04-23 | 2014-04-23 | Image output device, display device, image output method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5745134B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018124268A1 (en) | 2016-12-28 | 2018-07-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium |
| JP2019082768A (en) * | 2017-10-27 | 2019-05-30 | 株式会社リコー | Image processing device, display device, display processing method, and program |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003348438A (en) * | 2002-05-29 | 2003-12-05 | Fuji Photo Film Co Ltd | Image photographing method and apparatus, image selecting method and apparatus, and program |
| JP2006033033A (en) * | 2004-07-12 | 2006-02-02 | Konica Minolta Photo Imaging Inc | Method and program for reproducing motion image and image pickup device |
| JP2006033049A (en) * | 2004-07-12 | 2006-02-02 | Konica Minolta Photo Imaging Inc | Image pickup device |
| JP2007328555A (en) * | 2006-06-08 | 2007-12-20 | Hitachi Ltd | Image correction device |
| JP2008124671A (en) * | 2006-11-10 | 2008-05-29 | Sony Corp | Imaging apparatus and imaging method |
| JP5013954B2 (en) * | 2007-05-14 | 2012-08-29 | 三洋電機株式会社 | Imaging device |
| JP2009033586A (en) * | 2007-07-30 | 2009-02-12 | Canon Inc | Imaging apparatus |
-
2014
- 2014-04-23 JP JP2014089546A patent/JP5745134B2/en active Active
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018124268A1 (en) | 2016-12-28 | 2018-07-05 | Ricoh Company, Ltd. | Image processing apparatus, image processing system, image capturing system, image processing method, and recording medium |
| JP2019082768A (en) * | 2017-10-27 | 2019-05-30 | 株式会社リコー | Image processing device, display device, display processing method, and program |
| JP7135299B2 (en) | 2017-10-27 | 2022-09-13 | 株式会社リコー | Image processing device, display device, image processing method, program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014135775A (en) | 2014-07-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5294922B2 (en) | Playback apparatus and playback method | |
| TWI392346B (en) | Image processing apparatus, image processing method, and program | |
| JP5077003B2 (en) | Image processing apparatus, image processing method, and program | |
| JP4483963B2 (en) | Imaging apparatus and imaging method | |
| JP4492724B2 (en) | Image processing apparatus, image processing method, and program | |
| US9998702B2 (en) | Image processing device, development apparatus, image processing method, development method, image processing program, development program and raw moving image format | |
| JP2009232383A (en) | Imaging apparatus and imaging method | |
| JP6137792B2 (en) | IMAGING DEVICE, CONTROL METHOD FOR IMAGING DEVICE, PROGRAM, AND STORAGE MEDIUM | |
| US7995104B2 (en) | Image pick-up apparatus, image data processing apparatus, and recording medium | |
| JP5241559B2 (en) | Image recording / playback device | |
| JP2010258768A (en) | Image display device and control method thereof, program and storage medium | |
| JP5745134B2 (en) | Image output device, display device, image output method, and program | |
| JP2008141411A5 (en) | ||
| JP5491653B2 (en) | Playback apparatus and playback method | |
| JP3974798B2 (en) | Imaging device | |
| JP5539600B2 (en) | REPRODUCTION DEVICE, DISPLAY DEVICE, AND REPRODUCTION METHOD | |
| JP2003333380A (en) | Imaging apparatus, method for confirming photographed image, and program | |
| JP6223173B2 (en) | Image processing apparatus, control method thereof, and program | |
| JP6075829B2 (en) | IMAGING DEVICE, CAMERA SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP6360409B2 (en) | Imaging apparatus and imaging method | |
| JP7545238B2 (en) | Imaging device and control method thereof | |
| JP2020088665A (en) | Image processing apparatus, image processing method, program, and storage medium | |
| JP2006217083A (en) | Electronic imaging device and dynamic range expanding method thereof, and program | |
| JP2017152756A (en) | Imaging device, imaging method, and imaging program | |
| JP2015226232A (en) | Image processing apparatus, moving image playback device, moving image imaging apparatus and method for eliminating underexposure |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140423 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150107 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150116 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150430 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5745134 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |