[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2012084961A - Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program - Google Patents

Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program Download PDF

Info

Publication number
JP2012084961A
JP2012084961A JP2010227246A JP2010227246A JP2012084961A JP 2012084961 A JP2012084961 A JP 2012084961A JP 2010227246 A JP2010227246 A JP 2010227246A JP 2010227246 A JP2010227246 A JP 2010227246A JP 2012084961 A JP2012084961 A JP 2012084961A
Authority
JP
Japan
Prior art keywords
histogram data
luminance
video signal
generating
luminance level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010227246A
Other languages
Japanese (ja)
Inventor
Shingo Kida
晋吾 木田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2010227246A priority Critical patent/JP2012084961A/en
Publication of JP2012084961A publication Critical patent/JP2012084961A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PROBLEM TO BE SOLVED: To easily improve a pseudo stereoscopic effect as a whole screen in a pseudo stereoscopic image to be generated from a non-stereoscopic image.SOLUTION: A depth signal generation device 1 comprises: a luminance histogram data generation unit 121 that divides a luminance level of a video signal into plural luminance level areas, and generates luminance histogram data based on the number of pixels included in each luminance level area for every pixels of a predetermined unit of the video signal; a high-frequency component histogram data generation unit 122 that generates high-frequency component histogram data indicating the distribution of high-frequency components of luminance levels; and a depth signal estimation unit 13 that corrects the luminance histogram data based on the high-frequency component histogram data, calculates a gain correction value based on a state of the distribution of the corrected luminance histogram data, generates a tone correction curve based on the calculated gain correction value and the corrected luminance histogram data, and generates a depth signal from the video signal based on the generated tone correction curve.

Description

本発明は、通常の静止画もしくは動画、即ち奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から奥行き信号を生成し、この奥行き信号をもとにした処理を上記非立体画像に施すことにより、立体感を感じさせる立体画像の映像信号を生成し、出力するための奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムに関する。   The present invention generates a depth signal from a normal still image or moving image, that is, a video signal of a non-stereo image to which a depth signal is not given explicitly or implicitly like a stereo image. A depth signal generation device, a pseudo stereoscopic image signal generation device, a depth signal generation method for generating and outputting a stereoscopic image video signal that gives a stereoscopic effect by performing the above processing on the non-stereo image, The present invention relates to a pseudo stereoscopic image signal generation method, a depth signal generation program, and a pseudo stereoscopic image signal generation program.

立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から、擬似的な立体化画像を生成する処理が行われる。   In a stereoscopic display system, a normal still image or moving image, that is, a depth signal for representing a stereoscopic image is expressed explicitly or implicitly like a stereo image in order to enable viewing of a non-stereo image through pseudo-stereoscopic vision. In addition, a process for generating a pseudo three-dimensional image from a non-stereo image which is not given in FIG.

このような技術の一例として、例えば、特許文献1に記載の技術のような、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチが従来から知られている。この特許文献1記載の技術は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、上記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしている。   As an example of such a technique, for example, a perspective-based approach based on the premise that a tube having a cross section with a contour line corresponding to a depth, such as the technique described in Patent Document 1, is conventionally known. ing. The technique described in Patent Document 1 adds contour distance information to mesh image data to form three-dimensional polygon solid data, and applies color image data obtained from a photographic image to the three-dimensional polygon solid data. The three-dimensional polygon solid is rendered so as to obtain three-dimensional image data in such a manner that the color image data is pasted inside the three-dimensional polygon solid composed of the three-dimensional polygon solid data.

特開平9−185712号公報Japanese Patent Laid-Open No. 9-185712

しかしながら、特許文献1の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、擬似的な立体画像の効果が限定的である、という課題がある。   However, the method of Patent Document 1 is based on perspective, and in reality, perspective structure estimation is not suitable for all scenes of various non-stereoscopic images that are input. There is a problem that the effect of a stereoscopic image is limited.

また、遠近法的な構造推定が適合する場合であっても、自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない、という課題もある。   Further, even when perspective structure estimation is suitable, there is a problem that it is not easy to automatically construct a correct depth structure model and realize stereoscopic viewing without a sense of incongruity.

そこで、本発明は、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を簡単に向上させることができる奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムを提供することを目的とする。   Therefore, the present invention provides a depth signal generation device, a pseudo stereoscopic image signal generation device, and a depth that can easily improve the pseudo stereoscopic effect of the entire screen in a pseudo three-dimensional image generated from a non-stereo image. It is an object to provide a signal generation method, a pseudo stereoscopic image signal generation method, a depth signal generation program, and a pseudo stereoscopic image signal generation program.

上記目的を達成するため、本発明の奥行き信号生成装置(1)の第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成する輝度ヒストグラム生成手段(121)と、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラム生成手段(122)と、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成する輝度ヒストグラムデータ補正手段(13)と、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するゲイン算出手段(13)と、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて複数のガンマデータからなる階調補正曲線を生成する階調補正曲線生成手段(13)と、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成する奥行き信号生成手段(13)と、を有することにある。   In order to achieve the above object, a first feature of the depth signal generation device (1) of the present invention is that a range of possible luminance levels of a video signal is divided into a plurality of luminance level regions, and the predetermined unit of the video signal is obtained. In addition to determining which luminance level region the luminance level is included in each pixel, the number of pixels included in each luminance level region is counted, and the luminance level distribution of the video signal is shown based on the count value Luminance histogram generation means (121) for generating luminance histogram data, and high frequency component histogram generation means (122) for generating high frequency component histogram data indicating the distribution of high frequency components at the luminance level of the video signal in the plurality of luminance level regions. And corrected luminance histogram data based on the high frequency component histogram data Brightness histogram data correction means (13) for generating degree histogram data, gain calculation means (13) for calculating a gain correction value based on the distribution state of the corrected brightness histogram data, the gain correction value and the correction A tone correction curve generating means (13) for generating a tone correction curve composed of a plurality of gamma data based on the later luminance histogram data, and a depth signal indicating the depth from the video signal based on the tone correction curve And a depth signal generating means (13) for generating.

また、本発明の奥行き信号生成装置(1)の第2の特徴は、前記階調補正曲線生成手段(13)は、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて前記階調補正曲線を構成する複数のポイントとなるガンマデータを生成し、前記ガンマデータのリミット処理を行い、リミット処理された前記ガンマデータに対してリーク型積分処理を行い、積分処理したガンマデータを生成し、前記積分処理したガンマデータに基づいて前記階調補正曲線を生成する、ことにある。   In addition, a second feature of the depth signal generation device (1) of the present invention is that the gradation correction curve generation means (13) has the gradation based on the gain correction value and the corrected luminance histogram data. Generate gamma data, which is a plurality of points that make up the correction curve, perform limit processing of the gamma data, perform leak-type integration processing on the limited gamma data, and generate integrated gamma data The gradation correction curve is generated based on the integrated gamma data.

また、本発明の擬似立体画像信号生成装置の第1の特徴は、前記奥行き信号生成装置(1)と、前記奥行き信号生成装置によって生成された前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置(2)と、を有することにある。   The first feature of the pseudo stereoscopic image signal generation device of the present invention is based on the depth signal generation device (1), the depth signal generated by the depth signal generation device, and the video signal. And a stereo pair generation device (2) that generates a left-eye image signal and a right-eye image signal by shifting the texture of the video signal.

また、本発明の奥行き信号生成方法の第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、を有することにある。   In addition, a first feature of the depth signal generation method of the present invention is that the range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and the luminance level is set for each pixel of the predetermined unit of the video signal. Determining which luminance level region is included, counting the number of pixels included in each luminance level region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value; A step of generating high frequency component histogram data indicating a distribution of high frequency components at the luminance level of the video signal in the plurality of luminance level regions, and a corrected luminance obtained by correcting the luminance histogram data based on the high frequency component histogram data Generating histogram data, and analyzing the corrected histogram data Calculating a gain correction value based on the state, generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data, and the video signal based on the gradation correction curve Generating a depth signal indicating the depth from.

また、本発明の擬似立体画像信号生成方法の第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、有することにある。   In addition, the first feature of the pseudo stereoscopic image signal generation method of the present invention is that the range in which the luminance level of the video signal can be divided into a plurality of luminance level regions, and the luminance for each predetermined unit pixel of the video signal. Determine which luminance level region the level is included in, count the number of pixels included in each luminance level region, and generate luminance histogram data indicating the distribution of the luminance level of the video signal based on the count value A step of generating high-frequency component histogram data indicating a distribution of high-frequency components at a luminance level of the video signal in the plurality of luminance level regions, and after correcting the luminance histogram data based on the high-frequency component histogram data Generating brightness histogram data of the corrected brightness histogram data after the correction Calculating a gain correction value based on the distribution state, generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data, and based on the gradation correction curve Generating a depth signal indicating a depth from the video signal; generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal; , To have.

また、本発明の奥行き信号生成プログラムの第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、をコンピュータに実行させることにある。   In addition, a first feature of the depth signal generation program of the present invention is that the range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and the luminance level is set for each pixel of the predetermined unit of the video signal. Determining which luminance level region is included, counting the number of pixels included in each luminance level region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value; A step of generating high frequency component histogram data indicating a distribution of high frequency components at the luminance level of the video signal in the plurality of luminance level regions, and a corrected luminance obtained by correcting the luminance histogram data based on the high frequency component histogram data Generating histogram data, and the corrected luminance histogram data Calculating a gain correction value based on the distribution state, generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data, and based on the gradation correction curve And generating a depth signal indicating the depth from the video signal.

また、本発明の擬似立体画像信号生成プログラムの第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、をコンピュータに実行させることにある。   The first feature of the pseudo stereoscopic image signal generation program according to the present invention is that the range in which the luminance level of the video signal can be divided into a plurality of luminance level regions, and the luminance for each predetermined unit pixel of the video signal. Determine which luminance level region the level is included in, count the number of pixels included in each luminance level region, and generate luminance histogram data indicating the distribution of the luminance level of the video signal based on the count value A step of generating high-frequency component histogram data indicating a distribution of high-frequency components at a luminance level of the video signal in the plurality of luminance level regions, and after correcting the luminance histogram data based on the high-frequency component histogram data Generating the luminance histogram data of the corrected luminance histogram Calculating a gain correction value based on a data distribution state; generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data; and based on the gradation correction curve. Generating a depth signal indicating depth from the video signal; and generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal. And letting the computer execute.

本発明によれば、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を向上させることが可能となる。   According to the present invention, in a pseudo three-dimensional image generated from a non-stereo image, it is possible to improve a pseudo three-dimensional effect as the entire screen.

本発明の実施の形態を示すブロック図である。It is a block diagram which shows embodiment of this invention. 本実施の形態における一画面内の判定領域の一例を示す図である。It is a figure which shows an example of the determination area | region in one screen in this Embodiment. 本実施の形態における輝度ヒストグラムデータ生成部のブロック図である。It is a block diagram of the brightness | luminance histogram data generation part in this Embodiment. 本実施の形態における高周波成分ヒストグラムデータ生成部のブロック図である。It is a block diagram of the high frequency component histogram data generation part in this Embodiment. 本実施の形態における奥行き信号推定部の動作を示すフローチャートの一例である。It is an example of the flowchart which shows operation | movement of the depth signal estimation part in this Embodiment. 本実施の形態における輝度ヒストグラムデータ補正処理の詳細例を示すフローチャートである。It is a flowchart which shows the detailed example of the brightness | luminance histogram data correction process in this Embodiment. 本実施の形態における輝度ヒストグラムデータ補正の一例である。It is an example of brightness | luminance histogram data correction | amendment in this Embodiment. 本実施の形態における輝度ヒストグラムデータ補正の一例である。It is an example of brightness | luminance histogram data correction | amendment in this Embodiment. 本実施の形態における分散値に基づいた分散ゲインの一例である。It is an example of the dispersion gain based on the dispersion value in this Embodiment. 本実施の形態における階調補正曲線を構成する値を生成するためのフローチャートの一例である。It is an example of the flowchart for producing | generating the value which comprises the gradation correction curve in this Embodiment. 本実施の形態における階調補正曲線の生成方法を説明するための図である。It is a figure for demonstrating the production | generation method of the gradation correction curve in this Embodiment. 本実施の形態における階調補正曲線の比較を示す図である。It is a figure which shows the comparison of the gradation correction curve in this Embodiment. 本実施の形態における階調補正曲線の正規化リミット処理の一例を示す図である。It is a figure which shows an example of the normalization limit process of the gradation correction curve in this Embodiment. 本実施の形態におけるリーク型積分回路の一例である。It is an example of the leak type integration circuit in the present embodiment. 本実施の形態における奥行き信号算出の一例である。It is an example of the depth signal calculation in this Embodiment.

次に、本発明に係る奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムの実施の形態について説明する。なお、下記の説明では、本発明の擬似立体画像信号生成装置は、奥行き信号生成装置とステレオ生成装置とから構成される。   Next, embodiments of a depth signal generation device, a pseudo stereoscopic image signal generation device, a depth signal generation method, a pseudo stereoscopic image signal generation method, a depth signal generation program, and a pseudo stereoscopic image signal generation program according to the present invention will be described. In the following description, the pseudo stereoscopic image signal generation device of the present invention includes a depth signal generation device and a stereo generation device.

≪奥行き信号生成装置の実施の形態の説明≫
以下、本発明の実施の形態の奥行き信号生成装置について、図面を参照して説明する。
<< Description of Embodiment of Depth Signal Generation Device >>
Hereinafter, a depth signal generation device according to an embodiment of the present invention will be described with reference to the drawings.

図1は、本発明に係る奥行き信号生成装置および擬似立体画像信号生成装置の実施の形態の構成例を示すブロック図である。   FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a depth signal generation device and a pseudo stereoscopic image signal generation device according to the present invention.

図1に示すように、本実施の形態の擬似立体画像信号生成装置は、奥行き信号生成装置1と、ステレオペア生成装置2とを有しており、奥行きを示す奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号(輝度信号Y、色差信号B−Y,R−Y)から左目画像信号と右目画像信号とを生成して、ステレオ表示装置3に対し左目画像信号と右目画像信号とを出力するように構成されている。   As shown in FIG. 1, the pseudo stereoscopic image signal generation device according to the present embodiment includes a depth signal generation device 1 and a stereo pair generation device 2, and the depth signal indicating the depth is expressed explicitly or From a video signal (luminance signal Y, color difference signals BY, RY) of a non-stereo image composed of a plurality of images that are not given implicitly as in the case of a stereo image and that are continuous in time series. A left-eye image signal and a right-eye image signal are generated, and the left-eye image signal and the right-eye image signal are output to the stereo display device 3.

図1において、奥行き信号生成装置1は、ノイズ成分の影響を除外するローパスフィルタ11と、輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122で構成された画像特徴生成部12と、奥行き信号推定部13とを有する。なお、ローパスフィルタ11は、必須のものではなく、省略しても良い。   In FIG. 1, the depth signal generation device 1 includes a low-pass filter 11 that excludes the influence of noise components, an image feature generation unit 12 including a luminance histogram data generation unit 121 and a high frequency component histogram data generation unit 122, and a depth signal. And an estimation unit 13. The low pass filter 11 is not essential and may be omitted.

また、ステレオペア生成装置2は、奥行き信号推定部13で推定された奥行き信号に基づいて、入力される非立体画像の映像信号のテクスチャをシフトするテクスチャシフト部21と、オクルージョンを補償するオクルージョン補償部22と、ポスト処理を行うポスト処理部23と、左目画像信号生成部24と、右目画像信号生成部25とを有している。   In addition, the stereo pair generation device 2 is based on the depth signal estimated by the depth signal estimation unit 13, and a texture shift unit 21 that shifts the texture of the input non-stereo image video signal, and an occlusion compensation that compensates for occlusion. A post processing unit 23 that performs post processing, a left eye image signal generation unit 24, and a right eye image signal generation unit 25.

そして、ステレオペア生成装置2で生成された左目画像信号と右目画像信号とは、ステレオ表示装置3へ入力され、ステレオ表示装置3にて擬似的な立体画像が表示される。   Then, the left eye image signal and the right eye image signal generated by the stereo pair generation device 2 are input to the stereo display device 3, and a pseudo stereoscopic image is displayed on the stereo display device 3.

図2は、画像特徴生成部12を構成する輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122が画像の特徴として輝度ヒストグラムデータおよび高周波成分ヒストグラムデータを抽出する一画面f内の判定領域faの一例を示す図である。   FIG. 2 shows a determination area fa in one screen f in which the luminance histogram data generation unit 121 and the high frequency component histogram data generation unit 122 constituting the image feature generation unit 12 extract luminance histogram data and high frequency component histogram data as image features. It is a figure which shows an example.

図2に示すように、画像特徴生成部12を構成する輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122は、1フィールド又は1フレームである画面f内に所定の判定領域faを設け、それぞれ、判定領域fa内の輝度レベルに基づいて、画像の特徴量として、輝度ヒストグラムデータと、高周波成分ヒストグラムデータとを生成する。   As shown in FIG. 2, the luminance histogram data generation unit 121 and the high frequency component histogram data generation unit 122 constituting the image feature generation unit 12 provide a predetermined determination area fa in the screen f that is one field or one frame, Based on the luminance level in the determination area fa, luminance histogram data and high frequency component histogram data are generated as image feature amounts.

なお、本実施の形態では、1フィールド又は1フレーム毎に輝度および高周波成分のヒストグラムデータを生成するが、複数フィールド又は複数フレーム毎に輝度および高周波成分のヒストグラムデータを生成してもよく、画面の所定単位(時間単位)毎に輝度および高周波成分のヒストグラムデータを生成すればよい。ただし、1フィールド又は1フレーム毎に輝度および高周波成分のヒストグラムデータを生成することが望ましい。さらに判定領域faは、有効映像期間内であれば大きさは任意である。   In this embodiment, histogram data of luminance and high frequency components is generated for each field or frame, but histogram data of luminance and high frequency components may be generated for each of a plurality of fields or frames. What is necessary is just to produce | generate the histogram data of a luminance and a high frequency component for every predetermined unit (time unit). However, it is desirable to generate histogram data of luminance and high frequency components for each field or frame. Furthermore, the size of the determination area fa is arbitrary as long as it is within the effective video period.

(輝度ヒストグラムデータ生成部121の詳細構成例)
図3は、図1における輝度ヒストグラムデータ生成部121の構成例を示すブロック図である。
(Detailed Configuration Example of Luminance Histogram Data Generation Unit 121)
FIG. 3 is a block diagram illustrating a configuration example of the luminance histogram data generation unit 121 in FIG.

図3に示すように、輝度ヒストグラムデータ生成部121は、判定器群1211と、カウンタ群1212と、レジスタ群1213とを有する。   As illustrated in FIG. 3, the luminance histogram data generation unit 121 includes a determiner group 1211, a counter group 1212, and a register group 1213.

輝度ヒストグラムデータ生成部121に入力される映像信号の輝度信号Yは、まず、判定器群1211に供給される。   The luminance signal Y of the video signal input to the luminance histogram data generation unit 121 is first supplied to the determiner group 1211.

判定器群1211は、図3に示すように、複数の判定器1211a〜1211pにより構成され、輝度信号Yの取り得る輝度レベルの範囲を、所定の輝度レベル範囲の大きさの複数の輝度レベル領域に分割し、各画素毎にその輝度レベルがいずれかの輝度レベル領域に入るものであるかを判定する。本実施の形態では、例えば、輝度信号Yの輝度レベルを0〜255の256階調とし、輝度信号Yの取り得る輝度レベルの範囲を、0〜15階調、16〜31階調、32〜47階調、…、240〜255階調というように16階調毎の16の輝度レベル領域に分割するものとする。なお、256階調および16の輝度レベル領域の分割数は、あくまで、一例であり、これに限定されるものではない。例えば、輝度レベル=40の画素であれば、判定器1211cから“1”が出力され、その他の判定器からは“0”が出力される。   As illustrated in FIG. 3, the determiner group 1211 includes a plurality of determiners 1211 a to 1211 p, and the luminance level range that the luminance signal Y can take is a plurality of luminance level regions having a predetermined luminance level range. Then, it is determined for each pixel whether the luminance level falls within any luminance level region. In the present embodiment, for example, the luminance level of the luminance signal Y is set to 256 gradations from 0 to 255, and the luminance level ranges that the luminance signal Y can take are 0 to 15 gradations, 16 to 31 gradations, and 32 to It is assumed that the gradation is divided into 16 luminance level regions every 16 gradations, such as 47 gradations,. Note that the number of divisions of 256 gradation levels and 16 luminance level areas is merely an example, and the present invention is not limited to this. For example, if the pixel has a luminance level of 40, “1” is output from the determiner 1211c, and “0” is output from the other determiners.

また、カウンタ群1212は、複数のカウンタ1212a〜1212pにより構成され、それぞれ、対応する判定器1211a〜1211pから出力された信号をカウントアップし、そのカウント値を1だけインクリメントする。つまり、複数のカウンタ1212a〜1212pのカウント値は、判定器群1211により分割された16の各輝度レベル領域に含まれる画素の総数を示している。   The counter group 1212 includes a plurality of counters 1212a to 1212p, counts up signals output from the corresponding determiners 1211a to 1211p, and increments the count value by one. That is, the count values of the plurality of counters 1212a to 1212p indicate the total number of pixels included in each of the 16 luminance level regions divided by the determiner group 1211.

レジスタ群1213は、複数のレジスタ1213a〜1213pにより構成され、カウンタ群1212から出力されるカウント値を保持する。このように、輝度ヒストグラムデータ生成部121は、16階調毎の16に分割した輝度レベル領域に含まれる画素数をカウントして、輝度ヒストグラムデータを生成し、奥行き信号推定部13へ供給する。   The register group 1213 includes a plurality of registers 1213a to 1213p, and holds a count value output from the counter group 1212. As described above, the luminance histogram data generation unit 121 counts the number of pixels included in the luminance level region divided into 16 for every 16 gradations, generates luminance histogram data, and supplies the luminance histogram data to the depth signal estimation unit 13.

(高周波成分ヒストグラムデータ生成部122の詳細構成例)
図4は、図1における高周波成分ヒストグラムデータ生成部122の構成例を示すブロック図である。
(Detailed configuration example of the high-frequency component histogram data generation unit 122)
FIG. 4 is a block diagram illustrating a configuration example of the high-frequency component histogram data generation unit 122 in FIG.

図4に示すように、高周波成分ヒストグラムデータ生成部122は、HPF(ハイパスフィルタ)1221と、絶対値演算部1222と、コアリング演算部1223と、LPF(ローパスフィルタ)1224と、2値化演算部1225と、判定器群1226と、論理積ゲート群1227と、カウンタ群1228と、レジスタ群1229とを有している。   As shown in FIG. 4, the high frequency component histogram data generation unit 122 includes an HPF (high pass filter) 1221, an absolute value calculation unit 1222, a coring calculation unit 1223, an LPF (low pass filter) 1224, and a binarization calculation. A unit 1225, a determiner group 1226, an AND gate group 1227, a counter group 1228, and a register group 1229.

高周波成分ヒストグラムデータ生成部122では、図4に示すように、入力される輝度信号Yは、HPF1221と、判定器群1226とに供給される。   In the high frequency component histogram data generation unit 122, as shown in FIG. 4, the input luminance signal Y is supplied to the HPF 1221 and the determiner group 1226.

HPF1221は、注目画素とその周辺画素との差分値を生成し、絶対値演算部1222に供給する。   The HPF 1221 generates a difference value between the target pixel and its surrounding pixels and supplies the difference value to the absolute value calculation unit 1222.

絶対値演算部1222は、入力された差分値を絶対値化し、コアリング演算部1223に供給する。   The absolute value calculation unit 1222 converts the input difference value into an absolute value and supplies it to the coring calculation unit 1223.

コアリング演算部1223は、所定の閾値より小さい差分値は“0”を出力する処理を行い、その結果をLPF1224に供給する。これは、ノイズ成分の振幅は小さい事より、このノイズ成分の除去を目的とする処理である。LPF1224により平均化し2値化演算部1225に供給する。   The coring calculation unit 1223 performs a process of outputting “0” for a difference value smaller than a predetermined threshold, and supplies the result to the LPF 1224. This is a process aimed at removing the noise component since the amplitude of the noise component is small. The data is averaged by the LPF 1224 and supplied to the binarization calculation unit 1225.

2値化演算部1225では、所定の閾値より大きい場合は“1”を出力し、小さい場合は“0”を出力し、注目画素が高周波成分であるかの判断を行う。   The binarization calculation unit 1225 outputs “1” if it is larger than the predetermined threshold value, and outputs “0” if it is smaller, and determines whether the pixel of interest is a high frequency component.

なお、判定器群1226は、図3に示す輝度ヒストグラムデータ生成部121の判定器群1211と同様に、16個の判定器1226a〜1226pから構成されており、同様の機能を有している。   Similar to the determiner group 1211 of the luminance histogram data generation unit 121 shown in FIG. 3, the determiner group 1226 includes 16 determiners 1226a to 1226p, and has the same function.

論理積ゲート群1227は、判定器群1226からの信号と、2値化演算部1225からの信号との論理積を行い、その論理積結果をカウンタ群1228へ供給するもので、16個の論理積ゲート1227a〜1227pから構成されている。   The AND gate group 1227 performs a logical product of the signal from the determiner group 1226 and the signal from the binarization operation unit 1225 and supplies the logical product result to the counter group 1228. It consists of product gates 1227a-1227p.

カウンタ群1228およびレジスタ群1229は、図3に示す輝度ヒストグラムデータ生成部121のカウンタ群1212およびレジスタ群1213と同様に、16個のカウンタ1228a〜1228p、レジスタ1229a〜1229pから構成されており、同様の機能を有している。   The counter group 1228 and the register group 1229 are composed of 16 counters 1228a to 1228p and registers 1229a to 1229p, similarly to the counter group 1212 and the register group 1213 of the luminance histogram data generation unit 121 shown in FIG. It has the function of

このように、本実施の形態の高周波成分ヒストグラムデータ生成部122は、図4に示すように、16個に分割した輝度レベル領域に含まれる高周波成分の画素数をカウントして、各輝度レベル領域毎の高周波成分ヒストグラムデータを生成し、奥行き信号推定部13へ供給する。   As described above, the high frequency component histogram data generation unit 122 according to the present embodiment counts the number of high frequency component pixels included in the luminance level region divided into 16 as shown in FIG. High frequency component histogram data for each is generated and supplied to the depth signal estimation unit 13.

(奥行き信号推定部13における奥行き信号推定処理の詳細動作例)
図5は、奥行き信号推定部13における奥行き信号推定処理の詳細動作例を示すフローチャートである。
(Detailed operation example of depth signal estimation processing in the depth signal estimation unit 13)
FIG. 5 is a flowchart illustrating a detailed operation example of the depth signal estimation processing in the depth signal estimation unit 13.

図5に示すように、奥行き信号推定部13は、まず、画像特徴生成部12の輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122からそれぞれ画像特徴情報である輝度ヒストグラムデータおよび高周波成分ヒストグラムデータを取得する(ステップS510)。   As shown in FIG. 5, first, the depth signal estimation unit 13 receives luminance histogram data and high frequency component histograms as image feature information from the luminance histogram data generation unit 121 and the high frequency component histogram data generation unit 122 of the image feature generation unit 12, respectively. Data is acquired (step S510).

次に、奥行き信号推定部13は、高周波成分ヒストグラムデータを用いて輝度ヒストグラムの補正処理を行う(ステップS520)。   Next, the depth signal estimation unit 13 performs a luminance histogram correction process using the high-frequency component histogram data (step S520).

次に、奥行き信号推定部13は、高周波成分ヒストグラムデータによる補正後の輝度ヒストグラムデータを用いて分散値を算出し、その分散値に基づきゲイン補正値算出処理を行う(ステップS530)。   Next, the depth signal estimation unit 13 calculates a variance value using the corrected luminance histogram data based on the high frequency component histogram data, and performs a gain correction value calculation process based on the variance value (step S530).

次に、奥行き信号推定部13は、分散値に基づき算出したゲイン補正値により補正後の輝度ヒストグラムデータを用いて積分処理及び正規化処理を行い、階調補正曲線(ガンマ曲線)を構成するポイントであるガンマデータの算出処理を行う(ステップS540)。   Next, the depth signal estimation unit 13 performs integration processing and normalization processing using the luminance histogram data after correction using the gain correction value calculated based on the variance value, and constitutes a gradation correction curve (gamma curve). The gamma data is calculated (step S540).

次に、奥行き信号推定部13は、ステップS540で算出したガンマデータの正規化リミット処理を行う(ステップS550)。なお、このステップS550のガンマデータの正規化リミット処理は、省略しても良い。   Next, the depth signal estimation unit 13 performs the normalization limit process for the gamma data calculated in step S540 (step S550). The gamma data normalization limit process in step S550 may be omitted.

次に、奥行き信号推定部13は、ステップS550で正規化リミット処理を行ったガンマデータに対し時間方向のリーク型積分処理を行う(ステップS560)。なお、このステップS560のリーク型積分処理は、ステップS550のガンマデータの正規化リミット処理と同様に、省略しても良い。   Next, the depth signal estimation unit 13 performs a leaky integration process in the time direction on the gamma data that has undergone the normalization limit process in step S550 (step S560). Note that the leakage type integration process in step S560 may be omitted in the same manner as the normalization limit process for gamma data in step S550.

次に、奥行き信号推定部13は、リーク型積分処理によって算出した複数のガンマデータより補間データの作成を行う(ステップS570)。   Next, the depth signal estimation unit 13 creates interpolation data from a plurality of gamma data calculated by the leak-type integration process (step S570).

次に、奥行き信号推定部13は、補間データにより補間した階調補正曲線(ガンマ曲線)に基づいて奥行き量を決定する奥行き信号(シフト量S)を算出する(ステップS580)。なお、奥行き信号(シフト量S)の算出後は、S510の処理へ戻り、ステップS510〜ステップS580の処理を繰り返す。   Next, the depth signal estimation unit 13 calculates a depth signal (shift amount S) for determining the depth amount based on the gradation correction curve (gamma curve) interpolated by the interpolation data (step S580). After the depth signal (shift amount S) is calculated, the process returns to S510, and the processes in steps S510 to S580 are repeated.

次に、図5に示す奥行き信号推定部13の各ステップの処理を詳細に説明する。   Next, the process of each step of the depth signal estimation unit 13 shown in FIG. 5 will be described in detail.

(ステップS520の輝度ヒストグラム補正処理の詳細)
図6は、図5に示すステップS520の輝度ヒストグラム補正処理の詳細例を示すフローチャートである。
(Details of luminance histogram correction processing in step S520)
FIG. 6 is a flowchart showing a detailed example of the luminance histogram correction processing in step S520 shown in FIG.

奥行き信号推定部13は、ステップS510で取得した輝度ヒストグラムデータYhist[i]と高周波成分ヒストグラムデータHhist[i]とを用いて、補正後の輝度ヒストグラムデータCorrYhist[i]を生成する。   The depth signal estimation unit 13 generates corrected luminance histogram data CorrYhist [i] using the luminance histogram data Yhist [i] and the high-frequency component histogram data Hhist [i] acquired in step S510.

つまり、まず、奥行き信号推定部13は、16個に分割した輝度レベル領域を示すインデックスiと、輝度ヒストグラムデータYhist[i]の積分値Yhist_sumとを0に設定する(ステップS5200)。   That is, first, the depth signal estimation unit 13 sets the index i indicating the luminance level region divided into 16 and the integrated value Yhist_sum of the luminance histogram data Yhist [i] to 0 (step S5200).

次に、奥行き信号推定部13は、iが16未満であるか否かを判定する(ステップS5205)。ここで、iが16よりも小さい場合には(ステップS5205“YES”)、ステップS5210の処理へ進む一方、iが16以上である場合には(ステップS5205“NO”)、ステップS5220の処理へ進む。   Next, the depth signal estimation unit 13 determines whether i is less than 16 (step S5205). If i is smaller than 16 (step S5205 "YES"), the process proceeds to step S5210. If i is 16 or more (step S5205 "NO"), the process proceeds to step S5220. move on.

つまり、iが16よりも小さい場合には(ステップS5205“YES”)、奥行き信号推定部13は、次の式(1)に示す計算式により、Yhist[i]の積分を行う(ステップS5210)。   That is, when i is smaller than 16 (step S5205 “YES”), the depth signal estimation unit 13 performs integration of Yhist [i] by the calculation formula shown in the following formula (1) (step S5210). .

Yhist_sum = Yhist_sum +Yhist[i] …(1)
なお、ここで求められたYhist_sumは、一時的に奥行き信号推定部13内の図示しないメモリに保存される。
Yhist_sum = Yhist_sum + Yhist [i] (1)
The Yhist_sum determined here is temporarily stored in a memory (not shown) in the depth signal estimation unit 13.

ステップS5210の処理が終了すると、奥行き信号推定部13は、iを1インクリメントして(ステップS5215)、ステップS5205の処理に戻る。   When the process of step S5210 ends, the depth signal estimation unit 13 increments i by 1 (step S5215), and returns to the process of step S5205.

そして、奥行き信号推定部13は、i=15になるまで、ステップS5210およびステップS5215の処理を繰り返し、輝度ヒストグラムデータYhist[i]の積分値を生成する。   Then, the depth signal estimation unit 13 repeats the processing of step S5210 and step S5215 until i = 15, and generates an integrated value of the luminance histogram data Yhist [i].

一方、iが16以上になった場合(ステップS5205“NO”)、奥行き信号推定部13は、まず、iと、高周波成分ヒストグラムデータHhist[i]の積分値Hhist_sumと、補正後の輝度ヒストグラムデータCorrYhist[i]の積分値CorrYhist_sumとを0に設定する(ステップS5220)。   On the other hand, when i becomes 16 or more (step S5205 “NO”), the depth signal estimation unit 13 firstly calculates i, the integrated value Hhist_sum of the high-frequency component histogram data Hhist [i], and the corrected luminance histogram data. The integral value CorrYhist_sum of CorrYhist [i] is set to 0 (step S5220).

次に、奥行き信号推定部13は、iが16未満であるか否かを判定し(ステップS5225)、ここで、iが16よりも小さい場合には(ステップSS5225“YES”)、ステップS5230の処理へ進む一方、iが16以上の場合には(ステップS5225“NO”)、ステップS5275の処理へ進む。   Next, the depth signal estimation unit 13 determines whether i is less than 16 (step S5225). If i is smaller than 16 (step SS5225 “YES”), the process proceeds to step S5230. On the other hand, if i is 16 or more (step S5225 “NO”), the process proceeds to step S5275.

つまり、奥行き信号推定部13は、iが16よりも小さい場合には(ステップS5225“YES”)、まず、次の式(2)に示す計算式により、輝度ヒストグラムデータYhist[i]のYhist_sumに対する割合Yhist_rate[i]を求める(ステップS5230)。   That is, when i is smaller than 16 (step S5225 “YES”), the depth signal estimation unit 13 first calculates the luminance histogram data Yhist [i] with respect to Yhist_sum according to the following equation (2). The ratio Yhist_rate [i] is obtained (step S5230).

Yhist_rate[i]=(Yhist[i]×255)/Yhist_sum …(2)
次に、奥行き信号推定部13は、Yhist_rate[i]が閾値Yhist_thより大きいか否かを判定し(ステップS5235)、Yhist_rate[i]がYhist_thより大きい場合には(ステップS5235“YES”)、ステップS5240の処理へ進む一方、Yhist_rate[i]がYhist_th以下の場合には(ステップS5235“NO”)、ステップS5265の処理へ進む。
Yhist_rate [i] = (Yhist [i] × 255) / Yhist_sum (2)
Next, the depth signal estimation unit 13 determines whether Yhist_rate [i] is greater than the threshold Yhist_th (step S5235). If Yhist_rate [i] is greater than Yhist_th (step S5235 “YES”), the step While the process proceeds to S5240, if Yhist_rate [i] is equal to or lower than Yhist_th (step S5235 “NO”), the process proceeds to step S5265.

つまり、奥行き信号推定部13は、Yhist_rate[i]がYhist_thより大きい場合には(ステップS5235“YES”)、次の式(3)に示す計算式により、輝度ヒストグラムデータYhist[i]と、閾値Hhist_thを用いて、高周波成分ヒストグラムデータHhist[i]と比較する値Aを求める(ステップS5240)。   That is, when Yhist_rate [i] is larger than Yhist_th (step S5235 “YES”), the depth signal estimation unit 13 calculates the luminance histogram data Yhist [i] and the threshold value by the calculation formula shown in the following formula (3). Using Hhist_th, a value A to be compared with the high frequency component histogram data Hhist [i] is obtained (step S5240).

A=(Yhist[i]× Hhist_th/255)…(3)
次に、奥行き信号推定部13は、高周波成分ヒストグラムデータHhist[i]が、式(3)により求めた値A未満であるか否かを判定し(ステップS5245)、Hhist[i]がAよりも小さい場合には(ステップS5245“YES”)、ステップS5250の処理へ進む一方、Hhist[i]がA以上の場合には(ステップS5245“NO”)、ステップS5270の処理へ進む。
A = (Yhist [i] × Hhist_th / 255) (3)
Next, the depth signal estimation unit 13 determines whether or not the high-frequency component histogram data Hhist [i] is less than the value A obtained by Expression (3) (step S5245), and Hhist [i] is greater than A. Is smaller (step S5245 "YES"), the process proceeds to step S5250, while if Hhist [i] is greater than or equal to A (step S5245 "NO"), the process proceeds to step S5270.

つまり、奥行き信号推定部13は、Hhist[i]がAよりも小さい場合には(ステップS5245“YES”)、次の式(4)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]を求める(ステップS5250)。次いで、奥行き信号推定部13は、次の式(5)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]の積分値CorrYhist_sumを求める(ステップS5255)。   In other words, when Hhist [i] is smaller than A (step S5245 “YES”), the depth signal estimation unit 13 calculates the corrected luminance histogram data CorrYhist [i by the following equation (4). ] Is obtained (step S5250). Next, the depth signal estimation unit 13 obtains the integrated value CorrYhist_sum of the corrected luminance histogram data CorrYhist [i] by the calculation formula shown in the following formula (5) (step S5255).

CorrYhist[i]= Yhist[i]×(Hhist[i]/A) …(4)
CorrYhist_sum = CorrYhist_sum+CorrYhist[i] …(5)
これに対し、Yhist_rate[i]が閾値Yhist_th以下の場合には(ステップS5235“NO”)、奥行き信号推定部13は、次の式(6)に示す計算式により、高周波成分ヒストグラムデータHhist[i]の積分値Hhist_sumを求める(ステップS5265)。次いで、奥行き信号推定部13は、次の式(7)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]を求める(ステップS5270)。なお、Hhist[i]がA以上になった場合も(ステップS5245“NO”)、奥行き信号推定部13は、次の式(7)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]を求める(ステップS5270)。
CorrYhist [i] = Yhist [i] × (Hhist [i] / A) (4)
CorrYhist_sum = CorrYhist_sum + CorrYhist [i] (5)
On the other hand, when Yhist_rate [i] is equal to or smaller than the threshold Yhist_th (step S5235 “NO”), the depth signal estimation unit 13 calculates the high frequency component histogram data Hhist [i by the calculation formula shown in the following formula (6). ] Integral value Hhist_sum is obtained (step S5265). Next, the depth signal estimation unit 13 obtains corrected luminance histogram data CorrYhist [i] by the calculation formula shown in the following formula (7) (step S5270). Even when Hhist [i] is greater than or equal to A (step S5245 “NO”), the depth signal estimation unit 13 calculates the corrected luminance histogram data CorrYhist [i by the calculation formula shown in the following formula (7). ] Is obtained (step S5270).

Hhist_sum = Hhist_sum+Hhist[i] …(6)
CorrYhist[i]= Yhist[i] …(7)
奥行き信号推定部13は、ここで求めたCorrYhist[i]、CorrYhist[i]の積分値CorrYhist_sum、Hhist[i]の積分値Hhist_sumを、一時的に、図示しないメモリに保存する。
Hhist_sum = Hhist_sum + Hhist [i] (6)
CorrYhist [i] = Yhist [i] (7)
The depth signal estimation unit 13 temporarily stores the integral values CorrYhist_sum of CorrYhist [i] and CorrYhist [i] obtained here, and the integral value Hhist_sum of Hhist [i] in a memory (not shown).

ステップS5255もしくはステップS5270の処理が終了すると、奥行き信号推定部13は、iを1インクリメントして(ステップS5260)、ステップS5225の処理に戻る。   When the process of step S5255 or step S5270 ends, the depth signal estimation unit 13 increments i by 1 (step S5260) and returns to the process of step S5225.

このように、奥行き信号推定部13は、i=15になるまで、ステップS5225〜S5270の処理を繰り返す。   In this way, the depth signal estimation unit 13 repeats the processing of steps S5225 to S5270 until i = 15.

その一方、奥行き信号推定部13は、ステップS5225の判断処理で、iが16以上になったと判断した場合には(ステップS5225“NO”)、まず、iを0に設定し(ステップS5275)、続いてiが16未満であるか否かを判定する(ステップS5280)。   On the other hand, if the depth signal estimation unit 13 determines that i is equal to or greater than 16 in the determination process of step S5225 (step S5225 “NO”), first, i is set to 0 (step S5275). Subsequently, it is determined whether i is less than 16 (step S5280).

iが16よりも小さい場合(ステップS5280“YES”)、奥行き信号推定部13は、Yhist_rate[i]が閾値Yhist_th未満であるか否かを判定する(ステップS5285)。奥行き信号推定部13は、Yhist_rate[i]がYhist_thよりも小さい場合のみ(ステップS5285“YES”)、次の式(8)に示す計算式により、CorrYhist[i]を求め(ステップS5290)、Yhist_rate[i]が閾値Yhist_th以上の場合には(ステップS5285“NO”)、CorrYhist[i]を求めない。   When i is smaller than 16 (step S5280 “YES”), the depth signal estimation unit 13 determines whether Yhist_rate [i] is less than the threshold Yhist_th (step S5285). Only when Yhist_rate [i] is smaller than Yhist_th (step S5285 “YES”), the depth signal estimation unit 13 obtains CorrYhist [i] by the calculation formula shown in the following formula (8) (step S5290), and Yhist_rate When [i] is equal to or greater than the threshold Yhist_th (step S5285 “NO”), CorrYhist [i] is not obtained.

CorrYhist[i]= CorrYhist_sum×Hhist[i]/Hhist_sum …(8)
ここで求められたCorrYhist[i]は、一時的に奥行き信号推定部13内の図示しないメモリに保存される。
CorrYhist [i] = CorrYhist_sum × Hhist [i] / Hhist_sum (8)
CorrYhist [i] obtained here is temporarily stored in a memory (not shown) in the depth signal estimation unit 13.

その後、奥行き信号推定部13は、iを1インクリメントして(ステップS5295)、ステップS5280の処理に戻る。   Thereafter, the depth signal estimation unit 13 increments i by 1 (step S5295) and returns to the process of step S5280.

iが16以上になった場合(ステップS5280“NO”)、奥行き信号推定部13は、補正後の輝度ヒストグラムデータCorrYhist[i](i=0〜15)の生成を終了している。これにより、奥行き信号推定部13は、図5のステップS520の輝度ヒストグラムデータ補正処理を終了し、ステップS530へ進む。   When i becomes 16 or more (step S5280 “NO”), the depth signal estimation unit 13 finishes generating the corrected luminance histogram data CorrYhist [i] (i = 0 to 15). Thereby, the depth signal estimation part 13 complete | finishes the brightness | luminance histogram data correction process of step S520 of FIG. 5, and progresses to step S530.

図7は、奥行き信号推定部13が図5におけるステップS520の輝度ヒストグラム補正処理、すなわち図6に詳細に示す輝度ヒストグラム補正処理により補正した輝度ヒストグラムデータの一例である。   FIG. 7 is an example of luminance histogram data corrected by the depth signal estimation unit 13 by the luminance histogram correction processing in step S520 in FIG. 5, that is, the luminance histogram correction processing shown in detail in FIG.

図7において、横軸は、16個に分割した輝度レベル領域を示す輝度ヒストグラムデータのインデックスi(i=0〜15)、縦軸は、輝度ヒストグラムデータYhist[i]の頻度(画素数)を表している。   In FIG. 7, the horizontal axis represents the index i (i = 0 to 15) of the luminance histogram data indicating the luminance level region divided into 16, and the vertical axis represents the frequency (number of pixels) of the luminance histogram data Yhist [i]. Represents.

また、図7において、棒グラフ71は、補正前の輝度ヒストグラムデータYhist[i]、棒グラフ72は、高周波成分ヒストグラムデータHhist[i]、棒グラフ73は、補正後の輝度ヒストグラムデータCorrYhist[i]を表している。   In FIG. 7, a bar graph 71 represents luminance histogram data Yhist [i] before correction, a bar graph 72 represents high-frequency component histogram data Hhist [i], and a bar graph 73 represents luminance histogram data CorrYhist [i] after correction. ing.

この図7に示すような補正前の輝度ヒストグラムデータYhist[i]を有する画像は、例えば、大面積を占める暗い(低輝度の)平坦な領域に、明るい(中間輝度〜高輝度の)物体が存在する画像である。   In the image having the luminance histogram data Yhist [i] before correction as shown in FIG. 7, for example, a bright (intermediate luminance to high luminance) object is present in a dark (low luminance) flat area occupying a large area. It is an existing image.

そのため、奥行き信号推定部13は、この図7に示すような輝度ヒストグラムデータYhist[i]を示す画像では、ステップS520の高周波成分ヒストグラムによる輝度ヒストグラム補正処理により、インデックスiが“0”と“1”の輝度ヒストグラムデータYhist[i]を減少させ、破線74で示す減少分を、インデックスiが“2”〜“13” の輝度ヒストグラムデータYhist[i]に再配分している。これにより、奥行き信号推定部13は、画像中の暗い平坦な領域から、明るい物体に階調を割り振ることができる。なお、インデックスiが“0”〜“15”の補正前の輝度ヒストグラムデータの総和と、補正後の輝度ヒストグラムデータの総和とはほぼ等しくなる(計算誤差により微小な差は発生する)。   For this reason, the depth signal estimation unit 13 uses the luminance histogram correction process using the high frequency component histogram in step S520 for the image indicating the luminance histogram data Yhist [i] as shown in FIG. Luminance histogram data Yhist [i] is decreased, and the decrease indicated by the broken line 74 is redistributed to the luminance histogram data Yhist [i] whose index i is “2” to “13”. Thereby, the depth signal estimation part 13 can allocate a gradation to a bright object from the dark flat area | region in an image. It should be noted that the sum of luminance histogram data before correction for indexes i of “0” to “15” is substantially equal to the sum of luminance histogram data after correction (a minute difference occurs due to a calculation error).

なお、図7において、“Yhist_th”は、図6のステップS5235やステップS5285で使用する閾値である。また、Aは、上記式(3)により求めた高周波成分ヒストグラムデータHhist[i]と比較する値である。   In FIG. 7, “Yhist_th” is a threshold used in step S5235 or step S5285 in FIG. A is a value to be compared with the high frequency component histogram data Hhist [i] obtained by the above equation (3).

図8は、奥行き信号推定部13が図5におけるステップS520の輝度ヒストグラム補正処理、すなわち図6に詳細に示す輝度ヒストグラム補正処理により補正した輝度ヒストグラムデータの他の例である。   FIG. 8 shows another example of the luminance histogram data corrected by the depth signal estimation unit 13 by the luminance histogram correction processing in step S520 in FIG. 5, that is, the luminance histogram correction processing shown in detail in FIG.

図7と同様に、図8において、横軸は、輝度ヒストグラムデータのインデックスi(i=0〜15)、縦軸は、輝度ヒストグラムデータYhist[i]の頻度(画素数)を表しており、棒グラフ81は、補正前の輝度ヒストグラムデータYhist[i]、棒グラフ82は、高周波成分ヒストグラムデータHhist[i]、棒グラフ83は、補正後の輝度ヒストグラムデータCorrYhist[i]を表している。   As in FIG. 7, in FIG. 8, the horizontal axis represents the index i (i = 0 to 15) of the luminance histogram data, and the vertical axis represents the frequency (number of pixels) of the luminance histogram data Yhist [i]. The bar graph 81 represents luminance histogram data Yhist [i] before correction, the bar graph 82 represents high frequency component histogram data Hhist [i], and the bar graph 83 represents luminance histogram data CorrYhist [i] after correction.

この図8に示すような補正前の輝度ヒストグラムデータYhist[i]を有する画像は、例えば、大面積を占める明るい(高輝度の)平坦な領域と、低輝度〜中間輝度の物体が存在する画像である。図8に示す場合も、図7と同様に、奥行き信号推定部13は、ステップS520の輝度ヒストグラム補正処理により、インデックスiが“14”の輝度ヒストグラムデータYhist[i]を減少させ、破線84で示す減少分を、インデックスiが“1”〜“13” の輝度ヒストグラムデータYhist[i]に再配分している。これにより、図7の場合と同様に、奥行き信号推定部13は、画像中の明るい平坦な領域から、物体が存在する低輝度〜中間輝度に階調を割り振ることができる。なお、図7と同様に、図8において、“Yhist_th”は、図6のステップS5235やステップS5285で使用する閾値である。また、Aは、上記式(3)により求めた高周波成分ヒストグラムデータHhist[i]と比較する値である。   The image having the luminance histogram data Yhist [i] before correction as shown in FIG. 8 is, for example, an image in which a bright (high luminance) flat region occupying a large area and an object having low luminance to intermediate luminance are present. It is. Also in the case illustrated in FIG. 8, as in FIG. 7, the depth signal estimation unit 13 decreases the luminance histogram data Yhist [i] with the index i being “14” by the luminance histogram correction processing in step S <b> 520. The decrease shown is redistributed to the luminance histogram data Yhist [i] whose index i is “1” to “13”. Accordingly, as in the case of FIG. 7, the depth signal estimation unit 13 can assign gradations from a bright flat region in the image to low luminance to intermediate luminance where an object exists. As in FIG. 7, in FIG. 8, “Yhist_th” is a threshold used in step S5235 or step S5285 in FIG. A is a value to be compared with the high frequency component histogram data Hhist [i] obtained by the above equation (3).

(ステップS530の分散によるゲイン補正値算出処理の詳細)
次に、ステップS530の分散によるゲイン補正値算出処理の詳細について説明する。
(Details of gain correction value calculation processing by dispersion in step S530)
Next, details of the gain correction value calculation processing by the dispersion in step S530 will be described.

奥行き信号推定部13は、ステップS530では、まずステップS520で生成した補正後の輝度ヒストグラムデータCorrYhist[i]を用いて、次の式(9)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]の平均値CorrYhist_Aveを求める。   In step S530, the depth signal estimation unit 13 first uses the corrected luminance histogram data CorrYhist [i] generated in step S520, and calculates the corrected luminance histogram data CorrYhist according to the following equation (9). An average value CorrYhist_Ave of [i] is obtained.

Figure 2012084961
次に、奥行き信号推定部13は、次の式(10)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]の分散値SSを求める。
Figure 2012084961
Next, the depth signal estimation unit 13 obtains the dispersion value SS of the corrected luminance histogram data CorrYhist [i] by the calculation formula shown in the following formula (10).

Figure 2012084961
ここで、“abs”は、絶対値である。
Figure 2012084961
Here, “abs” is an absolute value.

式(10)により示す分散値SSは、補正後の輝度ヒストグラムデータCorrYhist[i]が特定のインデックスに集中した場合は、大きな値をとり、広い階調に分散している場合は、小さな値をとる。   The variance value SS represented by the equation (10) takes a large value when the corrected luminance histogram data CorrYhist [i] is concentrated on a specific index, and takes a small value when the luminance histogram data CorrYhist [i] is distributed over a wide gradation. Take.

図9は、本実施の形態における補正後の輝度ヒストグラムデータCorrYhist[i]の分散値SSと、ゲイン補正値Gssとの関係の一例を示す説明図である。   FIG. 9 is an explanatory diagram showing an example of the relationship between the dispersion value SS of the corrected luminance histogram data CorrYhist [i] and the gain correction value Gss in the present embodiment.

図9において、横軸は補正後の輝度ヒストグラムデータCorrYhist[i]の分散値SS、縦軸はゲイン補正値Gssを表す。   In FIG. 9, the horizontal axis represents the dispersion value SS of the corrected luminance histogram data CorrYhist [i], and the vertical axis represents the gain correction value Gss.

図9に示すように、例えば、分散値SS=0〜18と小さい場合、すなわち、補正後の輝度ヒストグラムデータCorrYhist[i]が広い階調に分散している場合は、ゲイン補正値Gssを1.4とする。   As shown in FIG. 9, for example, when the variance value SS = 0 to 18 is small, that is, when the corrected luminance histogram data CorrYhist [i] is dispersed over a wide gradation, the gain correction value Gss is set to 1. .4.

分散値SS=18〜133の範囲では、分散値SSが大きいほど、ゲイン補正値Gssを小さくする。すなわち、補正後の輝度ヒストグラムデータCorrYhist[i]が特定の階調に集中している度合いが大きいほど、ゲイン補正値Gssを減少させる。   In the range of the dispersion value SS = 18 to 133, the gain correction value Gss is decreased as the dispersion value SS is increased. That is, the gain correction value Gss is decreased as the degree to which the corrected luminance histogram data CorrYhist [i] is concentrated on a specific gradation is larger.

分散値SS=133以上では、補正後の輝度ヒストグラムデータCorrYhist[i]が特定の階調に集中しているものとみなして、ゲイン補正値Gssは0とする。   If the variance value SS is greater than or equal to 133, it is assumed that the corrected luminance histogram data CorrYhist [i] is concentrated on a specific gradation, and the gain correction value Gss is set to zero.

なお、図9に示す例では、分散値SS=18,133をゲイン補正値Gssの変化点としているが、これに限定されることはなく、ゲイン補正値Gssの変化点は任意に設定できる。なお、本実施の形態では分散値SSが133以上のときにゲイン補正値Gssを0としているが、0にしなくてもよい。   In the example shown in FIG. 9, the variance values SS = 18 and 133 are used as the change points of the gain correction value Gss. However, the present invention is not limited to this, and the change point of the gain correction value Gss can be set arbitrarily. In the present embodiment, the gain correction value Gss is set to 0 when the variance value SS is 133 or more, but may not be set to 0.

(ステップS540のガンマデータ算出処理の詳細)
図10は、図5に示すステップS540のガンマデータ算出処理の手順を示すフローチャートである。
(Details of gamma data calculation processing in step S540)
FIG. 10 is a flowchart showing the procedure of gamma data calculation processing in step S540 shown in FIG.

奥行き信号推定部13は、図5に示すステップS540のガンマデータ算出処理により、補正後の輝度ヒストグラムデータCorrYhist[i]と、ゲイン補正値Gssとを用いて、輝度信号の階調を補正するための階調補正曲線(ガンマ曲線)を構成する、ガンマデータであるポイントR[i](i=0〜15)を生成する。   The depth signal estimation unit 13 corrects the gradation of the luminance signal using the corrected luminance histogram data CorrYhist [i] and the gain correction value Gss by the gamma data calculation processing in step S540 shown in FIG. Point R [i] (i = 0 to 15), which is gamma data, constituting the tone correction curve (gamma curve).

つまり、奥行き信号推定部13は、まず、16個に分割した輝度レベル領域を示すインデックスiと、積分値sumとを、0に設定する(ステップS5400)。   That is, the depth signal estimation unit 13 first sets the index i indicating the luminance level region divided into 16 pieces and the integral value sum to 0 (step S5400).

次に、奥行き信号推定部13は、iが16未満であるか否かを判定する(ステップS5405)。ここで、iが16よりも小さい場合には(ステップS5405“YES”)、ステップS5410の処理へ進む一方、iが16以上の場合には(ステップS5405“NO”)、ステップS5445の処理へ進む。   Next, the depth signal estimation unit 13 determines whether i is less than 16 (step S5405). If i is smaller than 16 (step S5405 “YES”), the process proceeds to step S5410. If i is 16 or more (step S5405 “NO”), the process proceeds to step S5445. .

つまり、奥行き信号推定部13は、iが16よりも小さい場合には(ステップS5405“YES”)、補正後の輝度ヒストグラムデータCorrYhist[i]を入力する(ステップS5410)。ここでは、i=0よりCorrYhist[0]である。   That is, if i is smaller than 16 (step S5405 “YES”), the depth signal estimation unit 13 inputs the corrected luminance histogram data CorrYhist [i] (step S5410). Here, since i = 0, CorrYhist [0].

次に、奥行き信号推定部13は、ステップS5410の処理により入力した補正後の輝度ヒストグラムデータCorrYhist[i]を、次の式(11)に示す計算式により補正後の輝度ヒストグラムデータCorrYhist[i](i=0〜15)の平均値CorrYhist_Aveを用いてオフセットする(ステップS5415)。なお、次の式(11)に示す計算式による計算値integは、オフセット値である。   Next, the depth signal estimator 13 corrects the corrected luminance histogram data CorrYhist [i] input by the processing of step S5410 using the calculation formula shown in the following equation (11). Offset is performed using the average value CorrYhist_Ave of (i = 0 to 15) (step S5415). Note that the calculated value integ according to the calculation formula shown in the following formula (11) is an offset value.

integ=(CorrYhist[i]−CorrYhist_Ave)×16/CorrYhist_Ave …(11)
次に、奥行き信号推定部13は、次の式(12)に示すように、ステップS5415の処理により求めた式(11)のオフセット値integに、所定の固定ゲインGと、図9に示す関係により分散値SSから求めたゲイン補正値Gssとを乗算する(ステップS5420)。なお、固定ゲインGは、奥行き信号推定部13等に予め設定されている。
integ = (CorrYhist [i] −CorrYhist_Ave) × 16 / CorrYhist_Ave (11)
Next, as shown in the following equation (12), the depth signal estimating unit 13 adds the predetermined fixed gain G to the offset value integ obtained by the processing of step S5415 and the relationship shown in FIG. Is multiplied by the gain correction value Gss obtained from the dispersion value SS (step S5420). Note that the fixed gain G is preset in the depth signal estimation unit 13 and the like.

integ=integ×G×Gss …(12)
次に、奥行き信号推定部13は、積分値sumに、ステップS5420で求めたデータであるオフセット値integを加算する(ステップS5425)。ここで、最初は、i=0より、sum=0であるから、新たに得られるsumは、ステップS5420の処理で求めたオフセット値integとなる。
integ = integ × G × Gss (12)
Next, the depth signal estimation unit 13 adds the offset value integ, which is the data obtained in step S5420, to the integral value sum (step S5425). Here, since initially i = 0 and sum = 0, the newly obtained sum is the offset value integ obtained in the process of step S5420.

次に、奥行き信号推定部13は、ステップS5425の処理で求めた積分値sumを用いて、次の式(13)により、補正後の輝度ヒストグラムデータCorrYhist[i]に対応するポイントP[i]を求める(ステップS5430)。   Next, the depth signal estimation unit 13 uses the integration value sum obtained in the process of step S5425, and calculates the point P [i] corresponding to the corrected luminance histogram data CorrYhist [i] according to the following equation (13). Is obtained (step S5430).

P[i]=sum/16 …(13)
次に、奥行き信号推定部13は、次の式(14)により、ステップS5430の処理で求めたP[i]にリニアデータ[(Lw−Lb)×(i+1)/16+Lb]を付加したQ[i]を算出する(ステップS5435)。
P [i] = sum / 16 (13)
Next, the depth signal estimation unit 13 adds Q [[Lw−Lb) × (i + 1) / 16 + Lb] to the P [i] obtained by the process of step S5430 according to the following equation (14). i] is calculated (step S5435).

Q[i]=P[i]+[(Lw−Lb)×(i+1)/16+Lb] …(14)
ここで、Lwは所定の白レベル、Lbは所定の黒レベルである。
Q [i] = P [i] + [(Lw−Lb) × (i + 1) / 16 + Lb] (14)
Here, Lw is a predetermined white level and Lb is a predetermined black level.

なお、奥行き信号推定部13は、ステップS5435で求めたQ[i]を、一時的に図示しないメモリに保存する。   The depth signal estimation unit 13 temporarily stores Q [i] obtained in step S5435 in a memory (not shown).

奥行き信号推定部13は、ステップS5435の処理が終了すると、インデックスiを1インクリメントして(ステップS5440)、ステップS5405の処理に戻る。   When the process of step S5435 ends, the depth signal estimation unit 13 increments the index i by 1 (step S5440), and returns to the process of step S5405.

そして、奥行き信号推定部13は、i=15まで(ステップS5405“YES”)、前述したステップS5405〜S5440の処理を繰り返す。   Then, the depth signal estimation unit 13 repeats the processes of steps S5405 to S5440 described above until i = 15 (step S5405 “YES”).

以上の処理によって、奥行き信号推定部13は、図11に示すようなポイントQ[0]〜Q[15]を生成する。   Through the above processing, the depth signal estimation unit 13 generates points Q [0] to Q [15] as shown in FIG.

図11において、横軸は、輝度信号(Y入力)、縦軸は、出力輝度信号(Y出力)を表しており、ポイントQ[0]〜Q[15]を結ぶ曲線が階調補正曲線(ガンマ曲線)となる。ただし、図11に示す階調補正曲線は、正規化前であり、Dを用いて正規化する必要があることも示している。なお、このDは、後述する式(14)により算出する値である。   In FIG. 11, the horizontal axis represents the luminance signal (Y input), the vertical axis represents the output luminance signal (Y output), and a curve connecting points Q [0] to Q [15] is a gradation correction curve ( Gamma curve). However, the gradation correction curve shown in FIG. 11 is before normalization, and also shows that it is necessary to normalize using D. In addition, this D is a value calculated by the formula (14) described later.

奥行き信号推定部13は、図10のステップS5445以降において、Q[0]〜Q[15]の正規化処理を行う。   The depth signal estimation unit 13 performs normalization processing of Q [0] to Q [15] after step S5445 in FIG.

奥行き信号推定部13は、図10のステップS5435の処理によりポイントQ[15]を求めると、続くステップS5440の処理により、iを1インクリメントする。これにより、iは16となる。   When the depth signal estimating unit 13 obtains the point Q [15] by the process of step S5435 in FIG. 10, i is incremented by 1 by the process of the subsequent step S5440. As a result, i becomes 16.

すると、奥行き信号推定部13は、続くステップS5405の処理により、iは16未満ではないと判定して(ステップS5405“NO”)、ステップS5445の処理に進み、次の式(15)を用いて、所定の白レベルLwと現在の白レベル(Q[15])との差分Dを求める。これは、現在の白レベル(Q[15])を所定の白レベルLwに補正する必要があるからである。なお、本実施の形態では、所定の黒レベルLb=0としている。   Then, the depth signal estimation unit 13 determines that i is not less than 16 (step S5405 “NO”) by the subsequent process of step S5405, proceeds to the process of step S5445, and uses the following equation (15). The difference D between the predetermined white level Lw and the current white level (Q [15]) is obtained. This is because it is necessary to correct the current white level (Q [15]) to a predetermined white level Lw. In the present embodiment, the predetermined black level Lb = 0.

D=Lw−Lb−Q[15] …(15)
次に、奥行き信号推定部13は、再びi=0に設定し(ステップS5450)、続いてiが16未満であるか否かを判定する(ステップS5455)。
D = Lw−Lb−Q [15] (15)
Next, the depth signal estimation unit 13 sets i = 0 again (step S5450), and then determines whether i is less than 16 (step S5455).

奥行き信号推定部13は、iが16よりも小さいと判断した場合には(ステップS5455“YES”)、ステップS5445の処理により現在の白レベルQ[15]を所定の白レベルLwに一致させたことで生じた差分Dに応じて、各ポイントQ[i]の白レベルを変更する補正、すなわち正規化処理を、次の式(16)を用いて行う(ステップS5460)。これにより、階調補正曲線を構成するガンマデータであるポイントR[i]が求められる。各ポイントR[i]は、一時的に奥行き信号推定部13内の図示しないメモリに保存される。   If the depth signal estimation unit 13 determines that i is smaller than 16 (step S5455 “YES”), the current white level Q [15] is made to coincide with the predetermined white level Lw by the process of step S5445. The correction for changing the white level of each point Q [i], that is, the normalization process is performed using the following equation (16) according to the difference D generated by this (step S5460). As a result, a point R [i] that is gamma data constituting the gradation correction curve is obtained. Each point R [i] is temporarily stored in a memory (not shown) in the depth signal estimation unit 13.

R[i]=Q[i]+D×(i+1)/16+Lb …(16)
そして、奥行き信号推定部13は、ステップS5460の処理が終了すると、iを1インクリメントして(ステップS5465)、ステップS5455の処理に戻る。
R [i] = Q [i] + D × (i + 1) / 16 + Lb (16)
Then, when the process of step S5460 ends, the depth signal estimation unit 13 increments i by 1 (step S5465), and returns to the process of step S5455.

そして、奥行き信号推定部13は、i=15までステップS5460およびステップS5465の処理を繰り返す。   And the depth signal estimation part 13 repeats the process of step S5460 and step S5465 until i = 15.

そして、ステップS5460の処理によりQ[15]について正規化処理がされると、続くステップS5465の処理により、iが16となるので、奥行き信号推定部13は、ステップS5455において、iは16未満ではないと判定する(ステップS5455“NO”)。これにより、ポイントR[0]〜R[15]の生成が終了する。この後、奥行き信号推定部13は、図5のステップS550へ進む。   Then, when Q [15] is normalized by the process of step S5460, i is 16 by the subsequent process of step S5465. Therefore, the depth signal estimation unit 13 determines that i is less than 16 in step S5455. It is determined that there is not (step S5455 “NO”). This completes the generation of points R [0] to R [15]. Thereafter, the depth signal estimation unit 13 proceeds to step S550 in FIG.

図12は、本実施の形態における階調補正曲線の比較を示す図である。   FIG. 12 is a diagram showing a comparison of gradation correction curves in the present embodiment.

図12(a)は、奥行き信号推定部13が図7に示した輝度ヒストグラムデータを基に生成した階調補正曲線を示し、(b)は奥行き信号推定部13が図8に示した輝度ヒストグラムデータを基に生成した階調補正曲線を示している。   12A shows the gradation correction curve generated by the depth signal estimation unit 13 based on the luminance histogram data shown in FIG. 7, and FIG. 12B shows the luminance histogram shown by the depth signal estimation unit 13 shown in FIG. A gradation correction curve generated based on the data is shown.

図12(a),(b)において、破線により示す曲線91a,91bは、それぞれ、図5のステップS520の輝度ヒストグラム補正処理を行わなかった場合の階調補正曲線を示す。実線により示す曲線92a,92bは、図5のステップS520の輝度ヒストグラム補正処理を行った場合の階調補正曲線を示す。図12(a),(b)において、曲線91a,91bが、従来技術に相当する階調補正曲線を示している。   In FIGS. 12A and 12B, curves 91a and 91b indicated by broken lines indicate gradation correction curves when the luminance histogram correction processing in step S520 in FIG. 5 is not performed. Curves 92a and 92b indicated by solid lines indicate gradation correction curves when the luminance histogram correction processing in step S520 of FIG. 5 is performed. 12 (a) and 12 (b), curves 91a and 91b indicate tone correction curves corresponding to the prior art.

図12(a)では、曲線91aの場合、平坦な暗部に階調が割り振られる事で、黒浮きや階調段差を目立たせる要因となっていた。一方、曲線92aの場合、物体のある中間輝度近辺に多くの階調を割り振ることができ、平坦な暗部は黒いままで物体のコントラスト感を増すことができる。   In FIG. 12A, in the case of the curve 91a, the gradation is assigned to the flat dark part, which is a factor that makes the black float and the gradation step conspicuous. On the other hand, in the case of the curve 92a, a large number of gradations can be assigned near a certain intermediate luminance of the object, and the contrast of the object can be increased while the flat dark part remains black.

また、図12(b)では、曲線91bの場合、平坦な明部に階調が割り振られる事で、物体が存在する中間輝度近辺はY入力に対して、値が小さく出力され、物体がやや暗くなってしまう要因となっていた。一方、曲線92bの場合、物体のある中間輝度近辺に多くの階調を割り振ることができ、物体のコントラスト感を増すことができる。   In FIG. 12B, in the case of the curve 91b, the gradation is assigned to a flat bright portion, so that the value near the intermediate luminance where the object exists is output smaller than the Y input, and the object is slightly It was a factor that made it dark. On the other hand, in the case of the curve 92b, a large number of gradations can be assigned near a certain intermediate luminance of the object, and the contrast of the object can be increased.

(ステップS550のガンマデータの正規化リミット処理の詳細)
奥行き信号推定部13は、ステップS540で生成したR[0]〜R[15]に対して、ステップS550において正規化リミット処理を行う。
(Details of normalization limit processing of gamma data in step S550)
The depth signal estimation unit 13 performs the normalization limit process in step S550 on R [0] to R [15] generated in step S540.

まず、奥行き信号推定部13は、ガンマデータであるR[i]と、リニアデータとの差分値Rsub[i]を、次の式(17)を用いて算出する。   First, the depth signal estimation unit 13 calculates a difference value Rsub [i] between R [i], which is gamma data, and linear data, using the following equation (17).

Rsub[i]=R[i]−[256×(i+1)/16] …(17)
なお、式(17)において、i=0〜15とする。
Rsub [i] = R [i] − [256 × (i + 1) / 16] (17)
In equation (17), i = 0 to 15.

また、Rsub[i]の絶対値をRsub_abs[i]とし、Rsub_abs[i](i=0〜15)の最大値をRsub_maxとし、正規化リミット処理する際のリミット閾値をR_thとする。すると、Rsub_maxがR_thより大きい場合、奥行き信号推定部13は、次の式(18)を用いて正規化リミット処理し、Rsub[i](i=0〜15)を補正する。   In addition, the absolute value of Rsub [i] is Rsub_abs [i], the maximum value of Rsub_abs [i] (i = 0 to 15) is Rsub_max, and the limit threshold for normalization limit processing is R_th. Then, when Rsub_max is larger than R_th, the depth signal estimation unit 13 performs normalization limit processing using the following equation (18) to correct Rsub [i] (i = 0 to 15).

Rsub[i]=Rsub[i]×R_th/Rsub_max …(18)
なお、式(18)において、i=0〜15とする。
Rsub [i] = Rsub [i] × R_th / Rsub_max (18)
In equation (18), i = 0 to 15.

その後、奥行き信号推定部13は、次の式(19)を用いて、Rsub[i]と、リニアデータ[256×(i+1)/16]との和を求め、補正後のR[i]を生成する。その後、奥行き信号推定部13は、ステップS560のリーク型積分処理へと進む。   Thereafter, the depth signal estimation unit 13 obtains the sum of Rsub [i] and linear data [256 × (i + 1) / 16] using the following equation (19), and calculates the corrected R [i]. Generate. Thereafter, the depth signal estimation unit 13 proceeds to the leakage type integration process in step S560.

R[i]=Rsub[i]+[256×(i+1)/16] …(19)
図13(a)〜(d)は、本実施の形態における階調補正曲線の正規化リミット処理前、正規化リミット処理後の一例を示す図である。
R [i] = Rsub [i] + [256 × (i + 1) / 16] (19)
FIGS. 13A to 13D are diagrams illustrating an example of the gradation correction curve before and after the normalization limit process according to the present embodiment.

図13(a)に示す階調補正曲線101aをリミット閾値R_thにより正規化リミット処理すると、図13(b)に示すような階調補正曲線101bが得られる。また、図13(c)に示す階調補正曲線101cをリミット閾値値R_thにより正規化リミット処理すると、図13(d)に示すような階調補正曲線101dが得られる。   When the gradation correction curve 101a shown in FIG. 13A is normalized and limited by the limit threshold R_th, a gradation correction curve 101b as shown in FIG. 13B is obtained. When the gradation correction curve 101c shown in FIG. 13C is normalized and limited by the limit threshold value R_th, a gradation correction curve 101d as shown in FIG. 13D is obtained.

なお、前述したように、ステップS550のガンマデータの正規化リミット処理は省略しても良い。   As described above, the normalization limit processing of gamma data in step S550 may be omitted.

(ステップS560のリーク型積分処理の詳細)
次に、図5に示すステップS560のリーク型積分処理の詳細について説明する。
(Details of leak type integration processing in step S560)
Next, details of the leaky integration processing in step S560 shown in FIG. 5 will be described.

図14は、図5に示すステップS560のリーク型積分処理を実行するリーク型積分回路131の構成例を示すブロック図である。   FIG. 14 is a block diagram illustrating a configuration example of the leaky integration circuit 131 that executes the leaky integration process of step S560 shown in FIG.

リーク型積分回路131は、ステップS550で生成された各ポイントR[i]を入力とし、これにリーク型積分処理を施した出力データR_out[i]を出力する。リーク型積分回路131は、奥行き信号推定部13の中に設けられる。   The leaky integration circuit 131 receives each point R [i] generated in step S550, and outputs output data R_out [i] that has been subjected to leaky integration processing. The leaky integration circuit 131 is provided in the depth signal estimation unit 13.

図14に示すように、リーク型積分回路131は、加算器1311と、レジスタ群1312と、15/16乗算器1313と、1/16乗算器1314とを有しており、時間方向にリーク型の積分処理を行うよう構成されている。   As shown in FIG. 14, the leaky integration circuit 131 includes an adder 1311, a register group 1312, a 15/16 multiplier 1313, and a 1/16 multiplier 1314, and leak type in the time direction. Are configured to perform integration processing.

リーク型積分回路131において、R[i]が入力されると、レジスタ群1312内の16個のレジスタ1312a〜1312pより順に出力されたデータに15/16乗算器1313にて15/16が乗算され、加算器1311にて加算される。   When R [i] is input to the leaky integration circuit 131, the 15/16 multiplier 1313 multiplies the data sequentially output from the 16 registers 1312a to 1312p in the register group 1312 by 15/16. Are added by an adder 1311.

この加算された結果がレジスタ群1312内の16個のレジスタ1312a〜1312pに順に格納される。   The added result is sequentially stored in the 16 registers 1312a to 1312p in the register group 1312.

そしてレジスタ群1312内の16個のレジスタ1312a〜1312pより順に出力されたデータに、1/16乗算器1314にて1/16を乗算したものが最終的な出力データR_out[i]として出力される。   Then, the data sequentially output from the 16 registers 1312a to 1312p in the register group 1312 is multiplied by 1/16 by the 1/16 multiplier 1314 and output as final output data R_out [i]. .

このように、奥行き信号推定部13は、ステップS560のリーク型積分処理を行うことにより、画像を緩やかに変化させ、より自然な画質を提供することができる。なお、前述したように、ステップS560のリーク型積分処理は省略しても良い。   As described above, the depth signal estimation unit 13 can provide a more natural image quality by gradually changing the image by performing the leak-type integration processing in step S560. As described above, the leak type integration process in step S560 may be omitted.

(ステップS570のガンマデータの補間データの作成処理)
次に、奥行き信号推定部13は、ステップS560のリーク型積分処理を行ったガンマデータに対し、ステップS570により補間データの作成処理を行う。
(Gamma data interpolation data creation processing in step S570)
Next, the depth signal estimation unit 13 performs interpolation data creation processing in step S570 on the gamma data subjected to the leak-type integration processing in step S560.

つまり、奥行き信号推定部13は、ステップS570の処理により、ステップS560で生成したリーク型積分処理後のR_out[i](i=0〜15)を補間データにより直線補間して、後述する図15(a)に示すような階調補正曲線を生成する。   That is, the depth signal estimation unit 13 linearly interpolates R_out [i] (i = 0 to 15) after the leak-type integration processing generated in step S560 by the interpolation data by the processing in step S570, and will be described later with reference to FIG. A gradation correction curve as shown in FIG.

(ステップS580の奥行き信号算出処理)
そして、奥行き信号推定部13は、ステップS580の奥行き信号算出処理により、ステップS570の処理により補間データにより直線補間された出力輝度信号(Y_out(j)(j=0〜255))を示す階調補正曲線と、リニアデータである入力輝度信号(j(=0〜255))との差分値を、奥行き信号であるシフト量S(j)として次の式(20)を用いて算出する。
(Depth signal calculation process in step S580)
Then, the depth signal estimation unit 13 performs the gradation indicating the output luminance signal (Y_out (j) (j = 0 to 255)) linearly interpolated by the interpolation data by the process of step S570 by the depth signal calculation process of step S580. The difference value between the correction curve and the input luminance signal (j (= 0 to 255)) that is linear data is calculated as the shift amount S (j) that is the depth signal using the following equation (20).

S(j)=Y_out(j)−j …(20)
この式(20)のシフト量S(j)(j=0〜255)が、奥行きを決定する奥行き信号として奥行き信号推定部13から出力される。
S (j) = Y_out (j) -j (20)
The shift amount S (j) (j = 0 to 255) in the equation (20) is output from the depth signal estimation unit 13 as a depth signal for determining the depth.

以上のような処理により、本実施の形態の奥行き信号生成装置1は、奥行き信号であるシフト量Sを生成して、ステレオペア生成装置2へ出力する。   Through the processing as described above, the depth signal generation device 1 of the present embodiment generates a shift amount S that is a depth signal and outputs the shift amount S to the stereo pair generation device 2.

図15は、本実施の形態におけるシフト量Sの算出の一例を示す説明図である。   FIG. 15 is an explanatory diagram illustrating an example of calculation of the shift amount S in the present embodiment.

図15(a)は、入力輝度信号(j(=0〜255))と、出力輝度信号(Y_out(j)(j=0〜255))との関係、すなわちステップS570の処理により補間データにより直線補間された階調補正曲線111の一例を示す図である。また、図15(b)は、入力輝度信号(j)と、図15(a)に示す本実施の形態により最終的に生成された階調補正曲線111に基づくシフト量S(j)との関係を示す図である。   FIG. 15A shows the relationship between the input luminance signal (j (= 0 to 255)) and the output luminance signal (Y_out (j) (j = 0 to 255)), that is, interpolation data obtained by the processing in step S570. It is a figure which shows an example of the gradation correction curve 111 by which the linear interpolation was carried out. FIG. 15B shows the input luminance signal (j) and the shift amount S (j) based on the gradation correction curve 111 finally generated by the present embodiment shown in FIG. It is a figure which shows a relationship.

つまり、入力輝度信号(j)の奥行き信号であるシフト量S(j)は、図15(a)に示す階調補正曲線111に基づいて決まることになる。   That is, the shift amount S (j) that is the depth signal of the input luminance signal (j) is determined based on the gradation correction curve 111 shown in FIG.

以上説明したように、本実施の形態の奥行き信号生成装置1は、非立体画像の映像信号の輝度レベルの空間的な情報を考慮した輝度レベルヒストグラム分布に応じて、輝度レベルの分布の多い輝度レベル近傍では階調補正曲線の傾斜を増大させる一方、輝度レベルの分布の少ない輝度レベル近傍は階調補正曲線の傾斜を減少させる等の補正をした階調補正曲線を生成し、この階調補正曲線に基づき非立体画像の映像信号の奥行き信号を推定する。これにより、奥行き信号生成装置1は、画面(視野)上において面積の多い、すなわち輝度レベルの分布が広い輝度レベルには奥行き方向の階調を配分することができる。この結果、奥行き信号生成装置1によれば、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を向上させることが可能となる。   As described above, the depth signal generation device 1 according to the present embodiment has a luminance with a large luminance level distribution according to the luminance level histogram distribution in consideration of the spatial information of the luminance level of the video signal of the non-stereo image. In the vicinity of the level, the gradient of the gradation correction curve is increased, while in the vicinity of the luminance level where the luminance level distribution is small, a gradation correction curve that is corrected such as decreasing the gradient of the gradation correction curve is generated. A depth signal of a video signal of a non-stereo image is estimated based on the curve. As a result, the depth signal generation device 1 can distribute gradations in the depth direction to luminance levels that have a large area on the screen (field of view), that is, a luminance level with a wide distribution. As a result, according to the depth signal generation device 1, in the pseudo three-dimensional image generated from the non-stereo image, it is possible to improve the pseudo three-dimensional effect as the entire screen.

なお、本実施の形態の奥行き信号生成装置1では、奥行き信号推定部13は、図9に示すように、式(10)により求めた分散値SSに基づきゲイン補正値Gssを変更するように説明したが、本発明では、これに限らず、分散値SS以外のパラメータに基づきゲイン補正値Gssを変更するようにしても勿論よい。   In the depth signal generation device 1 of the present embodiment, the depth signal estimation unit 13 is described so as to change the gain correction value Gss based on the variance value SS obtained by Expression (10) as shown in FIG. However, the present invention is not limited to this, and the gain correction value Gss may be changed based on parameters other than the dispersion value SS.

≪ステレオペア生成装置2の動作の一例≫
ステレオペア生成装置2では、奥行き信号生成装置1により生成された階調補正曲線に基づいて推定された奥行き信号と、映像信号とを基に、別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側(鼻側)に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。これに対し、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
≪Example of operation of stereo pair generation device 2≫
The stereo pair generation device 2 generates another viewpoint image based on the depth signal estimated based on the gradation correction curve generated by the depth signal generation device 1 and the video signal. For example, when moving the viewpoint to the left, for objects that are displayed in front of the screen, the closer the object, the closer to the viewer (the nose side) the more visible, the amount of texture corresponding to the depth on the inside, that is, the right Just move. On the other hand, as for the object to be displayed deeper than the screen, the closer the object is to the outside of the person viewing the image, the corresponding part of the texture is moved to the left by an amount corresponding to the depth. A stereo pair is formed by using this as the left-eye image and the original image as the right-eye image.

つまり、図1に示す本実施の形態のステレオペア生成装置2では、まず、テクスチャシフト部21が奥行き信号生成装置1の奥行き信号推定部13から出力された奥行き信号について、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量S画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量S画素分だけ左へシフトする。   That is, in the stereo pair generation device 2 of the present embodiment shown in FIG. 1, first, the texture shift unit 21 sets a small value, that is, the depth, for the depth signal output from the depth signal estimation unit 13 of the depth signal generation device 1. In order from the position, the texture of the portion of the video signal corresponding to the value is shifted, for example, to the right by the shift amount S pixels indicated by the depth signal. When the depth signal is negative, the shift is made to the left by the shift amount S pixels indicated by the depth signal.

テクスチャシフト部21における奥行き信号が示すそのシフト量Sに基づく映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行き信号の値であるシフト量Sの値に応じてそれぞれを左右に移動する処理である。   The texture shift operation of the video signal based on the shift amount S indicated by the depth signal in the texture shift unit 21 corresponds to the texture shift of the video signal of the non-stereo image. In other words, this is a process of moving each pixel of the non-stereo image to the left and right according to the value of the shift amount S, which is the value of the depth signal.

ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部22が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献(山田邦男,望月研二,相澤清晴,齊藤隆弘:“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5))等に記載の手法で充填する。   Here, there is a case where a portion where no texture exists, that is, an occlusion occurs due to a change in the positional relationship in the image due to the shift. For such a part, the occlusion compensation unit 22 fills the video signal with a video signal around the corresponding part of the video signal, or a known document (Kunio Yamada, Kenji Mochizuki, Kiyoharu Aizawa, Takahiro Saito: “Division by region competition method” Occlusion compensation based on the statistics of the texture of the image that has been processed ", the Journal of Emotionology, Vol.56, No.5, pp.863-866 (2002.5)).

オクルージョン補償部22にてオクルージョン補償された画像は、ポスト処理部23により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部24が左目画像信号として出力する。その一方、右目画像信号生成部25は、映像信号を右目画像信号として出力する。   The image subjected to occlusion compensation by the occlusion compensation unit 22 is subjected to post processing such as smoothing by the post processing unit 23 to reduce noise generated in the previous processing, and the left eye image signal generation unit 24 performs the left eye image processing. Output as an image signal. On the other hand, the right eye image signal generation unit 25 outputs the video signal as a right eye image signal.

このようにして、ステレオペア生成装置2は、奥行き信号生成装置1により生成された階調補正曲線に基づいて推定した奥行き信号と、映像信号とを基に、左目画像信号と右目画像信号とのステレオペアを生成することができる。そして、これらの左目画像信号と右目画像信号は、ステレオ表示装置3へ出力される。   In this way, the stereo pair generation device 2 uses the depth signal estimated based on the gradation correction curve generated by the depth signal generation device 1 and the video signal to generate a left-eye image signal and a right-eye image signal. Stereo pairs can be generated. These left eye image signal and right eye image signal are output to the stereo display device 3.

ステレオペア生成装置2と奥行き信号生成装置1とにより、本実施の形態の擬似立体画像信号生成装置が構成される。この擬似立体画像信号生成装置によれば、非立体画像から上記ステレオペアを生成し、このステレオペアにより、画面全体として擬似的な立体感を向上させた擬似立体画像をステレオ表示装置3に表示させることが可能となる。   The stereo pair generation device 2 and the depth signal generation device 1 constitute the pseudo stereoscopic image signal generation device of the present embodiment. According to this pseudo-stereoscopic image signal generation device, the stereo pair is generated from the non-stereo image, and the stereo display device 3 displays the pseudo-stereoscopic image with the pseudo stereoscopic effect improved as a whole screen by the stereo pair. It becomes possible.

なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像のステレオペアを構成してもよい。また、上記処理においては、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするようなステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。   In addition, regarding the stereo pair, the left-eye image signal may be reversed to form a stereo pair of the left-eye image signal as the original image and the right-eye image signal as the different viewpoint image. In the above processing, a stereo pair is formed in which either the right-eye image signal or the left-eye image signal is a video signal, and the other is a generated different viewpoint image signal. It is also possible to form a stereo pair using a signal, that is, using another viewpoint image signal moved to the right and another viewpoint image signal moved to the left.

≪ステレオ表示装置3の動作の一例≫
そして、図1に示す本実施の形態のステレオ表示装置3は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどや、ステレオ画像の各画像に対応した2台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置2によって生成された左目画像信号と、右目画像信号とを入力してディスプレイ等に表示して、擬似立体画像を表示する。
<< Example of operation of stereo display device 3 >>
The stereo display device 3 of the present embodiment shown in FIG. 1 includes, for example, a projection system using polarized glasses, or a projection system or display system that combines time-division display and liquid crystal shutter glasses, a lenticular stereo display, An anaglyph-type stereo display, head-mounted display, etc., or a projector system with two projectors corresponding to each image of a stereo image, and inputs a left-eye image signal and a right-eye image signal generated by the stereo pair generation device 2 Then, the pseudo stereoscopic image is displayed on the display or the like.

なお、上記実施の形態の説明では、ステレオペア生成装置2として左目画像信号と右目画像信号の2視点での例を説明したが、本発明では、これに限らず、2視点以上の表示が可能な表示装置にて表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。   In the description of the above embodiment, the stereo pair generation device 2 has been described with the two viewpoints of the left-eye image signal and the right-eye image signal. However, the present invention is not limited to this, and display of two or more viewpoints is possible. In the case of display on a simple display device, the number of different viewpoint images corresponding to the number of viewpoints may be generated.

また、上記のように2視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。   In addition, as described above, it is possible to construct a multi-viewpoint stereoscopic image display system using a display device that can display two or more viewpoints. Further, the present stereoscopic display system may be configured to be equipped with an audio output. In this case, for image content that does not have audio information, such as still images, an aspect in which an environmental sound suitable for an image is added can be considered.

また、本実施の形態では、図1に示すように、奥行き信号生成装置1と、ステレオペア生成装置2と、ステレオ表示装置3とをハードウエアにより構成して説明したが、本発明では、ハードウエアにより構成したものに限定されるものではなく、例えば、CPUと、そのCPUを前述のように動作させるためのコンピュータプログラムのソフトウェアにより奥行き信号生成装置1、ステレオペア生成装置2およびステレオ表示装置3の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもようにしても良い。   In the present embodiment, as shown in FIG. 1, the depth signal generating device 1, the stereo pair generating device 2, and the stereo display device 3 are configured by hardware. The depth signal generating device 1, the stereo pair generating device 2, and the stereo display device 3 are not limited to those configured by hardware, for example, by a CPU and software of a computer program for operating the CPU as described above. Of course, this function may be achieved. In this case, the computer program may be taken into the computer from a recording medium, or may be taken into the computer via a network.

以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。   Although the present invention has been described above with reference to one embodiment, the above embodiment exemplifies an apparatus and method for embodying the technical idea of the present invention. The material, shape, structure, arrangement, etc. of the constituent articles are not specified as follows. The technical idea of the present invention can be variously modified within the scope of the claims.

1 奥行き信号生成装置
11 ローパスフィルタ
12 画像特徴生成部
121 輝度ヒストグラムデータ生成部(輝度ヒストグラム生成手段)
122 高周波成分ヒストグラムデータ生成部(高周波成分ヒストグラム生成手段)
13 奥行き信号推定部(輝度ヒストグラムデータ補正手段、ゲイン算出手段、階調補正曲線生成手段、奥行き信号生成手段)
2 ステレオペア生成装置
21 テクスチャシフト部
22 オクルージョン補償部
23 ポスト処理部
24 左目画像信号生成部
25 右目画像信号生成部
3 ステレオ表示装置
DESCRIPTION OF SYMBOLS 1 Depth signal generation apparatus 11 Low pass filter 12 Image feature production | generation part 121 Luminance histogram data production | generation part (luminance histogram production | generation means)
122 High frequency component histogram data generation unit (high frequency component histogram generation means)
13 Depth signal estimation unit (luminance histogram data correction means, gain calculation means, gradation correction curve generation means, depth signal generation means)
2 Stereo Pair Generation Device 21 Texture Shift Unit 22 Occlusion Compensation Unit 23 Post Processing Unit 24 Left Eye Image Signal Generation Unit 25 Right Eye Image Signal Generation Unit 3 Stereo Display Device

Claims (7)

映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成する輝度ヒストグラム生成手段と、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラム生成手段と、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成する輝度ヒストグラムデータ補正手段と、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するゲイン算出手段と、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて複数のガンマデータからなる階調補正曲線を生成する階調補正曲線生成手段と、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成する奥行き信号生成手段と、
を有することを特徴とする奥行き信号生成装置。
The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Luminance histogram generation means for counting the number of pixels included in the region and generating luminance histogram data indicating the luminance level distribution of the video signal based on the count value;
High-frequency component histogram generation means for generating high-frequency component histogram data indicating a distribution of high-frequency components at the luminance level of the video signal in the plurality of luminance level regions;
Luminance histogram data correction means for generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Gain calculating means for calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
A gradation correction curve generating means for generating a gradation correction curve composed of a plurality of gamma data based on the gain correction value and the corrected luminance histogram data;
A depth signal generating means for generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
A depth signal generation device characterized by comprising:
前記階調補正曲線生成手段は、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて前記階調補正曲線を構成する複数のポイントとなるガンマデータを生成し、
前記ガンマデータのリミット処理を行い、
リミット処理された前記ガンマデータに対してリーク型積分処理を行い、積分処理したガンマデータを生成し、
前記積分処理したガンマデータに基づいて前記階調補正曲線を生成する、
ことを特徴とする奥行き信号生成装置。
The gradation correction curve generating means includes
Based on the gain correction value and the corrected luminance histogram data, generate gamma data that is a plurality of points constituting the gradation correction curve,
Perform limit processing of the gamma data,
Perform leak-type integration processing on the limit-processed gamma data to generate integrated gamma data,
Generating the gradation correction curve based on the integrated gamma data;
A depth signal generator characterized by the above.
請求項1または請求項2に記載の奥行き信号生成装置と、
前記奥行き信号生成装置によって生成された前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置と、
を有することを特徴とする擬似立体画像信号生成装置。
The depth signal generation device according to claim 1 or 2,
A stereo pair generation device that generates a left-eye image signal and a right-eye image signal by shifting the texture of the video signal based on the depth signal generated by the depth signal generation device and the video signal;
A pseudo-stereoscopic image signal generation device characterized by comprising:
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
を有することを特徴とする奥行き信号生成方法。
The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
A depth signal generation method characterized by comprising:
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
を有することを特徴とする擬似立体画像信号生成方法。
The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
Generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal;
A pseudo-stereoscopic image signal generation method characterized by comprising:
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
をコンピュータに実行させるための奥行き信号生成プログラム。
The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
A depth signal generation program for causing a computer to execute.
映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
をコンピュータに実行させるための擬似立体画像信号生成プログラム。
The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
Generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal;
A pseudo-stereoscopic image signal generation program for causing a computer to execute.
JP2010227246A 2010-10-07 2010-10-07 Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program Pending JP2012084961A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010227246A JP2012084961A (en) 2010-10-07 2010-10-07 Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010227246A JP2012084961A (en) 2010-10-07 2010-10-07 Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program

Publications (1)

Publication Number Publication Date
JP2012084961A true JP2012084961A (en) 2012-04-26

Family

ID=46243404

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010227246A Pending JP2012084961A (en) 2010-10-07 2010-10-07 Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program

Country Status (1)

Country Link
JP (1) JP2012084961A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100031A (en) * 2010-11-01 2012-05-24 Canon Inc Image processing device and control method therefor
KR20140064090A (en) * 2012-11-19 2014-05-28 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012100031A (en) * 2010-11-01 2012-05-24 Canon Inc Image processing device and control method therefor
KR20140064090A (en) * 2012-11-19 2014-05-28 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same
KR101970562B1 (en) * 2012-11-19 2019-04-19 엘지디스플레이 주식회사 Device for correcting depth map of three dimensional image and method for correcting the same

Similar Documents

Publication Publication Date Title
CN102474644B (en) Stereo image display system, parallax conversion equipment, parallax conversion method
US8711204B2 (en) Stereoscopic editing for video production, post-production and display adaptation
US9922441B2 (en) Image processing device, image processing method, and program
US20130038606A1 (en) Image processing apparatus, image processing method, and program
US10115207B2 (en) Stereoscopic image processing method and apparatus thereof
EP2569950B1 (en) Comfort noise and film grain processing for 3 dimensional video
US9179132B2 (en) Depth signal generation apparatus, pseudo stereo image signal generation apparatus, depth signal generation method, pseudo stereo image signal generation method, computer-readable recording medium recording depth signal generation program, and computer-readable recording medium recording pseudo stereo image signal generation program
JP2015095779A (en) Image processing apparatus, image processing method, and electronic equipment
JP2015012429A (en) Image processing apparatus, image processing method, and image processing program
JP5692051B2 (en) Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program
US8976171B2 (en) Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program
JP5127973B1 (en) Video processing device, video processing method, and video display device
US8976175B2 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
JP2012084961A (en) Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program
US9143755B2 (en) Image processing device
JP5500092B2 (en) Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device
JP5780214B2 (en) Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device
JP5786807B2 (en) Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device
JP5459231B2 (en) Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display apparatus
JP5691966B2 (en) Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program
Sohn et al. Disparity remapping to ameliorate visual comfort of stereoscopic video
JP6056459B2 (en) Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program
US9137519B1 (en) Generation of a stereo video from a mono video
JP2012060381A (en) Depth data generation device, pseudo stereoscopic image signal generation device, depth data generation method, pseudo stereoscopic image signal generation method, depth data generation program, and pseudo stereoscopic image signal generation program
JP2014072640A (en) Depth estimation data generation device, pseudo three-dimensional image generation device, depth estimation data generation method and depth estimation data generation program