JP2012084961A - Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program - Google Patents
Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program Download PDFInfo
- Publication number
- JP2012084961A JP2012084961A JP2010227246A JP2010227246A JP2012084961A JP 2012084961 A JP2012084961 A JP 2012084961A JP 2010227246 A JP2010227246 A JP 2010227246A JP 2010227246 A JP2010227246 A JP 2010227246A JP 2012084961 A JP2012084961 A JP 2012084961A
- Authority
- JP
- Japan
- Prior art keywords
- histogram data
- luminance
- video signal
- generating
- luminance level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、通常の静止画もしくは動画、即ち奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像の映像信号から奥行き信号を生成し、この奥行き信号をもとにした処理を上記非立体画像に施すことにより、立体感を感じさせる立体画像の映像信号を生成し、出力するための奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムに関する。 The present invention generates a depth signal from a normal still image or moving image, that is, a video signal of a non-stereo image to which a depth signal is not given explicitly or implicitly like a stereo image. A depth signal generation device, a pseudo stereoscopic image signal generation device, a depth signal generation method for generating and outputting a stereoscopic image video signal that gives a stereoscopic effect by performing the above processing on the non-stereo image, The present invention relates to a pseudo stereoscopic image signal generation method, a depth signal generation program, and a pseudo stereoscopic image signal generation program.
立体表示システムにおいては、非立体画像の擬似立体視による鑑賞を可能にするために、通常の静止画もしくは動画、即ち立体を表す為の奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられていない非立体画像から、擬似的な立体化画像を生成する処理が行われる。 In a stereoscopic display system, a normal still image or moving image, that is, a depth signal for representing a stereoscopic image is expressed explicitly or implicitly like a stereo image in order to enable viewing of a non-stereo image through pseudo-stereoscopic vision. In addition, a process for generating a pseudo three-dimensional image from a non-stereo image which is not given in FIG.
このような技術の一例として、例えば、特許文献1に記載の技術のような、奥行きに応じた輪郭線を断面とするチューブを構成することを前提とする遠近法ベースのアプローチが従来から知られている。この特許文献1記載の技術は、メッシュ画像データに輪郭線の距離情報を付加して三次元ポリゴン立体データを形成し、この三次元ポリゴン立体データに写真画像から得たカラー画像データを適用して、三次元ポリゴン立体データにより構成される三次元ポリゴン立体の内側にカラー画像データを貼り付ける態様に、上記三次元ポリゴン立体をレンダリング処理して三次元画像データを得るようにしている。
As an example of such a technique, for example, a perspective-based approach based on the premise that a tube having a cross section with a contour line corresponding to a depth, such as the technique described in
しかしながら、特許文献1の手法は、遠近法を基本としており、実際には入力されるさまざまな非立体画像のすべてのシーンに対して遠近法的な構造推定が適合するわけではないので、擬似的な立体画像の効果が限定的である、という課題がある。
However, the method of
また、遠近法的な構造推定が適合する場合であっても、自動的に正しい奥行き構造モデルを構成して違和感の無い立体視を実現させることは容易ではない、という課題もある。 Further, even when perspective structure estimation is suitable, there is a problem that it is not easy to automatically construct a correct depth structure model and realize stereoscopic viewing without a sense of incongruity.
そこで、本発明は、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を簡単に向上させることができる奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムを提供することを目的とする。 Therefore, the present invention provides a depth signal generation device, a pseudo stereoscopic image signal generation device, and a depth that can easily improve the pseudo stereoscopic effect of the entire screen in a pseudo three-dimensional image generated from a non-stereo image. It is an object to provide a signal generation method, a pseudo stereoscopic image signal generation method, a depth signal generation program, and a pseudo stereoscopic image signal generation program.
上記目的を達成するため、本発明の奥行き信号生成装置(1)の第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成する輝度ヒストグラム生成手段(121)と、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラム生成手段(122)と、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成する輝度ヒストグラムデータ補正手段(13)と、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するゲイン算出手段(13)と、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて複数のガンマデータからなる階調補正曲線を生成する階調補正曲線生成手段(13)と、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成する奥行き信号生成手段(13)と、を有することにある。 In order to achieve the above object, a first feature of the depth signal generation device (1) of the present invention is that a range of possible luminance levels of a video signal is divided into a plurality of luminance level regions, and the predetermined unit of the video signal is obtained. In addition to determining which luminance level region the luminance level is included in each pixel, the number of pixels included in each luminance level region is counted, and the luminance level distribution of the video signal is shown based on the count value Luminance histogram generation means (121) for generating luminance histogram data, and high frequency component histogram generation means (122) for generating high frequency component histogram data indicating the distribution of high frequency components at the luminance level of the video signal in the plurality of luminance level regions. And corrected luminance histogram data based on the high frequency component histogram data Brightness histogram data correction means (13) for generating degree histogram data, gain calculation means (13) for calculating a gain correction value based on the distribution state of the corrected brightness histogram data, the gain correction value and the correction A tone correction curve generating means (13) for generating a tone correction curve composed of a plurality of gamma data based on the later luminance histogram data, and a depth signal indicating the depth from the video signal based on the tone correction curve And a depth signal generating means (13) for generating.
また、本発明の奥行き信号生成装置(1)の第2の特徴は、前記階調補正曲線生成手段(13)は、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて前記階調補正曲線を構成する複数のポイントとなるガンマデータを生成し、前記ガンマデータのリミット処理を行い、リミット処理された前記ガンマデータに対してリーク型積分処理を行い、積分処理したガンマデータを生成し、前記積分処理したガンマデータに基づいて前記階調補正曲線を生成する、ことにある。 In addition, a second feature of the depth signal generation device (1) of the present invention is that the gradation correction curve generation means (13) has the gradation based on the gain correction value and the corrected luminance histogram data. Generate gamma data, which is a plurality of points that make up the correction curve, perform limit processing of the gamma data, perform leak-type integration processing on the limited gamma data, and generate integrated gamma data The gradation correction curve is generated based on the integrated gamma data.
また、本発明の擬似立体画像信号生成装置の第1の特徴は、前記奥行き信号生成装置(1)と、前記奥行き信号生成装置によって生成された前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置(2)と、を有することにある。 The first feature of the pseudo stereoscopic image signal generation device of the present invention is based on the depth signal generation device (1), the depth signal generated by the depth signal generation device, and the video signal. And a stereo pair generation device (2) that generates a left-eye image signal and a right-eye image signal by shifting the texture of the video signal.
また、本発明の奥行き信号生成方法の第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、を有することにある。 In addition, a first feature of the depth signal generation method of the present invention is that the range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and the luminance level is set for each pixel of the predetermined unit of the video signal. Determining which luminance level region is included, counting the number of pixels included in each luminance level region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value; A step of generating high frequency component histogram data indicating a distribution of high frequency components at the luminance level of the video signal in the plurality of luminance level regions, and a corrected luminance obtained by correcting the luminance histogram data based on the high frequency component histogram data Generating histogram data, and analyzing the corrected histogram data Calculating a gain correction value based on the state, generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data, and the video signal based on the gradation correction curve Generating a depth signal indicating the depth from.
また、本発明の擬似立体画像信号生成方法の第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、有することにある。 In addition, the first feature of the pseudo stereoscopic image signal generation method of the present invention is that the range in which the luminance level of the video signal can be divided into a plurality of luminance level regions, and the luminance for each predetermined unit pixel of the video signal. Determine which luminance level region the level is included in, count the number of pixels included in each luminance level region, and generate luminance histogram data indicating the distribution of the luminance level of the video signal based on the count value A step of generating high-frequency component histogram data indicating a distribution of high-frequency components at a luminance level of the video signal in the plurality of luminance level regions, and after correcting the luminance histogram data based on the high-frequency component histogram data Generating brightness histogram data of the corrected brightness histogram data after the correction Calculating a gain correction value based on the distribution state, generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data, and based on the gradation correction curve Generating a depth signal indicating a depth from the video signal; generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal; , To have.
また、本発明の奥行き信号生成プログラムの第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、をコンピュータに実行させることにある。 In addition, a first feature of the depth signal generation program of the present invention is that the range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and the luminance level is set for each pixel of the predetermined unit of the video signal. Determining which luminance level region is included, counting the number of pixels included in each luminance level region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value; A step of generating high frequency component histogram data indicating a distribution of high frequency components at the luminance level of the video signal in the plurality of luminance level regions, and a corrected luminance obtained by correcting the luminance histogram data based on the high frequency component histogram data Generating histogram data, and the corrected luminance histogram data Calculating a gain correction value based on the distribution state, generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data, and based on the gradation correction curve And generating a depth signal indicating the depth from the video signal.
また、本発明の擬似立体画像信号生成プログラムの第1の特徴は、映像信号の輝度レベルが取り得る範囲を複数の輝度レベル領域に分割して、前記映像信号の所定単位の画素毎に前記輝度レベルがどの輝度レベル領域に含まれるかを判定すると共に、各輝度レベル領域に含まれる画素数をカウントし、そのカウント値に基づいて前記映像信号の輝度レベルの分布を示す輝度ヒストグラムデータを生成するステップと、前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、をコンピュータに実行させることにある。 The first feature of the pseudo stereoscopic image signal generation program according to the present invention is that the range in which the luminance level of the video signal can be divided into a plurality of luminance level regions, and the luminance for each predetermined unit pixel of the video signal. Determine which luminance level region the level is included in, count the number of pixels included in each luminance level region, and generate luminance histogram data indicating the distribution of the luminance level of the video signal based on the count value A step of generating high-frequency component histogram data indicating a distribution of high-frequency components at a luminance level of the video signal in the plurality of luminance level regions, and after correcting the luminance histogram data based on the high-frequency component histogram data Generating the luminance histogram data of the corrected luminance histogram Calculating a gain correction value based on a data distribution state; generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data; and based on the gradation correction curve. Generating a depth signal indicating depth from the video signal; and generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal. And letting the computer execute.
本発明によれば、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を向上させることが可能となる。 According to the present invention, in a pseudo three-dimensional image generated from a non-stereo image, it is possible to improve a pseudo three-dimensional effect as the entire screen.
次に、本発明に係る奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラムの実施の形態について説明する。なお、下記の説明では、本発明の擬似立体画像信号生成装置は、奥行き信号生成装置とステレオ生成装置とから構成される。 Next, embodiments of a depth signal generation device, a pseudo stereoscopic image signal generation device, a depth signal generation method, a pseudo stereoscopic image signal generation method, a depth signal generation program, and a pseudo stereoscopic image signal generation program according to the present invention will be described. In the following description, the pseudo stereoscopic image signal generation device of the present invention includes a depth signal generation device and a stereo generation device.
≪奥行き信号生成装置の実施の形態の説明≫
以下、本発明の実施の形態の奥行き信号生成装置について、図面を参照して説明する。
<< Description of Embodiment of Depth Signal Generation Device >>
Hereinafter, a depth signal generation device according to an embodiment of the present invention will be described with reference to the drawings.
図1は、本発明に係る奥行き信号生成装置および擬似立体画像信号生成装置の実施の形態の構成例を示すブロック図である。 FIG. 1 is a block diagram illustrating a configuration example of an embodiment of a depth signal generation device and a pseudo stereoscopic image signal generation device according to the present invention.
図1に示すように、本実施の形態の擬似立体画像信号生成装置は、奥行き信号生成装置1と、ステレオペア生成装置2とを有しており、奥行きを示す奥行き信号が明示的にも又はステレオ画像のように暗示的にも与えられておらず、時系列的に連続した複数の画像で構成された非立体画像の映像信号(輝度信号Y、色差信号B−Y,R−Y)から左目画像信号と右目画像信号とを生成して、ステレオ表示装置3に対し左目画像信号と右目画像信号とを出力するように構成されている。
As shown in FIG. 1, the pseudo stereoscopic image signal generation device according to the present embodiment includes a depth
図1において、奥行き信号生成装置1は、ノイズ成分の影響を除外するローパスフィルタ11と、輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122で構成された画像特徴生成部12と、奥行き信号推定部13とを有する。なお、ローパスフィルタ11は、必須のものではなく、省略しても良い。
In FIG. 1, the depth
また、ステレオペア生成装置2は、奥行き信号推定部13で推定された奥行き信号に基づいて、入力される非立体画像の映像信号のテクスチャをシフトするテクスチャシフト部21と、オクルージョンを補償するオクルージョン補償部22と、ポスト処理を行うポスト処理部23と、左目画像信号生成部24と、右目画像信号生成部25とを有している。
In addition, the stereo
そして、ステレオペア生成装置2で生成された左目画像信号と右目画像信号とは、ステレオ表示装置3へ入力され、ステレオ表示装置3にて擬似的な立体画像が表示される。
Then, the left eye image signal and the right eye image signal generated by the stereo
図2は、画像特徴生成部12を構成する輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122が画像の特徴として輝度ヒストグラムデータおよび高周波成分ヒストグラムデータを抽出する一画面f内の判定領域faの一例を示す図である。
FIG. 2 shows a determination area fa in one screen f in which the luminance histogram
図2に示すように、画像特徴生成部12を構成する輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122は、1フィールド又は1フレームである画面f内に所定の判定領域faを設け、それぞれ、判定領域fa内の輝度レベルに基づいて、画像の特徴量として、輝度ヒストグラムデータと、高周波成分ヒストグラムデータとを生成する。
As shown in FIG. 2, the luminance histogram
なお、本実施の形態では、1フィールド又は1フレーム毎に輝度および高周波成分のヒストグラムデータを生成するが、複数フィールド又は複数フレーム毎に輝度および高周波成分のヒストグラムデータを生成してもよく、画面の所定単位(時間単位)毎に輝度および高周波成分のヒストグラムデータを生成すればよい。ただし、1フィールド又は1フレーム毎に輝度および高周波成分のヒストグラムデータを生成することが望ましい。さらに判定領域faは、有効映像期間内であれば大きさは任意である。 In this embodiment, histogram data of luminance and high frequency components is generated for each field or frame, but histogram data of luminance and high frequency components may be generated for each of a plurality of fields or frames. What is necessary is just to produce | generate the histogram data of a luminance and a high frequency component for every predetermined unit (time unit). However, it is desirable to generate histogram data of luminance and high frequency components for each field or frame. Furthermore, the size of the determination area fa is arbitrary as long as it is within the effective video period.
(輝度ヒストグラムデータ生成部121の詳細構成例)
図3は、図1における輝度ヒストグラムデータ生成部121の構成例を示すブロック図である。
(Detailed Configuration Example of Luminance Histogram Data Generation Unit 121)
FIG. 3 is a block diagram illustrating a configuration example of the luminance histogram
図3に示すように、輝度ヒストグラムデータ生成部121は、判定器群1211と、カウンタ群1212と、レジスタ群1213とを有する。
As illustrated in FIG. 3, the luminance histogram
輝度ヒストグラムデータ生成部121に入力される映像信号の輝度信号Yは、まず、判定器群1211に供給される。
The luminance signal Y of the video signal input to the luminance histogram
判定器群1211は、図3に示すように、複数の判定器1211a〜1211pにより構成され、輝度信号Yの取り得る輝度レベルの範囲を、所定の輝度レベル範囲の大きさの複数の輝度レベル領域に分割し、各画素毎にその輝度レベルがいずれかの輝度レベル領域に入るものであるかを判定する。本実施の形態では、例えば、輝度信号Yの輝度レベルを0〜255の256階調とし、輝度信号Yの取り得る輝度レベルの範囲を、0〜15階調、16〜31階調、32〜47階調、…、240〜255階調というように16階調毎の16の輝度レベル領域に分割するものとする。なお、256階調および16の輝度レベル領域の分割数は、あくまで、一例であり、これに限定されるものではない。例えば、輝度レベル=40の画素であれば、判定器1211cから“1”が出力され、その他の判定器からは“0”が出力される。
As illustrated in FIG. 3, the
また、カウンタ群1212は、複数のカウンタ1212a〜1212pにより構成され、それぞれ、対応する判定器1211a〜1211pから出力された信号をカウントアップし、そのカウント値を1だけインクリメントする。つまり、複数のカウンタ1212a〜1212pのカウント値は、判定器群1211により分割された16の各輝度レベル領域に含まれる画素の総数を示している。
The
レジスタ群1213は、複数のレジスタ1213a〜1213pにより構成され、カウンタ群1212から出力されるカウント値を保持する。このように、輝度ヒストグラムデータ生成部121は、16階調毎の16に分割した輝度レベル領域に含まれる画素数をカウントして、輝度ヒストグラムデータを生成し、奥行き信号推定部13へ供給する。
The
(高周波成分ヒストグラムデータ生成部122の詳細構成例)
図4は、図1における高周波成分ヒストグラムデータ生成部122の構成例を示すブロック図である。
(Detailed configuration example of the high-frequency component histogram data generation unit 122)
FIG. 4 is a block diagram illustrating a configuration example of the high-frequency component histogram
図4に示すように、高周波成分ヒストグラムデータ生成部122は、HPF(ハイパスフィルタ)1221と、絶対値演算部1222と、コアリング演算部1223と、LPF(ローパスフィルタ)1224と、2値化演算部1225と、判定器群1226と、論理積ゲート群1227と、カウンタ群1228と、レジスタ群1229とを有している。
As shown in FIG. 4, the high frequency component histogram
高周波成分ヒストグラムデータ生成部122では、図4に示すように、入力される輝度信号Yは、HPF1221と、判定器群1226とに供給される。
In the high frequency component histogram
HPF1221は、注目画素とその周辺画素との差分値を生成し、絶対値演算部1222に供給する。
The
絶対値演算部1222は、入力された差分値を絶対値化し、コアリング演算部1223に供給する。
The absolute
コアリング演算部1223は、所定の閾値より小さい差分値は“0”を出力する処理を行い、その結果をLPF1224に供給する。これは、ノイズ成分の振幅は小さい事より、このノイズ成分の除去を目的とする処理である。LPF1224により平均化し2値化演算部1225に供給する。
The
2値化演算部1225では、所定の閾値より大きい場合は“1”を出力し、小さい場合は“0”を出力し、注目画素が高周波成分であるかの判断を行う。
The
なお、判定器群1226は、図3に示す輝度ヒストグラムデータ生成部121の判定器群1211と同様に、16個の判定器1226a〜1226pから構成されており、同様の機能を有している。
Similar to the
論理積ゲート群1227は、判定器群1226からの信号と、2値化演算部1225からの信号との論理積を行い、その論理積結果をカウンタ群1228へ供給するもので、16個の論理積ゲート1227a〜1227pから構成されている。
The AND
カウンタ群1228およびレジスタ群1229は、図3に示す輝度ヒストグラムデータ生成部121のカウンタ群1212およびレジスタ群1213と同様に、16個のカウンタ1228a〜1228p、レジスタ1229a〜1229pから構成されており、同様の機能を有している。
The
このように、本実施の形態の高周波成分ヒストグラムデータ生成部122は、図4に示すように、16個に分割した輝度レベル領域に含まれる高周波成分の画素数をカウントして、各輝度レベル領域毎の高周波成分ヒストグラムデータを生成し、奥行き信号推定部13へ供給する。
As described above, the high frequency component histogram
(奥行き信号推定部13における奥行き信号推定処理の詳細動作例)
図5は、奥行き信号推定部13における奥行き信号推定処理の詳細動作例を示すフローチャートである。
(Detailed operation example of depth signal estimation processing in the depth signal estimation unit 13)
FIG. 5 is a flowchart illustrating a detailed operation example of the depth signal estimation processing in the depth
図5に示すように、奥行き信号推定部13は、まず、画像特徴生成部12の輝度ヒストグラムデータ生成部121および高周波成分ヒストグラムデータ生成部122からそれぞれ画像特徴情報である輝度ヒストグラムデータおよび高周波成分ヒストグラムデータを取得する(ステップS510)。
As shown in FIG. 5, first, the depth
次に、奥行き信号推定部13は、高周波成分ヒストグラムデータを用いて輝度ヒストグラムの補正処理を行う(ステップS520)。
Next, the depth
次に、奥行き信号推定部13は、高周波成分ヒストグラムデータによる補正後の輝度ヒストグラムデータを用いて分散値を算出し、その分散値に基づきゲイン補正値算出処理を行う(ステップS530)。
Next, the depth
次に、奥行き信号推定部13は、分散値に基づき算出したゲイン補正値により補正後の輝度ヒストグラムデータを用いて積分処理及び正規化処理を行い、階調補正曲線(ガンマ曲線)を構成するポイントであるガンマデータの算出処理を行う(ステップS540)。
Next, the depth
次に、奥行き信号推定部13は、ステップS540で算出したガンマデータの正規化リミット処理を行う(ステップS550)。なお、このステップS550のガンマデータの正規化リミット処理は、省略しても良い。
Next, the depth
次に、奥行き信号推定部13は、ステップS550で正規化リミット処理を行ったガンマデータに対し時間方向のリーク型積分処理を行う(ステップS560)。なお、このステップS560のリーク型積分処理は、ステップS550のガンマデータの正規化リミット処理と同様に、省略しても良い。
Next, the depth
次に、奥行き信号推定部13は、リーク型積分処理によって算出した複数のガンマデータより補間データの作成を行う(ステップS570)。
Next, the depth
次に、奥行き信号推定部13は、補間データにより補間した階調補正曲線(ガンマ曲線)に基づいて奥行き量を決定する奥行き信号(シフト量S)を算出する(ステップS580)。なお、奥行き信号(シフト量S)の算出後は、S510の処理へ戻り、ステップS510〜ステップS580の処理を繰り返す。
Next, the depth
次に、図5に示す奥行き信号推定部13の各ステップの処理を詳細に説明する。
Next, the process of each step of the depth
(ステップS520の輝度ヒストグラム補正処理の詳細)
図6は、図5に示すステップS520の輝度ヒストグラム補正処理の詳細例を示すフローチャートである。
(Details of luminance histogram correction processing in step S520)
FIG. 6 is a flowchart showing a detailed example of the luminance histogram correction processing in step S520 shown in FIG.
奥行き信号推定部13は、ステップS510で取得した輝度ヒストグラムデータYhist[i]と高周波成分ヒストグラムデータHhist[i]とを用いて、補正後の輝度ヒストグラムデータCorrYhist[i]を生成する。
The depth
つまり、まず、奥行き信号推定部13は、16個に分割した輝度レベル領域を示すインデックスiと、輝度ヒストグラムデータYhist[i]の積分値Yhist_sumとを0に設定する(ステップS5200)。
That is, first, the depth
次に、奥行き信号推定部13は、iが16未満であるか否かを判定する(ステップS5205)。ここで、iが16よりも小さい場合には(ステップS5205“YES”)、ステップS5210の処理へ進む一方、iが16以上である場合には(ステップS5205“NO”)、ステップS5220の処理へ進む。
Next, the depth
つまり、iが16よりも小さい場合には(ステップS5205“YES”)、奥行き信号推定部13は、次の式(1)に示す計算式により、Yhist[i]の積分を行う(ステップS5210)。
That is, when i is smaller than 16 (step S5205 “YES”), the depth
Yhist_sum = Yhist_sum +Yhist[i] …(1)
なお、ここで求められたYhist_sumは、一時的に奥行き信号推定部13内の図示しないメモリに保存される。
Yhist_sum = Yhist_sum + Yhist [i] (1)
The Yhist_sum determined here is temporarily stored in a memory (not shown) in the depth
ステップS5210の処理が終了すると、奥行き信号推定部13は、iを1インクリメントして(ステップS5215)、ステップS5205の処理に戻る。
When the process of step S5210 ends, the depth
そして、奥行き信号推定部13は、i=15になるまで、ステップS5210およびステップS5215の処理を繰り返し、輝度ヒストグラムデータYhist[i]の積分値を生成する。
Then, the depth
一方、iが16以上になった場合(ステップS5205“NO”)、奥行き信号推定部13は、まず、iと、高周波成分ヒストグラムデータHhist[i]の積分値Hhist_sumと、補正後の輝度ヒストグラムデータCorrYhist[i]の積分値CorrYhist_sumとを0に設定する(ステップS5220)。
On the other hand, when i becomes 16 or more (step S5205 “NO”), the depth
次に、奥行き信号推定部13は、iが16未満であるか否かを判定し(ステップS5225)、ここで、iが16よりも小さい場合には(ステップSS5225“YES”)、ステップS5230の処理へ進む一方、iが16以上の場合には(ステップS5225“NO”)、ステップS5275の処理へ進む。
Next, the depth
つまり、奥行き信号推定部13は、iが16よりも小さい場合には(ステップS5225“YES”)、まず、次の式(2)に示す計算式により、輝度ヒストグラムデータYhist[i]のYhist_sumに対する割合Yhist_rate[i]を求める(ステップS5230)。
That is, when i is smaller than 16 (step S5225 “YES”), the depth
Yhist_rate[i]=(Yhist[i]×255)/Yhist_sum …(2)
次に、奥行き信号推定部13は、Yhist_rate[i]が閾値Yhist_thより大きいか否かを判定し(ステップS5235)、Yhist_rate[i]がYhist_thより大きい場合には(ステップS5235“YES”)、ステップS5240の処理へ進む一方、Yhist_rate[i]がYhist_th以下の場合には(ステップS5235“NO”)、ステップS5265の処理へ進む。
Yhist_rate [i] = (Yhist [i] × 255) / Yhist_sum (2)
Next, the depth
つまり、奥行き信号推定部13は、Yhist_rate[i]がYhist_thより大きい場合には(ステップS5235“YES”)、次の式(3)に示す計算式により、輝度ヒストグラムデータYhist[i]と、閾値Hhist_thを用いて、高周波成分ヒストグラムデータHhist[i]と比較する値Aを求める(ステップS5240)。
That is, when Yhist_rate [i] is larger than Yhist_th (step S5235 “YES”), the depth
A=(Yhist[i]× Hhist_th/255)…(3)
次に、奥行き信号推定部13は、高周波成分ヒストグラムデータHhist[i]が、式(3)により求めた値A未満であるか否かを判定し(ステップS5245)、Hhist[i]がAよりも小さい場合には(ステップS5245“YES”)、ステップS5250の処理へ進む一方、Hhist[i]がA以上の場合には(ステップS5245“NO”)、ステップS5270の処理へ進む。
A = (Yhist [i] × Hhist_th / 255) (3)
Next, the depth
つまり、奥行き信号推定部13は、Hhist[i]がAよりも小さい場合には(ステップS5245“YES”)、次の式(4)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]を求める(ステップS5250)。次いで、奥行き信号推定部13は、次の式(5)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]の積分値CorrYhist_sumを求める(ステップS5255)。
In other words, when Hhist [i] is smaller than A (step S5245 “YES”), the depth
CorrYhist[i]= Yhist[i]×(Hhist[i]/A) …(4)
CorrYhist_sum = CorrYhist_sum+CorrYhist[i] …(5)
これに対し、Yhist_rate[i]が閾値Yhist_th以下の場合には(ステップS5235“NO”)、奥行き信号推定部13は、次の式(6)に示す計算式により、高周波成分ヒストグラムデータHhist[i]の積分値Hhist_sumを求める(ステップS5265)。次いで、奥行き信号推定部13は、次の式(7)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]を求める(ステップS5270)。なお、Hhist[i]がA以上になった場合も(ステップS5245“NO”)、奥行き信号推定部13は、次の式(7)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]を求める(ステップS5270)。
CorrYhist [i] = Yhist [i] × (Hhist [i] / A) (4)
CorrYhist_sum = CorrYhist_sum + CorrYhist [i] (5)
On the other hand, when Yhist_rate [i] is equal to or smaller than the threshold Yhist_th (step S5235 “NO”), the depth
Hhist_sum = Hhist_sum+Hhist[i] …(6)
CorrYhist[i]= Yhist[i] …(7)
奥行き信号推定部13は、ここで求めたCorrYhist[i]、CorrYhist[i]の積分値CorrYhist_sum、Hhist[i]の積分値Hhist_sumを、一時的に、図示しないメモリに保存する。
Hhist_sum = Hhist_sum + Hhist [i] (6)
CorrYhist [i] = Yhist [i] (7)
The depth
ステップS5255もしくはステップS5270の処理が終了すると、奥行き信号推定部13は、iを1インクリメントして(ステップS5260)、ステップS5225の処理に戻る。
When the process of step S5255 or step S5270 ends, the depth
このように、奥行き信号推定部13は、i=15になるまで、ステップS5225〜S5270の処理を繰り返す。
In this way, the depth
その一方、奥行き信号推定部13は、ステップS5225の判断処理で、iが16以上になったと判断した場合には(ステップS5225“NO”)、まず、iを0に設定し(ステップS5275)、続いてiが16未満であるか否かを判定する(ステップS5280)。
On the other hand, if the depth
iが16よりも小さい場合(ステップS5280“YES”)、奥行き信号推定部13は、Yhist_rate[i]が閾値Yhist_th未満であるか否かを判定する(ステップS5285)。奥行き信号推定部13は、Yhist_rate[i]がYhist_thよりも小さい場合のみ(ステップS5285“YES”)、次の式(8)に示す計算式により、CorrYhist[i]を求め(ステップS5290)、Yhist_rate[i]が閾値Yhist_th以上の場合には(ステップS5285“NO”)、CorrYhist[i]を求めない。
When i is smaller than 16 (step S5280 “YES”), the depth
CorrYhist[i]= CorrYhist_sum×Hhist[i]/Hhist_sum …(8)
ここで求められたCorrYhist[i]は、一時的に奥行き信号推定部13内の図示しないメモリに保存される。
CorrYhist [i] = CorrYhist_sum × Hhist [i] / Hhist_sum (8)
CorrYhist [i] obtained here is temporarily stored in a memory (not shown) in the depth
その後、奥行き信号推定部13は、iを1インクリメントして(ステップS5295)、ステップS5280の処理に戻る。
Thereafter, the depth
iが16以上になった場合(ステップS5280“NO”)、奥行き信号推定部13は、補正後の輝度ヒストグラムデータCorrYhist[i](i=0〜15)の生成を終了している。これにより、奥行き信号推定部13は、図5のステップS520の輝度ヒストグラムデータ補正処理を終了し、ステップS530へ進む。
When i becomes 16 or more (step S5280 “NO”), the depth
図7は、奥行き信号推定部13が図5におけるステップS520の輝度ヒストグラム補正処理、すなわち図6に詳細に示す輝度ヒストグラム補正処理により補正した輝度ヒストグラムデータの一例である。
FIG. 7 is an example of luminance histogram data corrected by the depth
図7において、横軸は、16個に分割した輝度レベル領域を示す輝度ヒストグラムデータのインデックスi(i=0〜15)、縦軸は、輝度ヒストグラムデータYhist[i]の頻度(画素数)を表している。 In FIG. 7, the horizontal axis represents the index i (i = 0 to 15) of the luminance histogram data indicating the luminance level region divided into 16, and the vertical axis represents the frequency (number of pixels) of the luminance histogram data Yhist [i]. Represents.
また、図7において、棒グラフ71は、補正前の輝度ヒストグラムデータYhist[i]、棒グラフ72は、高周波成分ヒストグラムデータHhist[i]、棒グラフ73は、補正後の輝度ヒストグラムデータCorrYhist[i]を表している。
In FIG. 7, a
この図7に示すような補正前の輝度ヒストグラムデータYhist[i]を有する画像は、例えば、大面積を占める暗い(低輝度の)平坦な領域に、明るい(中間輝度〜高輝度の)物体が存在する画像である。 In the image having the luminance histogram data Yhist [i] before correction as shown in FIG. 7, for example, a bright (intermediate luminance to high luminance) object is present in a dark (low luminance) flat area occupying a large area. It is an existing image.
そのため、奥行き信号推定部13は、この図7に示すような輝度ヒストグラムデータYhist[i]を示す画像では、ステップS520の高周波成分ヒストグラムによる輝度ヒストグラム補正処理により、インデックスiが“0”と“1”の輝度ヒストグラムデータYhist[i]を減少させ、破線74で示す減少分を、インデックスiが“2”〜“13” の輝度ヒストグラムデータYhist[i]に再配分している。これにより、奥行き信号推定部13は、画像中の暗い平坦な領域から、明るい物体に階調を割り振ることができる。なお、インデックスiが“0”〜“15”の補正前の輝度ヒストグラムデータの総和と、補正後の輝度ヒストグラムデータの総和とはほぼ等しくなる(計算誤差により微小な差は発生する)。
For this reason, the depth
なお、図7において、“Yhist_th”は、図6のステップS5235やステップS5285で使用する閾値である。また、Aは、上記式(3)により求めた高周波成分ヒストグラムデータHhist[i]と比較する値である。 In FIG. 7, “Yhist_th” is a threshold used in step S5235 or step S5285 in FIG. A is a value to be compared with the high frequency component histogram data Hhist [i] obtained by the above equation (3).
図8は、奥行き信号推定部13が図5におけるステップS520の輝度ヒストグラム補正処理、すなわち図6に詳細に示す輝度ヒストグラム補正処理により補正した輝度ヒストグラムデータの他の例である。
FIG. 8 shows another example of the luminance histogram data corrected by the depth
図7と同様に、図8において、横軸は、輝度ヒストグラムデータのインデックスi(i=0〜15)、縦軸は、輝度ヒストグラムデータYhist[i]の頻度(画素数)を表しており、棒グラフ81は、補正前の輝度ヒストグラムデータYhist[i]、棒グラフ82は、高周波成分ヒストグラムデータHhist[i]、棒グラフ83は、補正後の輝度ヒストグラムデータCorrYhist[i]を表している。
As in FIG. 7, in FIG. 8, the horizontal axis represents the index i (i = 0 to 15) of the luminance histogram data, and the vertical axis represents the frequency (number of pixels) of the luminance histogram data Yhist [i]. The
この図8に示すような補正前の輝度ヒストグラムデータYhist[i]を有する画像は、例えば、大面積を占める明るい(高輝度の)平坦な領域と、低輝度〜中間輝度の物体が存在する画像である。図8に示す場合も、図7と同様に、奥行き信号推定部13は、ステップS520の輝度ヒストグラム補正処理により、インデックスiが“14”の輝度ヒストグラムデータYhist[i]を減少させ、破線84で示す減少分を、インデックスiが“1”〜“13” の輝度ヒストグラムデータYhist[i]に再配分している。これにより、図7の場合と同様に、奥行き信号推定部13は、画像中の明るい平坦な領域から、物体が存在する低輝度〜中間輝度に階調を割り振ることができる。なお、図7と同様に、図8において、“Yhist_th”は、図6のステップS5235やステップS5285で使用する閾値である。また、Aは、上記式(3)により求めた高周波成分ヒストグラムデータHhist[i]と比較する値である。
The image having the luminance histogram data Yhist [i] before correction as shown in FIG. 8 is, for example, an image in which a bright (high luminance) flat region occupying a large area and an object having low luminance to intermediate luminance are present. It is. Also in the case illustrated in FIG. 8, as in FIG. 7, the depth
(ステップS530の分散によるゲイン補正値算出処理の詳細)
次に、ステップS530の分散によるゲイン補正値算出処理の詳細について説明する。
(Details of gain correction value calculation processing by dispersion in step S530)
Next, details of the gain correction value calculation processing by the dispersion in step S530 will be described.
奥行き信号推定部13は、ステップS530では、まずステップS520で生成した補正後の輝度ヒストグラムデータCorrYhist[i]を用いて、次の式(9)に示す計算式により、補正後の輝度ヒストグラムデータCorrYhist[i]の平均値CorrYhist_Aveを求める。
In step S530, the depth
式(10)により示す分散値SSは、補正後の輝度ヒストグラムデータCorrYhist[i]が特定のインデックスに集中した場合は、大きな値をとり、広い階調に分散している場合は、小さな値をとる。 The variance value SS represented by the equation (10) takes a large value when the corrected luminance histogram data CorrYhist [i] is concentrated on a specific index, and takes a small value when the luminance histogram data CorrYhist [i] is distributed over a wide gradation. Take.
図9は、本実施の形態における補正後の輝度ヒストグラムデータCorrYhist[i]の分散値SSと、ゲイン補正値Gssとの関係の一例を示す説明図である。 FIG. 9 is an explanatory diagram showing an example of the relationship between the dispersion value SS of the corrected luminance histogram data CorrYhist [i] and the gain correction value Gss in the present embodiment.
図9において、横軸は補正後の輝度ヒストグラムデータCorrYhist[i]の分散値SS、縦軸はゲイン補正値Gssを表す。 In FIG. 9, the horizontal axis represents the dispersion value SS of the corrected luminance histogram data CorrYhist [i], and the vertical axis represents the gain correction value Gss.
図9に示すように、例えば、分散値SS=0〜18と小さい場合、すなわち、補正後の輝度ヒストグラムデータCorrYhist[i]が広い階調に分散している場合は、ゲイン補正値Gssを1.4とする。 As shown in FIG. 9, for example, when the variance value SS = 0 to 18 is small, that is, when the corrected luminance histogram data CorrYhist [i] is dispersed over a wide gradation, the gain correction value Gss is set to 1. .4.
分散値SS=18〜133の範囲では、分散値SSが大きいほど、ゲイン補正値Gssを小さくする。すなわち、補正後の輝度ヒストグラムデータCorrYhist[i]が特定の階調に集中している度合いが大きいほど、ゲイン補正値Gssを減少させる。 In the range of the dispersion value SS = 18 to 133, the gain correction value Gss is decreased as the dispersion value SS is increased. That is, the gain correction value Gss is decreased as the degree to which the corrected luminance histogram data CorrYhist [i] is concentrated on a specific gradation is larger.
分散値SS=133以上では、補正後の輝度ヒストグラムデータCorrYhist[i]が特定の階調に集中しているものとみなして、ゲイン補正値Gssは0とする。 If the variance value SS is greater than or equal to 133, it is assumed that the corrected luminance histogram data CorrYhist [i] is concentrated on a specific gradation, and the gain correction value Gss is set to zero.
なお、図9に示す例では、分散値SS=18,133をゲイン補正値Gssの変化点としているが、これに限定されることはなく、ゲイン補正値Gssの変化点は任意に設定できる。なお、本実施の形態では分散値SSが133以上のときにゲイン補正値Gssを0としているが、0にしなくてもよい。 In the example shown in FIG. 9, the variance values SS = 18 and 133 are used as the change points of the gain correction value Gss. However, the present invention is not limited to this, and the change point of the gain correction value Gss can be set arbitrarily. In the present embodiment, the gain correction value Gss is set to 0 when the variance value SS is 133 or more, but may not be set to 0.
(ステップS540のガンマデータ算出処理の詳細)
図10は、図5に示すステップS540のガンマデータ算出処理の手順を示すフローチャートである。
(Details of gamma data calculation processing in step S540)
FIG. 10 is a flowchart showing the procedure of gamma data calculation processing in step S540 shown in FIG.
奥行き信号推定部13は、図5に示すステップS540のガンマデータ算出処理により、補正後の輝度ヒストグラムデータCorrYhist[i]と、ゲイン補正値Gssとを用いて、輝度信号の階調を補正するための階調補正曲線(ガンマ曲線)を構成する、ガンマデータであるポイントR[i](i=0〜15)を生成する。
The depth
つまり、奥行き信号推定部13は、まず、16個に分割した輝度レベル領域を示すインデックスiと、積分値sumとを、0に設定する(ステップS5400)。
That is, the depth
次に、奥行き信号推定部13は、iが16未満であるか否かを判定する(ステップS5405)。ここで、iが16よりも小さい場合には(ステップS5405“YES”)、ステップS5410の処理へ進む一方、iが16以上の場合には(ステップS5405“NO”)、ステップS5445の処理へ進む。
Next, the depth
つまり、奥行き信号推定部13は、iが16よりも小さい場合には(ステップS5405“YES”)、補正後の輝度ヒストグラムデータCorrYhist[i]を入力する(ステップS5410)。ここでは、i=0よりCorrYhist[0]である。
That is, if i is smaller than 16 (step S5405 “YES”), the depth
次に、奥行き信号推定部13は、ステップS5410の処理により入力した補正後の輝度ヒストグラムデータCorrYhist[i]を、次の式(11)に示す計算式により補正後の輝度ヒストグラムデータCorrYhist[i](i=0〜15)の平均値CorrYhist_Aveを用いてオフセットする(ステップS5415)。なお、次の式(11)に示す計算式による計算値integは、オフセット値である。
Next, the
integ=(CorrYhist[i]−CorrYhist_Ave)×16/CorrYhist_Ave …(11)
次に、奥行き信号推定部13は、次の式(12)に示すように、ステップS5415の処理により求めた式(11)のオフセット値integに、所定の固定ゲインGと、図9に示す関係により分散値SSから求めたゲイン補正値Gssとを乗算する(ステップS5420)。なお、固定ゲインGは、奥行き信号推定部13等に予め設定されている。
integ = (CorrYhist [i] −CorrYhist_Ave) × 16 / CorrYhist_Ave (11)
Next, as shown in the following equation (12), the depth
integ=integ×G×Gss …(12)
次に、奥行き信号推定部13は、積分値sumに、ステップS5420で求めたデータであるオフセット値integを加算する(ステップS5425)。ここで、最初は、i=0より、sum=0であるから、新たに得られるsumは、ステップS5420の処理で求めたオフセット値integとなる。
integ = integ × G × Gss (12)
Next, the depth
次に、奥行き信号推定部13は、ステップS5425の処理で求めた積分値sumを用いて、次の式(13)により、補正後の輝度ヒストグラムデータCorrYhist[i]に対応するポイントP[i]を求める(ステップS5430)。
Next, the depth
P[i]=sum/16 …(13)
次に、奥行き信号推定部13は、次の式(14)により、ステップS5430の処理で求めたP[i]にリニアデータ[(Lw−Lb)×(i+1)/16+Lb]を付加したQ[i]を算出する(ステップS5435)。
P [i] = sum / 16 (13)
Next, the depth
Q[i]=P[i]+[(Lw−Lb)×(i+1)/16+Lb] …(14)
ここで、Lwは所定の白レベル、Lbは所定の黒レベルである。
Q [i] = P [i] + [(Lw−Lb) × (i + 1) / 16 + Lb] (14)
Here, Lw is a predetermined white level and Lb is a predetermined black level.
なお、奥行き信号推定部13は、ステップS5435で求めたQ[i]を、一時的に図示しないメモリに保存する。
The depth
奥行き信号推定部13は、ステップS5435の処理が終了すると、インデックスiを1インクリメントして(ステップS5440)、ステップS5405の処理に戻る。
When the process of step S5435 ends, the depth
そして、奥行き信号推定部13は、i=15まで(ステップS5405“YES”)、前述したステップS5405〜S5440の処理を繰り返す。
Then, the depth
以上の処理によって、奥行き信号推定部13は、図11に示すようなポイントQ[0]〜Q[15]を生成する。
Through the above processing, the depth
図11において、横軸は、輝度信号(Y入力)、縦軸は、出力輝度信号(Y出力)を表しており、ポイントQ[0]〜Q[15]を結ぶ曲線が階調補正曲線(ガンマ曲線)となる。ただし、図11に示す階調補正曲線は、正規化前であり、Dを用いて正規化する必要があることも示している。なお、このDは、後述する式(14)により算出する値である。 In FIG. 11, the horizontal axis represents the luminance signal (Y input), the vertical axis represents the output luminance signal (Y output), and a curve connecting points Q [0] to Q [15] is a gradation correction curve ( Gamma curve). However, the gradation correction curve shown in FIG. 11 is before normalization, and also shows that it is necessary to normalize using D. In addition, this D is a value calculated by the formula (14) described later.
奥行き信号推定部13は、図10のステップS5445以降において、Q[0]〜Q[15]の正規化処理を行う。
The depth
奥行き信号推定部13は、図10のステップS5435の処理によりポイントQ[15]を求めると、続くステップS5440の処理により、iを1インクリメントする。これにより、iは16となる。
When the depth
すると、奥行き信号推定部13は、続くステップS5405の処理により、iは16未満ではないと判定して(ステップS5405“NO”)、ステップS5445の処理に進み、次の式(15)を用いて、所定の白レベルLwと現在の白レベル(Q[15])との差分Dを求める。これは、現在の白レベル(Q[15])を所定の白レベルLwに補正する必要があるからである。なお、本実施の形態では、所定の黒レベルLb=0としている。
Then, the depth
D=Lw−Lb−Q[15] …(15)
次に、奥行き信号推定部13は、再びi=0に設定し(ステップS5450)、続いてiが16未満であるか否かを判定する(ステップS5455)。
D = Lw−Lb−Q [15] (15)
Next, the depth
奥行き信号推定部13は、iが16よりも小さいと判断した場合には(ステップS5455“YES”)、ステップS5445の処理により現在の白レベルQ[15]を所定の白レベルLwに一致させたことで生じた差分Dに応じて、各ポイントQ[i]の白レベルを変更する補正、すなわち正規化処理を、次の式(16)を用いて行う(ステップS5460)。これにより、階調補正曲線を構成するガンマデータであるポイントR[i]が求められる。各ポイントR[i]は、一時的に奥行き信号推定部13内の図示しないメモリに保存される。
If the depth
R[i]=Q[i]+D×(i+1)/16+Lb …(16)
そして、奥行き信号推定部13は、ステップS5460の処理が終了すると、iを1インクリメントして(ステップS5465)、ステップS5455の処理に戻る。
R [i] = Q [i] + D × (i + 1) / 16 + Lb (16)
Then, when the process of step S5460 ends, the depth
そして、奥行き信号推定部13は、i=15までステップS5460およびステップS5465の処理を繰り返す。
And the depth
そして、ステップS5460の処理によりQ[15]について正規化処理がされると、続くステップS5465の処理により、iが16となるので、奥行き信号推定部13は、ステップS5455において、iは16未満ではないと判定する(ステップS5455“NO”)。これにより、ポイントR[0]〜R[15]の生成が終了する。この後、奥行き信号推定部13は、図5のステップS550へ進む。
Then, when Q [15] is normalized by the process of step S5460, i is 16 by the subsequent process of step S5465. Therefore, the depth
図12は、本実施の形態における階調補正曲線の比較を示す図である。 FIG. 12 is a diagram showing a comparison of gradation correction curves in the present embodiment.
図12(a)は、奥行き信号推定部13が図7に示した輝度ヒストグラムデータを基に生成した階調補正曲線を示し、(b)は奥行き信号推定部13が図8に示した輝度ヒストグラムデータを基に生成した階調補正曲線を示している。
12A shows the gradation correction curve generated by the depth
図12(a),(b)において、破線により示す曲線91a,91bは、それぞれ、図5のステップS520の輝度ヒストグラム補正処理を行わなかった場合の階調補正曲線を示す。実線により示す曲線92a,92bは、図5のステップS520の輝度ヒストグラム補正処理を行った場合の階調補正曲線を示す。図12(a),(b)において、曲線91a,91bが、従来技術に相当する階調補正曲線を示している。
In FIGS. 12A and 12B, curves 91a and 91b indicated by broken lines indicate gradation correction curves when the luminance histogram correction processing in step S520 in FIG. 5 is not performed.
図12(a)では、曲線91aの場合、平坦な暗部に階調が割り振られる事で、黒浮きや階調段差を目立たせる要因となっていた。一方、曲線92aの場合、物体のある中間輝度近辺に多くの階調を割り振ることができ、平坦な暗部は黒いままで物体のコントラスト感を増すことができる。
In FIG. 12A, in the case of the
また、図12(b)では、曲線91bの場合、平坦な明部に階調が割り振られる事で、物体が存在する中間輝度近辺はY入力に対して、値が小さく出力され、物体がやや暗くなってしまう要因となっていた。一方、曲線92bの場合、物体のある中間輝度近辺に多くの階調を割り振ることができ、物体のコントラスト感を増すことができる。
In FIG. 12B, in the case of the
(ステップS550のガンマデータの正規化リミット処理の詳細)
奥行き信号推定部13は、ステップS540で生成したR[0]〜R[15]に対して、ステップS550において正規化リミット処理を行う。
(Details of normalization limit processing of gamma data in step S550)
The depth
まず、奥行き信号推定部13は、ガンマデータであるR[i]と、リニアデータとの差分値Rsub[i]を、次の式(17)を用いて算出する。
First, the depth
Rsub[i]=R[i]−[256×(i+1)/16] …(17)
なお、式(17)において、i=0〜15とする。
Rsub [i] = R [i] − [256 × (i + 1) / 16] (17)
In equation (17), i = 0 to 15.
また、Rsub[i]の絶対値をRsub_abs[i]とし、Rsub_abs[i](i=0〜15)の最大値をRsub_maxとし、正規化リミット処理する際のリミット閾値をR_thとする。すると、Rsub_maxがR_thより大きい場合、奥行き信号推定部13は、次の式(18)を用いて正規化リミット処理し、Rsub[i](i=0〜15)を補正する。
In addition, the absolute value of Rsub [i] is Rsub_abs [i], the maximum value of Rsub_abs [i] (i = 0 to 15) is Rsub_max, and the limit threshold for normalization limit processing is R_th. Then, when Rsub_max is larger than R_th, the depth
Rsub[i]=Rsub[i]×R_th/Rsub_max …(18)
なお、式(18)において、i=0〜15とする。
Rsub [i] = Rsub [i] × R_th / Rsub_max (18)
In equation (18), i = 0 to 15.
その後、奥行き信号推定部13は、次の式(19)を用いて、Rsub[i]と、リニアデータ[256×(i+1)/16]との和を求め、補正後のR[i]を生成する。その後、奥行き信号推定部13は、ステップS560のリーク型積分処理へと進む。
Thereafter, the depth
R[i]=Rsub[i]+[256×(i+1)/16] …(19)
図13(a)〜(d)は、本実施の形態における階調補正曲線の正規化リミット処理前、正規化リミット処理後の一例を示す図である。
R [i] = Rsub [i] + [256 × (i + 1) / 16] (19)
FIGS. 13A to 13D are diagrams illustrating an example of the gradation correction curve before and after the normalization limit process according to the present embodiment.
図13(a)に示す階調補正曲線101aをリミット閾値R_thにより正規化リミット処理すると、図13(b)に示すような階調補正曲線101bが得られる。また、図13(c)に示す階調補正曲線101cをリミット閾値値R_thにより正規化リミット処理すると、図13(d)に示すような階調補正曲線101dが得られる。
When the
なお、前述したように、ステップS550のガンマデータの正規化リミット処理は省略しても良い。 As described above, the normalization limit processing of gamma data in step S550 may be omitted.
(ステップS560のリーク型積分処理の詳細)
次に、図5に示すステップS560のリーク型積分処理の詳細について説明する。
(Details of leak type integration processing in step S560)
Next, details of the leaky integration processing in step S560 shown in FIG. 5 will be described.
図14は、図5に示すステップS560のリーク型積分処理を実行するリーク型積分回路131の構成例を示すブロック図である。
FIG. 14 is a block diagram illustrating a configuration example of the
リーク型積分回路131は、ステップS550で生成された各ポイントR[i]を入力とし、これにリーク型積分処理を施した出力データR_out[i]を出力する。リーク型積分回路131は、奥行き信号推定部13の中に設けられる。
The
図14に示すように、リーク型積分回路131は、加算器1311と、レジスタ群1312と、15/16乗算器1313と、1/16乗算器1314とを有しており、時間方向にリーク型の積分処理を行うよう構成されている。
As shown in FIG. 14, the
リーク型積分回路131において、R[i]が入力されると、レジスタ群1312内の16個のレジスタ1312a〜1312pより順に出力されたデータに15/16乗算器1313にて15/16が乗算され、加算器1311にて加算される。
When R [i] is input to the
この加算された結果がレジスタ群1312内の16個のレジスタ1312a〜1312pに順に格納される。
The added result is sequentially stored in the 16
そしてレジスタ群1312内の16個のレジスタ1312a〜1312pより順に出力されたデータに、1/16乗算器1314にて1/16を乗算したものが最終的な出力データR_out[i]として出力される。
Then, the data sequentially output from the 16
このように、奥行き信号推定部13は、ステップS560のリーク型積分処理を行うことにより、画像を緩やかに変化させ、より自然な画質を提供することができる。なお、前述したように、ステップS560のリーク型積分処理は省略しても良い。
As described above, the depth
(ステップS570のガンマデータの補間データの作成処理)
次に、奥行き信号推定部13は、ステップS560のリーク型積分処理を行ったガンマデータに対し、ステップS570により補間データの作成処理を行う。
(Gamma data interpolation data creation processing in step S570)
Next, the depth
つまり、奥行き信号推定部13は、ステップS570の処理により、ステップS560で生成したリーク型積分処理後のR_out[i](i=0〜15)を補間データにより直線補間して、後述する図15(a)に示すような階調補正曲線を生成する。
That is, the depth
(ステップS580の奥行き信号算出処理)
そして、奥行き信号推定部13は、ステップS580の奥行き信号算出処理により、ステップS570の処理により補間データにより直線補間された出力輝度信号(Y_out(j)(j=0〜255))を示す階調補正曲線と、リニアデータである入力輝度信号(j(=0〜255))との差分値を、奥行き信号であるシフト量S(j)として次の式(20)を用いて算出する。
(Depth signal calculation process in step S580)
Then, the depth
S(j)=Y_out(j)−j …(20)
この式(20)のシフト量S(j)(j=0〜255)が、奥行きを決定する奥行き信号として奥行き信号推定部13から出力される。
S (j) = Y_out (j) -j (20)
The shift amount S (j) (j = 0 to 255) in the equation (20) is output from the depth
以上のような処理により、本実施の形態の奥行き信号生成装置1は、奥行き信号であるシフト量Sを生成して、ステレオペア生成装置2へ出力する。
Through the processing as described above, the depth
図15は、本実施の形態におけるシフト量Sの算出の一例を示す説明図である。 FIG. 15 is an explanatory diagram illustrating an example of calculation of the shift amount S in the present embodiment.
図15(a)は、入力輝度信号(j(=0〜255))と、出力輝度信号(Y_out(j)(j=0〜255))との関係、すなわちステップS570の処理により補間データにより直線補間された階調補正曲線111の一例を示す図である。また、図15(b)は、入力輝度信号(j)と、図15(a)に示す本実施の形態により最終的に生成された階調補正曲線111に基づくシフト量S(j)との関係を示す図である。
FIG. 15A shows the relationship between the input luminance signal (j (= 0 to 255)) and the output luminance signal (Y_out (j) (j = 0 to 255)), that is, interpolation data obtained by the processing in step S570. It is a figure which shows an example of the
つまり、入力輝度信号(j)の奥行き信号であるシフト量S(j)は、図15(a)に示す階調補正曲線111に基づいて決まることになる。
That is, the shift amount S (j) that is the depth signal of the input luminance signal (j) is determined based on the
以上説明したように、本実施の形態の奥行き信号生成装置1は、非立体画像の映像信号の輝度レベルの空間的な情報を考慮した輝度レベルヒストグラム分布に応じて、輝度レベルの分布の多い輝度レベル近傍では階調補正曲線の傾斜を増大させる一方、輝度レベルの分布の少ない輝度レベル近傍は階調補正曲線の傾斜を減少させる等の補正をした階調補正曲線を生成し、この階調補正曲線に基づき非立体画像の映像信号の奥行き信号を推定する。これにより、奥行き信号生成装置1は、画面(視野)上において面積の多い、すなわち輝度レベルの分布が広い輝度レベルには奥行き方向の階調を配分することができる。この結果、奥行き信号生成装置1によれば、非立体画像から生成される擬似的な立体化画像において、画面全体として擬似的な立体感を向上させることが可能となる。
As described above, the depth
なお、本実施の形態の奥行き信号生成装置1では、奥行き信号推定部13は、図9に示すように、式(10)により求めた分散値SSに基づきゲイン補正値Gssを変更するように説明したが、本発明では、これに限らず、分散値SS以外のパラメータに基づきゲイン補正値Gssを変更するようにしても勿論よい。
In the depth
≪ステレオペア生成装置2の動作の一例≫
ステレオペア生成装置2では、奥行き信号生成装置1により生成された階調補正曲線に基づいて推定された奥行き信号と、映像信号とを基に、別視点の画像を生成する。例えば、左に視点移動する場合、画面より手前に表示するものについては、近い物ほど画像を見る者の内側(鼻側)に見えるので、内側すなわち右に対応部分のテクスチャを奥行きに応じた量だけ移動する。これに対し、画面より奥に表示するものについては、近い物ほど画像を見る者の外側に見えるので、左に対応部分のテクスチャを奥行きに応じた量だけ移動する。これを左目画像、原画を右目画像とすることでステレオペアが構成される。
≪Example of operation of stereo
The stereo
つまり、図1に示す本実施の形態のステレオペア生成装置2では、まず、テクスチャシフト部21が奥行き信号生成装置1の奥行き信号推定部13から出力された奥行き信号について、小さい値、すなわち奥に位置するものから順に、その値に対応する部分の映像信号のテクスチャを、奥行き信号が示すシフト量S画素分だけ、例えば右にシフトする。なお、奥行き信号が負の場合には、奥行き信号が示すそのシフト量S画素分だけ左へシフトする。
That is, in the stereo
テクスチャシフト部21における奥行き信号が示すそのシフト量Sに基づく映像信号のテクスチャのシフト動作は、非立体画像の映像信号のテクスチャのシフトに対応するものである。換言するならば、非立体画像の各画素を、奥行き信号の値であるシフト量Sの値に応じてそれぞれを左右に移動する処理である。
The texture shift operation of the video signal based on the shift amount S indicated by the depth signal in the
ここで、シフトを行うことによる画像中の位置関係の変化により、テクスチャの存在しない部分、すなわちオクルージョンが発生する場合がある。このような部分については、オクルージョン補償部22が、映像信号の対応部分周辺の映像信号により充填するか、若しくは公知の文献(山田邦男,望月研二,相澤清晴,齊藤隆弘:“領域競合法により分割された画像のテクスチャの統計量に基づくオクルージョン補償”,映情学誌,Vol.56,No.5,pp.863-866(2002.5))等に記載の手法で充填する。
Here, there is a case where a portion where no texture exists, that is, an occlusion occurs due to a change in the positional relationship in the image due to the shift. For such a part, the
オクルージョン補償部22にてオクルージョン補償された画像は、ポスト処理部23により平滑化などのポスト処理を施すことにより、それ以前の処理において発生したノイズなどを軽減し、左目画像信号生成部24が左目画像信号として出力する。その一方、右目画像信号生成部25は、映像信号を右目画像信号として出力する。
The image subjected to occlusion compensation by the
このようにして、ステレオペア生成装置2は、奥行き信号生成装置1により生成された階調補正曲線に基づいて推定した奥行き信号と、映像信号とを基に、左目画像信号と右目画像信号とのステレオペアを生成することができる。そして、これらの左目画像信号と右目画像信号は、ステレオ表示装置3へ出力される。
In this way, the stereo
ステレオペア生成装置2と奥行き信号生成装置1とにより、本実施の形態の擬似立体画像信号生成装置が構成される。この擬似立体画像信号生成装置によれば、非立体画像から上記ステレオペアを生成し、このステレオペアにより、画面全体として擬似的な立体感を向上させた擬似立体画像をステレオ表示装置3に表示させることが可能となる。
The stereo
なお、ステレオペアに関して、左右反転することで左目画像信号を原画、右目画像信号を別視点画像のステレオペアを構成してもよい。また、上記処理においては、右目画像信号もしくは左目画像信号のどちらかを映像信号、他方を生成された別視点画像信号とするようなステレオペアを構成しているが、左右どちらについても別視点画像信号を用いる、すなわち、右に視点移動した別視点画像信号と左に視点移動した別視点画像信号とを用いてステレオペアを構成することも可能である。 In addition, regarding the stereo pair, the left-eye image signal may be reversed to form a stereo pair of the left-eye image signal as the original image and the right-eye image signal as the different viewpoint image. In the above processing, a stereo pair is formed in which either the right-eye image signal or the left-eye image signal is a video signal, and the other is a generated different viewpoint image signal. It is also possible to form a stereo pair using a signal, that is, using another viewpoint image signal moved to the right and another viewpoint image signal moved to the left.
≪ステレオ表示装置3の動作の一例≫
そして、図1に示す本実施の形態のステレオ表示装置3は、例えば、偏光メガネを用いたプロジェクションシステム、あるいは時分割表示と液晶シャッタメガネを組み合わせたプロジェクションシステム若しくはディスプレイシステム、レンチキュラ方式のステレオディスプレイ、アナグリフ方式のステレオディスプレイ、ヘッドマウントディスプレイなどや、ステレオ画像の各画像に対応した2台のプロジェクタによるプロジェクタシステムであり、ステレオペア生成装置2によって生成された左目画像信号と、右目画像信号とを入力してディスプレイ等に表示して、擬似立体画像を表示する。
<< Example of operation of
The
なお、上記実施の形態の説明では、ステレオペア生成装置2として左目画像信号と右目画像信号の2視点での例を説明したが、本発明では、これに限らず、2視点以上の表示が可能な表示装置にて表示する場合には、その視点数に応じた数の別視点画像を生成するように構成しても勿論よい。
In the description of the above embodiment, the stereo
また、上記のように2視点以上の表示が可能な表示装置を用いた多視点立体画像表示システムの構築も可能である。また、本立体表示システムにおいては音声出力を装備する形態のものも考えられる。この場合、静止画等音声情報を持たない画像コンテンツについては、画像にふさわしい環境音を付加するような態様のものが考えられる。 In addition, as described above, it is possible to construct a multi-viewpoint stereoscopic image display system using a display device that can display two or more viewpoints. Further, the present stereoscopic display system may be configured to be equipped with an audio output. In this case, for image content that does not have audio information, such as still images, an aspect in which an environmental sound suitable for an image is added can be considered.
また、本実施の形態では、図1に示すように、奥行き信号生成装置1と、ステレオペア生成装置2と、ステレオ表示装置3とをハードウエアにより構成して説明したが、本発明では、ハードウエアにより構成したものに限定されるものではなく、例えば、CPUと、そのCPUを前述のように動作させるためのコンピュータプログラムのソフトウェアにより奥行き信号生成装置1、ステレオペア生成装置2およびステレオ表示装置3の機能を達成するようにしても勿論よい。この場合、コンピュータプログラムは、記録媒体からコンピュータに取り込まれてもよいし、ネットワーク経由でコンピュータに取り込まれてもようにしても良い。
In the present embodiment, as shown in FIG. 1, the depth
以上、本発明を一実施の形態によって説明したが、上記実施の形態は、本発明の技術的思想を具体化するための装置や方法を例示するものであって、この発明の技術的思想は、構成物品の材質、形状、構造、配置等を下記のものに特定するものでない。この発明の技術的思想は、特許請求の範囲において種々の変更を加えることができる。 Although the present invention has been described above with reference to one embodiment, the above embodiment exemplifies an apparatus and method for embodying the technical idea of the present invention. The material, shape, structure, arrangement, etc. of the constituent articles are not specified as follows. The technical idea of the present invention can be variously modified within the scope of the claims.
1 奥行き信号生成装置
11 ローパスフィルタ
12 画像特徴生成部
121 輝度ヒストグラムデータ生成部(輝度ヒストグラム生成手段)
122 高周波成分ヒストグラムデータ生成部(高周波成分ヒストグラム生成手段)
13 奥行き信号推定部(輝度ヒストグラムデータ補正手段、ゲイン算出手段、階調補正曲線生成手段、奥行き信号生成手段)
2 ステレオペア生成装置
21 テクスチャシフト部
22 オクルージョン補償部
23 ポスト処理部
24 左目画像信号生成部
25 右目画像信号生成部
3 ステレオ表示装置
DESCRIPTION OF
122 High frequency component histogram data generation unit (high frequency component histogram generation means)
13 Depth signal estimation unit (luminance histogram data correction means, gain calculation means, gradation correction curve generation means, depth signal generation means)
2 Stereo
Claims (7)
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成する高周波成分ヒストグラム生成手段と、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成する輝度ヒストグラムデータ補正手段と、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するゲイン算出手段と、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて複数のガンマデータからなる階調補正曲線を生成する階調補正曲線生成手段と、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成する奥行き信号生成手段と、
を有することを特徴とする奥行き信号生成装置。 The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Luminance histogram generation means for counting the number of pixels included in the region and generating luminance histogram data indicating the luminance level distribution of the video signal based on the count value;
High-frequency component histogram generation means for generating high-frequency component histogram data indicating a distribution of high-frequency components at the luminance level of the video signal in the plurality of luminance level regions;
Luminance histogram data correction means for generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Gain calculating means for calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
A gradation correction curve generating means for generating a gradation correction curve composed of a plurality of gamma data based on the gain correction value and the corrected luminance histogram data;
A depth signal generating means for generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
A depth signal generation device characterized by comprising:
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて前記階調補正曲線を構成する複数のポイントとなるガンマデータを生成し、
前記ガンマデータのリミット処理を行い、
リミット処理された前記ガンマデータに対してリーク型積分処理を行い、積分処理したガンマデータを生成し、
前記積分処理したガンマデータに基づいて前記階調補正曲線を生成する、
ことを特徴とする奥行き信号生成装置。 The gradation correction curve generating means includes
Based on the gain correction value and the corrected luminance histogram data, generate gamma data that is a plurality of points constituting the gradation correction curve,
Perform limit processing of the gamma data,
Perform leak-type integration processing on the limit-processed gamma data to generate integrated gamma data,
Generating the gradation correction curve based on the integrated gamma data;
A depth signal generator characterized by the above.
前記奥行き信号生成装置によって生成された前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステレオペア生成装置と、
を有することを特徴とする擬似立体画像信号生成装置。 The depth signal generation device according to claim 1 or 2,
A stereo pair generation device that generates a left-eye image signal and a right-eye image signal by shifting the texture of the video signal based on the depth signal generated by the depth signal generation device and the video signal;
A pseudo-stereoscopic image signal generation device characterized by comprising:
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
を有することを特徴とする奥行き信号生成方法。 The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
A depth signal generation method characterized by comprising:
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
を有することを特徴とする擬似立体画像信号生成方法。 The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
Generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal;
A pseudo-stereoscopic image signal generation method characterized by comprising:
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
をコンピュータに実行させるための奥行き信号生成プログラム。 The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
A depth signal generation program for causing a computer to execute.
前記複数の輝度レベル領域における前記映像信号の輝度レベルにおける高周波成分の分布を示す高周波成分ヒストグラムデータを生成するステップと、
前記高周波成分ヒストグラムデータに基づいて前記輝度ヒストグラムデータを補正した補正後の輝度ヒストグラムデータを生成するステップと、
前記補正後の輝度ヒストグラムデータの分布の状態に基づきゲイン補正値を算出するステップと、
前記ゲイン補正値と前記補正後の輝度ヒストグラムデータとに基づいて階調補正曲線を生成するステップと、
前記階調補正曲線に基づいて前記映像信号から奥行きを示す奥行き信号を生成するステップと、
前記奥行き信号と、前記映像信号とに基づいて、前記映像信号のテクスチャをシフトすることにより左目画像信号と右目画像信号とを生成するステップと、
をコンピュータに実行させるための擬似立体画像信号生成プログラム。 The range that the luminance level of the video signal can take is divided into a plurality of luminance level regions, and it is determined which luminance level region the luminance level is included for each predetermined unit pixel of the video signal. Counting the number of pixels included in the region, and generating luminance histogram data indicating a luminance level distribution of the video signal based on the count value;
Generating high frequency component histogram data indicating a distribution of high frequency components at a luminance level of the video signal in the plurality of luminance level regions;
Generating corrected luminance histogram data obtained by correcting the luminance histogram data based on the high-frequency component histogram data;
Calculating a gain correction value based on the distribution state of the luminance histogram data after correction;
Generating a gradation correction curve based on the gain correction value and the corrected luminance histogram data;
Generating a depth signal indicating a depth from the video signal based on the gradation correction curve;
Generating a left-eye image signal and a right-eye image signal by shifting a texture of the video signal based on the depth signal and the video signal;
A pseudo-stereoscopic image signal generation program for causing a computer to execute.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010227246A JP2012084961A (en) | 2010-10-07 | 2010-10-07 | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010227246A JP2012084961A (en) | 2010-10-07 | 2010-10-07 | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012084961A true JP2012084961A (en) | 2012-04-26 |
Family
ID=46243404
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010227246A Pending JP2012084961A (en) | 2010-10-07 | 2010-10-07 | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012084961A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100031A (en) * | 2010-11-01 | 2012-05-24 | Canon Inc | Image processing device and control method therefor |
KR20140064090A (en) * | 2012-11-19 | 2014-05-28 | 엘지디스플레이 주식회사 | Device for correcting depth map of three dimensional image and method for correcting the same |
-
2010
- 2010-10-07 JP JP2010227246A patent/JP2012084961A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012100031A (en) * | 2010-11-01 | 2012-05-24 | Canon Inc | Image processing device and control method therefor |
KR20140064090A (en) * | 2012-11-19 | 2014-05-28 | 엘지디스플레이 주식회사 | Device for correcting depth map of three dimensional image and method for correcting the same |
KR101970562B1 (en) * | 2012-11-19 | 2019-04-19 | 엘지디스플레이 주식회사 | Device for correcting depth map of three dimensional image and method for correcting the same |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102474644B (en) | Stereo image display system, parallax conversion equipment, parallax conversion method | |
US8711204B2 (en) | Stereoscopic editing for video production, post-production and display adaptation | |
US9922441B2 (en) | Image processing device, image processing method, and program | |
US20130038606A1 (en) | Image processing apparatus, image processing method, and program | |
US10115207B2 (en) | Stereoscopic image processing method and apparatus thereof | |
EP2569950B1 (en) | Comfort noise and film grain processing for 3 dimensional video | |
US9179132B2 (en) | Depth signal generation apparatus, pseudo stereo image signal generation apparatus, depth signal generation method, pseudo stereo image signal generation method, computer-readable recording medium recording depth signal generation program, and computer-readable recording medium recording pseudo stereo image signal generation program | |
JP2015095779A (en) | Image processing apparatus, image processing method, and electronic equipment | |
JP2015012429A (en) | Image processing apparatus, image processing method, and image processing program | |
JP5692051B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
US8976171B2 (en) | Depth estimation data generating apparatus, depth estimation data generating method, and depth estimation data generating program, and pseudo three-dimensional image generating apparatus, pseudo three-dimensional image generating method, and pseudo three-dimensional image generating program | |
JP5127973B1 (en) | Video processing device, video processing method, and video display device | |
US8976175B2 (en) | Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device | |
JP2012084961A (en) | Depth signal generation device, pseudo stereoscopic image signal generation device, depth signal generation method, pseudo stereoscopic image signal generation method, depth signal generation program, and pseudo stereoscopic image signal generation program | |
US9143755B2 (en) | Image processing device | |
JP5500092B2 (en) | Depth estimation data generation device, depth estimation data generation program, and pseudo-stereoscopic image display device | |
JP5780214B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
JP5786807B2 (en) | Depth information generation device, depth information generation method, depth information generation program, pseudo stereoscopic image generation device | |
JP5459231B2 (en) | Pseudo stereoscopic image generation apparatus, pseudo stereoscopic image generation program, and pseudo stereoscopic image display apparatus | |
JP5691966B2 (en) | Depth estimation data generation apparatus, generation method and generation program, and pseudo stereoscopic image generation apparatus, generation method and generation program | |
Sohn et al. | Disparity remapping to ameliorate visual comfort of stereoscopic video | |
JP6056459B2 (en) | Depth estimation data generation apparatus, pseudo stereoscopic image generation apparatus, depth estimation data generation method, and depth estimation data generation program | |
US9137519B1 (en) | Generation of a stereo video from a mono video | |
JP2012060381A (en) | Depth data generation device, pseudo stereoscopic image signal generation device, depth data generation method, pseudo stereoscopic image signal generation method, depth data generation program, and pseudo stereoscopic image signal generation program | |
JP2014072640A (en) | Depth estimation data generation device, pseudo three-dimensional image generation device, depth estimation data generation method and depth estimation data generation program |