发明内容
本发明就是为了解决这种课题,目的是提供一种视觉处理装置、视觉处理方法、程序、显示装置和集成电路,在输入特殊图像的情况下,可以抑制副作用,并且可以以简单的结构,变更图像的视觉处理强度。
第1发明是具有周边图像信息抽出部、视觉处理部、特殊图像检出部和效果调整部的视觉处理装置。周边图像信息抽出部抽出可形成1幅图像的图像信号的周边图像信息;视觉处理部根据图像信号和周边图像信息,输出对图像信号进行视觉处理的处理信号;特殊图像检出部检出由图像信号形成的1幅图像内所含的规定区域的统计性的信息的偏差,根据被检出的统计性的信息的偏差,算出表示1幅图像为特殊图像的程度的特殊图像度,根据算出的特殊图像度,输出效果调整信号;效果调整部按照效果调整信号,对视觉处理部进行控制,使其对形成1幅图像的图像信号设定视觉处理的效果。
在上述视觉处理装置中,通过特殊图像检出部,由图像信号形成的1幅图像内所含的规定区域的统计性的信息的偏差被检出,根据被检出的统计性的信息的偏差,表示1幅图像为特殊图像的程度的特殊图像度被算出,根据被算出的特殊图像程度,效果调整信号被输出。然后,通过效果调整部,按照效果调整信号,视觉处理部被控制成为对形成1幅图像的图像信号设定视觉处理的效果。因此,可以对每1幅图像算出1个特殊图像度,根据该特殊图像度,对每1幅图像进行最佳视觉处理。
由此,可以在输入非特殊图像的通常图像的情况下,维持视觉处理效果,即使是在输入特殊图像的情况下,也可以抑制副作用,且可以以简单的构成来变更图像的视觉处理强度。
这里,所谓的“1幅图像”,就是显示在显示装置上的2维图像,如果是静态画面,就是构成显示在显示装置上的显示画面的2维图像,如果是动态画面,就是通过1帧的图像(影像)信号或者1域的图像(影像)信号在显示装置上显示的2维图像。另外,在形成1幅图像的图像信号中也可以包含用来在显示装置上进行显示的同步信号等。
此外,所谓“1幅图像内所含的规定区域”就是在1幅图像内包含的具有规定大小的图像区域,例如,它相当于:相对在显示装置上显示1幅图像时的显示画面总体,从显示画面的中心起面积占80%的图像区域,或在显示装置上显示1幅图像时除去显示画面周边所显示的黑色部分(在显示装置的长宽比与显示的图像的长宽比不同的情况下,在显示装置的显示画面上显示的黑的部分,例如,在将长宽比为4∶3的图像(影像)显示在具有长宽比为16∶9的显示画面的显示装置上时显示画面左右两端所显示的黑的部分(相当于NTSC方式等下的电视信号的基准电平的影像信号))的图像区域等。另外,毋庸赘言,在“1幅图像内所含的规定区域”中,包含显示装置上显示1幅图像时的显示画面整体的区域(1幅图像的整体图像区域)。
此外,这里,所谓视觉处理(空间视觉处理)就是使用根据着眼像素(区域)周围的亮度而变化的灰度特性,对着眼像素(区域)进行灰度补偿的处理。例如,在输入信号的着眼像素的灰度值为小灰度值(例如,8位灰度值时为“50”)的情况下,且在着眼像素周边的亮度较暗的情况(例如,8位灰度值时为“20”)下,对着眼像素的灰度值进行灰度校正,使其成为较大的灰度值(例如,8位灰度值时为“150”)。相反,在输入信号的着眼像素的灰度值为小灰度值(例如,8位灰度值时为“50”)的情况下,且在着眼像素周边的亮度较亮的情况(例如,8位灰度值时为“100”)下,对着眼像素的灰度值进行灰度校正,使其成为较小的灰度值(例如,8位灰度值时为“30”)。这种处理是空间视觉处理的一例。
第2发明是第1发明中,特殊图像检出部根据由图像信号形成的1幅图像内包含的规定区域中浓淡变化区域的比例或浓淡不变化区域的比例,检出统计性的信息的偏差。
由此,进一步就可以根据图像信号的图像中的浓淡变化区域的比例或 浓淡不变化区域的比例,检出1幅图像的统计性的信息的偏差。
第3发明是第2发明中,特殊图像检出部,在浓淡变化区域的比例越少,或浓淡不变化区域的比例越多时,越提高特殊图像度。
由此,进一步就可以确切检出特殊图像的程度,输出适合特殊图像处理的效果调整信号。
第4发明是第2发明中,特殊图像检出部在作为浓淡变化区域比例的浓淡变化区域率比第1值小的情况下,将效果调整信号的信号水平设为小于第1效果调整信号水平用阈值的值,在浓淡变化区域率为第1值以上且小于第2值(>第1值)的情况下,浓淡变化区域率越大,就越大设置效果调整信号的信号水平。然后,特殊图像检出部,在浓淡变化区域率为第2值以上的情况下,将浓淡变化区域率设为比作为大于第1效果调整信号水平用阈值的值的第2效果调整信号水平用阈值大的值。
例如,效果调整信号取“0”到“1”的值,如果效果调整信号为“1”时设效果调整部的视觉处理效果最大、效果调整信号为“0”时,设效果调整部的视觉处理效果最小(包含视为没有效果的情况。)的话,那么在浓淡变化区域率小于第1值的情况下,将效果调整信号水平固定为“0”;在浓淡变化区域率为第1值以上且小于第2值(>第1值)的情况下,对浓淡变化区域率按照效果调整信号水平单调增加的方式进行设定(设定成“0”~“1”的值);在浓淡变化区域率为第2值以上的情况下,将效果调整信号水平固定为“1”。
由此,在图像信号形成的1幅图像为特殊图像的情况下,可以使视觉处理效果最小或没有效果;在图像信号形成的1幅图像为自然图像的情况下,可以使视觉处理效果最大。此外,在图像信号形成的1幅图像为特殊图像和自然图像中间的图像的情况下,可以适当处理视觉处理的效果。
因此,上述视觉处理装置不管输入什么类型的图像,都可以施以最佳视觉处理效果。
第5发明是第3或第4发明中,特殊图像检出部通过检出图像中的边缘成分,检出浓淡变化区域的比例。
由此,进一步就可以根据图像中的边缘成分,检出浓淡变化区域的比例。
第6发明是第3或第4发明中,特殊图像检出部通过检出图像中的平坦度,检出浓淡不变化区域的比例。
由此,进一步就可以根据图像中的平坦度,检出浓淡不变化区域的比例。另外,在形成1幅图像的图像信号中,可以通过构成图像的各像素的可以取得的灰度级数偏差,求出图像中的平坦度。
第7发明是第6发明中,特殊图像检出部根据灰度等级数或类似像素的连续长,检出平坦度。
由此,进一步就可以根据图像中的灰度等级数或连续长,检出平坦度。
第8发明是第5发明中,特殊图像检出部根据由图像信号形成的1幅图像内包含的规定区域中的作为构成边缘的像素数的边缘像素数,检出统计性的信息的偏差。
由此,例如,由于通过单纯的对1幅图像内所包含的规定区域的边缘像素数的计数就可以检出统计性的信息的偏差,所以就可以减少运算量,提高视觉处理装置的处理速度。此外,例如在1幅图像内所包含的规定区域的边缘像素数NN与规定的阈值Tth进行比较且超过阈值Tth的情况下,也可以通过将边缘像素数NN作为变量的连续函数f(NN)来检出统计性的信息的偏差。
第9发明是第5发明中,特殊图像检出部具有:边缘检出部,检出由图像信号形成的1幅图像内包含的规定区域中的边缘像素;边缘像素数算出部,算出边缘像素的数量;和第1效果调整信号发生部,根据由边缘像素数算出部算出的边缘像素的数量,输出效果调整信号。
上述视觉处理装置中,可以通过边缘像素数算出部,算出由边缘检出部检出的边缘像素的数量。而且,可以通过第1效果调整信号发生部,按照边缘像素数算出部算出的边缘像素数,输出效果调整信号。由此,就可以减少运算量,提高视觉处理装置的处理速度。此外,例如在第1效果调整信号发生部中,在将边缘像素数算出部算出的边缘像素数NN与规定的阈值Tth进行比较且超过阈值Tth的情况下,也可以通过将边缘像素数NN作为变量的连续函数f(NN)输出效果调整信号来,检出统计性的信息的偏差。
第10发明是第5发明中,特殊图像检出部,根据作为边缘像素数对 构成由图像信号形成的1幅图像内包含的规定区域的像素数的比例的边缘像素比,检出统计性的信息的偏差。
由此,进一步就可以从图像中的边缘检出特殊图像,按照特殊图像的边缘像素比,生成效果调整信号。另外,这里的“边缘像素数”就是由图像信号形成的1幅图像内构成边缘的像素的数量。
第11发明是第5发明中,特殊图像检出部具有:边缘检出部,以像素为单位从图像信号中检出边缘量;边缘密度算出部,检出边缘量为规定值以上的边缘像素,算出作为边缘像素数对图像信号的全部像素数的比例的边缘像素比;和第2效果调整信号发生部,按照边缘像素比,输出效果调整信号。
由此,进一步就可以从图像中的边缘检出特殊图像,根据特殊图像的边缘像素的比例偏差,生成效果调整信号。
第12发明是第10或第11发明中,特殊图像检出部在边缘像素比为2成以上的情况下,将效果调整信号的输出值作为第1阈值以上的值输出。
在边缘像素比为2成以上的情况下,由于可以判断图像信号所形成的图像是自然图像的可能性很高,所以,在这种情况下,上述视觉处理装置可以通过将效果调整信号的输出值设为第1阈值以上的值,来调整效果调整信号,使其实现自然图像用的视觉效果,实现适当的视觉处理。另外,所谓自然图像就是,不是人为或人工做成的图像(如测试样式图像那样的、形成该图像的像素可取的灰度值范围偏小(灰度级数小)的图像),而是例如风景图像(用照相机拍摄的风景图像等)那样的形成图像的像素可取的灰度级数(灰度值的数量)较大(灰度值分布广)的图像。此外,第1阈值在边缘像素比为2成以上的情况下,为了通过效果调整信号来实现自然图像用的视觉效果,优选采取某种程度较高的值。效果调整信号是取“0”至“1”的值,效果调整信号为“1”时可以设效果调整部的视觉处理效果最大,效果调整信号为“0”时可以设第1阈值为例如“0.8”。
第13发明是第3或第4发明中,特殊图像检出部根据由图像信号形成的1幅图像内包含的规定区域中存在的、包含高频成分的高频块数量,检出统计性的信息的偏差。
由此,进一步就可以根据图像中的高频块数量,生成效果调整信号。 此外,例如在将1幅图像内所含的规定区域的块数KK与规定的阈值Kth进行比较,且超过阈值Kth的情况下,也可以通过将块数KK作为变量的连续函数f(KK)来检出统计性的信息的偏差。另外,这里的“块”是由多个像素构成的。
第14发明是第3或第4发明中,特殊图像检出部具有:高频块检出部,检出由图像信号形成的1幅图像内包含的规定区域中存在的、包含高频成分的高频块;高频块数算出部,算出存在于规定区域的高频块的数量;和第3效果调整信号发生部,根据高频块数算出部算出的高频块数,输出效果调整信号。
上述视觉处理装置中,可以检出由高频块检出部检出的高频块,按照高频块数算出部算出的高频块数,输出效果调整信号。由此,就可以减少运算量,提高视觉处理装置的处理速度。此外,例如,在第3效果调整信号发生部中,在将高频块数算出部算出的高频块数KK与规定的阈值Kth进行比较且超过阈值Kth的情况下,也可以根据将高频块数KK作为变量的连续函数f(KK)来输出效果调整信号,由此检出统计性的信息的偏差。
第15发明是第3或第4发明中,特殊图像检出部根据由图像信号形成的1幅图像内包含的规定区域中存在的、作为高频块数对总块数的比例的高频块比,检出统计性的信息的偏差。
由此,进一步就可以通过检出图像中的高频块来检出特殊图像,按照特殊图像中的高频块比例的偏差,生成效果调整信号。
第16发明是第3或第4发明中,特殊图像检出部具有:高频块检出部,从被分割为多个块的图像信号中检出包含高频成分的高频块;高频块密度检出部,检出高频块数对多个块数的比例;和第4效果调整信号发生部,根据比例,输出效果调整信号。
由此,进一步就可以通过检出图像中的高频块来检出特殊图像,按照特殊图像中的高频块比例的偏差,生成效果调整信号。
第17发明是第7发明中,特殊图像检出部具有:频度检出部,从图像信号中检出每个灰度等级的频度;频度判定部,将每个灰度等级的频度与规定阈值进行比较,检出频度比规定阈值大的灰度等级;灰度级数检出部,检出被频度判定部判定为频度大的灰度等级数;和第5效果调整信号 发生部,根据灰度等级数,输出效果调整信号。
由此,进一步就可以根据图像中的灰度等级数来检出特殊图像,按照特殊图像中的灰度等级数的偏差,生成效果调整信号。
第18发明是第7发明中,特殊图像检出部具有:类似亮度检出部,从图像信号中检出与相邻像素的亮度差为规定值以下的类似像素;连续长检出部,检出类似像素连续的连续长度;平均连续长算出部,通过对由连续长检出部检出的多个连续长进行平均,来算出平均连续长;和第6效果调整信号发生部,根据平均连续长,输出效果调整信号。
由此,进一步就可以从图像中的类似像素的平均连续长中检出特殊图像,按照特殊图像中的平均连续长的偏差,生成效果调整信号。
第19发明是第1至第18中的任意一个发明中,效果调整部根据效果调整信号,改变图像信号与周边图像信息的比例并进行合成,输出第1合成信号,视觉处理部根据第1合成信号和图像信号,对图像信号进行视觉处理。
由此,进一步视觉处理部就可以根据第1合成信号,选择不同的灰度转换处理,使视觉处理的效果不同。
第20发明是第1至第18中的任意一个发明中,效果调整部根据效果调整信号,改变图像信号与处理信号的比例并进行合成,输出第2合成信号。
由此,进一步就可以根据效果调整信号,改变图像信号与处理信号的比例并进行输出,使视觉处理的效果不同。
第21发明是第1至第18中的任意一个发明,且视觉处理部具有2维查询表,根据设定在2维查询表的特性数据进行视觉处理,效果调整部将根据效果调整信号改变视觉处理效果不同的多个特性数据的比例并进行合成的特性数据设定在视觉处理部。
由此,进一步就可以使用根据效果调整信号改变视觉处理效果不同的多个特性数据的比例并合成的特性数据,进行视觉处理,使视觉处理的效果不同。
第22发明是第1至第21中的任意一个发明中,特殊图像检出部输入图像信号缩小的缩小图像,从缩小图像中检出具有统计性的信息偏差的特 殊图像,根据统计性的信息偏差,输出效果调整信号。
由此,进一步就可以在检出特殊图像时,抑制噪声的影响。此外,减少处理的运算量。
第23发明是第1至第22中的任意一个发明中,特殊图像检出部在图像信号为帧图像时从1个以上之前的帧图像中,或在图像信号为场图像时从1个以上之前的场图像中,检出统计性的信息的偏差。
由此,进一步就可以从1个以上之前的帧中检出特殊图像,能够从帧的前部起使用与特殊图像的信息偏差对应的效果调整信号。此外,可以从1个以上之前的场中检出特殊图像,从场前部起使用与特殊图像的信息偏差对应的效果调整信号。
第24发明是第23发明中,具有:用来连续改变效果调整信号的连续变化处理部,连续变化处理部在效果调整信号被以帧单位输出时,在帧之间连续改变效果调整信号;在效果调整信号被以场单位输出时,在场之间连续改变效果调整信号。
由此,进一步就可以抑制帧之间的效果调整信号的急剧变化,抑制帧之间图像的闪烁等。此外,可以抑制场之间的效果调整信号的急剧变化,抑制场之间图像的闪烁等。
第25发明是一种显示装置,具有:接收通信或播放的图像数据的数据接收部;使接收到的图像数据解调成影像数据的解调部;对被解调的影像数据进行视觉处理并输出输出信号的第1至第24中的任意一个发明的视觉处理装置;和对由视觉处理装置进行视觉处理的输出信号进行显示的显示部。
通过这种构成,就可以通过图像亮度的调整来实时改变视觉处理强度,用显示装置显示出来。另外,除显示装置之外,还可以实现具有视觉处理装置的摄影装置或便携式信息装置。
摄影装置也可以构成为具有:摄影部,进行图像摄影;和视觉处理装置,将由摄影部摄影的图像作为输入信号进行视觉处理。
通过这种构成,即便是摄影装置也可以得到与视觉处理装置相同的效果。
此外,便携式信息装置也可以构成为具有:数据接收部,接收通信或 播放的图像数据;视觉处理装置,对接收到的图像数据进行视觉处理,输出输出信号;和显示装置,显示经过视觉处理的输出信号。
通过这种构成,即便是便携式信息装置也可以得到与视觉处理装置相同的效果。
此外,便携式信息装置也可以构成为具有:摄影部,进行图像摄影;视觉处理装置,将由摄影部摄影的图像作为输入信号进行视觉处理;和数据送信部,送出经过视觉处理的输出信号。
通过这种构成,即便是便携式信息装置也可以得到与视觉处理装置相同的效果。
第26发明是具有:周边图像信息抽出步骤、视觉处理步骤、特殊图像检出步骤、效果调整步骤的视觉处理方法。周边图像信息抽出步骤是抽出可形成1幅图像的图像信号的周边图像信息;视觉处理步骤是根据图像信号和周边图像信息,对图像信号进行视觉处理;特殊图像检出步骤是检出由图像信号形成的1幅图像内所含的规定区域的统计性的信息偏差,根据被检出的统计性的信息偏差,算出表示1幅图像为特殊图像的程度的特殊图像度,根据算出的特殊图像度,输出效果调整信号;效果调整步骤是按照效果调整信号,对形成1幅图像的图像信号设定视觉处理的效果。
由此,在输入非特殊图像的通常图像的情况下,就可以维持视觉处理效果,在输入特殊图像的情况下,就可以抑制副作用。且以简单的构成来变更图像的视觉处理强度。
通过上述方法,就可以在输入非特殊图像的通常图像的情况下,维持视觉处理效果,在输入特殊图像的情况下,抑制副作用,实现适当的视觉处理效果。
第27发明是在计算机上执行周边图像信息抽出步骤、视觉处理步骤、特殊图像检出步骤、效果调整步骤的程序。周边图像信息抽出步骤是抽出可以形成1幅图像的图像信号的周边图像信息;视觉处理步骤是根据图像信号和周边图像信息,对图像信号进行视觉处理;特殊图像检出步骤是检出由图像信号形成的1幅图像内的规定区域的统计性的信息偏差,根据被检出的统计性的信息偏差,算出表示1幅图像为特殊图像的程度的特殊图像度,根据算出的特殊图像度,输出效果调整信号;和效果调整步骤是按 照效果调整信号,对形成1幅图像的图像信号设定视觉处理的效果。
通过上述程序,就可以在输入非特殊图像的通常图像的情况下,维持视觉处理效果,在输入特殊图像的情况下,抑制副作用,实现适当的视觉处理效果。
第28发明是具有:周边图像信息抽出部、视觉处理部、特殊图像检出部、效果调整部的集成电路。周边图像信息抽出部是抽出可以形成1幅图像的图像信号的周边图像信息;视觉处理部是根据图像信号和周边图像信息,输出对图像信号进行视觉处理的处理信号;特殊图像检出部是检出由图像信号形成的1幅图像内的规定区域的统计性的信息偏差,根据被检出的统计性的信息偏差,算出表示1幅图像为特殊图像的程度的特殊图像度,根据算出的特殊图像度,输出效果调整信号;效果调整部是按照效果调整信号,将视觉处理部控制成为对形成1幅图像的图像信号设定视觉处理的效果。
通过上述集成电路,就可以在输入非特殊图像的通常图像的情况下,维持视觉处理效果,在输入特殊图像的情况下,抑制副作用,实现适当的视觉处理效果。
利用本发明,可以提供一种视觉处理装置、视觉处理方法、程序、显示装置和集成电路,可以在输入特殊图像的情况下,抑制副作用,并且可以以简单的构成,变更图像的视觉处理强度。
具体实施方式
下面,利用附图,对本发明的实施方式进行详细说明。
[第1实施方式]
一般而言,自然图像中灰度数较多,可以通过对自然图像进行视觉处理得到强调了局部性的明暗对比等的鲜明的图像。而特殊图像中,具有统计性信息偏差,图像信号的图像中的浓淡变化区域的比例极小,或图像信号的图像中浓淡不变化区域的比例极大。在这种特殊图像中,图像中的平坦区域较多。因此,在对具有棱角分明的边缘的特殊图像实施视觉处理的情况下,副作用就显得突出。该副作用(该副作用有时称为“Halo”),在图像被显示在显示装置的情况下,在图像上的细微变化·纹理等较少的地方很容易看到(人眼看上去很不自然)。况且,在具有像人们凭经验知道的亮度·浓度均衡的那种几何图形的图像中,图像上些许的明暗起伏更会显得不自然(很容易感到图像不自然)。如果为了抑制这种副作用而减弱视觉处理,那么对于自然图像,处理也会变弱,形成不鲜明的图像。
因此,通过仅对特殊图像进行副作用的控制,可以对自然图像实现突出的视觉处理效果。
本发明的第1实施方式的视觉处理装置,就是从图像信号中检出具有统计性的信息偏差的特殊图像,根据该统计性的信息的偏差程度来生成效果调整信号,根据生成的效果调整信号进行调整,使视觉处理效果发生变化(变更)。
这里,所谓视觉处理,就是产生接近人眼观感的特性的处理,根据输入的图像信号的对象像素的值与其周边像素的值(亮度)的对比,决定输出信号的值的处理。视觉处理,被应用于逆光补偿、拐点(knee)处理、动态范围(下称为“DR”)压缩处理、色处理、或亮度调整(包含灰度处理、对比度调整)等。
此外,本发明的实施方式中,将YCbCr色空间、YUV色空间、Lab色空间、Luv色空间、YIQ色空间、YPbPr色空间的亮度成分Y或明度成分L定义为亮度信号。以下,将亮度信号作为图像信号进行说明。
利用图1~图8,对本发明的第1实施方式的视觉处理装置进行说明。 图1是表示本发明的第1实施方式的视觉处理装置1的构成框图。
在图1中,本发明的第1实施方式的视觉处理装置1具有:空间处理部10,从输入的图像信号IS中抽出周边图像信息(钝化(unsharp)信号)US;特殊图像检出部40,从图像信号IS中检出具有统计性的信息偏差的特殊图像,根据统计性的信息的偏差程度,输出用于改变视觉处理效果的特殊图像用效果调整信号DS;连续变化处理部50,输出使特殊图像用效果调整信号DS在帧之间连续变化的效果调整信号MOD;效果调整部20,根据效果调整信号MOD,改变图像信号IS和周边图像信息US的比例并进行合成,输出合成信号MUS;视觉处理部30,根据效果调整部20发出的合成信号MUS,对图像信号进行视觉处理,输出处理输出OS。
通过上述构成,特殊图像检出部40就可以根据特殊图像所具有的信息的偏差程度,输出特殊图像用效果调整信号DS。此外,效果调整部20,可以根据使特殊图像用效果调整信号DS连续变化的效果调整信号MOD生成合成信号MUS,用于改变使视觉处理部30的视觉处理效果。此外,视觉处理部30,可以根据效果调整部20输出的合成信号MUS对图像信号IS进行灰度转换。
由此,即使是在输入特殊图像的情况下,视觉处理装置1也可以检出特殊图像,对于特殊图像,视觉处理部30可改变视觉处理效果并且抑制副作用。
下面,对视觉处理装置1的各功能部进行说明。
空间处理部10,从图像信号IS抽出对象像素的值和处在对象像素周边区域的像素(下称为“周边像素”)的值,使用抽出的像素值,对图像信号IS进行滤波处理。
例如,用低通滤波器处理图像信号IS,生成钝化信号US。钝化信号US通过如下的运算生成。
US=(∑[Wij]×[Aij])/(∑[Wij])
这里,[Wij]是在对象像素和周边像素中位于第i行第j列的像素的权重系数,[Aij]是在对象像素和周边像素中,位于第i行第j列的像素的值。此外,“∑”的意思是,对对象像素和周边像素的各个像素进行求和计算。
另外,可以是对象像素的像素值与周边像素的像素值的差的绝对值越 大,给出的权重系数的值越小,也可以是与对象像素的距离越大,给出的权重系数越小。此外,周边像素的区域尺寸是按照效果而预先设定的大小,当大于规定尺寸时,就可以提高视觉效果。例如,如果作为对象的图像大小是纵为1024像素、横为768像素,那么从纵横分别为80像素以上的区域生成钝化信号US,与纵横分别为3像素左右的局部区域相比,能进一步提高视觉效果。
此外,作为低通滤波器也可以使用FIR(Finite Impulse Response)型空间滤波器或IIR(Infinite Impulse Response)型空间滤波器等。
接下来,效果调整部20根据连续变化处理部50输出的效果调整信号MOD,通过插值处理合成图像信号IS和钝化信号US,输出合成信号MUS。合成信号MUS例如可以根据效果调整信号MOD,进行如(式1)那样的内分运算。连续变化处理部50将在以后记述。
MUS=US×MOD+IS×(1.0-MOD) (式1)
这里,效果调整信号MOD的值是在“0.0”至“1.0”的范围内变化,效果调整信号MOD在“0.0”上无视觉处理效果,效果调整信号MOD在“1.0”上视觉处理效果最大。另外,(式1)也可以变形为(式2)那样,同样可以生成合成信号MUS。
MUS=(US-IS)×MOD+IS (式2)
接下来,视觉处理部30按照效果调整部20的合成信号MUS,对图像信号IS进行灰度转换。
视觉处理部30例如根据图2所示的2维灰度转换特性进行灰度转换。这里,所谓2维灰度转换就是对合成信号MUS和图像信号IS这两个输入决定输出值的灰度转换。视觉处理部30,根据2维灰度转换特性,对图像信号IS和合成信号MUS输出处理信号OS。利用上述灰度转换特性可以生成各种各样的视觉效果。
利用图2,对2维灰度转换特性进行说明。图2是用来说明2维灰度转换特性的说明图。这里,横轴为输入的图像信号IS,纵轴为转换的处理信号OS的输出。
如图2所示,2维灰度转换,根据合成信号MUS0至MUSn的信号水平(灰度值),来取得规定的灰度转换特性。也就是说,2维灰度转换, 是根据合成信号MUS的信号水平(灰度值),选择灰度转换曲线MUS0~MUSn内的任意一个,根据所选择的灰度转换曲线,将输入信号IS(IS的灰度值)转换成处理信号OS(OS的灰度值)来实现的。例如,在MUS信号水平(灰度值)为“1”时,就选择图2的灰度转换曲线MUS1;在MUS信号水平(灰度值)为“120”时,就选择灰度转换曲线MUS120。但是,灰度转换曲线MUS0~MUSn无需事先准备相当于MUS信号灰度值数的那么多的数量,例如也可以事先准备数量少于相当于MUS信号灰度值数的那么多的灰度转换曲线MUS0~MUSn,对于没有准备的灰度转换曲线,可以通过插值处理,从已经准备的灰度转换曲线中算出与MUS信号的灰度值相对应的灰度转换曲线,从而实现2维灰度转换。
在2维灰度转换中,例如设图像信号IS的像素值为8位的值,被分为256级的像素信号IS的值所对应的输出信号OS的像素值,由规定的2维灰度转换特性决定。灰度转换特性,是具有规定的伽马转换特性的灰度转换曲线,存在以下关系:输出对于合成信号MUS的下标单调减少。另外,即便是存在部分输出对于合成信号MUS的下标没有单调减少的地方也无妨,只要实质上单调减少即可。此外,如图2所示,在2维灰度转换特性中,对于所有的图像信号IS的灰度值都满足(MUS=MUS0情况下的输出值)≥(MUS=MUS1情况下的输出值)≥…≥(MUS=MUSn情况下的输出值)这一关系。
根据图2所示的2维灰度转换特性,视觉处理部30对于输入的图像信号IS的值“a”,通过在周围区域的灰度值较小时选择MUS0,处理输出OS的值就会变为“P”,相反,在周围区域的灰度值较大时通过选择MUSn,处理输出OS的值就会变为“Q”。这样,即使输入的图像信号IS为值“a”,通过周围区域的灰度值的变化,处理输出OS也可以从值“P”至值“Q”大幅改变。由此,能够根据合成信号MUS,提高暗部的对比度。
另一方面,要想去除视觉处理效果,只要使合成信号MUS=图像信号IS,就可以获得图2所示的曲线2的灰度转换特性。曲线2的灰度转换特性中,虽然可以进行图像整体的亮度调整(伽马转换),但它没有例如提高局部对比度那样的视觉效果。
另外,通过改变上述2维灰度转换特性,还可以生成各种各样的视觉 处理效果,可以用于拐点处理、DR压缩处理、色处理或亮度调整(包含灰度处理、对比度调整)等。
接下来,利用图3,对视觉处理部30根据合成信号MUS来改变视觉处理效果时的处理输出OS进行说明。图3是用来说明处理信号OS的输出的说明图。
在图3(a)中,横轴是处理的像素位置,纵轴是合成信号MUS的输出。
对于合成信号MUS,例如,在将效果调整信号MOD的值设为“0.5”时,为图像信号IS和钝化信号US中间的输出。
这时,如图3(b)所示,若设为仅根据图像信号IS进行视觉处理的处理信号OS为OS(IS,IS),根据图像信号IS和钝化信号US的视觉处理的处理信号OS为OS(IS,US),则作为根据图像信号IS和合成信号MUS进行视觉处理的处理信号OS的OS(IS,MUS),为OS(IS,IS)和OS(IS,US)中间的输出。
因此,在效果调整信号MOD为“1.0”时,有合成信号MUS=US,并且输出视觉处理为“效果最大”的处理信号OS(IS,US)。另一方面,在效果调整信号MOD为“0.0”时,为合成信号MUS=IS,输出视觉处理为“没有效果”的处理信号OS(IS,IS)。
这样,视觉处理部30就可以根据合成信号MUS强化或弱化局部的对比度的强调效果。由此,在视觉处理装置1上就可以实现效果不同的各种各样的视觉处理,从仅转换图像整体亮度的处理效果,到使用周围的亮度来改变(使之变化)局部区域的对比度的处理效果。
另外,在视觉处理装置1中,通过变更2维灰度转换特性,也可以实现拐点处理、DR压缩处理、色处理等。
此外,视觉处理部30也可以具有2维查询表(下称为“2维LUT”)。在这种情况下,视觉处理部30的2维LUT,通过设定图2所示的特性数据(下称为“曲线”)来进行灰度转换。
此外,视觉处理部30,也可以通过运算电路进行视觉处理。尤其是在对视觉处理部30的2维LUT,设定特性可以用简易直线近似的曲线的情况下,可以取消2维LUT的表,削减视觉处理装置1的电路规模。
接下来,利用图4、图5、图6和图7,对特性图像检出部40进行说明。这里,对从图像中的浓淡变化区域的比例中检出特殊图像的信息偏差的情况进行说明。此外,浓淡变化通过边缘成分检出。
图4(a)是说明特殊图像检出部40的构成的框图,图5是用来说明特殊图像的说明图,图6是用来说明边缘像素的说明图,图7是用来说明特殊图像用效果调整信号DS的输出的说明图。
如图4(a)所示,特殊图像检出部40具有:边缘检出部41,以像素为单位从图像信号IS中检出边缘量;边缘量判定部42,判定边缘量为规定值以上的边缘像素;边缘密度算出部43,算出边缘像素数相对于图像信号IS的所有像素数的比例;和效果调整信号发生部44,根据边缘密度算出部43算出的比例,输出特殊图像用效果调整信号DS。
由此,视觉处理装置1中,就可以检出灰度等级数极小、边缘成分被限定在描绘图像的轮廓区域的特殊图像,并且可以检出上述的信息偏差。
在自然图像中,处处都存在连续且复杂的明暗变化的地方。也就是说,在自然图像中,处处都存在变化微小的边缘(弱边)(边缘数量较多)。另一方面,在特殊图像中,亮度均衡的部分较多,可以取得形成特殊图像的像素的灰度级数较小。也就是说,特殊图像中,变化较大的边缘(强边)存在的比率较小。
因此,不考虑边缘的强弱,使用可视作边缘的像素(边缘像素)的数量的统计性偏差进行判别。也就是说,边缘像素越多(边缘像素对全部像素的比率越大),就判定为越像自然图像,越少就判别越像特殊图像。
此外,特殊图像检出部40在图像信号为帧图像时,根据1帧以上之前的帧图像检出统计性的信息的偏差,或者在图像信号为场图像时,根据1个场以上之前的场图像检出统计性的信息的偏差。由此,视觉处理装置1,就可以从帧或场的前部,使用与特殊图像信息的偏差相应的特殊图像用效果调整信号DS。
例如,对特殊图像检出部40处理图5所示的特殊图像200的情况进行说明。这里,如图5所示,特殊图像200包括:背景区域201、图形组202、图形组203和图形组204,设任何一个区域中浓淡值都是恒定或者变动很小。设各组形状不同但浓淡值几乎相同。
边缘检出部41,以像素为单位从图像信号IS中检出边缘量。边缘检出部41,使用Sobel滤波器和Prewitt滤波器等1阶微分滤波器、拉普拉斯滤波器等2阶微分滤波器等边缘检出滤波器(未图示),检出边缘量。
边缘量判定部42,对每个像素进行预先设定的阈值与边缘量的比较,在边缘量为规定阈值以上时判定像素为边缘像素。
例如,通过用边缘量判定部42处理特殊图像200,就可以得到图6所示的输出300。
在图6中,边缘像素是边缘像素301、边缘像素302和边缘像素303,它们都产生在特殊图像200的图形样式的轮廓区域。
接下来,返回图4,边缘密度算出部43,对作为边缘像素数对图像信号IS的全部像素数的比例的边缘密度,如下进行边缘密度计算。
边缘密度=边缘像素数÷全部像素数
这里,就边缘密度而言,如果图像信号IS为帧图像,它就是边缘像素数对帧内全部像素的比例。此外,如果图像信号IS为场图像,它就是边缘像素数对场内的全部像素的比例。
效果调整信号发生部44,根据边缘密度调整输出。也就是说,效果调整信号发生部44按照如下方式输出:边缘密度越大,特殊图像用效果图像信号DS的信号水平(值)就越大。例如,如图7所示,在边缘密度为规定值Tha以上至规定值Thb的范围内,增加特殊图像用效果调整信号DS的信号水平。通过这样设置阈值,就可以在为包含特殊图像的阈值“Tha”以下的情况下,生成完全除去视觉效果的特殊图像用效果调整信号DS。另一方面,在为包含非特殊图像的通常图像的阈值“Thb”以上的情况下,生成用来不减弱视觉效果而处理的特殊图像用效果调整信号DS。这里,横轴为边缘密度,纵轴为特殊图像用效果调整信号DS的输出。另外,虽然设输出的特殊图像用效果调整信号DS的信号水平的输出范围为“0.0”至“1.0”,但也可以按照视觉处理强度,调整为“0.2”至“1.0”等。此外,按特殊图像用效果调整信号DS的信号水平越大视觉处理效果越强的方式,来构成视觉处理装置1。
连续变化处理部50按照以下方式进行动作:在特殊图像用效果调整信号DS以帧单位输出时,在帧之间使效果调整信号MOD连续变化;在 特殊图像用效果调整信号DS以场单位输出时,在场之间使效果调整信号MOD连续变化。例如,连续变化处理部50,具有暂时保存特殊图像用效果调整信号DS的寄存器等存储部(未图示),通过对特殊图像检出部40输出的特殊图像用效果调整信号DS和暂时保存的特殊图像用效果调整信号DS用新的帧进行内分运算,来生成效果调整信号MOD,将该生成的效果调整信号MOD保存在存储部。作为初始值,存储部中保存最初检出的特殊图像用效果调整信号DS。连续变化处理部50,输出通过上述内分运算生成的效果调整信号MOD。由此,不会使效果调整信号MOD在帧之间急剧变化。此外连续变化处理部50可以通过IIR型滤波器等实现。
接下来,利用图8,对视觉处理装置1的动作进行说明。图8(a)是说明视觉处理装置1的流程图。图8(b)是一例连续变化处理部50的构成示意图。
如图8(a)、(b)所示,在图像信号IS为帧图像的信号下,为了从1帧以上之前的帧图像检出统计性的信息的偏差,多个帧图像被输入至视觉处理装置1。或在图像信号IS为场图像的情况下,为了从1个场以上之前的场图像中检出统计性的信息的偏差,多个场图像被输入至视觉处理装置1(S101)。在多个帧图像或多个场图像被输入至视觉处理装置以后,特殊图像检出部40,从成为检出对象的帧图像或场图像的图像信号IS中检出特殊图像,根据检出的特殊图像的统计偏差,输出特殊图像用效果调整信号DS(S102)。这里,为了检出统计性的信息的偏差,将一帧(场)以上之前的帧图像(场图像)输入至视觉处理装置1,这是为了对目前正作为视觉处理对象的帧图像(场图像)立即开始处理。也就是说,是为了在视觉处理装置1中,不用将图像信号IS延迟到与统计性的信息的偏差相应的特殊图像用效果调整信号DS被输出,就对图像信号IS实施视觉处理的缘故。通常,由于相邻的帧(场)图像间的相关性较高,因此,即便像这样从1帧(场)以上之前(但是,限于在某种程度上接近当前帧(当前场)的帧的数量(场的数量))的帧图像(场图像)中检出统计性的信息的偏差也没有问题。另外,也可以从当前的帧图像(当前的场图像)中检出统计性的信息的偏差,输出与其相应的特殊图像用效果调整信号DS。在这种情况下,只要使构成当前的帧图像(当前的场图像)的图像信号IS 延迟到特殊图像用效果调整信号DS被输出为止(例如使用帧(场)存储器等使其延迟),并在特殊图像用效果调整信号DS被输出后,使用该特殊图像用效果调整信号DS,对构成当前帧图像(当前场图像)的图像信号IS进行视觉处理即可。
接下来,视觉处理装置1,按照效果调整信号MOD在帧之间连续变化的方式进行插值处理。视觉处理装置1,读出通过连续变化处理部50而暂时存储在进行暂时存储的寄存器等存储部5001中的一帧前的效果调整信号MOD1(S103),通过内分运算等,对步骤S102检出的特殊图像用效果调整信号DS和步骤S103读出的效果调整信号MOD1进行插值,并从连续变化处理部50输出通过上述插值处理而生成的效果调整信号MOD(S104)。由此,可以抑制被处理的帧图像之间所产生的急剧变化,抑制因视觉效果不同而产生的图像的闪烁等。另外,在不大需要抑制因视觉效果不同而产生的图像闪烁等的情况下,视觉处理装置1中,也可以采取省略连续变化处理部50的构成,以便简化,取代效果调整信号MOD,使用特殊图像用效果调整信号DS。
接下来,视觉处理装置1,将通过对特殊图像用效果调整信号DS和效果调整信号MOD1进行插值而生成的效果调整信号MOD,暂时存储在存储部5001中(S105)。在上述插值处理基于内分运算的情况下,其内分比是事先给出的。
接下来,视觉处理装置1,通过效果调整部20,按照效果调整信号MOD,对图像信号IS和来自空间处理部10的钝化信号US进行合成,生成合成信号MUS(S106)。
视觉处理装置1,通过视觉处理部30,按照合成信号MUS选择图2所示的2维灰度转换特性的曲线之一,转换图像信号IS(S107)。
接下来,视觉处理装置1判断是否存在接下来要处理的帧图像(S108)。如果没有接下来要处理的帧图像,就结束视觉处理;如果存在接下来要处理的帧图像,就返回S101,输入下一个帧图像。以后重复执行S101至S108的步骤,直至没有需要处理的帧。
另外,以上虽然说明了按照效果调整信号MOD在帧之间连续变化的方式进行插值处理的情况,但插值处理的对象不限于帧之间,也可以是在 场之间。
此外,在视觉处理装置1中,也可以取代图4(a)所示的特殊图像检出部40,使用图4(b)所示的特殊图像检出部40′。特殊图像检出部40′,具有:边缘检出部41′,从图像信号IS中检出由图像信号IS形成的1幅图像的图像区域所包含的边缘像素;边缘像素数算出部45,将边缘检出部41′检出的边缘像素的数量作为边缘像素数算出;和效果调整信号发生部44′,根据边缘像素数输出效果调整信号。
特殊图像检出部40′中,例如在效果调整信号发生部44′中,根据以边缘像素数算出部45所算出的边缘像素数NN为变量的函数ffn(NN)(函数ffn(NN),例如是NN<tth1时ffn(NN)=0;tth1≤NN≤tth2时ffn(NN)=(NN-tth1)/(tth2-tth1);NN>tth2时ffn(NN)=1(tth2>tth1)),输出特殊图像用效果调整信号DS。使用该特殊图像用效果调整信号DS,可以实现利用视觉处理装置1的视觉处理。
如上所述,根据本发明的第1实施方式的视觉处理装置1,即使是在输入特殊图像的情况下,也可以检出图像中的边缘,根据被检出的边缘量调整视觉处理效果,从而能在自然图像中提高视觉效果的同时,抑制特殊图像的副作用。
另外,检出统计性的偏差的方法不限于上述的特殊图像检出部40的方法。特殊图像具有如下的统计性的信息偏差:在图像信号IS的图像中的浓淡变化区域的比例极小,或者图像信号IS的图像中浓淡不变化区域的比例极大。
<变形例>
下面,对检出统计性偏差的方法的另一变形例进行说明。
(变形例1)
首先,对特殊图像检出部40的变形例1进行说明。变形例1中,从图像信号IS的图像中的浓淡不变化的区域的比例检出统计性的信息的偏差。浓淡不变化区域,可以通过图像的平坦度检测出来。对于检出该平坦度的方法,采用的是从图像信号IS中检出灰度级数偏差的方法。在构成图像的各像素所能取的灰度等级数(灰度级数)极小的图像(各像素所取的灰度等级数的分布极窄的图像)中,由于浓淡恒定的区域较大,所以图 像中的平坦度很高。可以从上述信息的偏差中求出特殊图像的平坦度。
利用图9、图10和图11,对从图像信号IS中检出灰度级数的偏差的情况的变形例1进行说明。图9是表示变形例1的特殊图像检出部70的构成框图,图10是用来说明变形例1的频度检出部所检出的频度分布的说明图,图11是用来说明由变形例1的特殊图像检出部70输出的特殊图像用效果调整信号DS的说明图。
如图9所示,特殊图像检出部70具有:频度检出部71,从图像信号中检出每个灰度等级的频度;频度判定部72,将每个灰度等级的频度与规定阈值进行比较,判定频度大于规定阈值的灰度等级;灰度级数检出部73,检出被频度判定部72判定为频度较大的灰度等级数;和效果调整信号发生部74,根据灰度级数检出部73检出的灰度等级数,输出效果调整信号。
频度检出部71根据直方图法,从图像信号中检出每个灰度等级的频度。例如,如果图像信号是256级,那么就检出“0”至“255”的各灰度等级的出现频度。
频度判定部72,对每个灰度等级的频度与规定阈值进行比较,检出频度大于规定阈值的灰度等级。
如图10所示,频度判定部72,在灰度等级La下判定频度401比规定阈值Th大。同样,频度判定部72在灰度等级Lb、灰度等级Lc、灰度等级Ld下,判定频度401、频度402、频度403和频度400分别比规定阈值Th大。这里,图10的横轴为灰度等级,纵轴为频度。
灰度级数检出部73,对被频度判定部72判定为频度较大的灰度等级的数量进行计数。
效果调整信号发生部74,根据被计数的灰度等级数,按照灰度级数越大特殊图像用效果调整信号DS的信号水平(值)越大的方式,输出特殊图像用效果调整信号DS。例如,如图11所示,当被计数的灰度等级数在规定值Thc至规定值Thd的范围内时,增加特殊图像用效果调整信号DS的信号水平(值)。
通过这样设计阈值,效果调整信号发生部74就可以在包含特殊图像的阈值“Thc”以下的情况下,生成完全去除视觉效果的特殊图像用效果调整信号DS。另一方面,效果调整信号发生部74,可以在包含非特殊图 像的通常图像的阈值“Thd”以上的情况下,生成用来在不会减弱视觉效果的情况下进行处理的特殊图像用效果调整信号DS。在图11中,横轴为灰度等级数,纵轴为特殊图像用效果调整信号DS的输出。另外,虽然设被输出的特殊图像用效果调整信号DS的范围为“0.0”至“1.0”,但也可以根据视觉处理强度,调整为“0.2”至“1.0”等。此外,按特殊图像用效果调整信号DS的信号水平越大视觉处理效果越强的方式,来构成视觉处理装置1。
如上所述,根据变形例1的特殊图像检出部70,可以按照图像信息的偏差,从图像信号中检出特殊图像的平坦度,将特殊图像检出部40置换成特殊图像检出部70。
(变形例2)
接下来,对特殊图像检出部40的变形例2进行说明。变形例2中,根据图像信号IS的图形中的浓淡不变化区域的比例检出统计性的信息的偏差。浓淡不变化区域可以通过图像的平坦度检测出来。作为检出该平坦度的方法,采取的是从图像信号IS中检出与相邻像素之间的亮度差为规定值以下的类似像素连续的长度,并检出对被检出的多个连续长度进行平均的平均连续长的方法。由此就可以检出特殊图像的平坦度。在特殊图像中,由于浓淡恒定的区域较大,所以图像中平坦度就会很高,亮度类似的像素有很多是连续的。也就是说,可以根据统计性的信息的偏差,检出特殊图像的平坦度。
利用图12、图13和图14,对从图像信号中检出类似亮度信号连续时的连续长的变形例2的情况进行说明。
图12是表示变形例2的特殊图像检出部80的构成框图,图13是用来说明图像中类似像素的连续长的说明图,图14是用来说明变形例2的特殊图像用效果调整信号DS的说明图。
如图12所示,变形例2的特殊图像检出部80具有:类似亮度检出部81,从图像信号IS中检出与相邻像素的亮度差在规定值以下的类似像素;连续长检出部82,检出类似像素连续的连续长度;平均连续长算出部83,通过对连续长检出部82检出的多个连续长进行平均,算出平均连续长;和效果调整信号发生部84,根据平均连续长,输出特殊图像用效果调整信 号DS。
类似亮度检出部81,从图像信号中检出与相邻像素的亮度差为规定值以下的类似像素。规定值是事先以实验的方式求出的值,它由所求的机器画质规格决定。
连续长检出部82,检出类似像素连续的连续长度。对于连续长度,例如是对如图13所示的纵向503、纵向504和纵向505等纵向、以及横向500、横向501和横向502等横向,将类似像素连续的像素数作为连续长度检测出来。
平均连续长算出部83,通过对连续长检出部82检出的多个连续长度进行平均来算出平均连续长。
效果调整信号发生部84,根据平均连续长,按照平均连续长越长就使特殊图像用效果调整信号DS的信号水平(值)越小的方式输出。例如,如图14所示,当检出的平均连续长在规定值“The”以上至规定值“Thf”的范围时,减少特殊图像用效果调整信号DS的信号水平(值)。这里,横轴为平均连续长,纵轴为特殊图像用效果调整信号DS的输出。
通过这样设置阈值,效果调整信号发生部84,可以在为包含非特殊图像的通常图像的阈值“The”以下的情况下,生成用来在不减弱视觉效果的情况下进行处理的特殊图像用效果调整信号DS。另一方面,效果调整信号发生部84,可以在为包含特殊图像的阈值“Thf”以上的情况下,生成完全去除视觉效果的特殊图像用效果调整信号DS。
另外,虽然将输出的特殊图像用效果调整信号DS的值设为“0.0”至“1.0”,但也可以按照视觉处理强度,调整为“0.2”至“1.0”等。此外,按特殊图像用效果调整信号DS的信号水平越大视觉处理效果越强的方式,来构成视觉处理装置1。
如上所述,根据变形例2的特殊图像检出部80,可以从图像信号中检出具有图像信息偏差的特殊图像的平坦度,可以将特殊图像检出部40置换为特殊图像检出部80。
(变形例3)
接下来,对特殊图像检出部40的变形例3进行说明。变形例3,从图像信号IS的图像中的浓淡变化区域比例,检出统计性的信息的偏差。浓 淡变化区域,可以通过图像中的高频成分而检出。这里,通过从被分割的多个分块中检出含有高频成分的高频块,并检出高频块数对被分割的总块数的比例,来检测作为特殊图像的平坦度。
利用图15、图16和图17,对检出高频块数比例的变形例3的情况进行说明。图15(a)是表示变形例3的特殊图像检出部90的构成框图,图16是用来说明分块图像的说明图,图17是用来说明变形例3的特殊图像用效果调整信号DS的说明图。
如图15(a)所示,变形例3的特殊图像检出部90具有:高频块检出部91,从被分割为多个分块的图像信号IS中检出包含高频成分的高频块;高频块密度检出部92,检出高频块数对总块数的比例;和效果调整信号发生部93,按照高频密度检出部92检出的块数比例,输出效果调整信号。
高频块检出部91,在输入的图像信号是被进行过MPEG或JPEG等编码的压缩图像的情况下,可以对每个被编码分块检出高频成分。例如,可以通过检出每个编码分块的AC系数来抽出高频成分。
高频块检出部91,将检出规定值以上的高频成分的块判断为高频块。
如图16所示,对例如特殊图像200被分割为多个块,并且对每个块都检出高频成分的情况进行说明。
对于高频块检出部91,由于块600中含有图像样式的边缘,所以它会检出高频成分,并判断为“是高频块”。另一方面,对于高频块检出部91,由于块601、块602的灰度值几乎恒定,所以无法检出高频成分,分别判定为“不是高频块”。以下,对被分割的所有分块,同样进行判定。
高频块密度检出部92,检出高频块数对被分割成多块的总块数的比例(下称为“块密度”)。
效果调整信号发生部93,根据块密度,按照块密度越高就使特殊图像用效果调整信号DS的值越大的方式,输出特殊图像用效果调整信号DS。例如,如图17所示,当检出的块密度为规定值“Thg”以上至规定值“Thh”的范围时,增加特殊图像用效果调整信号DS的值。通过这样设置阈值,效果调整信号发生部93,可以在为包含特殊图像的阈值“Thg”以下的情况下,生成完全除去视觉效果的特殊图像用效果调整信号DS。另一方面,效果调整信号发生部93,在为包含非特殊图像的通常图像的阈值“Thh” 以上的情况下,生成用来在不减弱视觉效果的情况下进行处理的特殊图像用效果调整信号DS。这里,横轴为块密度,纵轴为特殊图像用效果调整信号DS的输出。另外,虽然将输出的特殊图像用效果调整信号DS的值的范围设为“0.0”至“1.0”,但也可以按照视觉处理强度,调整为“0.2”至“1.0”等。此外,按特殊图像用效果调整信号DS的信号水平越大视觉处理效果越强的方式,来构成视觉处理装置1。
此外,在视觉处理装置1中,可以用图15(b)所示的特殊图像检出部90′来取代图15(a)所示的特殊图像检出部90。特殊图像检出部90′具有:高频块检出部91′,从图像信号IS中检出由图像信号IS形成的1幅图像的图像区域所包含的高频块;高频块数算出部94,算出由高频块检出部91′检出的高频块数;和效果调整信号发生部93′,根据高频块数输出效果调整信号。
特殊图像检出部90′中,例如在效果调整信号发生部93′中,根据以高频块数算出部94算出的高频块数KK为变量的函数ffk(KK)(函数ffk(KK)是,例如KK<kth1时ffk(KK)=0;kth1≤KK≤kth2时ffk(KK)=(KK-kth1)/(kth2-kth1);KK>kth2时ffk(KK)=1(kth2>kth1)),输出特殊图像用效果调整信号DS。使用该特殊图像用效果调整信号DS,可以实现利用视觉处理装置1的视觉处理。
如上所述,根据变形例3的特殊图像检出部90,就可以从图像信号中检出具有图像信息偏差的特殊图像的平坦度,可以将特殊图像检出部40置换为特殊图像检出部90。
另外,也可以从图像信号被缩小的缩微(thumbnail)图像等缩小图像中检出具有统计性的信息偏差的特殊图像,根据该统计性的信息的偏差输出效果调整信号。
此外,在图像信号与特殊图像检出部40(70、80、90)之间还具有缩小图像信号的缩小处理部(未图示),也可以从缩小处理部生成的缩小图像中,检出具有统计性的信息偏差的特殊图像,并根据该统计性的信息的偏差输出效果调整信号。
通过使用缩小图像,可以在抑制噪声影响的同时检出边缘附近的平坦区域。也就是说,对于在图像信号平均化后使用间除缩小方法生成的缩小 图像,由于噪声成分被降低,所以能够在抑制噪声影响的同时,检出统计性的信息的偏差。此外,如果使用缩小图像,也可以削减检出的像素数,削减运算量。
[第2实施方式]
本发明的第1实施方式的视觉处理装置1中,根据效果调整信号MOD,改变图像信号IS与周边图像信息(钝化信号)US的比例并进行合成,输出合成信号MUS,视觉处理部30根据来自效果调整部20的合成信号MUS,输出经过图像信号视觉处理的处理输出OS。而本发明的第2实施方式的视觉处理装置2中,由效果调整部21,根据效果调整信号对经过视觉处理的处理输出OS和图像信号IS进行合成,输出合成输出OUT。利用图18,对本实施方式的视觉处理方式2进行说明。
图18是表示本发明的第2实施方式的视觉处理装置2的构成框图。以下,对与第1实施方式相同的部分附加相同符号并省略其详细说明。
在图18中,视觉处理部30,根据图像信号IS和空间处理部10的输出US来输出处理输出OS。
效果调整部21,按照效果调整信号MOD,对图像信号IS和处理输出OS进行内分运算来改变视觉处理效果。例如,效果调整部21的输出OUT按照如下的(式3)通过内分运算计算出来。
OUT=OS×MOD+IS×(1.0-MOD) (式3)
另外,(式3)变形成(式4)那样也成立。
OUT=(OS-IS)×MOD+IS (式4)
如上所述,根据本发明的第2实施方式的视觉处理装置2,可以按照效果调整信号MOD,改变处理信号OS与图像信号IS的比例并进行合成,输出合成信号OUT,改变视觉处理的效果。
另外,也可以将特殊图像检出部40置换成本发明的第1实施方式的特殊图像检出部70。由此也可以同样检出特殊图像,生成根据图像信息的偏差的效果调整信号MOD。
此外,也可以将特殊图像检出部40置换成本发明的第1实施方式的特殊图像检出部80。由此也可以同样检出特殊图像,生成根据图像信息偏差的效果调整信号MOD。
此外,也可以将特殊图像检出部40置换成本发明的第1实施方式的特殊图像检出部90。由此也可以同样检出特殊图像,生成根据图像信息偏差的效果调整信号MOD。
[第3实施方式]
本发明的第1实施方式的视觉处理装置1是根据效果调整信号MOD,改变图像信号IS与周边图像信息(钝化信号)US的比例并进行合成,输出合成信号MUS,视觉处理部30根据来自效果调整部20的合成信号MUS,对图像信号进行视觉处理,输出处理输出OS。而本发明的第3实施方式的视觉处理装置3是效果调整部22根据效果调整信号MOD,改变来自视觉处理效果不同的多条曲线各自的输出比例并进行合成,来制成曲线(下称为“合成曲线”),设定在视觉处理部30的LUT中。利用图19,对本实施方式进行说明。
图19是表示本发明的第3实施方式的视觉处理装置3的构成框图。下面,对与第1实施方式相同的部分附加相同符号并省略其详细说明。
效果调整部22,根据效果调整信号MOD,通过内分运算对视觉处理强度不同的第1曲线60和第2曲线61进行合成,制作合成曲线并设定在视觉处理部30的LUT中。另外,也可以通过外分运算来生成合成曲线。
视觉处理部30,根据被设定为LUT的合成曲线,可以进行视觉处理强弱、视觉效果程度不同的视觉处理。
如上所述,根据本发明的第3实施方式的视觉处理装置3,可以按照效果调整信号MOD,合成视觉处理强度、效果不同的多条曲线,并将合成曲线设定在视觉处理部30的LUT中,从而改变视觉处理效果。
另外,也可以将特殊图像检出部40置换成本发明的第1实施方式的特殊图像检出部70。由此,可以同样检出特殊图像,生成根据图像信息偏差的效果调整信号MOD。
此外,也可以将特殊图像检出部40置换成本发明的第1实施方式的特殊图像检出部80。由此也可以同样检出特殊图像,生成根据图像信息偏差的效果调整信号MOD。
此外,也可以将特殊图像检出部40置换成本发明的第1实施方式的特殊图像检出部90。由此也可以同样检出特殊图像,生成根据图像信息偏 差的效果调整信号MOD。
[第4实施方式]
本发明的第1实施方式至本发明的第3实施方式的视觉处理装置中,是输出基于2维灰度转换特性的灰度转换值,而本发明的第4实施方式是使用增益输出进行灰度转换。利用图20、图21,对这种增益型视觉处理系统4进行说明。
图20是表示本发明的第4实施方式的增益型视觉处理系统4的构成框图,图21是用来说明2维增益特性的说明图。以下,对与第1实施方式系统的部分附加相同符号并省略其详细说明。
在图20中,增益型视觉处理系统4,具有:增益型视觉处理装置5,输出对图像信号IS进行视觉处理的增益信号GAIN;和乘法器11,将增益信号GAIN与图像信号IS相乘。
此外,增益型视觉处理装置5,包括:视觉处理装置1,输出对图像信号IS进行了视觉处理的处理信号OS;和除法器12,将处理信号OS除以图像信号IS。这里,由于视觉处理装置1是用于输出对图像信号IS的输出进行视觉处理的灰度转换值的装置,所以可以通过将该灰度转换值除以图像信号IS,来实现增益型视觉处理装置5。
乘法器11,将增益型视觉处理装置5输出的增益信号GAIN与图像信号IS相乘,输出对图像信号IS进行视觉处理的灰度转换值。
另外,在视觉处理部30中,也可以直接使用图21所示的具有2维增益特性的曲线进行处理。这里,图21的纵轴为增益输出GN,横轴为图像信号IS。图21所示的2维增益特性,与将图2所示的2维灰度曲线的输出除以图像信号IS的所得的结果等价。也可以将具有该2维增益特性的曲线设定在视觉处理装置1的视觉处理部30的LUT中。这样,如果事先将2维增益特性曲线设定在视觉处理部30的LUT,增益输出GN与增益信号GAIN等价,因此即便去掉除法器12,也可以实现增益型视觉处理装置5。
如上所述,在本发明的第4实施方式的增益型视觉处理系统4中,对于增益型视觉处理装置5,由于经过视觉处理的处理信号的变化相对于输入的图像信号IS的变化较小,所以可以削减输入信号的位数,削减电路 规模。此外,在视觉处理部30具有2维LUT的情况下,可以削减存储器容量。
另外,本发明的第1实施方式的视觉处理装置1也可以置换成本发明的第2实施方式的视觉处理装置2。由此,也可以同样实现增益型视觉处理装置5。
此外,本发明的第1实施方式的视觉处理装置1也可以置换成本发明的第3实施方式的视觉处理装置3。由此,也可以同样实现增益型视觉处理装置5。
如上所述,根据本发明的第1实施方式至本发明的第4实施方式,就可以在输入非特殊图像的通常图像的情况下,维持视觉处理效果,在输入特殊图像的情况下,抑制副作用。
[其它实施方式]
有关上述的本发明的实施方式所说明的视觉处理装置或视觉处理系统中的特殊图像程度的计算,既可以对由输入图像信号形成的1幅图像的所有像素算出特殊图像度,也可以对由输入图像信号形成的1幅图像的构成规定区域的像素算出特殊图像度。
例如,如图23(a)所示,为了将长宽比为4∶3的图像2302显示在长宽比为16∶9的显示画面2301上,在图像的左右两端追加了黑色部分2304和2305,在处理这种图像信号的情况下,可以除去相当于上述黑色部分2304和2305的图像信号(像素),仅对相当于长宽比为4∶3的图像2302的图像信号(像素),算出特殊图像程度,并生成特殊图像用效果调整信号。
此外,例如,如图23(b)所示,为了将长宽比为16∶9的图像2307显示在长宽比为4∶3的显示画面2306上,在图像的上下两端追加了黑色部分2308和2309,在处理这种图像信号的情况下,可以除去相当于上述黑色部分2308和2309的图像信号(像素),仅对相当于长宽比为16∶9的图像2307的图像信号(像素),算出特殊图像程度,并生成特殊图像用效果调整信号。
另外,上述长宽比是一个实例,毋庸赘言,即使是其它长宽比也可以进行同样处理。此外,图23(a)和(b)是方便说明而使用的图,并不是 根据正确的长宽比描绘出来的。
此外,对于在一个显示画面中分割多个图像来进行显示的情况下的图像信号,也可以按照被分割显示的图像单位,算出特殊图像程度。例如,如图24所示,在图像信号是显示画面2401左侧区域显示特殊图像2302、右侧区域显示一般图像2403的图像信号的情况下,也可以只使用形成左侧区域的特殊图像2302的图像信号(像素)来算出特殊图像程度并生成特殊图像用效果调整信号,并且,只使用形成右侧区域的自然图像2303的图像信号(像素)来算出特殊图像程度并生成特殊图像用效果调整信号。也就是说,可以按照分割显示的图像单位来算出特殊图像程度,生成特殊图像用效果调整信号。
此外,对于上述的本发明的实施方式所说明的视觉处理装置或视觉处理系统中的空间处理功能、效果调整功能、视觉处理功能、特殊图像检出功能等各种功能,既可以通过使用集成电路等的硬件来实施,也可以通过使用中央处理装置(下称为“CPU”)、数字信号处理装置等来进行动作的软件来实施。此外,也可以通过软件和硬件的混合处理来实现上述各种功能。
首先,在使用硬件来实施上述各种功能的情况下,既可以对本发明的实施方式的各项功能分别设置集成电路,也可以设置包含部分或全部功能的单片化的集成电路。另外,这里的集成电路不仅限于LSI,而且有时因集成度的不同而被称为IC、系统LSI、超LSI、超大LSI。
此外,集成电路也可以使用专用电路或通用处理器来实现。例如,在制造半导体芯片之后,也可以利用可编程的FPGA(Field Programmable Gate Array)和可以重新构成集成电路内部单元的连接或设定的可重构处理器。
另外,如果随着半导体技术的进步或派生出其他技术而有新的集成电路技术出现的话,那么当然也可以使用该技术来进行功能模块的集成化。例如,随着生物技术的进步,也可以考虑使用生物计算机等。
下面,利用图22,对使用软件实施上述各种功能的情况进行说明。图22是表示本发明的实施方式的计算机的构成框图。
在图22中,计算机6包括:执行各种程序命令的CPU100;存放程序 等的只读存储器101(下称为“ROM101”);存放暂时存储的数据的随机存储器102(下称为“RAM102”);输入图像的输入部103;输出图像的输出部104;和存储程序和各种数据的存储部105。
另外,也可以包括与外部进行通信的通信部106;和与信息记录介质进行适当连接的驱动器107。
此外,各功能部经由总线110对控制信号、数据等进行信号的接收和发送。
CPU100按照保存在ROM101的程序执行各种功能的处理。
ROM101存储程序、曲线等。
RAM102通过CPU100暂时保存各种功能处理所需要的数据。
输入部103输入图像。例如,通过接收电波,解调接收到的接收信号来取得影像信号。此外,也可以直接经由线路来取得数字图像。
输出部104输出图像。例如,向液晶显示装置或等离子显示器等显示装置输出。
存储部105由磁存储器等构成,存储各种程序、数据。
通信部106可以与网络111连接,经由网络111取得程序,或者也可以根据需要将取得的程序安装到存储部105中。由此,计算机6就可以通过通信部106下载程序。
驱动器107,适当连接信息存储介质,取得存储在信息存储介质中的存储信息。信息存储介质是例如磁盘、光磁盘、光盘等磁片108或半导体存储器等存储卡109等。
另外,也可以在磁盘108或半导体存储器等存储卡109等上存储执行各种功能的程序、曲线等,并将该信息提供给计算机6。
此外,程序也可以使用专用的硬件事先安装到计算机上,ROM101也可以事先安装并提供给存储部105。
此外,程序可以应用在信息处理装置、显示装置、数码相机、手机、PDA等处理图像的机器上。程序被内置或连接在处理图像的机器中,执行与上述实施方式说明的视觉处理装置或视觉处理系统所实现的视觉处理同样的视觉处理。
另外,在将数据处理装置用于显示装置等的情况下,也可以在检出特 殊图像时切换显示模式。
此外,在用2维LUT构成上述实施方式说明的视觉处理装置的视觉处理部等的情况下,被参照的2维LUT用数据,存放在硬盘、ROM等存储装置中,按照需要参照。另外,2维LUT用数据也可以由与视觉处理装置直接相连的、或经由网络间接相连的2维LUT用的2维增益数据(曲线)的提供装置提供。
另外,本发明的具体构成并不限于上述的实施方式,在不脱离发明思想的范围内可以进行各种变更和修正。
产业上的利用可能性
根据本发明的视觉处理装置、视觉处理方法和程序,可以进行图像信号的视觉处理,尤其适合作为即使输入特殊图像的情况下也能抑制副作用的视觉处理装置、视觉处理方法和程序等。