CN1753474A - 电子设备的控制装置及方法 - Google Patents

Abstract

本发明提供一种在对于多种电子设备兼容柔性和遥控操作的便利性的同时，不需要在手上利用遥控器这样的遥控操作用设备的电子设备的控制装置。利用摄像机(2)拍摄操作者的图像进行镜像变换。生成包括操作按钮的操作用图像，将镜像变换后的操作者的图像和操作用图像重叠后显示在显示装置(23)上。在显示的画面上，若操作者进行将手移动到操作按钮上并弯曲手指的选择动作，就利用检测部(19)检测它的选择动作，将进行了选择动作的操作按钮的信息供给到控制信息判断器(20)中。控制信息判断器(20)输出与选择后的操作按钮相对应的各种控制信号。

Description

电子设备的控制装置及方法

技术领域

本发明涉及电子设备的控制装置，特别涉及用于进行如电视接收机和个人计算机这样的具有显示装置的电子设备的遥控操作的控制装置。

背景技术

八十年代，红外线遥控器(通称遥控器)附属于以电视接收机为首的家电设备上，能够手动控制的用户接口广泛普及，使家电产品的利用形式有很大改观。现在，该操作形式是主流，但遥控器的基本结构是一个按钮执行一个功能，例如，在电视接收机中，“电源”、“通道”、“音量”、“输入转换”等键与其功能相对应，对于目前的电视接收机来说是非常便利的遥控操作方法。

但是，最近开始的数据广播中为了选择期望的菜单画面，要几次按下遥控器的“上下左右”和“确定”键，使用很复杂。此外，EPG(电子程序向导)由于从矩阵排列的向导画面选择期望的位置后按下键，因此，有同样的问题。

在专利文献1中，为了解决这样的课题，提出了一种将由鼠标或类似鼠标的位置指定操作装置得到的位置指定信息编码成键按下信号的时间序列图案即键按下时间序列符号，将该键按下时间序列符号发送给电视接收机的控制装置。

【专利文献1】特开2003-283866号公报

专利文献1中记载的控制装置利用酷似个人计算机(电脑)的操作的指向操作来遥控电视接收机。从而，对于不利用个人计算机的人来说难以使用，因此，从信息读写能力(操作信息的能力)的观点出发，原样导入个人计算机的使用便利性不太合理。在要求遥控操作的当前的电视接收机的利用形式中，需要匹配后的新的操作装置。

另外，随着网络化的进展，通过将从住宅内的存储媒体和住宅外的因特网得到的多种信息显示在电视接收机和个人计算机的显示器上，来接受信息。由于该情况下的操作形式依赖于信息源，因此，需要与多种操作形式相对应，用当前的附属于家电设备的遥控器不能充分应付。

如以上说明，在现有的遥控器中，对应于电视接收机等的功能的多样化和复杂化，使遥控器变庞大。若用现有的遥控器进行数据广播等的菜单画面的选择操作，作为指向装置的作用就更重要，因此，在现有的遥控器中，在使用便利性方面有很多难点。此外，在网络化中，通过显示装置来控制与网络连接的所有设备的功能，存在有遥控器的数量与连接的设备的数量成比例增加的问题。对于该问题，在与电视接收机连接的VTR和录像盘及其他音响设备等中，实际上经常遇到不能判别哪个遥控器是适合的遥控器的情况。另外，至于因特网中，选择控制所有的Web站点的信息，现有的遥控器的形式已经达到了极限。

发明内容

本发明以上述问题点为着眼点，目的在于提供一种使多种电子设备兼备柔性和遥控操作的便利性的同时，不需要在手动使用遥控器这样的遥控操作用设备的电子设备的控制装置。

为了达到上述目的，第1发明中记载的具有显示装置的电子设备的控制装置，特征在于具有：拍摄位于上述显示装置前面的操作者的摄像机；进行用该摄像机拍摄的图像的镜像变换的镜像变换装置；生成至少包括一个操作按钮的操作用图像的操作用图像生成装置；混合上述镜像变换后的图像的图像信号和上述操作用图像的图像信号的第一混合装置；在使由该第一混合装置混合后的图像显示在上述显示装置的画面上的状态中，检测画面上显示的操作者选择上述操作按钮的规定选择动作的检测装置；进行与由该检测装置检测到了上述规定选择动作的操作按钮相对应的控制动作的控制装置。

第2发明记载的的特征在于，在第1发明中记载的电子设备的控制装置中，还具有将向上述电子设备输入的图像信号和从上述第一混合装置输出的图像信号进行混合的第二混合装置，使从该第二混合装置输出的图像信号显示在上述显示装置上。

第3发明记载的特征在于，在第1发明或第2发明中记载的电子设备的控制装置中，上述检测装置具有：确定进行上述规定选择动作的对象物的对象物确定装置；判定确定后的对象物的图像位于与上述操作按钮相对应的规定的区域内的位置判定装置；检测上述对象物的图像在上述规定的区域内进行了规定的变化的变化检测装置，在由该变化检测装置检测到了规定的变化时，检测上述规定选择动作。

发明效果

根据第1发明中的记载，操作者用摄像机进行拍摄，将镜像变换后的图像和包含操作按钮的操作用图像混合，即重叠后在显示装置上显示。操作者一进行规定选择动作，例如，使显示装置的画面上显示的手移动到操作按钮上后弯曲手指的动作，就利用检测装置检测它的规定选择动作，执行对应的控制动作。从而，不使用遥控器这样的遥控操作装置，就能进行电子设备的遥控操作。该情况下，由于能够按照要选择的操作或信息的内容适当地设定操作用图像，因此，能够兼容对于多种电子设备的柔性和遥控操作的便利性。

根据第2发明中的记载，由于将输入到电子设备中的图像信号、例如由调谐器接收到的广播图像和录像盘的再生图像信号等与从第一混合装置输出的图像信号混合(重叠)，在显示装置上显示，因此，既提供多种信息，又能进行与其相对应的遥控操作。

根据第3发明中的记载，若确定进行规定选择动作的对象物，判定所确定的对象物的图像位于与操作按钮相对应的规定的区域内，当检测对象物的图像在规定的区域内发生了规定的变化时，检测上述规定选择动作。作为规定选择动作，例如有如上所述地手移动到操作按钮上后弯曲手指的动作，通过特定人的手作为对象物，检测手的位置和移动，就能够进行规定选择动作的检测。从而，不用遥控操作装置就能进行遥控操作。

附图说明

图1是用于说明本发明的电子设备操作方法的概要的图。

图2是示出本发明的一个实施方式涉及的电子设备(电视接收机)的主要部分结构的框图。

图3是用于说明图像的镜像变换方法的图。

图4是示出操作者的图像和操作用图像的图。

图5是用于说明操作者的图像与操作用图像重叠(混合)的状态的图。

图6是用于说明图2中示出的检测器与显示装置的画面上的检测区域的对应的图。

图7是示出图2中示出的检测器的结构的框图。

图8是示出图7中示出的目标提取器的结构的框图。

图9是用于说明用目标提取器提取的对象物的色相和饱和度的图。

图10是根据色差信号计算色相的处理的流程图。

图11是示出用目标提取器提取的对象物的亮度信号电平的图。

图12是示出将手罩在画面上的操作按钮上的状态的图。

图13是示出在画面上的操作按钮的上面弯曲了手指的状态的图。

图14是示出进行了2次弯曲手指的动作的情况下的手在画面上的投影面积变化的时序图。

图15是示出操作按钮与手的图像重叠的状态的图。

图16是示出图14中示出的时刻T-1的亮度的频率分布和平均亮度电平(APL)的图。

图17是示出图14中示出的时刻T0的亮度的频率分布和平均亮度电平(APL)的图。

图18是示出图14中示出的时刻T1的亮度的频率分布和平均亮度电平(APL)的图。

图19是示出图14中示出的时刻T2的亮度的频率分布和平均亮度电平(APL)的图。

图20是示出图14中示出的时刻T3的亮度的频率分布和平均亮度电平(APL)的图。

图21是示出图14中示出的时刻T4的亮度的频率分布和平均亮度电平(APL)的图。

图22是示出图14中示出的时刻T5的亮度的频率分布和平均亮度电平(APL)的图。

图23是示出图14中示出的时刻T6的亮度的频率分布和平均亮度电平(APL)的图。

图24是用于说明图2中示出的控制信息判断器(CPU)的工作的功能框图。

图25是用于说明确定选择操作按钮的动作的数据处理的时序图。

图26是示出用于去除DC偏置成分的数字滤波器的结构的框图。

图27是用于说明图26中示出的数字滤波器的具体结构与处理波形的关系的图。

图28是示出检测动作与规定选择动作的相互相关计算值的推移的时序图。

图29是用于说明用摄像机拍摄的操作者的图像过小的情况的处理的图。

图30是用于说明用摄像机拍摄的操作者的图像过大的情况的处理的图。

图31是示出用于改变摄像机及其视场角的装置的图。

具体实施方式

以下，参照附图说明本发明的实施方式。

图1是用于说明现有的遥控装置的操作形式与本发明的操作形式的差异的图。在视听者(用户)3操作电视接收机1的情况下，在现有技术中，视听者3手持遥控装置4，通过向着电视接收机1按下使期望的功能工作的键，来进行操作。从而，若没有遥控装置4，就不能操作，经常有感到不便的情况。

对此，在本实施方式中，在电视接收机1中设置了摄像机2，利用摄像机2拍摄视听者3，从摄像机2的图像得到视听者3的动作，进行电视接收机1和与其关联的设备的操作。所述视听者3的动作，具体是指从电视接收机1中显示的菜单画面选择期望的按钮的身体(手、脚、脸等)的动作。此外，在电视接收机1的周围暗时，若使用除了身体以外的例如钢笔电筒，也能得到同样的效果。在本实施方式中，采用最现实的用手的动作进行操作的方法。

图2是示出电视接收机1的结构的框图，电视接收机1具有基准同步发生器11、定时脉冲发生器12、图形生成器16、摄像机2、镜像变换器14、缩放器15、第一混合器17、象素数变换器21、第二混合器22、显示装置23、检测部19和控制信息判断器(CPU)20。

基准同步发生器11发生成为电视接收机1的基准的水平周期脉冲和垂直周期脉冲。在电视广播接收时或和从外部设备输入了影像信号的情况下，生成与该输入信号的同步信号同步的脉冲。定时脉冲发生器12生成图示中的各单元必须的具有水平方向和垂直方向的任意相位和幅度的脉冲。摄像机2如图1所示，位于电视接收机1的前面，拍摄视听者(用户)3或电视接收机前的影像。摄像机2的输出信号是亮度(Y)信号和色差(R-Y、B-Y)信号，与从基准同步发生器11输出的水平周期脉冲和垂直周期脉冲同步。此外，在本实施方式中，用摄像机2拍摄的图像的象素数与显示装置23的象素数一致。再有，在象素数不一致的情况下，可以插入象素数变换器。

镜像变换器14用于将用摄像机2拍摄的被摄体像同镜子一样左右翻转后显示在显示装置23上。从而，在显示文字的情况下，就同镜子一样左右翻转。对此，如图3所示，可通过使用按水平周期进行数据的写入和读出的第一存储器和第二存储器进行地址操作来容易实现。例如在将1个水平周期设为N个象素的情况下，每1个水平周期交替地写入输入信号，直到两个存储器的写入地址0～N-1；与写入地址相反地沿着N-1～0，排斥写入工作而进行读出，使水平方向的图像左右翻转。再有，在本实施方式中，采用了有效利用存储器而使水平方向的图像翻转的方法，但在使用CRT(Cathode Ray Tube即，阴极射线管)作为显示装置23的情况下，通过逆向操作水平偏转能得到同样的效果。该情况下，需要预先在水平方向上左右反转图形和其他混合了的图像。

缩放器15调整由摄像机2拍摄到的被摄体像的大小，按照控制信息判断器(CPU)20的控制二维地调整放大率和缩小率。此外，也可以不进行放大缩小，而进行水平和垂直的相位调整。后面详述该使用方式。

图形生成器16根据从控制信息判断器(CPU)20传送的菜单画面信号展开菜单画面，即使用R(红)信号、G(绿)信号、B(蓝)信号的原色信号展开存储器上的信号，在后段中与影像信号合成或混合的输出信号作为Y(亮度)信号和色差信号(R-Y、B-Y)。此外，生成的图形的图案(プレ一ン)数不限定，但本说明中需要1个平面。在本实施方式中，象素数与显示装置23的象素数一致。在不一致的情况下，需要设置象素数变换器使其一致。

第一混合器17根据控制值α1控制混合比例来混合图形生成器16的输出信号Gs和缩放器15的输出信号S1。具体地说，用下式表示输出信号M1o。

M1o＝α1·S1+(1-α1)·Gs

将控制值α1设定为“0”到“1”之间的值，若增大控制值α1，缩放器输出信号S1的比例就变大，图形生成器输出信号Gs的比例就变小。作为混合器的例子，不限定于此，但在本实施方式中，若加入所输入的双系统的信号信息，则能得到同样的效果。

检测部19由第一检测器31、第二检测器32、第三检测器33、第四检测器34、…构成。包含在检测部19中的检测器不确定个数，而与表示控制内容的推进按钮(相当于在个人计算机中用鼠标进行点击操作的操作按钮)的个数相对应地变动，与在图形生成器16中生成的菜单画面协作的情况。

控制信息判断器(CPU)20进行从检测部19输出的数据的分析，输出各种控制信号。控制信息判断器(CPU)20的处理内容用软件来实现，关于算法详细地进行记述。本实施方式中混合了硬件(各功能块)的处理和软件(在CPU上展开)处理，但不特别限定于在此示出的定界。

象素数变换器21进行用于对照从外部输入的外部输入信号的象素数和显示装置23的象素数的象素数变换。外部输入信号设想是广播来的电视信号(也包括数据广播等)和视频(VTR)输入等从电视接收机的外部输入来的信号。关于外部输入信号的同步系统，在此省略说明，但取得同步信号(水平和垂直)后，利用基准同步发生器11使同步一致。

第二混合器22具有与第一混合器17同样的功能。即，根据控制值α2控制混合比例来混合第一混合器17的输出信号M1o和象素数变换器21的输出信号S2。具体地说，用下式表示输出信号M2o。

M2o＝α2·M1o+(1-α2)·S2

将控制值α2设定为“0”到“1”之间的值，若增大控制值α2，则第一混合器输出信号Mlo的比例就变大，象素数变换器输出信号S2的比例就变小。作为混合器的例子不限于此，但在本实施方式中，若加入输入的双系统的信号信息，就能得到同样的效果。

显示装置23假设为CRT(阴极射线管)、LCD(液晶显示器)、PDP(等离子体显示器)或投影式显示器等，但不限定显示器的显示方式。显示装置23的输入信号是亮度信号Y和色差信号R-Y和B-Y，在显示装置23的内部，对RGB原色信号进行矩阵变换来显示。

穿插视听者(用户)的动作来说明如上所述结构的电视接收机1的动作。图4示出了图形图像41、和对摄像机图像进行镜像变换并通过缩放使象素数与图形图像41的象素数一致的缩放器输出图像43，在第一混合器17中混合与两个图像41和43相对应的信号。图形图像41形成用于进行控制的菜单画面，方形的42表示推进按钮(操作按钮)。一方的缩放器输出图像43是拍摄用户并同镜子一样进行显示的图像。缩放器输出图像43中的虚线方形44表示由多个检测器31、32等构成的检测部19的检测区域，配置在与图形图像41上的推进按钮42同一位置上。

图5是用于说明第一混合器17中的混合处理的示意图。图5(A)表示了在图形生成器16中生成的控制菜单画面，包括推进按钮(1-1)～(1-8)。图5(B)是用摄像机2捕捉到用户的画面(完成镜像变换和缩放器处理)，包括与检测部19的各检测器相对应的检测区域(2-1)～(2-8)。图5(C)中示出了利用第一混合器17，以与控制值α1相对应的混合比例混合了图5(A)和(B)中示出的画面的画面。再有，图5(C)中显示的用户的图像与图5(B)中示出的图像相比，实际上与控制值α1相对应地降低了亮度和对比度。

如上所述，在显示装置23中如镜子一样映射用户的图像，并将控制的菜单画面也重叠显示。这样，用户本人能够识别自身的动作和控制菜单的位置。用户通过看画面后移动手(身体)碰触画面上的推进按钮，来进行控制。换言之，用户通过看画面并移动以使手位于推进按钮上，来进行控制。然后，若对与碰手(符合)的推进按钮成1∶1的检测区域内的手进行检测，则能够识别按下了适当的推进按钮的情况。从而，能够从控制信息判断器(CPU)20输出相当于该推进按钮的控制内容的控制信号。这时，通过使图形状的菜单画面的推进按钮的形状和/或颜色变化，来在显示画面上示出已识别了动作的情况。例如，使图像变化为已按下了推进按钮。

图6示出设定在来自摄像机2的图像上的检测区域(2-1)～(2-8)与检测部19的检测器31～34的对应关系，另外还示出了确定检测区域(2-1)和(2-8)的定时脉冲(水平垂直)。

如图7所示，各检测器31～34具有目标提取器51、定时选通器52和目标特征数据检测部53。定时选通器52用图6中示出的定时脉冲，控制来自摄像机2的图像信号的通过。通过的区域位于图6中用虚线方形示出的检测区域内。进一步，对限定在该检测区域内的信号进行各种各样的滤波处理之后，提取由摄像机2捕捉到的用户的手。

目标提取器51具有附加到图像特征中的滤波器，在本实施方式中，为了检测用户的手，特别进行以肤色为着眼点的滤波处理。目标提取器51具体地来，说如图8所示，具有特定色滤波器71、灰度限定器72、合成器73和目标选通器74。参照图9说明特定色滤波器71。图9是色差平面图，将纵轴设为R-Y，将横轴设为B-Y。可以用该坐标上的矢量表示电视信号的全部色信号，能够用极坐标进行评价。特定色滤波器71限定以色差信号输入的色信号的色相和颜色的浓度(饱和度)。为了确定它，以第一象限的B-Y轴为基准(零度)，用左旋的角度表现色相。此外，饱和度等于矢量的标量数量，色差平面的原点是饱和度零，处于没有颜色的状态，越远离原点，饱和度越大，颜色就浓。

在图9中，将由特定色滤波器71提取的范围被设定在比等色相线L1相对应的角度θ1小且与等色相线L2相对应的角度θ2的范围中，此外，将颜色的浓度设定在比等饱和度线S2小且比S1大的范围中。第二象限的该范围相当于在本实施方式中提取的人手的颜色即肤色的区域，但不特别限定。特定色滤波器71检测来自摄像机2的色差信号(R-Y、B-Y)是否进入到由等色相线和等饱和度线包围的区域中。因此，根据色差信号计算并判定角度和饱和度。

作为角度计算的一例，利用图10中示出的处理，对各输入象素计算图9中示出的色差平面上构成的角度。图10中，用流程图示出了角度计算处理，但也可以用软件和硬件的任一种来实现角度计算处理。在本实施方式中用硬件实现。在图10的步骤S401中，根据各输入象素的色差信号R-Y、B-Y成分的符号，检测输入象素的色相位于色差平面上的第几象限。在步骤S402中，计算各色差信号R-Y、B-Y成分的绝对值，将大的一方作为A，小的一方作为B。

然后，在步骤S403中，根据B/A检测角度T1。从步骤S402的处理可知，该角度T1为0～45°。可以利用折线近似或ROM表来计算角度T1。在步骤S404中，判定A是否是|R-Y|，即是否|R-Y|＞|B-Y|。若不是|R-Y|＞|B-Y|，则前进到步骤S406。若是|R-Y|＞|B-Y|，则在步骤S405中将角度T1置换成(90-T1)。这样，来求tan^-1((R-Y)/(B-Y))。

将在步骤S403中检测的角度T1设定为0～45°是因为，若tan^-1((R-Y)/(B-Y))的弯曲超过45o，则梯度就急剧变大，不适于角度的计算。

另外，在步骤S406中，使用在步骤S401中检测到的象限的数据判定是否是第二象限，若是第二象限，就在步骤S407中计算T＝180-T1。若不是第二象限，就在步骤S408中判定是否是第三象限，若是第三象限，就在步骤S409中计算T＝180+T1。若不是第三象限，就在步骤S410中判定是否是第四象限，若是第四象限，就在步骤S411中计算T＝360-T1。若也不是第四象限，即是第一象限时，就将角度T设为T1(步骤S412)。然后，最后在步骤S413中输出各输入象素的在图9的色差平面上构成的角度T。

通过以上的处理，能够在0～360°的范围内求出所输入的色差信号R-Y、B-Y在色差平面上的角度。步骤S404～S411是将步骤S403中检测到的角度T1修正为角度T的处理。此外，步骤S404～S411按照第一～第四象限修正角度T1。

接着，利用下式进行颜色的浓度即饱和度的计算。

Vc＝sqrt(Cr×Cr+Cb×Cb)

其中，如图9所示，Cr是色信号的(R-Y)轴成分，Cb是(B-Y)轴成分。此外，sqrt()是进行平方根运算的算子。

此处的处理不特别指定软件或硬件，但由于用硬件不容易实现乘法和平方根，并且软件中的运算步骤多，因此，也可以如下地求出近似值。

Vc＝max(|Cr|，|Cb|)+0.4×min(|Cr|，|Cb|)

其中，max(|Cr|，|Cb|)是选择|Cr|和|Cb|中的大的一方的运算处理，min(|Cr|，|Cb|)是选择|Cr|和|Cb|中的小的一方的运算处理。此外，Vc是矢量的标量数量，在此表示饱和度。

评价以上求得的角度(色相)T和饱和度Vc是否进入到从等色相线的角度θ1到θ2的范围，颜色的浓度是否进入到比等饱和度线S2小且比S1大的范围中。图8中示出的特定色滤波器71的作用使进入到范围中的信号通过。

图8的灰度限定器72如图11所示，限定亮度信号的特定灰度。在是8位数字信号的情况下，具有0～255的256个灰度，但设定限定该范围灰度的最大电平Lmax和最小电平Lmin，输出电平在其之间的亮度信号。

合成器73将从特定色滤波器71和灰度限定器72输入的信号变换成区域脉冲。即，在通过了特定色滤波器71的信号和通过了灰度限定器72的信号双方都存在(AND)的情况下，输出成为高电平的脉冲。

将在合成器73中生成的区域脉冲供给目标选通器74。目标选通器74在区域脉冲为高电平时，使亮度信号和色差信号通过。在区域脉冲外的范围(区域脉冲是低电平时)，即不使输入信号通过的情况下，输出规定值的信号。在本实施方式中，在不使其通过的范围内，输出黑色电平的亮度信号和饱和度零的色差信号。

该目标提取器51的工作是进一步用亮度信号电平限定由特定色滤波器71限定了色信号的色相(角度)和饱和度的信号。通过在特定色滤波器71中限定色相和饱和度，能够提取出人的肤色，但人的肌肤在日晒的情况下有变化，此外，也根据人种而不同。就这些肤色来说各种各样，但若调整色相、饱和度、亮度信号的灰度限定的范围，就能够大概检测出人的手。在本实施方式中，以人的手为对象，但若适当地调整其他的色相和灰度，就也可以在本实施方式中的参数变更的范畴中同样地与其他区别开来。

图12(A)和图13(A)表示对从摄像机2输入的图像设定了推进按钮的区域(虚线方框)。本发明判别将用手罩在摄像机图像上的动作作为控制信息。图12(B)和图13(B)示出其手的动作。图12(B)示出用手罩在推进按钮上，图13(B)示出弯曲了手指的状态。在本实施方式中，通过反复2次弯曲该手指，识别按下了推进按钮的情况。当然，仅举起了手，或者进行1次或3次以上的动作，也能够得到同样的效果。

下面，参照图14，按照时间轴说明手的动作。将从伸直手指的状态到弯曲后的状态所经过的时间设为Tm。为了清楚容易地说明，图中把时间划分为T0、T1、…、T6，作为动作的最小单位。以下沿着时间经过进行说明。

在时刻T-1中示出不存在手的状态，在时刻T0，示出了举起手将手罩在期望的推进按钮上的状态，从时刻T1开始保持手最低Tm期间，在时刻T2示出弯曲了手的手指的状态，在时刻T3，示出从弯曲了手指的状态开始到伸直了手指的状态，在时刻T4示出再次弯曲了手指的状态，在时刻T5，示出将弯曲的手指再次伸直的状态，从时刻T6开始，保持伸直了手指的状态最低Tm期间，在时刻T7示出了不存在手的情况。

以上是推进按钮上的手的动作。图14的上侧的波形图示出了下侧模式化描述的手在推进按钮上的平面投影面积的变化。通过分析该波形并确定手的动作，能够捕捉控制动作。

图15中示出与目标提取器51的输出信号相对应的图像。通过了目标提取器51的信号在定时选通器52中被限定推进按钮的区域，除此以外的区域忽略不计。供给到定时选通器52内的信号在特定色滤波器71中被确定颜色，在此，仅手的肤色区域通过，此外，也在灰度方向中进行限定，仅被限定的区域通过，除此以外的区域就成为黑色(亮度信号色信号都是零)。从而，如图15所示，除了手指以外就成为黑色(划阴影线示出)。图15(A)示出举起了手指的状态，图15(B)示出弯曲了手指的状态。在此，将除了肤色区域以外的区域设定为黑色，这是为了彻底提高后级的检测器中的检测精度，根据要检测的对象物而设定最佳电平(特定的电平)。

从该图15开始进一步检测图像的特征。图7中示出的目标特征数据检测部53由从图像检测各种各样特征的功能块、即直方图检测器61、平均亮度(APL)检测器62、高频检测器63、最小值检测器64和最大值检测器65构成。除此以外也有赋予图像特征的项目，但在本实施方式中，在根据这些内容来判别是手的情况的同时识别其动作。

这些检测器61～65在本实施方式中由硬件构成，将空间内的检测框内的状态加工成画面单位(场和帧单位：垂直周期单位)的数据，向控制信息判断器(CPU)20的总线送出。控制信息判断器(CPU)20在软件上存储为变量，并进行数据处理。

直方图检测器61将亮度信号的灰度划分为8个级别，计数各级别中存在的象素的数量，每一个画面(半帧或帧画面)向控制信息判断器(CPU)20输出一个各级别的频率值。APL检测器62同样地相加一个画面内的亮度电平，并向控制信息判断器(CPU)20输出按象素数分割的一个画面的平均亮度值。高频检测器63利用空间滤波器(二维滤波器)提取高频成分，将其高频成分的频率按一个画面单位向控制信息判断器(CPU)20输出。最小值检测器64向控制信息判断器(CPU)20输出一个画面的亮度信号的最小灰度值，此外，最大值检测器65向控制信息判断器(CPU)20输出一个画面内的亮度信号的最大灰度值。

控制信息判断器(CPU)20将收到的数据存储为变量并进行软件处理。之后在本实施方式中进行软件处理。

图16～图21是示出直方图检测器61和平均亮度检测器62的输出数据的图。这示出了灰度的直方图和平均亮度(APL)，关于APL，为了感观上清楚大小而用箭头示出。在这些图中，纵轴表示频率，横轴将灰度(亮度)划分为8个级别来表示。情形1和情形2中手的亮度不同，情形1是手的频率集中在特定级别中的情况，情形2表示跨两个级别的情况。图16～图21是与图14中表示的各时刻T-1、T0～T6相对应的直方图。利用目标提取器51用特定色肤色限定灰度，其他部分成为黑色，因此，直方图上的频率集中在黑色部分和限定了灰度的部分。

以下沿着时间经过说明直方图和APL的值的变迁。

图16、时刻T-1：示出了在不存在手的情况下基本上不存在频率，用摄像机捕捉的背景等中存在的肤色且进入到限定的灰度区域中的成分的频率。此外，APL低。

图17、时刻T0：示出了在举起手将手罩在期望的推进按钮上的状态下，情形1中表示级别5的灰度的频率变大。在情形2中，由于跨级别5和6区域，因此，频率未达到情形1的频率，但级别5和6的合计量增加为大致相同。此外，由于手的面积变大，故APL与其成比例。

图18、时刻T1：在保持了手最低Tm期间时，与时刻T0同样。

图19、时刻T2：在弯曲了手指的状态下，黑色的区域扩大，级别5的频率减少。此外，关于APL也减少。

图20、时刻T3：在从弯曲开始伸直了手指的状态下，与时刻T0同样。

图21、时刻T4：在再次弯曲了手指的状态下，与时刻T2同样。

图22、时刻T5：在再次伸直了弯曲的手指的状态下，与时刻T0同样。

图23、时刻T6：在保持伸直了手的状态最低Tm期间的状态下，与时刻T0同样。

在直方图的数据处理中，在本实施方式中，由于将没作为目标提取的部分设为黑色，因此，级别1是黑色区域，在评价对象的考虑之外。关于评价的做法多种多样，但由于直接的手的信息是在本实施方式中进入到限定了灰度的范围中的级别4、5、6、7，因此，综合评价它的值。

直方图的合计值的变动成为与APL的变动接近的内容，只有值的比例不同，可以通过同样的分析来判别手的动作。为了提高判别的准确度，使用不同的检测装置进行评价判定。对上述的高频检测器63、最小值检测器64、最大值检测器65等检测数据也同样地进行评价，并通过根据更多不同的检测数据进行判别，能够提高精度。在本实施方式中，高频检测是检测手指与背景的黑色的边缘成分的频率，从图15可知，弯曲了手指时边缘成分减少，其变动与直方图和APL相同。但是，在最大值检测中，若手指的某处进入到了推进按钮的某处，就没有大的变化，检测精度就差。此外，由于这次脱离目标提取范围的部分变为黑色，因此，最小值检测不变化，故并不意味着全部。但是，利用用摄像机捕捉的对象物的颜色和灰度，有时也可以将脱离目标提取范围的部分设定为白色。通过对于设为对象的目标，将对比度的某种颜色和白色适用于脱离目标提取范围的部分，判别精度就增高。

面向判别的评价的做法是判别预定的手的动作，其基本算法相同，通过检测项目而比例不同。上述图7中示出的目标特征数据检测部53的输出通过CPU总线，被传送到控制信息判断器(CPU)20。控制信息判断器(CPU)20进行动作检测，输出适当的控制信号。图24是用于说明控制信息判断器(CPU)20的工作的功能框图，控制信息判断器(CPU)20具有与直方图检测器61相对应的第一动作检测器201、与平均亮度(APL)检测器62相对应的第二动作检测器202、与高频检测器63相对应的第三动作检测器203、与最小值检测器64相对应的第四动作检测器204、与最大值检测器65相对应的第五动作检测器205和控制信息生成器210。再有，实际上利用软件处理来实现这些动作检测器201～205和控制信息生成器210的功能。

动作检测器201～205按照对应的检测器61～65的检测结果输出检测标志，向控制信息发生器210供给。控制信息发生器210评价输入的检测标志的内容，输出适当的控制信息。此处的评价有效利用计算机语言的算子来进行，例如“或”逻辑、“与”逻辑、“异或”逻辑、＞、＜等，在满足了包含这些算子的运算式的情况下，输出控制信号。在本实施方式中，所有的动作检测器201～205的输出的“或”逻辑、即至少一个以上的动作检测器输出了检测标志时，就输出控制信息。

详细说明上述动作检测器201～205。在此，根据直方图的限定级别的合计数据，检测动作的情况。图25示出了从直方图得到的数据的变动。该图中示出的时刻T0～T6与图14中示出的时刻T0～T6相对应。图25(A)是合计了直方图的限定后的4～6级别的值的变动。相当于黑色以外的部分，表示手所占的面积。该图(B)去除了偏置成分，在Tm期间中没有变化的情况下，值等于零。该图(C)是将图(B)的数据二次方来得到的结果，手指的弯曲动作接近于正弦波，由于是它的二次方，故周期成为1/2的正弦波。该图(D)积分了图(A)的波形，用箭头表示了用于判别手的动作的选通脉冲。该图(E)用数字滤波器将图(C)的波形相互建立关联，看到了与手的动作的关联。另外，过渡图(D)和(E)之间，示出了最终判断即确定地导出用户操作了推进按钮的过程。

以下，详细说明图25。

(A)与在图14中一起表示了手的动作的波形相同。特别省略了与判别无关的部分。在此，将从伸直了手的状态开始到弯曲的期间设为Tm，考虑作为手动作的基准期间(时间间隔)。从时刻T0到T1是举起了手的期间，在此举起了大约Tm期间，使该推进按钮激活并进行判别。从时刻T1到T2是弯曲手指的过程。从时刻T2到T3表示伸直了手指的过程。时刻T3～T4是再次弯曲起手指的过程。时刻T4～T5是再次伸直了手指的过程。时刻T5～T6是手指伸直保持约Tm期间的状态。这一系列的动作与鼠标的双击相似，对人来说能够自然而然地动作。

(B)是去除了DC偏置成分而得到的。图26中示出进行去除的滤波器的结构例。该滤波器是在Tm期间前后需要(-1/2、1/2)的分支系数(タツプ係数)的高频的数字滤波器，由使输入信号延迟时间Tm的延迟器81、从延迟器81的输出信号减去输入信号的减法器82、和使信号电平衰减1/2的衰减器83构成。Tm期间的延迟用于使手的动作的波形通过。数字滤波器的形式不特别限定于此，但在此采用了最简单的结构且绝对延迟量小的滤波器。此外，若将分支系数的符号替换为(1/2、-1/2)，则输出的波形就翻转，但不影响之后的处理，使用哪种都能得到相同的效果。

(C)把如上所述的(B)的波形二次方来得到的结果，若考虑为正弦波的波形，周期就成为1/2。用数字滤波器相关计算了该(C)的波形是(E)，但图27详细地示出。图27(A)、(B)、(C)与图25同样。在其下侧描绘的是相互相关数字滤波器。在方形中标记D的图示表示1个垂直周期的延迟，相当于在数字电路中使用的数字双稳态多谐振荡器(以后记载为DFF)。接着，k0、k1、…、k8表示数字滤波器的分支系数。∑是指分支系数输出的总和运算，在其输出中得到相互相关计算值Y(nτ)。加工了(C)后来得到取相互相关的手的动作的波形，一方的波形作为分支系数的值而存在，按照手的动作与分支系数间的相互相关，在波形的形状是完全一致或接近的值时，相互相关的数字滤波器输出就变为最大值。

可以用以下的数学式表示图27中示出的数字滤波器涉及的运算处理，在图27的结构例中，N是“9”。

【数学式1】

$Y\left(\mathrm{n\τ}\right)=\underset{i=0}{\overset{N-1}{\mathrm{\Σ}}}x(n+\mathrm{i\τ})k\left(\mathrm{i\τ}\right)$

图27中示出的数字滤波器从右侧输入(C)中描绘的波形。如上从右输入信号进行描述是因为为了使(C)中示出的各波形进入到DFF中时，时间上一致(一部分箭头标记)。从而来到最后的手动作没延迟的最右侧。然后，相互相关的系数可以原样加进(C)的波形。但在此不谈论比例。此外，系数值在DC上有偏置并不理想，因此，以(C)波形的电平中心为基准，尽量不涉及DC偏置。由于系数值是计算与手的动作的相关而得到的，因此，若在此规定的动作内容变化，则随之改变系数值，此外也可以具有几个相关值驱动多个数字滤波器，使其各自具有不同的意义。在此，分支系数是9，因此等于9个垂直周期。在1秒钟具有60个垂直周期的视频信号的情况下，约等于1/7秒，作为手的动作稍微有些快，但为了减慢就需要增加分支系数，进行变慢的调整，因此，实际上可以根据实验设定最佳的分支系数的数。

此外，在此考虑了(C)的波形作为相关计数值，但也可以使用(B)中示出的波形的直到时刻T1～T5的波形。其中，使用了(C)的波形的一方精度更高。

返回到图25，对(E)的波形进行说明。(E)的波形是表示向上述相互相关数字滤波器输出后模式化该输出中所出现的值的结果。随着时刻的前进，手的动作与分支系数的一致度增大，峰值变大。该波形的评价如用箭头示出了负的区域所示，取绝对值后进一步进行积分(图中包络线)，在超过了阈值TH4时确定是要控制的手的动作。此处的绝对值化如图28所示，二次方后进行积分也相同。

在此，(C)中示出的波形的大小基于最初的直方图数据，判定精度根据该大小而变化。此外，当进行积分即累加计算时都需要初始化(复位)。(D)中示出的波形实现了它。另外还需要用于提高检测精度的抑制无意义的信息的处理。

(D)的波形是沿着时间轴积分了来自(A)的直方图的数据而得到得。到时刻T1的期间是举起了手的期间，(B)在(A)不变化时拾取了零即高频成分。这是指在举着手时是静止状态。当然，由于是人的动作，所以有时有变动，但从大的动作来看可以看作静止，就处理来说，也可以设定能够容易实现的盲区等之后舍去。从而，在(B)位于阈值TH1a和TH1b间时，并且(A)在阈值TH0以上时，积分后积分值变大。其波形是(D)。此外，开始积分的初始状态在(A)波形处于小于等于阈值TH0时进行初始化。(D)中示出的积分值若超过阈值TH2就激活。将到此为止的区域称作检测区域。

从(D)中示出的积分值超过阈值TH2开始，如箭头Y1所示，设定具有特定的时间常数的期间，直到进入到之后的判定区域中称作激活区域。所述激活区域是进行相关计算的区域。判定区域是具有上述相关计算的结果，判断手的动作为控制状态的区域，将相互相关数字滤波器输出取绝对值后进行了积分的值从超过了阈值TH4的时间点开始。对于(D)的波形设置了另一个阈值TH3。阈值TH3是小于阈值TH2的值，将超过了该阈值TH3的用箭头Y2-1示出的期间使用于判定。手指的弯曲动作在最后伸直了手指后结束。阈值TH3用于确认该最后的动作。将与箭头Y2-1相反的区域即箭头Y2-2的期间考虑作为禁止判定的期间，以避免误识别。然后，在箭头Y1、箭头Y2-1、箭头Y3一致的时候，确定在判定区域中手的动作是控制信息。

该检测区域是识别举起手的区域，在超过了该区域的时刻，改变图形的控制图像的颜色和形状，能够积极地引导用户。此外，在结束了激活区域的时刻和在判定区域中已确定的时刻，同样改变图形的控制图像的颜色和形状，使用户能够认知。这有无需使用户重试的优点。

下面，关于阈值TH3的绝对电平进行说明。相互相关数字滤波器的输出值的大小根据举手的区域的范围而变化。特别是也可以固定结合人将手罩在必要区域上，但需要吸收人的模糊点。在此，看着直到阈值TH2的积分区域所需的时间Tr，这样进行调整。举手的面积越大，期间Tr越短，反之，面积小时时间变长。从而，在时间Tr大时，将阈值TH3和TH4修正为增大；时间Tr小时，将阈值TH3和TH4修正为减小。利用该自适应控制，就能抑制对于举起手的面积的依存性，进行正确的识别。

在本实施方式的操作方法中，对于摄像机的拍摄的视场角，根据人的位置考虑手的大小小或达不到推进按钮的位置的情况。该情况下，需要在图2中示出的缩放器15中对图像进行“放大”“缩小”“相位(位置)”整，使人在画面上成为适当的大小。图29是用于说明它的图。图29(A)中示出的例子是难以较小地控制人的姿势的画面。该情况下，通过控制缩放器15进行“放大”，并调整“相位”而使得人位于画面中心，就能够以如该图(B)所示那样的适当的大小，在适当的位置显示用户。

此外，图30示出了控制缩放器15进行“缩小”，调整“相位”而使得人位于画面中心的例子。

作为其他的方法，如图31所示，也可以将摄像机2安装在云台上，利用云台的视场角控制和摄像机2的变焦控制，使用户的图像以适当的大小显示在适当的位置上。

此外，本发明的操作方法是：对在显示装置上显示的图形上展开的控制图像，在观察与所述控制图像重叠的自身镜像的同时进行操作。但由于重叠图像，故有时难以看见。该情况下，用确定图6中示出的检测器的画面区域的定时脉冲(水平垂直)来控制第一混合器17或第二混合器22的混合比例，来使其容易看见。例如，为了容易看见控制图像推进按钮，利用第一混合器17用定时脉冲来进行控制，使得减小控制值α1的值。通过将混合器控制成非常细，因此，能够容易知道视听者与控制图像(推进按钮)的关系。

在以上说明的本发明的实施方式中，按硬件和软件划分界线进行了记载，但其划界的方法怎么样进行都可以。

本实施方式的操作方法，是用人手的碰触操作在对称的图形上描画的推进按钮。成为对象的推进按钮所表示的操作内容可以置换为“电源”、“频道”、“音量”、“输入切换”、“上”、“下”、“左”、“右”、“确定”等现有遥控器所具有的全部内容。

通过使用如上所述的操作方法，就能不需要使用遥控器这样的控制设备而进行控制对象的控制。从而消除了电池断开和接点不良等有关遥控器的故障。此外，在有多个设备的遥控器的情况下，必须要寻找被控制设备的遥控器，但在本发明的操作方法中，只要有人的身体就行，解除了这样的问题。

此外，由于在画面上显示控制内容，因此，能进行各种各样的控制设备的操作。这在网络化的环境中非常重要，通过具有显示装置的设备来控制网络设备。换言之，通过将与网络连接的设备的控制画面经网络传送到具有显示装置的设备中，显示装置的画面成为控制画面，因此，在什么样的控制画面中都能适应。

此外，由于为了用遥控器从菜单画面进行控制，一边按下几次手上的按钮，一边进行选择菜单画面上的推进按钮的动作，因此，需要一边反复几次看手上和画面一边进行操作。对此，根据本发明的操作方法，由于用户自身被重叠映照在操作画面上，因此，能够一直看画面进行操作，不仅能快速操作，而且能够不使眼睛疲劳，提高使用便利性。

此外，手的动作能进行与操作计算机鼠标相似的操作。在本实施方式中，采用了如双击那样弯曲手指的动作。如今计算机广泛普及，与计算机操作相似的动作对于大多数用户来说很容易处理，有利于信息读写能力。

再有，本发明不限于上述实施方式，可以进行各种各样的变形。例如，也可以将图2中示出的第一混合器17和第二混合器22的混合比例在电平方向、空间方向、时间方向有效地组合。这样，就能够对来自摄像机2的图像、所生成图形的菜单画面以及广播节目的影像进行各种组合，同时能够交换多种信息。

此外，成为本发明的操作对象的电子设备不限于电视接收机，也可以是个人计算机、电视接收机和录像盘录像装置的组合、电视接收机和视频信号记录器的组合等具有显示装置的电子设备。

Claims (16)

1、一种电子设备的控制装置，控制具有显示装置的电子设备，其特征在于，具有：

摄像机，拍摄位于上述显示装置前面的操作者；

镜像变换器，进行用上述摄像机拍摄的图像的镜像变换，输出镜像变换图像信号；

操作用图像生成部，生成与包括至少一个操作按钮的操作用图像相对应的操作用图像信号；

混合器，混合上述镜像变换图像信号和上述操作用图像信号；

检测器，在使由上述混合器混合的图像信号显示在上述显示装置的画面上的状态下，检测出画面上显示的操作者指示了上述操作用图像的情况；

控制部，在由上述检测器检测到指示了上述操作用图像的情况的状态下，检测上述操作者是否操作了上述操作用图像，在检测到操作了上述操作用图像的情况下，对应于上述操作用图像进行上述电子设备的控制动作，

上述检测器具有特定色滤波器，该滤波器为了检测指示上述操作用图像的上述操作者的手，从上述镜像变换图像信号提取特定色区域。

2、如权利要求1所述的电子设备的控制装置，其特征在于，上述检测器还具有：

灰度限定器，从上述镜像变换图像信号提取预定的灰度范围；

合成器，将由上述特定色滤波器提取的特定色区域且由上述灰度限定器提取的预定的灰度范围，作为表示上述操作者的手的区域来提取。

3、如权利要求2所述的电子设备的控制装置，其特征在于，上述检测器还具有选通器，所述选通器将上述镜像变换图像信号中的用上述合成器提取的表示上述操作者的手的区域之外的信号，置换成特定的亮度或颜色。

4、一种电子设备的控制装置，控制具有显示装置的电子设备，其特征在于，具有：

摄像机，拍摄位于上述显示装置前面的操作者；

镜像变换器，进行用上述摄像机拍摄的图像的镜像变换，输出镜像变换图像信号；

操作用图像生成部，生成与包括至少一个操作按钮的操作用图像相对应的操作用图像信号；

混合器，混合上述镜像变换图像信号和上述操作用图像信号；

检测器，在使由上述混合器混合的图像信号显示在上述显示装置的画面上的状态下，检测出画面上显示的操作者指示了上述操作用图像的情况；

控制部，在由上述检测器检测到指示了的情况的状态下，检测上述操作者是否操作了上述操作用图像，并在检测到操作了上述操作用图像的情况下，对应于上述操作用图像进行上述电子设备的控制动作，

上述检测器具有：

提取器，从上述镜像变换图像信号提取指示上述操作用图像的上述操作者的手的区域；

直方图检测器，检测出表示由上述提取器提取的表示上述手的区域的图像信号的灰度发生频率的直方图，

上述控制部根据利用上述直方图检测器检测到的直方图，检测上述操作者是否操作了上述操作用图像。

5、如权利要求4所述的电子设备的控制装置，其特征在于，上述控制部根据利用上述直方图检测器检测到的直方图的时间变化，检测上述操作者是否操作了上述操作用图像。

6、如权利要求4所述的电子设备的控制装置，其特征在于，上述提取器具备特定色滤波器，该特定色滤波器为了检测出指示上述操作用图像的上述操作者的手，从上述镜像变换图像信号提取特定色区域。

7、如权利要求6所述的电子设备的控制装置，其特征在于，上述提取器还具有：

灰度限定器，从上述镜像变换图像信号提取预定的灰度范围；

合成器，将由上述特定色滤波器提取的特定色区域且由上述灰度限定器提取的预定的灰度范围，作为表示上述操作者的手的区域来提取。

8、如权利要求7所述的电子设备的控制装置，其特征在于，上述提取器还具有选通器，所述选通器将上述镜像变换图像信号中的用上述合成器提取的表示上述操作者的手的区域之外的信号，置换成特定的亮度或颜色。

9、一种电子设备的控制方法，控制具有显示装置的电子设备，其特征在于，具有：

用摄像机拍摄位于上述显示装置前面的操作者的步骤；

进行用上述摄像机拍摄的图像的镜像变换，输出镜像变换图像信号的步骤；

生成与包括至少一个操作按钮的操作用图像相对应的操作用图像信号的步骤；

混合上述镜像变换图像信号和上述操作用图像信号的步骤；

在使混合后的图像信号显示在上述显示装置的画面上的状态下，为了检测指示上述操作用图像的上述操作者的手，通过从上述镜像变换图像信号提取特定色区域，检测画面上显示的操作者指示了上述操作用图像的情况的第一检测步骤；

在检测到指示了上述操作用图像的状态下，检测上述操作者是否操作了上述操作用图像的第二检测步骤；

在检测到操作了上述操作用图像的情况下，对应于上述操作用图像进行上述电子设备的控制动作的步骤。

10、如权利要求9所述的电子设备的控制方法，其特征在于，上述第一检测步骤包括：

从上述镜像变换图像信号提取预定的灰度范围的步骤；

将已提取的特定色区域且已提取的预定的灰度范围，作为表示上述操作者的手的区域来提取的合成步骤。

11、如权利要求10所述的电子设备的控制方法，其特征在于，上述第一检测步骤包括将上述镜像变换图像信号中的在上述合成步骤提取的表示上述操作者的手的区域之外的信号，置换成特定的亮度或颜色的步骤。

12、一种电子设备的控制方法，控制具有显示装置的电子设备，其特征在于，具有：

用摄像机拍摄位于上述显示装置前面的操作者的拍摄步骤；

进行用上述摄像机拍摄的图像的镜像变换，输出镜像变换图像信号的步骤；

生成与包括至少一个操作按钮的操作用图像相对应的操作用图像信号的步骤；

混合上述镜像变换图像信号和上述操作用图像信号的步骤；

在使混合后的图像信号显示在上述显示装置的画面上的状态下，检测画面上显示的操作者指示了上述操作用图像的情况的第一检测步骤；

在检测到指示了上述操作用图像的状态下，检测上述操作者是否操作了上述操作用图像的第二检测步骤；

在检测到操作了上述操作用图像的情况下，对应于上述操作用图像进行上述电子设备的控制动作的步骤，

上述第一检测步骤包括：

从上述镜像变换图像信号提取指示上述操作用图像的上述操作者的手的区域的提取步骤；和

检测出表示在上述提取步骤提取的表示上述手的区域的图像信号的灰度发生频率的直方图的步骤，

上述第二检测步骤根据上述直方图，检测上述操作者是否操作了上述操作用图像。

13、如权利要求12所述的电子设备的控制方法，其特征在于，上述第二检测步骤根据上述直方图的时间变化，检测上述操作者是否操作了上述操作用图像。

14、如权利要求12所述的电子设备的控制方法，其特征在于，上述提取步骤包括特定色区域提取步骤，该特定色区域提取步骤中为了检测指示上述操作用图像的上述操作者的手，从上述镜像变换图像信号提取特定色区域。

15、如权利要求14所述的电子设备的控制方法，其特征在于，上述提取步骤包括：

从上述镜像变换图像信号提取预定的灰度范围的灰度范围提取步骤；

将由上述特定色滤波区域提取步骤提取的特定色区域且由上述灰度范围提取步骤提取的预定的灰度范围，作为表示上述操作者的手的区域来提取的合成步骤。

16、如权利要求15所述的电子设备的控制方法，其特征在于，上述提取步骤包括将上述镜像变换图像信号中的在上述合成步骤提取的表示上述操作者的手的区域之外的信号，置换成特定的亮度或颜色的步骤。

Images