CN100571363C - 图像处理设备、系统和方法 - Google Patents

Abstract

图像处理设备、系统和方法。该图像处理系统包括摄像设备和图像处理设备。该摄像设备被配置成：拍摄包括对象的图像，获取该对象的状态信息，以及记录该图像和该对象的状态信息。该图像处理设备被配置成：根据所记录的图像和该对象的状态信息来指定要对该图像进行修改的细节，根据该修改细节设置用于修改该图像的设置信息，从该图像中提取特征值，以及将该设置信息与所提取的该图像的特征值相关联地记录在设置信息记录介质上。

Description

图像处理设备、系统和方法

技术领域

本发明涉及一种图像处理系统及其方法、图像处理设备和方法、摄像设备和方法、程序记录介质以及程序。更具体地说，本发明涉及一种用于修改包括预定对象的图像使得可以对该预定对象进行适当修改的图像处理系统及其方法、图像处理设备和方法、摄像设备和方法、程序记录介质以及程序。

背景技术

用于容易地处理图像的技术已经越来越普及。

用于编辑由摄像机等摄像设备拍摄的图像的最普遍的技术之一是线性编辑。线性编辑是在重放原始图像数据时对图像进行各种处理，并将处理后的图像记录在不同记录介质上。

线性编辑的问题是，如果原始图像数据是“只能复制一次”的数据，则记录在磁带录像机(VTR)上的图像一旦被重放和编辑，就不允许再被记录。

为了解决这个问题，日本特开2003-202944公开了一种存储操作的方法，该操作用于指定编辑图像的处理。

发明内容

在线性编辑中，同时传送图像和表示该图像的时间的时间代码，从而根据时间代码编辑图像。然而，在消费者的VTR等中，时间代码包含在VTR中，结果，难以将时间代码发送到外部。由于图像与用于指定编辑该图像的处理的操作不同步，所以难以与图像的重放精确同步地对该图像进行处理，并且，即使当仅存储了该操作时，也难以显示处理后的图像。

如果可以利用时间代码方法之外的任意技术使图像与用于指定编辑该图像的处理的操作同步，则按用户顺序重复执行编辑处理，以根据用户不同地编辑该图像。例如，为了编辑运动会的运动图像，在图像中经常出现作为对象的多个人。在这种运动图像中，定位在图像中心或者变焦镜头中心的对象根据用户的不同而不同。因此，根据用户的数量，可以对一个运动图像执行不同的编辑操作，因此，单独执行编辑操作非常麻烦而且非常耗时。

因此，希望当特定对象位于拍摄图像中时，对图像进行针对该特定对象的适当处理。此外，希望在每次针对每个对象重放图像时，通过互相关联地存储对该图像执行的处理和该图像的特征值，对该图像执行预定处理，并再现处理后的图像，而不对原始图像数据进行处理。

根据本发明第一实施例的图像处理系统包括摄像设备和图像处理设备。所述摄像设备包括：摄像部，用于拍摄包括对象的图像；状态信息获取部，用于获取所述对象的状态信息；以及记录部，用于记录所述图像和所述对象的状态信息。所述图像处理设备包括：修改细节确定部，用于根据所述记录部记录的所述图像和所述对象的状态信息来指定要对所述图像进行的修改的细节；设置部，用于根据所述修改细节确定部指定的所述修改的细节，设置用于修改所述图像的设置信息；第一特征值提取部，用于从所述图像中提取特征值；以及记录部，用于将所述设置信息与所述第一特征值提取部提取的所述图像的特征值相关联地记录在设置信息记录介质上。

所述对象的状态信息可以包括所述对象的位置信息。

所述图像处理设备可以还包括：判断部，用于根据所述摄像设备的记录部记录的所述图像和所述对象的位置信息判断所述图像是否包括特定对象。当所述判断部判断出所述图像包括所述特定对象时，所述修改细节确定部指定要对所述图像进行的修改的细节。

所述状态信息获取部可以利用全球定位系统(GPS)获取所述对象的位置信息。

所述状态信息获取部可以利用IC标签和传感器获取所述对象的位置信息。

所述摄像设备可以还包括组合部，所述组合部用于将所述对象的状态信息与所述图像进行组合，所述摄像设备的记录部可以将通过所述组合部组合了所述对象的状态信息的所述图像记录在图像记录介质上。所述图像处理设备还包括分离部，所述分离部用于从通过所述组合部组合了所述对象的状态信息的所述图像中分离出所述图像和所述状态信息，所述修改细节确定部可以根据通过所述分离部分离出的所述图像和所述状态信息来指定要对所述图像进行的修改的细节。

所述摄像设备的记录部可以包括：图像记录部，用于记录所述图像；第二特征值提取部，用于从所述图像中提取特征值；以及状态信息记录部，用于与通过所述第二特征值提取部提取的所述特征值相关联地记录所述对象的状态信息。所述图像记录部可以被配置成将所述图像记录在图像记录介质上，以及所述状态信息记录部被配置成将所述对象的状态信息与通过所述第二特征值提取部提取的所述特征值相关联地记录在状态信息记录介质上。所述图像处理设备可以还包括：同步部，用于使记录在所述状态信息记录介质上的所述特征值与通过所述第一特征值提取部提取的所述特征值同步；以及获取部，用于从所述状态信息记录介质中获取与通过所述同步部同步的所述特征值相关的所述状态信息。所述修改细节确定部可以根据记录在所述图像记录介质上的所述图像和通过所述获取部获取的所述状态信息，指定要对所述图像进行的修改的细节。

根据本发明第一实施例的、用于包括摄像设备和图像处理设备的图像处理系统的图像处理方法包括以下步骤：所述摄像设备拍摄包括对象的图像；所述摄像设备获取所述对象的状态信息；所述摄像设备记录所述图像和所述对象的状态信息；所述图像处理设备根据所述摄像设备记录的所述图像和所述对象的状态信息，指定要对所述图像进行的修改的细节；所述图像处理设备根据所指定的修改的细节，设置用于修改所述图像的设置信息；所述图像处理设备从所述图像中提取特征值；以及所述图像处理设备将所述设置信息与所提取的特征值相关联地记录在设置信息记录介质上。

根据本发明第一实施例的程序记录介质存储了用于控制包括摄像设备和图像处理设备的图像处理系统的计算机可读程序。所述程序包括用于控制所述摄像设备的程序和用于控制所述图像处理设备的程序，所述用于控制所述摄像设备的程序包括以下步骤：拍摄包括对象的图像，获取所述对象的状态信息，以及记录所述图像和所述对象的状态信息；所述用于控制所述图像处理设备的程序包括以下步骤：根据所述摄像设备记录的所述图像和所述对象的状态信息指定要对所述图像进行的修改的细节，根据所指定的修改的细节设置用于修改所述图像的设置信息，从所述图像中提取特征值，以及将所述设置信息与所提取的特征值相关联地记录在设置信息记录介质上。

根据本发明第一实施例的、用于控制包括摄像设备和图像处理设备的图像处理系统的计算机的程序包括：使所述计算机控制所述摄像设备执行包括以下步骤的处理：拍摄包括对象的图像，获取所述对象的状态信息，记录所述图像和所述对象的状态信息；以及使所述计算机控制所述图像处理设备执行包括以下步骤的处理：根据所述摄像设备记录的所述图像和所述对象的状态信息来指定要对所述图像进行的修改的细节，根据所指定的修改的细节，设置用于修改所述图像的设置信息，从所述图像中提取特征值，以及将所述设置信息与所提取的特征值相关联地记录在设置信息记录介质上。

根据本发明第二实施例的图像处理设备包括：修改细节确定部，用于根据图像中特定对象的状态来指定要对所述图像进行的修改的细节；设置部，用于根据所述修改细节确定部指定的所述修改的细节，设置用于修改所述图像的设置信息；特征值提取部，用于从所述图像中提取特征值；以及记录部，用于将所述设置信息与所述特征值提取部提取的所述图像的特征值相关联地记录在设置信息记录介质上。

所述图像可以包括所述图像中每个对象的状态信息。所述图像中所述特定对象的状态是以所述图像中每个对象的所述状态信息为基础的，以及所述修改细节确定部根据基于所述图像中每个对象的所述状态信息的所述特定对象的状态，指定要对所述图像进行的修改的细节。

所述状态信息可以包括位置信息。所述图像处理设备可以还包括判断部，所述判断部用于根据所述图像中每个对象的所述位置信息，判断所述特定对象是否位于所述图像中并且位于所述图像中任何其它对象之前，从而判断所述图像是否包括所述特定对象，所述修改细节确定部可以根据所述判断部的判断结果，指定要对所述图像进行的修改的细节。

所述图像处理设备可以还包括获取部，用于获取与所述图像的特征值相关的、所述图像中每个对象的所述状态信息。所述特定对象的状态可以以与所述图像的特征值相关的、所述图像中每个对象的所述状态信息为基础，所述修改细节确定部可以根据以与所述图像的特征值相关的、所述图像中每个对象的所述状态信息为基础的所述特定对象的状态，指定要对所述图像进行的修改的细节。

根据本发明第二实施例的图像处理方法包括以下步骤：根据图像中特定对象的状态来指定要对所述图像进行的修改的细节；根据所指定的修改的细节设置用于修改所述图像的设置信息；从所述图像中提取特征值；以及将所述设置信息与所提取的所述图像的特征值相关联地记录在设置信息记录介质上。

根据本发明第二实施例的程序记录介质存储了计算机可读程序，所述程序包括以下步骤：根据图像中特定对象的状态指定要对所述图像进行的修改的细节；根据所指定的所述修改的细节，设置用于修改所述图像的设置信息；从所述图像中提取特征值；以及将所述设置信息与所提取的所述图像的特征值相关联地记录在设置信息记录介质上。

根据本发明第二实施例的程序用于使计算机执行包括以下步骤的处理：根据图像中特定对象的状态指定要对所述图像进行的修改的细节；根据所指定的所述修改的细节设置用于修改所述图像的设置信息；从所述图像中提取特征值；以及将所述设置信息与所提取的所述图像的特征值相关联地记录在设置信息记录介质上。

根据本发明第三实施例的摄像设备包括：摄像部，用于拍摄包括对象的图像；状态信息获取部，用于获取所述对象的状态信息；以及记录部，用于记录所述图像和所述对象的状态信息。

所述状态信息可以包括位置信息。

所述状态信息获取部可以利用全球定位系统(GPS)获取所述对象的位置信息。

所述状态信息获取部可以利用IC标签和传感器获取所述对象的位置信息。

所述摄像设备可以还包括组合部，该组合部用于将所述对象的状态信息与图像进行组合，所述记录部可以将通过所述组合部组合了所述对象的状态信息的所述图像记录在图像记录介质上。

所述记录部可以包括：图像记录部，用于记录所述图像；特征值提取部，用于从所述图像中提取特征值；以及状态信息记录部，用于与所述特征值提取部提取的所述特征值相关联地记录所述对象的状态信息。

根据本发明第三实施例的摄像方法包括以下步骤：拍摄包括对象的图像；获取所述对象的状态信息；以及记录所述图像和所述对象的状态信息。

根据本发明第三实施例的程序记录介质存储了计算机可读程序，所述程序包括以下步骤：拍摄包括对象的图像；获取所述对象的状态信息；以及记录所述图像和所述对象的状态信息。

根据本发明第三实施例的程序用于使计算机执行包括以下步骤的处理：拍摄包括对象的图像；获取所述对象的状态信息；以及记录所述图像和所述对象的状态信息。

在根据本发明第一实施例的图像处理系统及其方法以及程序中，所述摄像设备被配置成：拍摄包括对象的图像，获取该对象的状态信息，以及记录该图像和该对象的状态信息；以及所述图像处理设备被配置成：根据所记录的图像和对象状态信息来指定要对该图像进行的修改的细节，根据所述修改细节设置修改图像的设置信息，从该图像中提取特征值，以及将所述设置信息与所提取的图像特征值相关联地记录在设置信息记录介质上。

在根据本发明第二实施例的图像处理设备和方法以及程序中，根据图像中特定对象的状态来指定要对图像进行的修改的细节；根据指定的修改细节，设置用于修改该图像的设置信息；从该图像提取特征值；以及将所述设置信息与该图像的特征值相关联地记录在设置信息记录介质上。

在根据本发明第三实施例的摄像设备和方法以及程序中，拍摄包括对象的图像；获取该对象的状态信息；以及记录该图像和该对象的状态信息。

根据本发明上述实施例的图像处理设备和摄像设备可以是单独设备，也可以构成模块，该模块被配置成执行图像处理操作和摄像操作。

根据本发明第一实施例，可以记录拍摄的图像和对象的位置信息。因此，在特定对象位于该图像中时，在每次重放该图像时，可以对该图像执行预定处理，然后，再现处理后的图像，而无需对该原始图像数据进行处理。此外，在每次重放该图像数据时，甚至可以对不允许复制的图像数据执行相同的处理，而且可以重复重放处理后的图像。

此外，根据本发明第一实施例，可以记录拍摄的图像和对象的位置信息。根据该图像和该对象的位置信息，当特定对象位于该图像中时，可以与该图像的特征值相关联地记录用于处理对应于特定对象的图像的设置信息。

根据本发明第二实施例，当特定对象位于图像中时，在每次重放该图像时，可以对该图像执行预定处理，而且可以再现处理后的图像，而不对原始图像数据进行处理。此外，在每次重放图像数据时，可以对不允许复制的图像数据执行相同的处理，而且可以重复重放处理后的图像。

此外，根据本发明第二实施例，当特定对象位于图像中时，与该图像的特征值相关联地记录用于处理对应于该特定对象的图像的设置信息。

根据本发明第三实施例，在拍摄图像时，可以与该图像相关联地记录对象的位置信息。

此外，根据本发明的第三实施例，在拍摄图像时，可以与该图像的记录定时相关联地记录对象的位置信息。

附图说明

图1A和图1B是示出根据本发明实施例的图像处理设备的概念的图；

图2是示出根据本发明实施例的图像处理设备的概念的图；

图3是示出根据本发明实施例的图像记录设备的结构的框图；

图4是示出根据本发明实施例的图像处理设备的结构的框图；

图5是示出图3所示图像记录设备中的传感器的结构的框图；

图6是示出图4所示图像处理设备中的修改信息确定单元的典型结构的框图；

图7是示出图4所示图像处理设备中的修改处理装置的典型结构的框图；

图8是示出图7所示修改处理装置中的特征值提取器的典型结构的图；

图9是示出图像信号的典型结构的图；

图10是图7所示修改处理装置中的同步检测器的典型结构的框图；

图11是示出图3所示图像记录设备执行的图像记录处理的流程图；

图12是示出图7所示修改处理装置执行的图像修改处理的流程图；

图13是示出图12所示图像修改处理中的修改信息确定处理的流程图；

图14是示出图12所示图像修改处理中的修改信息确定处理的图；

图15是示出图7所示修改处理装置执行的修改处理的流程图；

图16是示出图15所示修改处理中的特征值提取处理的流程图；

图17是示出图15所示修改处理中的特征值提取处理的图；

图18是示出图4所示图像处理设备执行的重放处理的流程图；

图19是示出图18所示重放处理中的同步检测处理的流程图；

图20是示出图18所示重放处理中的同步检测处理的图；

图21是示出根据本发明另一实施例的图像记录设备的结构的图；

图22是示出根据本发明另一实施例的图像处理设备的结构的图；

图23是示出图22所示图像处理设备中的修改处理装置的典型结构的图；

图24是示出图22所示图像处理设备中的位置信息重放单元的典型结构的图；

图25是示出图21所示图像记录设备执行的图像记录处理的流程图；

图26是示出图22所示图像处理设备执行的图像修改处理的流程图；

图27是示出图26所示图像修改处理中的位置信息提取处理的流程图；

图28是示出图26所示图像修改处理中的修改处理的流程图；

图29是示出图22所示图像处理设备执行的重放处理的流程图；以及

图30是示出介质的图。

具体实施方式

下面，在说明本发明实施例之前，先讨论权利要求的特征与本发明实施例公开的特定要素之间的对应关系。本说明意在保证支持所要求的发明的实施例在本说明书中被描述。因此，即使下面各实施例中的要素没有被描述为与本发明的特定特征相关的要素，这也不一定意味着该要素与该权利要求的该特征无关。相反，即使在此将某一要素描述为关于权利要求的特定特征的要素，也不一定意味着该要素与权利要求的其它特征无关。

此外，本说明不应该被理解为限定实施例中所公开的本发明的所有实施例都在权利要求中被说明。即，该说明没有否认存在这样的本发明的实施例：该实施例在各实施例中被说明，但是在本申请的发明权利要求中没有要求，即，存在将来通过利用分案申请来要求的本发明的实施例，或者通过修改来附加要求的本发明的实施例。

根据本发明第一实施例的图像处理系统包括摄像设备和图像处理设备。该摄像设备包括：摄像部(例如，图3所示的摄像单元12)，用于拍摄包括对象的图像；状态信息获取部(例如，图3所示的位置信息获取单元13)，用于获取对象的状态信息；以及记录部(例如，图3所示的录像机15)，用于记录图像和对象状态信息。该图像处理设备包括：修改细节确定部(例如，图6所示的修改细节确定单元44)，用于根据记录部记录的图像和对象状态信息来指定要对图像进行修改的细节；设置部(例如，图7所示设置信息确定单元69)，用于根据修改细节确定部指定的修改细节，设置用于修改图像的设置信息；第一特征值提取部(例如，图7所示的特征值提取器61)，用于从图像中提取特征值；以及记录部(例如，图7所示的特征值设置信息记录器63)，用于将设置信息与第一特征值提取部提取的图像特征值相关联地记录在设置信息记录介质上。

对象状态信息可以包括对象的位置信息。

该图像处理设备可以还包括：判断部(例如，图6所示的修改判断器43)，用于根据记录部记录的图像和对象位置信息，判断该图像是否包括特定对象。当该判断部判断出图像包括特定对象时，修改细节确定部(例如，图6所示的修改细节确定单元44)可以指定要对该图像进行修改的细节。

利用全球定位系统(例如，图5所示的GPS位置获取单元31)，状态信息获取部可以获取该对象的位置信息。

状态信息获取部可以利用IC标签和传感器获取该对象的位置信息。

该摄像设备可以还包括组合部(例如，图3所示的组合器14)，用于将对象状态信息与图像组合在一起，而且该记录部可以将通过组合部组合了对象状态信息的图像记录在图像记录介质上。该图像处理设备可以还包括分离部，用于从通过组合部组合了对象状态信息的图像中分离出图像和状态信息，修改细节确定部可以根据该分离部分离出的图像和状态信息来指定要对该图像进行修改的细节。

该记录部可以包括：图像记录部(例如，图21所示的录像机201)，用于记录图像；第二特征值提取部(例如，图21所示的特征值提取器202)，用于从图像中提取特征值；以及状态信息记录部(例如，图21所示的位置信息记录装置203)，用于将对象状态信息与第二特征值提取部提取的特征值相关联地记录。该图像记录部可以配置成将该图像记录在图像记录介质上，而且状态信息记录部可以配置成将对象状态信息与第二特征值提取部提取的特征值相关联地记录在状态信息记录介质上。该图像处理设备可以还包括：同步部(例如，图23所示的同步检测器62)，用于使记录在状态信息记录介质上的特征值与第一特征值提取部提取的特征值同步；以及获取部，用于从状态信息记录介质中获取被同步部同步的特征值相关的状态信息。修改细节确定部可以根据记录在图像记录介质上的图像和通过获取部获取的状态信息来指定要对该图像进行修改的细节。

用于根据本发明第一实施例的包括摄像设备和图像处理设备的图像处理系统的图像处理方法和程序包括以下步骤：摄像设备拍摄包括对象的图像(例如，图11所示流程图的步骤S11)；摄像设备获取对象的状态信息(例如，图11所示流程图的步骤S13)；摄像设备记录该图像和该对象的状态信息(例如，图11所示流程图的步骤S15)；图像处理设备根据摄像设备记录的该图像和该对象的状态信息指定要对该图像进行修改的细节(例如，图13所示流程图的步骤S46)；图像处理设备根据指定的修改细节设置用于修改该图像的设置信息(例如，图15所示流程图的步骤S64)；图像处理设备从该图像中提取特征值；以及图像处理设备将该设置信息与所提取的特征值相关联地记录在设置信息记录介质上(例如，图15所示流程图的步骤S65)。

根据本发明第二实施例的图像处理设备包括：修改细节确定部(例如，图6所示修改细节确定单元44)，用于根据图像中的特定对象的状态指定要对该图像进行修改的细节；设置部(例如，图7所示的设置信息确定单元69)，用于根据修改细节确定部所指定的修改细节来设置用于修改该图像的设置信息；特征值提取部(例如，图7所示特征值提取器61)，用于从该图像中提取特征值；以及记录部(例如，图7所示特征值设置信息记录器63)，用于将设置信息与特征值提取部所提取的图像的特征值相关联地记录在设置信息记录介质(例如，图7所示的数据记录介质26)上。

该图像可以包括该图像中每个对象的状态信息。该图像中特定对象的状态是以该图像中的每个对象的状态信息为基础的，而且修改细节确定部(例如，图6所示修改细节确定单元44)可以根据以该图像中每个对象的状态信息为基础的特定对象的状态来指定要对该图像进行修改的细节。

该状态信息可以包括位置信息。该图像处理设备可以还包括：判断部(例如，图6所示的修改判断器43)，用于根据该图像中的每个对象的位置信息，判断特定对象是否位于该图像中以及是否在该图像中的任何其它对象之前，从而判断该图像是否包括特定对象，修改细节确定部(例如，图6所示修改细节确定单元44)可以根据判断部的判断结果来指定要对图像进行修改的细节。

图像处理设备可以还包括：获取部(例如，图6所示位置信息获取单元41)，用于获取与该图像的特征值相关的图像中每个对象的状态信息。特定对象的状态可以以该图像中与该图像的特征值相关的每个对象的状态信息为基础，并且修改细节确定部(例如，图6所示的修改细节确定单元44)可以根据以该图像中与该图像的特征值相关的每个对象的状态信息为基础的特定对象的状态来指定要对该图像进行修改的细节。

根据本发明第二实施例的图像处理方法和程序包括如下步骤：在该图像中包括特定对象时指定要对图像进行修改的细节(例如，图13所示流程图中的步骤S46)；根据指定的修改细节设置用于修改该图像的设置信息(例如，图15所示流程图中的步骤S64)；从图像中提取特征值；以及将该设置信息与所提取的该图像的特征值相关联地记录在设置信息记录介质上(例如，图15所示流程图中的步骤S65)。

根据本发明第三实施例的摄像设备包括：摄像部(例如，图3所示的摄像单元12)，用于拍摄包括对象的图像；状态信息获取部(例如，图3所示位置信息获取单元13)，用于获取对象的状态信息；以及记录部(例如，图3所示录像机15)，用于记录该图像和该对象的状态信息。

状态信息可以包括位置信息。

利用全球定位系统(例如，图5所示的GPS位置获取单元31)，状态信息获取部可以获取对象的位置信息。

利用IC标签和传感器，状态信息获取部可以获取该对象的位置信息。

该摄像设备可以还包括组合部(例如，图3所示的组合器14)，用于将该对象的状态信息与图像组合在一起，而且记录部可以将组合部组合了对象状态信息的图像记录在图像记录介质上。

该记录部可以包括：图像记录部(例如，图21所示的录像机201)，用于记录图像；特征值提取部(例如，图21所示的特征值提取器202)，用于从图像中提取特征值；以及状态信息记录部(例如，图21所示的位置信息记录装置203)，用于与特征值提取部提取的特征值相关联地记录对象的状态信息。

根据本发明第三实施例的摄像方法和程序包括如下步骤：拍摄包括对象的图像(例如，图11所示流程图中的步骤S11)；获取对象的状态信息(例如，图11所示流程图中的步骤S13)；以及记录该图像和该对象的状态信息(例如，图11所示流程图中的步骤S15)。

将参考图1A和1B说明根据本发明实施例的图像处理设备的概念。根据本发明实施例的图像处理设备2被配置成对预记录的图像执行用户指定的处理，并显示处理后的图像。具体地说，图像处理设备2提取图像的特征值，并与该特征值相关联地存储表示修改细节的修改信息。此外，在重放预记录图像时，图像处理设备2读取所存储的修改信息，以对该图像进行修改，然后，显示修改后的图像。

更具体地说，图像处理设备2主要具有两种工作模式，即，记录模式和重放模式。

在记录模式下，如图1A所示，图像处理设备2利用DVD播放机等使从具有包括预记录的运动图像的内容的数字通用盘(DVD)等记录介质1重放的图像显示在显示单元3上。在用户操作遥控器等以指定此状态下要对该图像进行的要求的修改时，例如，变焦、平转或者俯仰，图像处理设备2产生对应于该操作的修改信息，然后，对该图像进行与该修改信息相关的修改，以在显示器3上显示修改后的图像。图像处理设备2还从该图像中提取特征值，然后，将该修改信息与所提取的特征值相关联地存储在修改信息记录/重放设备4上。

在重放模式下，如图1B所示，图像处理设备2利用DVD播放机等读取从具有包括预记录的运动图像的内容的记录介质1重放的图像，然后，提取特征值。与从记录介质1读取的图像的特征值同步，图像处理设备2读取与特征值相关联地记录在修改信息记录/重放设备4上的修改信息，然后，根据所读取的修改信息，对该图像执行修改处理，以使修改后的图像显示在显示单元3上。

通过执行上面描述的操作，图像处理设备2可以仅存储要对预记录的图像进行修改的细节，而且可以重复重放修改后的图像，而无需记录修改后的图像本身。因此，对可复制有限次数的预记录的图像例如“只能复制一次”的图像可以进行重复修改，例如，对它们进行各种图像处理。作为例子，在图1A和1B中，记录在记录介质1上的图像包括山和房屋。指定放大该图像中的山的修改处理，并使放大了山的图像显示在显示单元3上。

因此，图像处理设备2被配置成利用所存储的修改信息对作为原始图像记录在记录介质1上的图像执行修改处理，然后，显示修改后的图像。这样，改变该修改信息，以对记录在记录介质1上的图像进行修改，从而产生各种修改后的图像，然后，显示该图像。

如图2所示，当记录介质1中记录有示出用户A至C的拍摄图像时，进一步配置图像处理设备2，以判断该图像中是否包括作为对象的用户A至C中的每一个，对每个对象产生预定修改信息，根据所产生的修改信息对该图像执行修改处理，并显示作为显示在显示单元3-1至3-3上的图像的结果。尽管在图2中，为了识别不同的显示风格，利用不同附图标记表示显示单元3-1至3-3，但是这些图像被显示在同一个显示单元3上。在图2中，提供了修改信息4a至4c，图像处理设备2根据修改信息4a至4c中的每一个对记录在记录介质1上的图像执行预定的修改处理，例如，分别放大用户A至C中的每一个以在该图像的中央显示用户A至C中的每一个的修改处理，以在显示单元3-1至3-3上显示该结果。

因此，图像处理设备2可以根据图像中的对象产生修改信息，而且可以显示修改后的结果。因此，用户A至C可以利用记录介质1和各修改信息4a至4c来查看所拍摄的、作为根据各修改信息4a至4c的处理结果记录在记录介质1上的相同图像，而无需执行不可逆操作。因此，用户A至C都可以欣赏好象该用户是图像焦点一样的图像。在将记录介质1与各条修改信息4a至4c组合在一起的情况下，利用这种组合重放的图像对用户A至C中的每一个具有附加值，因此增加了记录介质1的销售效率。

将详细说明图1A至图2所示的图像处理设备2。

图3是示出了本发明实施例的图像记录设备的结构的图，该图像记录设备产生相当于图1A至图2所示记录介质1的公用介质16。

用户A至C分别是记录在公用介质16上的图像的对象和传感器11-1至11-3。传感器11-1至11-3中的每一个利用全球定位系统(GPS)获取位置信息，然后，将位置信息发送到位置信息获取单元13。例如，假定用户A至C分别要求购买上述修改信息，而且事先分别具有传感器11-1至11-3。将传感器11-1至11-3统称为“传感器11”，除非要将它们单独区别开，这同样适用于其它单元。下面参考图5详细说明传感器11的结构。

摄像单元12利用电荷耦合装置(CCD)元件或者互补金属氧化物半导体(CMOS)元件等摄像元件，将入射光光电转换为电信号，以拍摄图像，然后将图像作为图像数据送到组合器14。

位置信息获取单元13从传感器11获取位置信息，并将位置信息送到组合器14。组合器14将位置信息获取单元13送来的位置信息与摄像单元12送来的图像数据组合在一起，然后，将该结果送到录像机15。录像机15利用组合的位置信息以预定记录格式编码该图像数据，然后，将该编码图像数据记录在DVD-R等记录介质上，以产生公用介质16。

将参考图4说明本发明实施例的图像处理设备的结构，该图像处理设备对利用对应于图1A至图2所示图像处理设备2的图像记录设备产生的公用介质16执行修改处理。

重放单元21利用组合位置信息读取并解码以预定格式编码并记录在公用介质16上的图像数据，然后，将该解码图像数据送到分离器22。分离器22从重放单元21送来的图像数据中分离出各条位置信息，然后，将该图像数据送到修改处理装置23，并将位置信息送到修改信息确定单元25。

修改信息确定单元25根据分离器22送来的每个传感器11的位置信息确定拍摄图像中的位置，然后根据修改目标用户的位置信息判断通过控制器24输入的修改目标用户是否显示在该图像中。如果修改目标用户显示在该图像中，则修改信息确定单元25确定要对该图像进行的修改，以产生对应于该修改的修改信息，然后，将该修改信息送到修改处理装置23。下面参考图6详细说明修改信息确定单元25的结构。

修改处理装置23根据修改信息确定单元25送来的修改信息确定用于对分离器22送来的图像执行修改处理的设置信息，然后，根据所确定的设置信息对该图像执行修改处理，以显示修改后的图像。此外，修改处理装置23将该设置信息与该图像的特征值相关联地记录在数据记录介质26上。下面参考图7详细说明修改处理装置23的结构。

数据记录介质26是可以放置在修改处理装置23上，也可以从修改处理装置23上取下的可拆卸介质，并且数据记录介质26被配置成针对每个传感器11，即，以作为对象的用户为单位，存储对图像执行修改处理所需的设置信息。因此，可以针对各用户将多个数据记录介质26放置在多个插槽(未示出)内。作为选择，可以将所有用户的设置信息以每个用户的单独文件或者文件夹的形式分别记录在一个数据记录介质26上。

将参考图5说明根据本发明实施例的传感器11的结构。

GPS位置获取单元31接收测地卫星发送来的无线电波，以获取地球上的位置信息(经度/纬度)，然后，将该位置信息送到发送器32。发送器32将传感器11唯一的ID 32a加到从GPS位置获取单元31送来的位置信息，然后，发送该位置信息。由于该位置信息包括ID 32a，所以可以识别传感器11中每一个的位置信息。换句话说，可以通过ID 32a识别每个用户的位置信息。

将参考图6说明根据本发明实施例的修改信息确定单元25的结构。

位置信息获取单元41获取从分离器22送来的所有位置信息，然后，将它们送到图像内位置计算单元42。图像内位置计算单元42根据从位置信息获取单元41送来的各位置信息计算摄像单元12拍摄的图像内的位置。摄像单元12是在地球上的位置和拍照方向均固定的固定照像机，并事先规定摄像单元12获取的图像的视角。因此，图像内位置计算单元42根据传感器11的各位置信息计算摄像单元12拍摄的图像中显示的用户的位置，然后，将计算结果送到修改判断器43和修改信息生成器45。

修改判断器43根据修改目标用户的信息，利用从图像内位置计算单元42送来的该图像中的计算位置，判断通过控制器24提供的修改目标用户是否位于该图像中以及与任何其它对象相比是否更位于摄像单元12之前。如果修改目标用户位于该图像中而且与任何其它对象相比更位于摄像单元12之前，则修改判断器43发出修改指令，然后，将修改目标用户的信息送到修改细节确定单元44。

响应从修改判断器43收到的修改指令以及修改目标用户的信息，修改细节确定单元44确定修改细节。更具体地说，例如，修改细节确定单元44确定用于放大具有对应于用户A的传感器11-1的ID 32a的位置信息的对象以使该对象位于该图像的中心的修改，然后，将所确定的修改送到修改信息生成器45。修改信息生成器45产生用于修改处理装置23的特定信息，以根据修改细节确定单元44送来的修改细节和图像内位置计算单元42计算的该图像内的位置的信息来修改该图像，然后，将产生的信息送到修改处理装置23。更具体地说，例如，修改信息生成器45将原始图像中的中心像素位置和放大率等修改信息送到修改处理装置23。

将参考图7说明根据本发明实施例的修改处理装置23的结构。

特征值提取器61提取从重放单元21顺序提供的图像之一的特征值，然后，将该特征值送到同步检测器62和特征值设置信息记录器63。下面将参考图8详细说明特征值提取器61的结构。

修改信息识别器68识别修改信息，然后，将表示修改处理细节的信息作为识别结果送到设置信息确定单元69。

设置信息确定单元69根据表示从修改信息识别器68提供的修改处理细节的信息来确定用于向反映单元67提供要对该图像执行的修改处理细节的指令的设置信息，如下所述，然后，将该设置信息送到特征值设置信息记录器63和选择器65。

特征值设置信息记录器63将特征值提取器61提供的特征值和设置信息确定单元69提供的设置信息相互关联地存储在数据记录介质26(对应于图1A至图2所示修改信息记录/重放设备4)上。

同步检测器62搜索存储在数据记录介质26上的特征值(搜索位置特征值，下面说明)，以寻找特征值提取器61提供的重放单元21当前重放的图像的特征值(重放位置特征值，下面说明)。当检测到相同的特征值时，同步检测器62将检测结果送到特征值设置信息读取器64，作为图像同步位置。下面参考图10详细说明同步检测器62的结构。

获得了同步检测器62检测到的作为同步位置的特征值(搜索位置特征值)后，特征值设置信息读取器64读取与该特征值相关联地存储在数据记录介质26上的设置信息，然后，将读取的设置信息送到选择器65。在从设置信息确定单元69提供设置信息的情况下，即使特征值设置信息读取器64同时提供设置信息，选择器65也将设置信息确定单元69提供的设置信息送到反映单元67。如果设置信息确定单元69没有提供设置信息，而由特征值设置信息读取器64提供设置信息，则选择器65将特征值设置信息读取器64提供的设置信息送到反映单元67。如果设置信息确定单元69或者特征值设置信息读取器64都没有提供设置信息，则选择器65不将设置信息送到反映单元67。

在特征值提取器61、同步检测器62以及选择器65的操作过程中，延迟单元66将供给的图像临时存储延迟时间段，然后将该图像输出到反映单元67。如果从选择器65提供设置信息，则反映单元67在该图像中反映对延迟单元66提供的图像执行的处理，然后，在该显示单元70上显示处理后的图像。如果选择器65没有提供设置信息，则反映单元67在显示单元70上显示从延迟单元66提供的图像，而不改变该图像。

将参考图8详细说明特征值提取器61的结构。

D触发器(DFF)81存储紧前一个输入信号，然后，在从时钟信号发生器(未示出)输入时钟信号(clk)时，将该输入信号输出到加法器82。如果该输入信号位于该图像信号的图像数据区之外，则将复位信号输入到DFF 81，以删除该输入信号，而不输出输入信号。即，如图9所示，图像信号包括同步数据区和图像数据区。根据从帧开始点S开始顺序输入的位置信息，帧开始点S是图9所示水平采样和垂直线的圆形原点，当该输入信号是图像数据区之外的同步数据时，将复位信号输入到DFF 81，而不将构成该同步数据的信号输出到加法器82。换句话说，在构成该图像的输入信号中，DFF 81仅将图像数据区内的数据与时钟信号同步送到加法器82。

加法器82将DFF 81提供的信号和DFF 83提供的信号相加，然后，将和输出到DFF 83。更具体地说，加法器82提取DFF 81提供的信号和DFF 83提供的信号的和的8个最低有效位，然后，将提取的8位输出到DFF 83。

在时钟发生器(未示出)产生的时钟信号(clk)输入到DFF83时，DFF 83将加法器82提供的信号送到加法器82和输出单元84。如果将帧开始点S(图9所示水平采样和垂直线的圆形原点)的信号输入到DFF 83，则将复位信号输入到DFF 83，以删除该输入信号，而不输出输入信号。即，在构成该图像的输入信号中，加法器82仅累加该图像数据区内的数据，然后，DFF 83将通过相加获得的和送到输出单元84。

当将一帧(或一个场)的值从DFF 83送到输出单元84时，输出单元84输出该值，作为一帧图像(或该场)的特征值。即，输出单元84输出加法器82通过仅累加该图像数据区内的数据获得的值的8个最低有效位，作为该帧(或者场)的特征值。该特征值可以是可以用于识别以帧为单位的图像的任意信息，而且它并不局限于通过仅累加该图像数据区内的数据确定的值(仅像素值)的8个最低有效位。作为选择，例如，可以将靠近该图像数据区中心的预定区域内的像素值之和用作特征值。

将参考图10详细说明同步检测器62的结构。

特征值缓冲器101-1至101-3中的每一个临时存储提供的特征值，然后，将存储的特征值顺序输出到重放位置特征值生成器102和位于后续级的特征值缓冲器101-2或者101-3。由于特征值缓冲器101-3之后没有特征值缓冲器101，所以特征值缓冲器101-3仅将该特征值送到重放位置特征值生成器102。重放位置特征值生成器102顺序获取最新特征值和从特征值缓冲器101-1至101-3提供的最后3帧的特征值，然后，将这些特征值组合在一起，以产生重放位置信息(重放位置特征值)。重放位置特征值生成器102将重放位置信息输出到比较器103。即，重放位置特征值生成器102将包括最新帧和3个先前帧的总共4个特征值用作用于指定重放位置的特征值，然后，产生重放位置特征值。

搜索位置特征值读取器104顺序读取存储在数据记录介质26上的一组4个连续特征值，然后，将这组4个连续特征值作为搜索位置特征值送到比较器103和检测器105。比较器103将重放位置特征值生成器102提供的重放位置特征值与搜索位置特征值读取器104顺序提供的搜索位置特征值进行比较。当比较器103找到与重放位置特征值匹配的搜索位置特征值时，比较器103确定检测到同步，然后，将检测到同步作为检测结果通知给检测器105。当比较器103确定检测到同步时，检测器105输出搜索位置特征值读取器104提供的搜索位置特征值，作为同步检测结果。

将参考图11所示的流程图说明图3所示图像记录设备执行的图像记录处理。

在步骤S1，传感器11的GPS位置获取单元31判断是否经过了预定时间，然后，重复进行该判断，直到经过了该预定时间。例如，如果在步骤S1判断出已经经过了预定时间，则在步骤S2，GPS位置获取单元31接收测地卫星发送的无线电波，计算地球上的纬度和经度，以获取位置信息，然后，将该位置信息送到发送器32。

在步骤S3，发送器32将ID 32a加到GPS位置获取单元31提供的位置信息上，然后，发送获得的位置信息。然后该处理返回步骤S1。

在步骤S11，图像记录设备的摄像单元12拍摄要求的图像，根据拍摄的图像产生图像数据，然后，将该图像数据送到组合器14。

在步骤S12，位置信息获取单元13判断传感器11是否已经发送了位置信息。如果还没有发送位置信息，则该处理返回步骤S11。即，继续拍摄图像，直到发送了位置信息。例如，如果根据步骤S3的处理，判断出已经从传感器11发送了位置信息，则在步骤S13，位置信息获取单元13获取从传感器11发送的包括传感器11唯一的ID 32a的位置信息，然后，将所获取的位置信息送到组合器14。如果多个传感器11同时发送了多条位置信息，则位置信息获取单元13同时获取多条位置信息，然后，将它们送到组合器14。

在步骤S14，组合器14将位置信息获取单元13提供的包括对传感器11唯一的ID 32a的位置信息与摄像单元12提供的图像组合在一起，然后，将该结果送到录像机15。

在步骤S15，录像机15将组合器14提供的具有组合位置信息的图像数据记录在公用介质16上。然后处理返回步骤S11。

利用上述处理，当拍摄图像时，在提供位置信息时，组合该位置信息，然后，产生记录有与图像数据同步的位置信息的公用介质16。

将参考图12所示的流程图说明图4所示图像处理设备执行的图像修改处理。

在步骤S21，分离器22判断重放单元21是否提供了下一个图像，然后，重复该判断，直到提供了图像。例如，当重放单元21重放根据上述图像记录处理产生的公用介质16并提供了包括位置信息的图像数据时，在步骤S22，分离器22从该图像数据中分离出该位置信息，然后，将该图像数据送到修改处理装置23，将该位置信息送到修改信息确定单元25。

在步骤S23，修改信息确定单元25执行修改信息确定处理，以产生修改信息，然后，将该修改信息送到修改处理装置23。

将参考图13所示的流程图说明修改信息确定处理。

在步骤S41，位置信息获取单元41判断分离器22是否提供了位置信息，并重复该判断，直到提供了位置信息。例如，在分离器22根据步骤S22的处理提供了位置信息时，在步骤S42，位置信息获取单元41获取提供的位置信息，然后，将它送到图像内位置计算单元42。根据提供的所有位置信息，图像内位置计算单元42计算作为摄像单元12拍摄的图像内的对象的用户的位置，然后，将计算结果送到修改判断器43和修改信息生成器45。

例如，图像内位置计算单元42根据用户A至E的位置信息进行计算，然后，判断图14中所示的位置关系。在图14中，在从上面俯视的二维平面中示出摄像单元12的拍摄范围。即，在图14中，如果利用虚线表示该拍摄范围，则用户A至D位于摄像单元12的拍摄范围内，而用户E位于摄像单元12的拍摄范围外。

在步骤S43，修改判断器43判断是否利用控制器24指定了作为目标对象的用户，然后，重复该判断，直到指定了目标用户。例如，用户通过操作控制器24来指定目标用户，在步骤S44，修改判断器43判断图像中是否显示了作为被选对象的用户。在图14中，如果选择了摄像单元12的拍摄范围内的用户A至D中的任何一个作为目标对象，则判定该对象显示在该图像中。然后，处理进入步骤S45。

在步骤S45，修改判断器43判断作为被选对象的用户是否相对于摄像单元12在作为对象的任何其它用户之前。在图14中，如果选择用户A至C中的任何一个作为目标对象，则在摄像单元12与被选用户之间，不存在作为对象的其它用户，而且被选用户在任何其它对象之前。因此，处理进入步骤S46。

在步骤S46，修改判断器43将表示允许进行修改的判断结果通知修改细节确定单元44，然后，提供作为目标对象的用户的信息。修改细节确定单元44将作为目标对象的用户定位在图像中心的修改处理确定为修改细节，然后，将该确定结果送到修改信息生成器45。例如，在图14中，如果选择用户A作为目标，则修改细节确定单元44将用于修改该图像以产生以被选用户A为中心的缩放图像的修改处理送到修改信息生成器45，作为修改细节。

在步骤S48，根据来自修改细节确定单元44的修改细节信息，修改信息生成器45产生用于向修改处理装置23给出特定修改指令的修改信息，然后，将该修改信息送到修改处理装置23。例如，如果指定用于修改图像以产生以预定放大率缩放，从而以被选用户A为中心的图像的修改处理，则修改信息生成器45根据图像内位置计算单元42的计算结果，利用用户A的位置信息，确定对应于该图像中心的像素位置，然后，确定围绕所确定的像素位置放大以用户A为中心的图像的放大率。修改信息生成器45产生包括所确定的中心像素位置和放大率信息的修改信息，然后，将该修改信息送到修改处理装置23，其中，基于该修改信息在该图像中产生缩放图像。

例如，如果选择图14所示的用户E作为目标对象，则在步骤S44，判断出被选对象没有显示在该图像中，然后，处理进入步骤S47。例如，如果选择图14所示的用户D作为目标对象，则在步骤S45，判断出用户D没有位于所有其它对象之前，因为用户B位于用户D与摄像单元12之间，然后，该处理进入步骤S47。

在步骤S47，修改判断器43将表示不允许进行修改的判断结果通知给修改细节确定单元44，然后，提供作为目标对象的用户的信息。修改细节确定单元44将作为目标对象的用户D或者E的信息以及作为修改细节的不存在修改处理送到修改信息生成器45。

因此，在步骤S48，修改信息生成器45产生表示不存在修改处理的修改信息，然后，将该修改信息送到修改处理装置23。

利用上述处理，根据修改目标对象是否位于摄像单元12拍摄的图像中，判断是否允许进行修改，如果允许进行修改，则产生修改处理装置23执行修改处理所需的修改信息。在上面的描述中，用户选择目标对象。如果用户不指定目标对象，则可以对所有对象顺序重复执行修改信息确定处理，并且可以对所有对象分别确定修改信息。尽管结合用于产生以目标对象为中心的缩放图像的修改描述了修改细节，但是也可以执行任何其它修改。例如，在用户指定目标对象时，该用户还可以指定该对象的修改细节。在上面的描述中，利用图14所示的各对象的俯视二维布局，判断用户是否包括在图像中。不利用二维布局，而利用各对象的三维布局也可以根据位置信息判断作为目标对象的用户是否位于图像中。

返回到图12所示的流程图。

在步骤S24，根据修改信息确定单元25提供的修改信息，修改处理装置23对分离器22提供的图像执行修改处理。此外，修改处理装置23将修改处理所需的设置信息记录在数据记录介质26中，然后，在显示单元70上显示处理后的图像。

将参考图15所示的流程图说明图7所示修改处理装置23执行的修改处理。

在步骤S61，延迟单元16临时存储送来的图像，以使该图像延迟一帧时间段。在下面的描述中，逐帧处理图像。然而，可以想到，例如，可以逐场处理图像而不是逐帧处理图像。

在步骤S62，特征值提取器61执行特征值提取处理，以提取分离器22提供的一帧图像的特征值。即，在延迟单元66临时存储新图像以使该图像延迟一帧时间段时，还将该一帧图像送到特征值提取器61，然后，对同一个图像同时执行两种操作。即，临时存储该图像以便延迟，同时从该图像中提取特征值。

将参考图16所示的流程图说明特征值提取处理。

在步骤S91，由于帧开始点S(图9)，复位DFF 83。

在步骤S92，选择未处理的像素。在步骤S93，判断该像素是否在该图像数据区之外。更具体地说，例如，以光栅扫描顺序，顺序读取一帧图像的未处理像素，然后，判断每个未处理像素是否位于该图像数据区之外。

如图9所示，第一像素(位于帧开始点S的像素)包括在该同步数据内，因此，位于该图像数据区之外。在步骤S95，复位DFF81，DFF 81输出0，作为像素值。相反，在以光栅扫描顺序选择要处理的像素，而且要处理的像素位于该图像数据区内时，在步骤S94，DFF 81按照时钟信号的产生定时，将该像素的像素值送到加法器82。

在步骤S96，加法器82将该输入像素值与DFF 83提供的信号相加，然后，将和送到DFF 83。

在步骤S97，DFF 83按照时钟信号的产生定时，返回加法器82提供的和的8个最低有效位。在这种情况下，尽管DFF 83还将该和输出到输出单元84，但是输出单元84不输出该和。

在步骤S98，判断是否存在其它未处理像素。如果存在任何其它未处理像素，则该处理返回步骤S92。即，重复步骤S92至S98的处理，直到对一帧的全部像素进行了处理。如果判断出已经对一帧的全部像素进行了处理，则在步骤S99，输出单元84输出DFF83提供的和，即，包括在该图像数据区内的像素值的累加和的8个最低有效位，作为该帧图像的特征值。

利用上述处理，从一帧图像信号中提取位于该图像数据区内的所有像素值累加和的8个最低有效位，作为该帧的特征值。

返回到图15所示的流程图。

在步骤S63，修改信息识别器68判断修改信息确定单元25提供的修改信息是否表示存在修改处理。例如，如果根据图13所示步骤S47和S48的处理，该修改信息表示不存在修改处理，或者如果不存在修改信息本身，则判断为不执行修改处理。如果根据步骤S46和S48的处理指定了修改信息以对应于要求的修改，则判断为存在修改信息。

如果在步骤S63，判断出存在修改信息，则在步骤S64，修改信息识别器68识别该修改信息，然后，将它送到设置信息确定单元69。设置信息确定单元69确定反映单元67根据该修改信息处理该图像的设置信息，然后，将该设置信息送到特征值设置信息记录器63和选择器65。例如，设置信息确定单元69根据包括中心像素位置和放大率信息的修改信息确定设置信息，然后，将该设置信息送到特征值设置信息记录器63和选择器65，其中，根据该修改信息在该图像中产生缩放图像。

在步骤S65，特征值设置信息记录器63将特征值提取器61提供的特征值记录在数据记录介质26上，而且还将设置信息确定单元69提供的设置信息与该特征值相关联地记录在数据记录介质26上，从而存储特征值和设置信息。更具体地说，如图17所示，在将特征值C1记录在预定地址A时，将与该特征值C1相关的设置信息E1存储在比地址A大m倍的地址，即，地址m×A。在图17中，示出了在数据记录介质26上存储特征值和设置信息的地址分配。

同样，特征值设置信息记录器63将特征值C2存储在地址B，而将与该特征值C2相关的设置信息E2存储在地址m×B，以及将特征值C3存储在地址C，而将与该特征值C3相关的设置信息E3存储在地址m×C。以这种方式将设置信息与特征值相关联地存储，因此，一旦确定了特征值，就可以根据该特征值的地址来指定相应设置信息的地址。因此，可以顺利地搜索对应于存储在数据记录介质26上的各特征值的设置信息。在持续指定相同处理的时间段内，持续记录各特征值和各条设置信息。即，例如，图17所示的特征值C1至C3中的每一个并不局限于一帧的特征值，而是连续记录对应于在连续指定相同处理的时间段的各帧的特征值。这同样适用于设置信息。例如，基于与特征值C1至C3相关的地址的图17所示的每条设置信息E1至E3并不局限于一帧的设置信息，并且连续记录对应于连续指定相同处理的时间段的各帧的设置信息。

在步骤S66，由于设置信息确定单元69提供设置信息，所以选择器65将设置信息确定单元69提供的设置信息送到反映单元67。反映单元67根据选择器65提供的设置信息对存储在延迟单元66内的图像进行处理，从而在该图像中反映用户指定的处理，然后，在显示单元70上显示处理后的图像。

即，用户根据修改信息执行步骤S61至S66的处理，从而将特征值存储在数据记录介质26上，而且还与该特征值相关联地存储与该修改信息有关的设置信息。步骤S61至S66的处理对应于在上面参考图1A和图2描述的记录模式下的操作。

如果在步骤S63，判断出不存在修改处理，则在步骤S67，特征值设置信息读取器64不将设置信息送到选择器65。因此，设置信息确定单元69或者特征值设置信息读取器64不将设置信息送到选择器65，选择器65也不将用于指定处理的设置信息送到反映单元67。因此，反映单元67将临时存储在延迟单元66内的一帧图像显示在显示单元70上，而不改变该图像。

返回到图12中的流程图。

完成了步骤S24的修改处理后，该处理返回到步骤S21，对该图像逐帧顺序执行修改处理，并将该修改处理所需的设置信息记录在数据记录介质26上。

利用上述处理，如果根据记录在公用介质16上的包括位置信息的图像数据，作为目标对象的用户位于图像中，而且位于任何其它对象之前，则执行使该用户位于中心的修改处理，然后，将进行该修改处理所需的设置信息与该特征值相关联地记录在数据记录介质26上。

将参考图18所示的流程图说明图4所示图像处理设备执行的重放处理。

在步骤S101，分离器22判断重放单元21是否提供了下一个图像，而且重复该判断，直到提供了图像。例如，在重放单元21重放根据上述图像记录处理产生的公用介质16，而且提供包括位置信息的图像数据时，在步骤S102，分离器22从该图像数据中分离出该位置信息，然后，将该图像数据送到修改处理装置23，将该位置信息送到修改信息确定单元25。

在步骤S103，延迟单元66临时存储所提供的图像，以使该图像延迟一帧时间段。在步骤S104，修改处理装置23的特征值提取器61执行特征值提取处理，以提取分离器22提供的一帧图像的特征值。该特征值提取处理与上面参考图16所示流程图描述的特征值提取处理相同，因此，省略对它的说明。

在步骤S105，同步检测器62执行同步检测处理，以检测当前重放图像的特征值和与用于对该图像执行处理的设置信息相关的特征值之间的同步。

将参考图19所示的流程图说明同步检测处理。

在步骤S111，同步检测器62的重放位置特征值生成器102判断特征值提取器61是否提供了特征值，并重复该判断，直到提供了特征值。例如，在根据步骤S104中执行的特征值提取处理提取了特征值，并且特征值提取器61提供了当前重放的图像的特征值时，处理进入步骤S112。

在步骤S112，搜索位置特征值读取器104初始化用于对搜索位置特征值进行计数的计数器i。

在步骤S113，重放位置特征值生成器102获取所提供的特征值和已经存储在特征值缓冲器101-1至101-3内的特征值。即，在将新特征值送到特征值缓冲器101-1时，特征值缓冲器101-1将已经存储在其上的特征值送到重放位置特征值生成器102和特征值缓冲器102-2。特征值缓冲器101-2存储所提供的特征值，并将已经存储在其上的特征值送到重放位置特征值生成器102和特征值缓冲器101-3。特征值缓冲器101-3存储从特征值缓冲器101-2提供的特征值，并将已经存储在其上的特征值送到重放位置特征值生成器102。因此，最新帧的特征值和存储在特征值缓冲器101-1至101-3内的最后3帧的特征值被送到重放位置特征值生成器102。重放位置特征值生成器102将包括当前重放帧的4个帧的特征值作为重放位置特征值送到比较器103。

在步骤S114，搜索位置特征值读取器104读取存储在数据记录介质26上的各特征值中从开头第i帧开始的4个连续帧的特征值，作为搜索位置特征值，并将该搜索位置特征值送到比较器103和检测器105。

在步骤S115，比较器103将重放位置特征值生成器102提供的、包括当前重放帧和最后3帧的总共4个特征值的重放位置特征值与搜索位置特征值读取器104提供的、包括存储在数据记录介质26上的各特征值中从开头第i帧开始的4个连续帧的特征值的搜索位置特征值进行比较。

在步骤S116，比较器103根据比较结果判断重放位置特征值是否与搜索位置特征值匹配。如果在步骤S116，判断出不匹配，则在步骤S118，搜索位置特征值读取器104判断是否已经将重放位置特征值与存储在数据记录介质26上的所有特征值进行了比较。如果在步骤S118，判断出没有将重放位置特征值与存储在数据记录介质26上的所有特征值进行比较，则在步骤S119，搜索位置特征值读取器104使计数器i递增1，然后，处理返回到步骤S114。因此，除非重放位置特征值与搜索位置特征值匹配，否则重复步骤S114至S116、S118和S119的处理，直到将重放位置特征值与存储的所有特征值都进行了比较。随着一帧间隔的移位，重复4个连续帧的特征值与重放位置特征值的比较。

如图20的右上部所示，搜索位置特征值是特征值提取器61顺序存储的特征值中的一组4个连续特征值。在图20中，垂直长矩形块代表一帧的特征值。阴影所示的特征值组G1和G2表示组G1和G2中的连续特征值互相匹配。如图20的右下部所示，重放位置特征值是特征值提取器61提供的包括当前重放帧的特征值的4个连续帧的一组特征值。

例如，如图20所示，在将重放位置特征值组G2与搜索位置特征值组G0进行比较时，重放位置特征值组G2与搜索位置特征值组G0不匹配，检测不到同步位置。由于没有将重放位置特征值组G2与存储的所有特征值进行比较，所以计数器i递增1，然后，将重放位置特征值组G2与搜索位置特征值组G0′进行比较。以这种方式，将搜索位置特征值组与重放位置特征值组G2重复进行比较，同时，使搜索位置特征值逐帧向图20所示的右向移位。

在步骤S116，例如，将重放位置特征值组G2与搜索位置特征值G1进行比较。在这种情况下，搜索位置特征值组G1和重放位置特征值组G2具有相同的结构，因此，判断出搜索位置特征值组G1与重放位置特征值组G2相互匹配。在步骤S117，比较器103将匹配通知给检测器105。响应于该通知，检测器105将搜索位置特征值读取器104当前提供的搜索位置特征值的开头，即，从开头开始的第i个特征值，作为同步位置信息送到特征值设置信息读取器64。

如果在步骤S118，判断出已经将重放位置特征值与存储的所有搜索位置特征值进行了比较，则在步骤S120，检测器105输出表示没有与重放位置特征值相匹配的搜索位置特征值，因此不同步的检测结果。

利用上述处理，可以使当前重放的图像的特征值与存储在数据记录介质26上的特征值同步。即，为了减小由于当前重放帧的特征值仅与存储在数据记录介质26上的特征值之一偶然匹配而在错误位置检测到同步的概率，将包括当前重放帧和最后3帧的4帧与存储在数据记录介质26上的特征值进行比较，而不是仅将当前重放帧的特征值与存储在数据记录介质26上的特征值进行比较。因此，同步检测器62可以执行更准确的同步检测。由于以这种方式使用特征值，所以可以指定特征值代替以帧为单位的时间代码，而且可以逐帧检测同步，而无需使用该时间代码。

返回到图18所示的流程图。

在步骤S106，特征值设置信息读取器64判断与当前重放帧的重放位置特征值匹配的特征值是否存储在数据记录介质26上。例如，当根据图19所示流程图中的步骤S117的处理提供同步位置信息时，与当前重放帧的重放位置特征值匹配的特征值已经存储在数据记录介质26上，处理进入步骤S107。

在步骤S107，特征值设置信息读取器64判断与该同步的特征值相关的设置信息是否已经存储在数据记录介质26上。由于即使不存在与特征值相关的设置信息，也可以将该特征值存储在数据记录介质26上，所以该处理可以判断是否存在与该特征值相关的设置信息。

如果在步骤S107判断出没有存储与该特征值相关的设置信息，则在步骤S108，特征值设置信息读取器64不将设置信息送到选择器65。因此，设置信息确定单元69或者特征值设置信息读取器64都不将设置信息送到选择器65，而且选择器65不将用于给出处理指令的设置信息送到反映单元67。因此，反映单元67在显示单元70上显示临时存储在延迟单元66内的一帧图像，而不改变该图像。

如果在步骤S107判断出已经存储了与该特征值相关的设置信息，则在步骤S109，特征值设置信息读取器64从数据记录介质26读取与同步位置信息的特征值相关联地存储的设置信息，并将所读取的设置信息送到选择器65。然后处理进入步骤S110。

在步骤S110，由于不是从设置信息确定单元69而是从特征值设置信息读取器64将设置信息送到选择器65，所以将来自特征值设置信息读取器64的设置信息送到反映单元67。根据该设置信息，将该处理反映在存储在延迟单元66的一帧图像中，并且在显示单元70上显示处理后的图像。

利用上述处理，根据与该特征值相关联地记录在数据记录介质26上的设置信息，执行图像修改处理，以修改记录在公用介质16上的图像，并显示修改后的图像。

图18所示的重放处理对应于上面参考图1A和图2描述的重放模式下的操作。

利用上述处理，当摄像单元12拍摄图像时，如果作为对象的用户具有传感器11，则将包括每个传感器11的位置信息的图像数据记录在公用介质16上。在根据记录在公用介质16上的图像数据重放该图像时，根据包括在该图像中的位置信息，执行上述图像修改处理，以将用于修改具有传感器11的每个用户的图像的设置信息与该图像的特征值相关联地存储在数据记录介质26上。当重放记录在公用介质16上的图像数据时，该重放图像可以作为根据与该图像的特征值相关联地记录在数据记录介质26上的设置信息修改后的图像被重放。

因此，例如，当执行用于缩放到修改目标用户的缩放处理作为修改处理时，在每次重放记录在公用介质16上的图像时，可以重放该图像，使得只要修改目标用户包括在该图像中就固定缩放到该用户。因此，可以以摄像单元12在仅跟随修改目标用户的同时拍摄该图像的方式重放该图像。

由于不直接对记录在公用介质16上的图像进行修改，所以即使记录在公用介质16上的图像是不再允许复制的图像，例如，“只能复制一次”的图像，仍可以重放该图像作为焦点是修改目标用户的图像。此外，对于具有传感器11的其它用户，通过改变记录在数据记录介质26上的设置信息，可以针对各个用户修改该图像，而且可以重复重放修改后的图像。

此外，在拍摄与位置信息一起记录在公用介质16上的图像之前，事先仅将传感器11分配给多个用户，在拍摄了图像之后，可以产生通过图像修改处理记录有设置信息的数据记录介质26。可以将公用介质16和数据记录介质26的组合销售给每个修改目标用户，在该数据记录介质26上，与记录在公用介质16上的图像的特征值相关联地记录了该设置信息，因此，与销售仅记录有单个摄像单元12拍摄的图像的介质相比，提高了促使用户购买这种介质组合的概率，因此，有助于更强劲的盈利行为。

尽管结合一帧图像信号中的图像数据区内的像素值的累加值对该特征值进行了描述，但是也可以采用任何其它特征值。例如，可以采用运动矢量(相对于整个屏幕的运动和局部运动)、表示特定波形出现的频度的值、尺寸缩小图像中的像素值的累加值、该图像特定部分的像素值的累加值、将它们用于多个帧的值或者这些特征值的组合。

尽管结合缩放率描述了设置信息，但是也可以采用任何其它信息。例如，可以采用缩放位置(中心位置)或者缩放位置与缩放率的组合等的缩放参数、亮度、对比度、伽马校正、数字精密显像(Digital Reality Creation，DRC)调色板值(包括分辨率设置值和噪声设置值)等的图像质量设置参数或者音量或者音频切换(切换所使用的语言)等的音频参数。

此外，还可以说，图3所示的图像记录设备和图4所示的图像处理设备通过引入公用介质16构成图像处理系统。

在上面的描述中，根据位置信息，判断作为特定对象的用户是否包括在图像中，进而判断是否对图像进行处理。这意味着，根据作为特定对象的用户的状态来指定对该图像进行处理。因此，可以采用基于该对象的状态信息的任何图像处理，包括但不局限于以下处理：根据对象的位置信息判断该对象是否包括在该图像中，进而判断对该图像执行处理的细节。例如，可以判断表示作为特定对象的用户是否使面部对着摄像单元12的状态信息，而且如果面部对着摄像单元12，则可以执行缩放处理。作为选择，可以利用热传感器等来判断作为特定对象的用户的状态信息，例如，温度信息，并可以根据判断出的温度信息改变缩放率，以执行图像处理操作。即，可以根据对象的状态信息执行图像处理操作。

在上面的描述中，作为例子，根据图像记录处理，在位置信息获取单元13获取的位置信息与摄像单元12拍摄的图像组合在一起的状态下，产生公用介质16。由于记录在公用介质16上的图像的图像数据具有与其组合的位置信息，所以只有具有例如分离器22的使图像数据与位置信息分离功能的重放设备可以重放该图像数据。因此，只有摄像单元12拍摄的图像可以被记录在公用介质16上，而且可以将该位置信息记录在不同的位置信息记录介质上。在这种情况下，为了使图像上的重放位置与位置信息同步，可以与该图像的特征值相关联地记录位置信息。

图21示出被配置成仅将摄像单元12拍摄的图像记录在公用介质上而将位置信息记录在与该公用介质不同的位置信息记录介质上的图像记录设备的典型结构。在图21中，与图3中相同的要素由同样的附图标记表示，因此，省略对它们的说明。

在图21所示的图像记录设备上，传感器11-1至11-3以及摄像单元12与图3所示图像记录设备的相应要素相同。图21所示的图像记录设备与图3所示图像记录设备的不同之处在于，设置了录像机201、特征值提取器202以及位置信息记录装置203，而没有设置组合器14和录像机15。

录像机201将摄像单元12提供的图像数据记录在公用介质16’上。因此，在图21所示的图像记录设备中产生仅记录有图像数据的公用介质16’。录像机201将摄像单元12提供的图像送到特征值提取器202，而不改变该图像。

特征值提取器202的功能与图7所示特征值提取器61的功能基本相同，而且被配置成根据摄像单元12通过录像机201提供的图像数据逐帧提取图像的特征值，并将特征值送到位置信息记录装置203。

位置信息记录装置203将位置信息获取单元13提供的位置信息与特征值提取器202提供的特征值相关联地记录在位置信息记录介质211上。

将参考图22说明被配置成仅将摄像单元12拍摄的图像记录在公用介质16’上而将位置信息记录在与该公用介质16’不同的位置信息记录介质211上的图像处理设备的典型结构。在图22中，与图4中相同的要素由同样的附图标记表示，因此，省略对它们的说明。

在图22所示的图像处理设备中，重放单元21、控制器24以及修改信息确定单元25与图4所示图像处理设备的相应要素相同。图23所示图像处理设备与图4所示图像处理设备的不同之处在于，设置了位置信息重放单元211和修改处理装置222，而没有设置分离器22。

位置信息重放单元221读取与重放单元21通过修改信息处理装置222提供的图像的特征值相关联地记录在位置信息记录介质211上的位置信息。

参考图23，说明修改处理装置222的典型结构。与图7所示修改处理装置23相同的要素由同样的附图标记表示，因此，省略对它们的说明。除了特征值提取器61不仅将特征值送到同步检测器62和特征值设置信息记录器63还送到位置信息重放单元221以外，图23所示的修改处理装置222与图7所示的修改处理装置23相同。

将参考图24说明位置信息重放单元221的典型结构。

特征值获取单元241获取修改处理装置222的特征值提取器61提供的特征值，然后，将它送到同步检测器242。同步检测器242与图7所示的同步检测器62基本相同。即，同步检测器242搜索存储在位置信息记录介质211上的特征值(搜索位置特征值)，以寻找特征值获取单元241提供的当前重放图像的特征值(重放位置特征值)。当检测到相同的特征值时，同步检测器242将该检测结果送到位置信息获取单元243，作为图像同步位置。

获得了同步检测器242检测的作为同步位置的特征值(搜索位置特征值)后，位置信息获取单元243获取与该特征值相关联地存储在位置信息记录介质211内的位置信息，然后，将获得的位置信息送到输出单元244。输出单元244将位置信息获取单元243提供的位置信息送到修改信息确定单元25。

将参考图25所示的流程图说明图21所示图像记录设备执行的图像记录处理。在图25所示的流程图中，步骤S151至S153的处理与参考图11所示流程图描述的步骤S1至S3的处理相同，因此，省略对它们的说明。

在步骤S161，图像记录设备的摄像单元12拍摄要求的图像，从拍摄的图像产生图像数据，并将该图像数据送到录像机201。

在步骤S162，录像机201将摄像单元12提供的图像数据记录在公用介质16’上，然后，将该图像送到特征值提取器202。

在步骤S163，位置信息获取单元13判断传感器11是否已经发送了位置信息。如果还没有发送位置信息，则处理返回到步骤S161。例如，如果根据步骤S153的处理判断出传感器11已经发送了位置信息，则在步骤S164，位置信息获取单元13获取传感器11发送的包括传感器11唯一的ID 32a的位置信息，并将获取的位置信息送到位置信息记录装置203。

在步骤S164，位置信息记录装置203获取位置信息获取单元13提供的位置信息。

在步骤S165，特征值提取器202执行特征值提取处理，以根据摄像单元12通过录像机201提供的图像数据提取该图像的特征值，并将提取的特征值送到位置信息记录装置203。该特征值提取处理与参考图16所示流程图描述的处理相同，因此，省略对它们的说明。

在步骤S166，位置信息记录装置203将特征值提取器202提供的特征值记录在位置信息记录介质211上，还与该特征值相关联地记录位置信息获取单元13提供的位置信息。然后处理返回到步骤S161。

利用上述处理，在拍摄图像时，仅将图像记录在公用介质16’上，同时将位置信息与该图像的特征值相关联地记录在位置信息记录介质211上。因此，公用介质16’上仅记录有图像，因此，可以利用市场上可获得的重放设备重放公用介质16’。由于位置信息与图像的特征值相关联地记录在位置信息记录介质211上，所以当根据下面描述的重放处理重放记录在该公用介质16’上的图像时，与正在重放的图像同步，在通过图22所示的图像处理设备的重放处理中，可以反映该位置信息。

将参考图26所示的流程图说明图22所示图像处理设备执行的图像修改处理。

在步骤S191，修改处理装置222的特征值提取器61判断重放单元21是否提供了下一个图像，并重复该判断，直到提供了图像。例如，当重放单元21重放根据上述图像记录处理产生的公用介质16’，并提供图像数据时，在步骤S192，特征值提取器61执行特征值提取处理，并将提取的特征值送到同步检测器62、特征值设置信息记录器63以及位置信息重放单元221。该特征值提取处理与上面参考图16描述的处理相同，因此，省略对它们的说明。

在步骤S193，位置信息重放单元221执行位置信息提取处理，以从位置信息记录介质211提取与该特征值同步的位置信息，然后，将该位置信息送到修改信息确定单元25。

将参考图27所示的流程图说明位置信息获取单元221执行的位置信息提取处理。

在步骤S201，特征值获取单元241获取修改处理装置222的特征值提取器61提供的通过公用介质16’当前重放的图像的特征值。

在步骤S202，根据特征值获取单元241提供的特征值，同步检测器242执行同步检测处理，以检测当前重放的图像的特征值和与该位置信息相关联地记录在位置信息记录介质211上的特征值之间的同步，然后，将检测结果送到位置信息获取单元243。该同步检测处理与上面参考图19所示的流程图描述的处理相同，因此，省略对它们的说明。

在步骤S203，位置信息获取单元243从与该特征值相关联地记录在位置信息记录介质211上的位置信息中，获取与作为同步检测结果提供的特征值相关联地记录的位置信息，然后，将获取的位置信息送到输出单元244。

在步骤S204，输出单元244将位置信息获取单元243提供的位置信息送到修改信息确定单元25。

利用上述处理，与该特征值同步从位置信息记录介质211读取与正在重放的图像的特征值相关联地记录的位置信息，然后，将该位置信息送到修改信息确定单元25。

返回到图26所示的流程图。

在步骤S194，修改信息确定单元25执行修改信息确定处理，以产生修改信息，然后，将该修改信息送到修改处理装置222。该修改信息确定处理与上面参考图13描述的修改信息确定处理相同，因此，省略对它们的说明。

在步骤S195，修改处理装置222根据修改信息确定单元25提供的修改信息执行修改处理，然后，将修改该图像所需的设置信息与该特征值相关联地记录在数据记录介质26上。然后，处理返回到步骤S191。

将参考图28所示的流程图说明修改处理装置222执行的修改处理。图28所示流程图中的步骤S211至S216的处理与图15所示流程图中的步骤S61和S63至S67的处理相同。即，在步骤S62执行的特征值提取处理已经在步骤S192执行了，因此，取消该特征值提取处理。图28所示流程图的其它处理与图15所示的流程图相同，因此，省略对它们的说明。

利用上述处理，根据公用介质16’的图像数据和位置信息记录介质211的位置信息，当作为目标对象的用户位于该图像中，而且位于任何其它对象之前时，执行使该用户位于中心的修改处理，然后，将修改处理所需的设置信息记录在数据记录介质26上。

将参考图29所示的流程图说明图22所示图像处理设备执行的重放处理。图29所示流程图中的步骤S231至S239的处理与图18所示流程图中的步骤S101和S103至S110的处理相同。即，不需要在步骤S102执行的使图像数据与位置信息的分离，因此，取消了该处理。图29所示流程图的其它处理与图18所示的流程图相同，因此，省略对它们的说明。

利用上述处理，在摄像单元12拍摄图像时，如果作为对象的用户具有传感器11，则仅将图像数据记录在公用介质16’上，而将每个传感器11的位置信息与该图像的特征值相关联地记录在位置信息记录介质211上。此外，当根据记录在公用介质16’上的图像数据和与该图像的特征值相关联地记录在位置信息记录介质211上的位置信息重放该图像时，执行上述图像修改处理，以将用于修改具有传感器11的每个用户的图像的设置信息与该图像的特征值相关联地存储在数据记录介质26上。当重放记录在公用介质16’上的图像数据时，被重放的图像可以作为根据与该图像的特征值相关联地记录在数据记录介质26上的设置信息修改的图像被重放。

因此，例如，当执行缩放到修改目标用户的缩放处理作为修改处理时，在每次重放记录在公用介质16’上的图像时，可以重放该图像，使得只要该修改目标用户包括在该图像中就固定缩放到该用户。因此，可以以摄像单元12在仅跟随修改目标用户的同时拍摄该图像的方式重放该图像。

由于不对记录在公用介质16’上的图像直接进行修改，所以即使记录在公用介质16’上的图像是不再允许复制的图像，例如，“只能复制一次”的图像，仍可以将该图像作为焦点位于修改目标用户的图像来重放。此外，对于具有传感器11的其它用户，通过改变记录在数据记录介质26上的设置信息，可以针对各用户修改该图像，而且可以重复重放修改后的图像。由于公用介质16’仅具有记录在其上的图像数据，因此甚至可以利用市场上可以获得的重放设备重放摄像单元12拍摄的未修改的图像。

此外，在拍摄要记录在公用介质16’上的图像之前，可以将传感器11事先分配给多个用户，在拍摄了图像后，可产生通过图像修改处理记录了设置信息的数据记录介质26。可以将3个介质的组合，即，记录有图像的公用介质16’、与记录在公用介质16’上的图像的特征值相关联地记录了设置信息的数据记录介质26、以及与该图像的特征值相关联地记录了位置信息的位置信息记录介质211的组合销售给每个修改目标用户，因此，与仅记录了单个摄像单元12拍摄的图像的介质的销售相比，提高了促使用户购买这种介质组合的概率，因此，有助于更强劲的盈利行为。

在上面的描述中，作为例子，利用GPS获取位置信息。还可以采用能够指定位置的任何其它技术。例如，每个用户可具有IC标签，而且可以将用于检测IC标签的传感器安装在地下，以获取该用户的位置信息。

根据本发明第一实施例，拍摄包括对象的图像；获取对象的位置信息；记录该图像和该对象的位置信息；根据所记录的图像和该对象的位置信息判断该图像中是否包括特定对象；当判断出该图像中包括特定对象时指定对该图像执行修改的细节；根据该修改细节设置用于修改该图像的设置信息；从该图像中提取特征值；以及将该设置信息与所提取的该图像的特征值相关联地记录在设置信息记录介质上。

因此，可以记录拍摄的图像和对象的位置信息。当特定对象位于该图像中时，在每次重放该图像时，可以对该图像执行预定处理，并再现处理后的图像，而不对原始图像数据进行处理。此外，在每次重放图像数据时，甚至可以对不允许复制的图像数据执行相同的处理，而且可以重复重放处理后的图像。此外，可以记录拍摄的图像和对象的位置信息。根据该图像和该对象的位置信息，当特定对象位于该图像中时，可以与该图像的特征值相关联地记录用于处理对应于图像的特定对象的图像的设置信息。

根据本发明第二实施例，根据图像，判断特定对象是否包括在该图像中；在判断出该特定对象包括在该图像中时指定对该图像进行修改的细节；根据该修改细节，设置用于修改图像的设置信息；从该图像中提取特征值；以及将该设置信息与该图像的特征值相关联地记录在设置信息记录介质上。

因此，当特定对象位于图像中时，在每次重放该图像时，可以对该图像执行预定处理，然后，可以再现处理后的图像，而无需对原始图像数据进行处理。此外，在每次重放图像数据时，甚至可以对不允许复制的图像数据执行相同的处理，而且可以重复重放处理后的图像。此外，当特定对象位于图像中时，与该图像的特征值相关联地记录用于处理对应于该特定对象的图像的设置信息。

根据本发明第三实施例，拍摄包括对象的图像；获取该对象的位置信息；以及记录该对象和该对象的位置信息。

因此，在拍摄图像时，可以与该图像相关联地记录对象的位置信息。此外，在拍摄图像时，可以与该图像同步记录对象的位置信息。

利用硬件或者软件可以实现上面描述的一系列处理。在利用软件实现该系列处理时，将构成该软件的程序从记录介质安装到包括在特殊硬件中的计算机或者能够利用安装在其上的各种程序执行各种功能的装置中，例如，通用个人计算机。

图30示出在利用软件实现图3或者图21所示图像记录设备或者图4或者图22所示图像处理设备的内部电配置情况下的个人计算机。该个人计算机的中央处理单元(CPU)1001控制该个人计算机的全部操作。响应于用户利用包括键盘和鼠标的输入单元1006通过总线1004和输入/输出接口1005发送给CPU 1001的指令，CPU 1001执行存储在只读存储器(ROM)1002内的程序。CPU 1001将从连接到驱动器1010的磁盘、光盘、磁光盘或者半导体存储器等可移动介质1021读取的并安装在存储单元1008内的程序加载到随机存取存储器(RAM)1003内，然后，执行该程序。因此，利用软件实现图3或者图21所示的图像记录设备或者图4或者图22所示图像处理设备的功能。CPU 1001还控制通信单元1009以与外部进行通信并交换数据。

记录有该程序的记录介质可以包括记录有该程序的封装的介质，它们与计算机分开分配，以将该程序提供给用户，例如，图30所示的可移动介质1021，它们包括磁盘(包括软盘)、光盘(包括只读存储器压缩盘(CD-ROM)和数字通用盘(DVD))、磁光盘(包括小型盘(MD))或者半导体存储器。作为选择，这种记录介质可以包括记录有该程序的记录介质，以包括在计算机内的形式提供给用户，例如，ROM 1002或者包括在存储单元1008内的硬盘。

在本说明书中，定义记录在记录介质上的程序的步骤可以包括以在此描述的顺序依次执行的处理，而且还可以包括无需依次执行，而是并行或者单独执行的处理。

在本说明书中，术语系统是指由多个设备构成的设备实体。

本技术领域的技术人员应该明白，只要在所附权利要求或者其等同的范围内，可以根据设计要求和其它因素，进行各种修改、组合、子组合以及替换。

本发明包含与2006年2月28日在日本专利局提交的第2006-052644号日本专利申请相关的主题，其全部内容通过引用包含于此。

Claims (14)

1.一种图像处理系统，包括：

摄像设备；以及

图像处理设备，

所述摄像设备包括：

摄像部，用于拍摄包括对象的图像；

状态信息获取部，用于获取所述对象的状态信息；以及

记录部，用于记录所述图像和所述对象的状态信息，所述图像处理设备包括：

修改细节确定部，用于根据所述记录部记录的所述图像和所述对象的状态信息来指定要对所述图像进行的修改的细节；

设置部，用于根据所述修改细节确定部指定的所述修改的细节，设置用于修改所述图像的设置信息；

第一特征值提取部，用于从所述图像中提取特征值；以及

记录部，用于将所述设置信息与所述第一特征值提取部提取的所述图像的特征值相关联地记录在设置信息记录介质上。

2.根据权利要求1所述的图像处理系统，其特征在于，所述对象的状态信息包括所述对象的位置信息。

3.根据权利要求2所述的图像处理系统，其特征在于：

所述图像处理设备还包括：判断部，用于根据所述摄像设备的记录部记录的所述图像和所述对象的位置信息判断所述图像是否包括特定对象；以及

当所述判断部判断出所述图像包括所述特定对象时，所述修改细节确定部指定要对所述图像进行的修改的细节。

4.根据权利要求2所述的图像处理系统，其特征在于，所述状态信息获取部利用全球定位系统获取所述对象的位置信息。

5.根据权利要求2所述的图像处理系统，其特征在于，所述状态信息获取部利用IC标签和传感器获取所述对象的位置信息。

6.根据权利要求1所述的图像处理系统，其特征在于：

所述摄像设备还包括组合部，所述组合部用于将所述对象的状态信息与所述图像进行组合；

所述摄像设备的记录部将通过所述组合部组合了所述对象的状态信息的所述图像记录在图像记录介质上；

所述图像处理设备还包括：分离部，用于从通过所述组合部组合了所述对象的状态信息的所述图像中分离出所述图像和所述状态信息；以及

所述修改细节确定部根据通过所述分离部分离出的所述图像和所述状态信息来指定要对所述图像进行的修改的细节。

7.根据权利要求1所述的图像处理系统，其特征在于：

所述摄像设备的记录部包括：

图像记录部，用于记录所述图像；

第二特征值提取部，用于从所述图像中提取特征值；以及

状态信息记录部，用于与通过所述第二特征值提取部提取的所述特征值相关联地记录所述对象的状态信息，

所述图像记录部被配置成将所述图像记录在图像记录介质上；以及

所述状态信息记录部被配置成将所述对象的状态信息与通过所述第二特征值提取部提取的所述特征值相关联地记录在状态信息记录介质上；

所述图像处理设备还包括：

同步部，用于使记录在所述状态信息记录介质上的所述特征值与通过所述第一特征值提取部提取的所述特征值同步；以及

获取部，用于从所述状态信息记录介质中获取与通过所述同步部同步的所述特征值相关的所述状态信息；以及

所述修改细节确定部根据记录在所述图像记录介质上的所述图像和通过所述获取部获取的所述状态信息，指定要对所述图像进行的修改的细节。

8.一种用于包括摄像设备和图像处理设备的图像处理系统的图像处理方法，所述图像处理方法包括以下步骤：

所述摄像设备拍摄包括对象的图像；

所述摄像设备获取所述对象的状态信息；

所述摄像设备记录所述图像和所述对象的状态信息；

所述图像处理设备根据所述摄像设备记录的所述图像和所述对象的状态信息，指定要对所述图像进行的修改的细节；

所述图像处理设备根据所指定的修改的细节，设置用于修改所述图像的设置信息；

所述图像处理设备从所述图像中提取特征值；以及

所述图像处理设备将所述设置信息与所提取的特征值相关联地记录在设置信息记录介质上。

9.一种图像处理设备，包括：

修改细节确定部，用于根据图像中特定对象的状态来指定要对所述图像进行的修改的细节；

设置部，用于根据所述修改细节确定部指定的所述修改的细节，设置用于修改所述图像的设置信息；

特征值提取部，用于从所述图像中提取特征值；以及

记录部，用于将所述设置信息与所述特征值提取部提取的所述图像的特征值相关联地记录在设置信息记录介质上。

10.根据权利要求9所述的图像处理设备，其特征在于：

所述图像包括所述图像中每个对象的状态信息；

所述图像中所述特定对象的状态是以所述图像中每个对象的所述状态信息为基础的；以及

所述修改细节确定部根据基于所述图像中每个对象的所述状态信息的所述特定对象的状态，指定要对所述图像进行的修改的细节。

11.根据权利要求10所述的图像处理设备，其特征在于：

所述状态信息包括位置信息；

所述图像处理设备还包括判断部，所述判断部用于根据所述图像中每个对象的所述位置信息，判断所述特定对象是否位于所述图像中并且位于所述图像中任何其它对象之前，从而判断所述图像是否包括所述特定对象；以及

所述修改细节确定部根据所述判断部的判断结果，指定要对所述图像进行的修改的细节。

12.根据权利要求9所述的图像处理设备，其特征在于，还包括获取部，用于获取与所述图像的特征值相关的、所述图像中每个对象的所述状态信息，

其中，所述特定对象的状态是以与所述图像的特征值相关的、所述图像中每个对象的所述状态信息为基础的，以及

所述修改细节确定部根据以与所述图像的特征值相关的、所述图像中每个对象的所述状态信息为基础的所述特定对象的状态，指定要对所述图像进行的修改的细节。

13.根据权利要求12所述的图像处理设备，其特征在于：

所述状态信息包括位置信息；

所述图像处理设备还包括判断部，所述判断部用于根据与所述图像的所述特征值相关的、所述图像中每个对象的所述位置信息，来判断所述特定对象是否位于所述图像中并且位于所述图像中任何其它对象之前，从而判断所述图像是否包括所述特定对象；以及

所述修改细节确定部根据所述判断部的判断结果，指定要对所述图像进行的修改的细节。

14.一种图像处理方法，包括以下步骤：

根据图像中特定对象的状态来指定要对所述图像进行的修改的细节；

根据所指定的修改的细节设置用于修改所述图像的设置信息；

从所述图像中提取特征值；以及

将所述设置信息与所提取的所述图像的特征值相关联地记录在设置信息记录介质上。

Images