CN110383830B - 记录装置、记录方法、再现装置、再现方法以及记录/再现装置 - Google Patents

Abstract

本发明使得观看者能够在再现期间容易且准确地到达期望的图像和音频的再现开始位置。时间码被添加到通过对描述人正对描述单元执行描述的状态进行成像而获得的运动图像数据并且还添加到对应于该运动图像数据的音频数据，然后两个数据项被记录在记录单元中。处理运动图像数据以判定描述到描述单元的描述部分，并且生成用于将被判定为描述部分的每个部分作为索引描述显示的索引图像数据，并且将该索引图像数据记录在记录单元中。对于索引图像数据，与构成索引描述的每个像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

Description

记录装置、记录方法、再现装置、再现方法以及记录/再现装置

技术领域

本技术涉及记录装置、记录方法、再现装置、再现方法以及记录/再现装置，更具体地，涉及用于记录写入描述的人在描述部分中写入描述的同时正进行说明的状态的运动图像数据和音频数据的记录装置等。

背景技术

已知在传统的对写入描述的人在描述部分中写入描述的同时进行说明的状态的图像/声音的记录中生成索引条目。例如，在专利文献1中，提出了一种生成索引条目的方法，其中，当写入描述的人的写入被中断预定时间时，生成索引条目。但是，通过该方法，索引条目不是基于写入内容生成的，并且除非写入被中断，否则不生成索引条目。因此，在再现中，观看者难以参考索引条目到达期望的再现开始位置。

引用列表

专利文献

专利文献1：日本专利申请公开No.2002-101398

发明内容

本发明要解决的问题

本技术的目的是使观看者能够在再现中容易且准确地到达期望的图像/音频再现开始位置。

问题的解决方案

本技术的概念是提供

一种记录装置，包括：

图像/音频记录单元，用于将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在记录单元中；以及

索引图像记录单元，用于处理所述运动图像数据、判定写入所述描述部分中的写入部分、生成用于将被判定为所述写入部分的各部分作为索引描述显示的索引图像数据、以及将所述索引图像数据记录在记录单元中，

其中，对于所述索引图像数据，与构成所述索引描述的各像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

在本技术中，图像/音频记录单元将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，并将数据记录在记录单元中。

索引图像记录单元处理运动图像数据以判定写入描述部分中的写入部分。例如，索引图像记录单元可以被配置为针对每个像素提取当前帧图像和基准帧图像之间的差异值，把握具有等于或大于阈值的差异值的一系列像素的组，并判定每个组是否具有写入部分。

在这种情况下，例如，索引图像记录单元可以被配置为通过使用形状评估值、提取时间评估值和静止时间评估值来判定每个组是否具有写入部分，并且所述索引图像记录单元可以被配置为基于包含该组的最小正方形与该组中包含的最大正方形的纵横比判定形状评估值，对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值获得提取时间评估值，以及对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值获得静止时间评估值。

索引图像记录单元生成用于将被判定为写入部分的每个部分作为索引描述显示的索引图像数据，并将该索引图像数据记录在记录单元中。该记录单元可以与用于记录运动图像数据和音频数据的记录单元相同或不同。这里，对于索引图像数据，与构成索引描述的每个像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

例如，在写入描述部分中的写入部分的擦除状态在固定时间段内被识别超过特定次数时，索引图像记录单元可以将到该点已经生成的索引图像数据判定为一项索引图像数据，并前进至生成新的索引图像数据的处理。因此，每当描述部分中的写入部分被写入描述的人大量擦除时，就生成新的索引图像数据。

如上所述，在本技术中，处理运动图像数据以判定作为写入部分的各部分，生成用于将写入部分作为索引描述显示的索引图像数据并将其记录在记录单元中，并且对于索引图像数据，与构成索引描述的像素相关联地添加与描述时刻对应的时间码的值作为时间戳。因此，在再现时，索引图像数据用于显示具有索引描述的索引图像，并且观看者能够基于索引描述的内容指定任意位置以容易且准确地到达与对应于所指定的位置的描述时刻对应的图像/音频再现开始位置。

注意，在本技术中，例如，记录装置还可以包括文字识别单元，用于对索引描述执行文字识别以识别单词，其中索引图像数据可以包括与构成与所识别的单词对应的索引描述的每个像素相关联的关于所述单词的数据。因此，在再现时，例如，能够通过使用关于通过文字识别而识别的单词的数据来获得和显示相关信息。

此外，本技术的概念是提供

一种再现装置，包括：

索引图像显示控制单元，用于从记录单元读取索引图像数据，以在索引图像显示单元上基于所述索引图像数据显示具有索引描述的索引图像，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间码的值；

用户操作单元，用于指定在显示单元上显示的索引图像的索引描述的任意位置；以及

再现控制单元，用于基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在记录单元中的运动图像数据和音频数据的再现开始位置。

在本技术中，索引图像显示控制单元从记录单元读取索引图像数据，并且基于该索引图像数据，在索引图像显示单元上显示具有索引描述的索引图像。这里，对于索引图像数据，与构成索引描述的每个像素相关联地添加与描述时刻对应的时间码的值作为时间戳。在记录单元中用时间码记录运动图像数据和音频数据。

用户操作单元指定显示在显示单元上的索引图像的索引描述的任意位置。基于与所指定的位置处的像素相关联地添加到索引图像数据的时间戳，再现控制单元控制记录在记录单元中的运动图像数据和音频数据的再现开始位置。

例如，再现控制单元可以被配置为在开始再现之前将再现图像显示单元上的再现开始位置处的图像作为静止图像显示。在这种情况下，例如，再现控制单元可以被配置为当在再现开始位置处的图像作为静止图像显示在再现图像显示单元上的同时接收到来自用户操作单元的再现指令时，从再现开始位置起开始运动图像数据和音频数据的再现。在这种情况下，观看者能够在确认再现开始位置处的图像之后发出再现指令。

此外，再现控制单元可以被配置为在再现开始位置处的图像作为静止图像显示在再现图像显示单元上的同时，在图像列表显示单元上显示包括再现开始位置的预定范围内的帧的缩略图图像。在这种情况下，例如，当预定缩略图图像被用户操作单元选择时，再现控制单元可以将再现开始位置改变为该缩略图图像的帧的位置。在这种情况下，观看者可以参考缩略图图像容易且适当地改变再现开始位置。

如上所述，在本技术中，基于索引图像数据显示具有索引描述的索引图像。指定索引描述中的任意位置基于与所指定的位置处的像素相关联地添加到索引图像数据的时间戳来控制记录在记录单元中的运动图像数据和音频数据的再现开始位置。因此，观看者可以基于索引描述的内容指定任意位置，以容易且准确地到达与对应于所指定的位置的描述时刻对应的图像/音频再现开始位置。

注意，在本技术中，例如，在再现装置中，与构成与使用文字识别而识别的单词对应的索引描述的每个像素相关联地，将关于该单词的数据添加到索引图像数据，并且再现装置进一步包括信息获取单元，用于与对应于用户操作单元指定的位置的像素相关联地，基于添加到索引图像数据的关于单词的数据，获取与该单词有关的信息，其中，再现控制单元在再现开始位置处的图像上重叠显示所获取的信息。

此外，在本技术中，例如，在再现装置中，与构成与使用文字识别而识别的单词对应的索引描述的每个像素相关联地，将关于该单词的数据添加到索引图像数据，并且再现控制单元并且，再现控制单元可以被配置为使得在再现开始位置处的图像作为静止图像显示在图像显示单元上的同时，连同与再现开始位置对应的帧的缩略图图像，在图像列表显示单元中显示与对应于另一位置的像素相关联地添加的时间戳的位置处的缩略图图像，其中，和对应于所指定的位置的像素相关联地添加的关于单词的数据相同的关于单词的数据与对应于所述另一位置的像素相关联地添加。然后，在这种情况下，当预定缩略图图像被用户操作单元选择时，再现控制单元可以将再现开始位置改变为该缩略图图像的帧的位置。

发明效果

根据本技术，观看者能够在再现中容易且准确地到达期望的图像/音频再现开始位置。注意，这里描述的效果仅是示例性的，并不限于该示例，并且可以具有进一步的附加效果。

附图说明

图1是示出根据实施例的记录/再现系统的配置示例的框图。

图2是由相机捕获的特定帧的图像的示例性视图。

图3是基于索引图像数据的索引图像的示例性视图。

图4是示出与描述时刻对应的时间码的图，其具有与构成索引描述的像素相关联地作为时间戳添加(嵌入)的值。

图5是再现时显示画面的示例性视图。

图6是示出记录/再现装置的配置示例的框图。

图7是示出索引图像生成单元中的处理的流程图。

图8是说明如何获得形状评估的值的图。

图9是示出记录/再现装置的配置示例的框图，其中对索引图像中包括的索引描述执行文字识别。

图10是基于添加到索引图像数据的单词的数据显示的参考信息的说明图。

具体实施方式

以下将描述用于实施本发明的模式(下文中，称为实施例)。注意，将按以下顺序给出描述。

1.实施例

2.修改

<1.实施例>

[记录/再现系统的配置示例]

图1示出了根据实施例的图像处理系统10的配置示例。图像处理系统10包括相机101和记录/再现装置102。

相机101捕获写入描述的人201在描述部分202中写入描述203的同时正在说话(补充，说明)的状态的图像，以获得运动图像数据以及与该运动图像数据对应的音频数据。在这种情况下，相机101被固定为具有可以对写入描述的人201和描述部分202进行成像的视角并且位于写入描述的人201的语音被收集的位置。

图2示出了由相机101捕获的特定帧的图像的示例。在该捕获图像中，描述203位于描述部分202的上侧，并且写入描述的人201位于描述部分202的前方。当写入描述的人201移动或做手势时，该帧中、描述203的在写入描述的人201后面的部分也可以由相机101在后续帧中进行成像。

作为写入描述的人201包括例如讲课的人(诸如在大学讲堂中向学生讲课的教授)、在公司的会议室中向其他成员做演讲的公司成员等。描述部分202是可写部分(诸如白板或黑板)，并且可以是讲堂或会议室中的可写墙部分。

记录/再现装置102在记录期间执行以下处理。换句话说，记录/再现装置102将时间码添加到通过使用相机101获得的运动图像数据和音频数据，并将数据记录在记录单元中。此外，记录/再现装置102处理通过使用相机101获得的运动图像数据以判定写入部分、生成用于将判定为写入部分的每个部分作为索引描述显示的索引图像数据、并将索引图像数据记录在记录单元中。注意，用于记录运动图像数据和音频数据的记录单元和用于记录索引图像数据的记录单元可以相同或不同，并且包括例如半导体存储器。

记录/再现装置102针对每个像素提取当前帧图像和基准帧图像之间的差异值，把握具有等于或大于阈值的差异值的一系列像素的组，并判定每个组是否具有写入部分。具体地，记录/再现装置102通过使用形状评估值、提取时间评估值和静止时间评估值来判定每个组是否具有写入部分。

记录/再现装置102根据包含该组的最小正方形与该组中包含的最大正方形的纵横比之间的关系获得形状评估值。此外，图像处理装置102对于包括在组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值来获得提取时间评估值。此外，图像处理装置102对于包括在组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值来获得静止时间评估值。

当描述部分202中的描述203的部分的擦除状态在固定时间段内被识别超过特定次数时，记录/再现装置102将到该点已经生成的索引图像数据判定为一项索引图像数据，并前进到生成新的索引图像数据的处理。因此，每当写入描述部分202中的描述203的部分被写入描述的人201完全擦除时，记录/再现装置102就生成新的索引图像数据。因此，在记录结束时，除了运动图像数据和音频数据之外，在记录单元中记录一项索引图像数据或多项索引图像数据(索引图像数据组)。

对于索引图像数据，与构成索引描述的每个像素相关联地添加与写入描述的时刻对应的时间码的值作为时间戳。图3示出了基于索引图像数据的图像(即索引图像)的示例。该索引图像包括索引描述203A。

图4示出了对应于描述时刻的时间码，其具有与构成索引描述的像素相关联地作为时间戳添加(嵌入)的值。在所示的示例中，对应于已经描述了每个像素的时刻的时间戳“t0”与构成文字“A”的顶部的每个像素相关联。此外，在所示的示例中，对应于已经描述了每个像素的时刻的时间戳“t1”与构成文字“B”的底部的每个像素相关联。

此外，在再现中，记录/再现装置102执行以下处理。换句话说，记录/再现装置102从记录单元读取索引图像数据，并基于该索引图像数据在索引图像显示单元上显示具有索引描述的索引图像。在这种状态下，当观看者操作用户操作单元以在索引图像中指定索引描述的期望描述内容的位置时，记录/再现装置102基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳控制记录在记录单元中的运动图像数据和音频数据的再现开始位置。

在这种情况下，记录/再现装置102在开始再现之前在再现图像显示单元上将再现开始位置处的图像作为静止图像显示。在这种状态下，当观看者操作用户操作单元以指示再现时，记录/再现装置102从再现开始位置起开始运动图像数据和音频数据的再现，并开始图像显示和音频输出。

此外，记录/再现装置102在再现开始位置处的图像作为静止图像在图像显示单元上显示的同时，在图像列表显示单元上显示包括再现开始位置的预定范围内的帧的缩略图图像。该预定范围被定义为例如仅在再现开始位置之前的帧上的范围或在再现开始位置之前和之后的帧上的范围。在这种状态下，当观看者操作用户操作单元以选择期望的缩略图图像时，记录/再现装置102将再现开始位置改变为所选择的缩略图图像的帧位置。

图5示出了再现时的显示画面的示例。该显示画面包括索引图像显示单元301、图像列表显示单元302和再现图像显示单元303。如上所述，索引图像显示单元301基于索引图像数据显示索引图像。在所示的示例中，存在由“索引00”、“索引01”和“索引02”标识的三个索引图像，并且在正面显示由观看者选择的“索引00”的索引图像。

此外，所示的示例示出了观看者操作用户操作单元以指定由鼠标指针304指示的“索引00”的索引图像中的索引描述的位置(二维坐标位置)。在再现图像显示单元303中，具有由与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳指示的时间码值的帧图像被作为静止图像显示为再现开始位置处的图像。

在图像列表显示单元302中，显示包括再现开始位置的预定范围内的帧的缩略图图像。在所示的示例中，以时间序列显示在再现开始位置之前和之后的帧上的范围内的缩略图图像。在这种状态下，当观看者选择期望的缩略图图像时，再现开始位置改变为所选择的缩略图图像的帧位置，并且再现图像显示单元303中显示的静止图像和图像列表显示单元302中显示的缩略图图像随着再现开始位置的改变而改变。

注意，在所示的示例中，显示四帧上的缩略图图像，即，在再现开始位置处的帧之前的两帧和其后的一帧，但是要显示的帧的数量不限于此。此外，帧不需要以一帧的间隔显示，并且可以以预定数量的帧的间隔显示。此外，该帧间隔可以由用户适当地调整。

当再现开始位置处的帧图像作为静止图像在再现图像显示单元303中显示时，观看者操作用户操作单元以指示再现，运动图像数据和音频数据的再现从再现开始位置起开始，因此，再现图像显示单元303从再现开始位置起顺序地显示再现图像。此外，与再现图像的显示同步，还从未示出的音频输出单元输出再现声音。

[记录/再现装置的配置]

图6示出了记录/再现装置102的配置示例。记录/再现装置102包括控制单元121、用户操作单元122和通信接口(通信I/F)123。记录/再现装置102还包括数据输入单元131、编码单元132、记录/再现单元133、索引图像生成单元134、解码单元135、显示处理单元136、图像显示单元137和音频输出单元138。

控制单元121控制记录/再现装置102的每个单元的操作。用户操作单元122构成用户接口并且包括键、触摸板、遥控器等，以供用户的(在再现的情况下的观看者)执行各种操作。通信接口123在控制单元121的控制下与位于诸如因特网的网络上的服务器通信，并且从该服务器获取例如期望的信息。

数据输入单元131是用于输入通过使用相机101获得的运动图像数据和音频数据的部件。例如，数据输入单元131可以是连接相机101的线缆连接单元。此外，例如，当数据输入单元131通过通信连接到相机101时，数据输入单元131可以具有无线或有线通信接口。

编码单元132对输入到数据输入单元131的运动图像数据和音频数据进行编码。在记录期间，记录/再现单元133将由编码单元132获得的编码图像和音频数据记录在诸如半导体存储器的记录介质(未示出)中，其中所述编码图像和音频数据添加有时间码TC。

索引图像生成单元134处理输入到数据输入单元131的运动图像数据，判定写入描述部分202中的描述203的部分，并生成用于将判定为写入部分的各部分作为索引描述显示的索引图像数据。在这种情况下，与构成索引描述的每个像素相关联地将与描述时刻对应的时间码TC的值添加到索引图像数据。索引图像生成单元134针对每个帧，通过软件(例如，基于程序)执行从图7的流程图的开始到结束的处理。

首先，在步骤ST1中，索引图像生成单元134提取每个像素中的特定帧的图像与基准帧图像(最初，在描述部分202中写入描述之前的状态中的帧图像)之间的差异，从差异提取的结果中提取像素值具有较大差异的像素(即，已从基准帧图像的状态改变的像素)，并且把握一系列这样的像素的组(预定数量的像素)。

如上所述，在步骤ST1中把握的组包括描述203的部分，但是还包括写入描述的人201的部分等。在以下步骤中，判定每个组是否具有描述203的部分。对于该判定，使用形状评估、提取时间评估和静止时间评估的值。

接下来，在步骤ST2中，索引图像生成单元134获得形状评估的值α。索引图像生成单元134基于包含组的最小正方形(外部正方形)和包含在该组中的最大正方形(内部正方形)的纵横比之间的关系来获得该值α。图8(a)示出了与描述203的部分对应的组的示例，并且由箭头Po指示的正方形表示外部正方形，且由箭头Pi指示的正方形表示内部正方形。此外，图8(b)示出了与写入描述的人201的部分对应的组的示例，并且由箭头Qo指示的正方形表示外部正方形，且由箭头Qi指示的正方形表示内部正方形。

在与描述203的部分对应的组的情况下，内部正方形(Pi)小于外部正方形(Po)，并且形状评估的值α变大。另一方面，与写入描述的人201的部分对应的组大于与描述203的部分对应的组，并且内部正方形(Qi)与外部正方形(Qo)相比也具有特定尺寸。因此，形状评估的值α变小。

接下来，在步骤ST3中，索引图像生成单元134获得提取时间评估的值β。索引图像生成单元134对于包括在组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值来获得该值β，并且随着具有大的差异的值的帧的数量增加，值β变大。

例如，索引图像生成单元134针对包括在该组中的像素(所有像素或一些像素)判定帧(差异提取帧)是否与基准帧图像具有大的差异，累积判定的结果，并将连续差异提取帧的数量(例如，如果对多个像素执行该评估，则为平均值)定义为评估值β。

在描述203的部分的情况下，在写入之后保持提取大的差异，则评估值β变大。另一方面，在诸如写入描述的人201的移动部分的情况下，当写入描述的人201已经过去时，中断大差异的提取，并且评估值β变小。然而，当写入描述的人201保持而不移动时，评估值β可能变大，而不管写入描述的人201的部分如何。

接下来，在步骤ST4中，索引图像生成单元134获得静止状态评估的值γ。索引图像生成单元134对于包括在组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值来获得该值γ，并且，随着具有大的差异的值的帧的数量增加，值γ变大。

例如，索引图像生成单元134针对包括在组中的像素(所有像素或一些像素)累积与一帧前的像素差，并判定像素差的值的倒数(例如，如果对多个像素执行该评估，则为平均值)作为评估值γ。

在描述203的部分的情况下，与一帧前的图像之间的像素差的值是零或小，并且评估值γ变大。另一方面，在写入描述的人201的人移动或做手势的部分的情况下，与一帧前的图像之间的像素差的值大，并且评估值γ变小。

接下来，在步骤ST5中，索引图像生成单元134将在步骤ST2至ST4中获得的各个评估的值α、β和γ替换为评估函数E(α，β，γ)，以获得用于判定是否存在描述的评估值。然后，在步骤ST5中，当评估值大于阈值THr时，索引图像生成单元134判定该组具有写入部分(描述203的部分)。

接下来，在步骤ST6中，索引图像生成单元134将在步骤ST5中被判定为写入部分的组中包括的每个像素保持为索引描述的像素。注意，以这种方式判定为写入部分的组还包括包括之前已被保持的像素作为写入部分的组。该组被识别为在那之后被擦除，并且不再被保持为索引描述的像素。

这里，单词“保持”意味着例如将包括在被判定为写入部分的组中的每个像素的值写入并保持到帧存储器的对应像素位置。这里，代替将包括在被判定为写入部分的组中的每个像素的值本身写入帧存储器的对应像素位置，仅关于被判定为写入部分的组中包括的每个像素的像素位置的信息可以被保持。

当将被判定为写入部分的组中包括的每个像素保持为索引描述的像素时，索引图像生成单元134与每个像素相关联地将与描述时刻对应的时间码的值(例如，在组被判定为写入部分的时间点处的时间码TC的值)添加为时间戳(参见图4)。

接下来，在步骤ST7中，索引图像生成单元134生成其中当前保持作为索引描述的每个像素的值具有与描述203对应的值的帧图像，并且帧图像被改变为新的基准帧图像。在下一帧中的描述判定处理中，使用以这种方式如此更新的基准帧图像。

接下来，在步骤ST8中，索引图像生成单元134判定一项索引图像数据的生成结束。在这种情况下，当上述擦除状态在固定时间段内被识别出特定次数或更多次时，判定完成一项索引图像数据的生成，从而将直到该点生成的索引图像数据判定为一项索引图像数据，处理前进到新的索引图像数据的生成。索引图像生成单元134还在运动图像数据和音频数据的记录结束时判定完成一项索引图像数据的生成，并且将直到该点生成的索引图像数据判定为一项索引图像数据。

返回图6，在记录期间，记录/再现单元133将时间码TC添加到如上所述由编码单元132获得的编码图像和音频数据，并且将数据记录在记录介质中并在记录介质中记录由索引图像生成单元134生成的预定数量项的索引图像数据。

此外，在再现中，记录/再现单元133从记录介质再现预定数量项的索引图像数据，并将索引图像数据发送到显示处理单元136。此外，响应于来自观看者指定再现开始位置、再现指令等的操作，记录/再现单元133在控制单元133的控制下从记录介质再现图像显示或音频输出所需的编码图像和音频数据，并将数据发送到解码单元133。解码单元135对编码图像和音频数据进行解码，以获得图像数据和音频数据。

基于由解码单元135获得的图像数据和由记录/再现单元133获得的索引图像数据，并且进一步响应于来自用户操作单元122的观看者的操作，显示处理单元136在控制单元121的控制下生成用于获得显示画面的显示图像数据(参见图5)。图像显示单元137呈现基于由显示处理单元136获得的显示图像数据的显示画面。此外，音频输出单元138输出基于由解码单元135获得的音频数据的音频。

将简要描述图6所示的记录/再现装置的操作。首先，将描述记录期间的操作。由相机101获得的运动图像数据和音频数据被输入到数据输入单元131。运动图像数据和音频数据被提供给编码单元132并被编码。在添加时间码TC之后，编码图像和音频数据被提供给记录/再现单元133并记录在记录介质中。

此外，从相机101输入到数据输入单元131的运动图像数据被提供给索引图像生成单元134。在索引图像生成单元134中，处理运动图像数据以判定写入描述部分202中的描述203的部分，并且生成索引图像数据，以将被判定为写入部分的各部分显示为索引描述。索引图像数据被提供给记录/再现单元133并记录在记录介质中。

接下来，将描述再现期间的操作。在记录/再现单元133中，索引图像数据从记录介质再现并提供给显示处理单元136。在显示处理单元136中，基于索引图像数据，生成显示图像数据以在显示画面的索引图像显示单元301中显示索引图像。显示图像数据被提供给图像显示单元137，并且在其上显示索引图像的显示画面被呈现在索引图像显示单元301中。

在这种状态下，当观看者操作用户操作单元122以指定索引图像中的索引描述的期望位置(二维坐标位置)时，控制单元121识别出具有由与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳指示的时间码值的帧是再现开始位置。

此时，在记录/再现单元133中，在控制单元121的控制下，开始位置处的帧以及帧之前和之后的帧的编码图像数据被再现，并且编码图像数据被编码单元135解码以提供给显示处理单元136。在显示处理单元136中，基于每帧的图像数据，生成显示图像数据以将再现开始位置处的图像作为静止图像显示在显示画面的再现图像显示单元303中，以及在图像列表显示单元302中显示再现开始位置之前和之后的帧的缩略图图像。

显示图像数据被提供给图像显示单元137并呈现其中索引图像显示在索引图像显示单元301中的显示画面(参见图5)，再现开始位置处的图像显示在再现图像显示单元303中，并且再现开始位置之前和之后的帧的缩略图图像以时间序列显示在图像列表显示单元302中。

在这种状态下，当观看者操作用户操作单元122以选择与再现开始位置处的缩略图图像不同的缩略图图像时，控制单元121识别出再现开始位置被改变为所选的缩略图图像的帧位置。此时，在记录/再现单元133中，在控制单元121的控制下，改变后的再现开始位置处的帧以及帧之前和之后的帧的编码图像数据被再现，并且编码图像数据被编码单元135解码以提供给显示处理单元136。因此，在图像显示单元137上呈现的显示画面中，再现图像显示单元303和图像列表显示单元302中的图像显示对应于改变后的再现开始位置。

当再现开始位置处的图像作为静止图像在再现图像显示单元303中显示时，观看者操作用户操作单元122以指示再现，记录/再现单元133在控制单元121的控制下从再现开始位置起再现编码图像和音频数据，编码图像和音频数据由解码单元135解码，并且获得运动图像数据和音频数据。

由解码单元135获得的运动图像数据被提供给显示处理单元136。在显示处理单元136中，基于运动图像数据，生成显示图像数据以在显示画面的再现图像显示单元303中显示运动图像。显示图像数据被提供给图像显示单元137，并且在其上显示运动图像的显示画面被呈现在再现图像显示单元303中。注意，在这种情况下，可以在呈现在图像显示单元137上的整个显示画面上显示运动图像。

此外，由解码单元135获得的音频数据被提供给音频输出单元138。音频输出单元138被配置为提供与在图像显示单元137上显示的运动图像数据对应的音频输出。

注意，当期望从另一再现开始位置再现时，观看者优选地在图像显示单元137上呈现的显示画面上的索引图像显示单元301中选择期望的索引图像，并且执行操作以指定所选索引图像中的索引描述的期望位置。

如上所述，在图1所示的记录/再现系统10中，记录/再现装置102被配置为在记录时记录生成的索引图像数据，以将通过处理运动图像数据而判定的被判定为写入部分的每个部分作为索引描述显示，并且记录/再现装置102还被配置为与构成索引描述的每个像素相关联地将与描述时刻相对应的时间码的值作为时间戳添加到索引图像数据。因此，在再现时，索引图像数据用于显示具有索引描述的索引图像，并且观看者能够基于索引描述的内容指定任意位置以容易地到达与对应于所指定的位置的描述时刻对应的图像/音频再现开始位置。

此外，在图1所示的记录/再现系统10中，记录/再现装置102被配置为使得在再现时，基于索引图像数据显示具有索引描述的索引图像，并且指定索引描述的任意位置，以及基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳来控制运动图像数据和音频数据的再现开始位置。因此，观看者可以基于索引描述的内容指定任意位置，以容易且准确地到达与对应于所指定的位置的描述时刻对应的图像/音频再现开始位置。

此外，在图1所示的记录/再现系统10中，记录/再现装置102被配置为使得在再现时，在开始再现之前，再现开始位置处的图像被作为静止图像显示在再现图像显示单元303中，并且响应于来自观看者的再现指令，从再现开始位置起开始运动图像数据和音频数据的再现。因此，观看者能够在确认再现开始位置处的图像之后发出再现指令。

此外，在图1所示的记录/再现系统10中，记录/再现装置102被配置为使得在再现时，在再现开始位置处的图像被作为静止图像显示在再现图像显示单元303中的同时，在图像列表显示单元302中显示包括再现开始位置的预定范围内的帧的缩略图图像，并且当观看者选择预定的缩略图图像时，将再现开始位置改变为所选择的缩略图图像的帧的位置。因此，观看者可以参考缩略图图像容易且适当地改变再现开始位置。

例如，在记录讲座的声音和图像时，预期记录的图像/音频量将随着讲座数量的增加而继续增加，并且总记录时间将是巨大的。在浏览时，不可能查看记录的大量图像/音频，从而需要准确且快速地浏览必要部分。

在本技术中，由写入描述的人所写入的描述的内容被投影在索引图像中，因此，观看索引图像使得能够把握整个图像的概要。此外，基于示出期望浏览索引图像中的细节的项目的描述的内容，可以立即浏览期望内容的图像/音频。图像/音频可以帮助观看者理解讲座，从而使得在更短的时间内理解内容。

此外，例如，在记录会议时，该记录帮助快速浏览稍后所需的会议内容的部分，从而即使在商业情况下也提高效率并减少工时。

<2.修改>

注意，在上述实施例中，已经描述了对于索引图像数据，与构成索引描述的每个像素相关联地添加与描述时刻对应的时间码的值作为时间戳。可以对索引图像中包括的索引描述执行文字识别以识别单词，此外，可以与构成与该单词对应的索引描述的每个像素相关联地将关于所识别的单词的数据(文本数据)添加到索引图像数据。

图9示出了记录/再现装置102A的配置示例，其中对索引图像中包括的索引描述执行文字识别。记录/再现装置102A被类似于图6中所示的记录/再现装置102A配置，并且还包括文字识别单元139。

在控制单元121的控制下，文字识别单元139读取记录在记录/再现单元133的记录介质中的索引图像数据，并且基于索引图像数据，对索引图像中包括的索引描述执行文字识别处理，以识别索引描述中包括的单词。此外，在文字识别单元139中，与构成对应于该单词的索引描述的每个像素相关联地将关于所识别的单词的数据(文本数据)进一步添加到索引图像数据。以这种方式添加有关于单词的数据的索引图像数据被提供给记录/再现单元133并再次记录在记录介质中，并保持索引图像数据。

将索引描述中包括的关于单词的数据添加到索引图像数据使得例如能够以具有高出现频率的单词作为触发来连续地再现与出现时刻对应的所有图像，或者使得能够显示单词或者相关图像的含义作为参考信息。该参考信息例如通过通信接口123从因特网上的服务器获取。

图10示出了参考信息的显示示例。示出的示例示出了观看者操作用户操作单元以指定由鼠标指针304指示的“索引00”的索引图像中的索引描述的位置(二维坐标位置)。在这种情况下，在再现图像显示单元303中，具有由与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳指示的时间码值的帧图像作为静止图像显示为再现开始位置处的图像。

此外，所示的示例示出了与对应于所指定的位置的像素相关联地添加关于单词“ABCD”的数据。因此，获取与单词“ABCD”有关的参考信息，并且显示参考信息图像305以将其自身叠加在再现图像显示单元303上。注意，在所示的示例中，观看者指定文字“D”的部分，但是，例如，即使当观众指定文字“A”到“C”中的任何一个时，单词“ABCD”的数据也与文字相关联地被添加到索引图像数据，并且以类似的方式显示参考信息。

此外，例如，将索引描述中包括的单词的数据添加到索引图像数据可以使得索引图像中的检测或索引图像之间的检测成为可能，以用于指定所记录的运动图像中的所识别的单词的部分。在这种情况下，在图5的图像列表显示单元302中，不是时间序列缩略图图像，而是与由观看者指定的位置对应的再现开始位置处的帧的缩略图图像和其中显示与所指定的位置处的单词相同的单词的另一帧的缩略图图像并排。然后，当观看者选择了期望的缩略图图像时，再现开始位置改变为所选择的缩略图图像的帧的位置。

注意，如上所述，在将关于所识别的单词的数据(文本数据)被添加到索引图像数据的情况下，与构成对应于该单词的索引描述的每个像素相关联地，与出现相同单词的一个或多个其他帧对应的时间码TC的值可以作为时间戳添加。

此外，在上述实施例中，处理通过对写入描述的人201在描述部分202(诸如白板或黑板)中写入描述203的同时正在说明的状态进行成像而获得的运动图像数据，但是也可以处理其他类似的运动图像数据。例如，通过对写入描述的人在桌子上的纸上写入描述的同时正在说明的状态进行成像而获得的运动图像数据可以被以类似的方式处理，以便于再现。

此外，关于描述部分202的描述不仅限于文字，并且可以是图形或标记，并且描述不限于写入描述，而是可以是放置在描述部分202上的显示。

此外，本技术还可以包括以下配置。

(1)一种记录装置，包括：

图像/音频记录单元，用于将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在记录单元中；以及

索引图像记录单元，用于处理所述运动图像数据、判定写入所述描述部分中的所述写入部分、生成用于将被判定为所述写入部分的各部分作为索引描述显示的索引图像数据、以及将所述索引图像数据记录在记录单元中，

其中，对于所述索引图像数据，与构成所述索引描述的各像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

(2)根据(1)所述的记录装置，其中，

所述索引图像记录单元

针对每个像素提取当前帧图像和基准帧图像之间的差异值，把握具有等于或大于阈值的差异值的一系列像素的组，并判定每个组是否具有所述写入部分。

(3)根据(2)所述的记录装置，其中，

所述索引图像记录单元通过使用形状评估值、提取时间评估值和静止时间评估值来判定每个组是否具有所述写入部分，以及

所述索引图像记录单元

基于包含该组的最小正方形与该组中包含的最大正方形的纵横比之间的关系判定形状评估值，

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值获得提取时间评估值，以及

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值获得静止时间评估值。

(4)根据(1)至(3)中任一项所述的记录装置，其中，

所述索引图像记录单元

在写入描述部分中的写入部分的擦除状态在固定时间段内被识别超过特定次数时，将到该点已经生成的索引图像数据判定为一项索引图像数据并且转移到生成新索引图像数据的过程。

(5)根据(1)至(4)中任一项所述的记录装置，还包括：

文字识别单元，用于对所述索引描述执行文字识别以识别单词，

其中，所述索引图像数据包括与构成与所识别的单词对应的所述索引描述的每个像素相关联的关于所述单词的数据。

(6)一种记录方法，包括：

图像/音频记录步骤，通过使用图像/音频记录单元将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在记录单元中；以及

索引图像记录步骤，通过使用索引图像记录单元处理所述运动图像数据、判定写入所述描述部分中的写入部分、生成用于将被判定为所述写入部分的各部分作为索引描述显示的索引图像数据、以及将所述索引图像数据记录在记录单元中，

其中，对于索引图像数据，与构成所述索引描述的各像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

(7)一种再现装置，包括：

索引图像显示控制单元，用于从记录单元读取索引图像数据，以在索引图像显示单元上基于所述索引图像数据显示具有索引描述的索引图像，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间码的值；

用户操作单元，用于指定在显示单元上显示的索引图像的索引描述的任意位置；以及

再现控制单元，用于基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在记录单元中的运动图像数据和音频数据的再现开始位置。

(8)根据(7)所述的再现装置，其中，

所述再现控制单元

在开始再现之前，在再现图像显示单元上将再现开始位置处的图像作为静止图像显示。

(9)根据(8)所述的再现装置，其中，

所述再现控制单元在与再现开始位置对应的图像作为静止图像显示在再现图像显示单元上的同时接收到来自用户操作单元的再现指令时，从再现开始位置起开始运动图像数据和音频数据的再现。

(10)根据(8)或(9)所述的再现装置，其中，

所述再现控制单元

在再现开始位置处的图像作为静止图像显示在再现图像显示单元上的同时，在图像列表显示单元上显示包括再现开始位置的预定范围内的帧的缩略图图像。

(11)根据(10)所述的再现装置，其中，

所述再现控制单元

在预定缩略图图像被所述用户操作单元选择时，将再现开始位置改变为该缩略图图像的帧的位置。

(12)根据(8)至(11)中任一项所述的再现装置，其中，

与构成与使用文字识别识别的单词对应的索引描述的每个像素相关联地，关于所述单词的数据被添加到索引图像数据，

所述再现装置还包括信息获取单元，用于与对应于由所述用户操作单元指定的位置的像素相关联地，基于添加到索引图像数据的关于单词的数据，获取与所述单词有关的信息，以及

所述再现控制单元

在再现开始位置处的图像上重叠显示所获取的信息。

(13)根据(8)至(12)中任一项所述的再现装置，其中，

与构成与使用文字识别识别的单词对应的索引描述的每个像素相关联地，关于所述单词的数据被添加到索引图像数据，并且所述再现控制单元，并且

所述再现控制单元

在再现开始位置处的图像作为静止图像显示在图像显示单元上的同时，连同与再现开始位置对应的帧的缩略图图像，在图像列表显示单元中显示与对应于另一位置的像素相关联地添加的时间戳的位置处的缩略图图像，其中，和对应于所指定的位置的像素相关联地添加的关于单词的数据相同的关于单词的数据与对应于所述另一位置的像素相关联地添加。

(14)根据(13)所述的再现装置，其中，

所述再现控制单元

在预定缩略图图像被用户操作单元选择时，将再现开始位置改变为该缩略图图像的帧的位置。

(15)一种再现方法，包括：

索引图像显示控制步骤，用于通过使用索引图像显示控制单元从记录单元读取索引图像数据，以在显示单元上基于所述索引图像数据显示具有索引描述的索引图像，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间的值；以及

再现控制步骤，用于通过使用再现控制单元响应于对在显示单元上显示的索引图像的索引描述的任意位置的指定，基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在记录单元中的运动图像数据和音频数据的再现开始位置。

(16)一种记录/再现装置，包括：

图像/音频记录单元，用于将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在第一记录单元中；

索引图像记录单元，用于处理所述运动图像数据、判定写入所述描述部分中的写入部分、生成用于显示判定为所述写入部分的各部分作为索引描述的索引图像数据、以及将所述索引图像数据记录在第二记录单元中，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间码的值；

索引图像显示控制单元，用于从第二记录单元读取索引图像数据，以在显示单元上基于该索引图像数据显示具有索引描述的索引图像；

用户操作单元，用于指定在显示单元上显示的索引图像的索引描述的任意位置；以及

再现控制单元，用于基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在第一记录单元中的运动图像数据和音频数据的再现开始位置。

附图标记列表

10记录/再现系统

101相机

102、102A记录/再现装置

121控制单元

122用户操作单元

123通信接口

131数据输入单元

132编码单元

133记录/再现单元

134索引图像生成单元

135解码单元

136显示处理单元

137图像显示单元

138音频输出单元

139文字识别单元

301索引图像显示单元

302再现图像显示单元

303图像列表显示单元

304鼠标指针

305参考信息图像

Claims (11)

1.一种记录装置，包括：

图像/音频记录单元，用于将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像以使得所述人和所述描述被成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在记录单元中；以及

索引图像记录单元，用于处理所述运动图像数据、判定写入所述描述部分中的所述写入部分、生成用于将被判定为所述写入部分的各部分作为索引描述显示的索引图像数据、以及将所述索引图像数据记录在记录单元中，

其中，所述索引图像记录单元针对每个像素提取当前帧图像和基准帧图像之间的差异值，把握具有等于或大于阈值的差异值的一系列像素的组，并判定每个组是否具有所述写入部分，并且

所述索引图像记录单元通过使用形状评估值、提取时间评估值和静止时间评估值来判定每个组是否具有所述写入部分，并且

所述索引图像记录单元

基于包含该组的最小正方形与该组中包含的最大正方形的纵横比之间的关系判定形状评估值，

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值获得提取时间评估值，以及

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值获得静止时间评估值，

其中，对于所述索引图像数据，与构成所述索引描述的各像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

2.根据权利要求1所述的记录装置，其中，

所述索引图像记录单元

在写入描述部分中的写入部分的擦除状态在固定时间段内被识别超过特定次数时，将到该点已经生成的索引图像数据判定为一项索引图像数据并且转移到生成新索引图像数据的过程。

3.根据权利要求1所述的记录装置，还包括：

文字识别单元，用于对所述索引描述执行文字识别以识别单词，

其中，所述索引图像数据包括与构成与所识别的单词对应的所述索引描述的每个像素相关联的关于所述单词的数据。

4.一种记录方法，包括：

图像/音频记录步骤，通过使用图像/音频记录单元将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像以使得所述人和所述描述被成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在记录单元中；以及

索引图像记录步骤，通过使用索引图像记录单元处理所述运动图像数据、判定写入所述描述部分中的写入部分、生成用于将被判定为所述写入部分的各部分作为索引描述显示的索引图像数据、以及将所述索引图像数据记录在记录单元中，

其中，所述索引图像记录步骤通过使用形状评估值、提取时间评估值和静止时间评估值来判定每个组是否具有所述写入部分，并且

基于包含该组的最小正方形与该组中包含的最大正方形的纵横比之间的关系判定形状评估值，

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值获得提取时间评估值，以及

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值获得静止时间评估值，

其中，对于索引图像数据，与构成所述索引描述的各像素相关联地添加与描述时刻对应的时间码的值作为时间戳。

5.一种再现装置，包括：

索引图像显示控制单元，用于从记录单元读取索引图像数据，以在索引图像显示单元上基于所述索引图像数据显示具有索引描述的索引图像，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间码的值；

用户操作单元，用于指定在显示单元上显示的索引图像的索引描述的任意位置；以及

再现控制单元，用于基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在记录单元中的运动图像数据和音频数据的再现开始位置，

其中，所述再现控制单元在开始再现之前，在再现图像显示单元上将再现开始位置处的图像作为静止图像显示，

与构成与使用文字识别识别的单词对应的索引描述的每个像素相关联地，关于所述单词的数据被添加到索引图像数据，

所述再现装置还包括信息获取单元，用于与对应于由所述用户操作单元指定的位置的像素相关联地，基于添加到索引图像数据的关于单词的数据，获取与所述单词有关的信息，以及

所述再现控制单元

在再现开始位置处的图像上重叠显示所获取的信息，或者

在再现开始位置处的图像作为静止图像显示在图像显示单元上的同时，连同与再现开始位置对应的帧的缩略图图像，在图像列表显示单元中显示与对应于另一位置的像素相关联地添加的时间戳的位置处的缩略图图像，其中，和对应于所指定的位置的像素相关联地添加的关于单词的数据相同的关于单词的数据与对应于所述另一位置的像素相关联地添加。

6.根据权利要求5所述的再现装置，其中，

所述再现控制单元在再现开始位置处的图像作为静止图像显示在再现图像显示单元上的同时接收到来自用户操作单元的再现指令时，从再现开始位置起开始运动图像数据和音频数据的再现。

7.根据权利要求5所述的再现装置，其中，

所述再现控制单元

在再现开始位置处的图像作为静止图像显示在再现图像显示单元上的同时，在图像列表显示单元上显示包括再现开始位置的预定范围内的帧的缩略图图像。

8.根据权利要求7所述的再现装置，其中，

所述再现控制单元

在预定缩略图图像被所述用户操作单元选择时，将再现开始位置改变为该缩略图图像的帧的位置。

9.根据权利要求5所述的再现装置，其中，

所述再现控制单元

在预定缩略图图像被用户操作单元选择时，将再现开始位置改变为该缩略图图像的帧的位置。

10.一种再现方法，包括：

索引图像显示控制步骤，用于通过使用索引图像显示控制单元从记录单元读取索引图像数据，以在显示单元上基于所述索引图像数据显示具有索引描述的索引图像，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间码的值；以及

再现控制步骤，用于通过使用再现控制单元响应于对在显示单元上显示的索引图像的索引描述的任意位置的指定，基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在记录单元中的运动图像数据和音频数据的再现开始位置，

其中，在再现控制步骤中，在开始再现之前，在再现图像显示单元上将再现开始位置处的图像作为静止图像显示，

与构成与使用文字识别识别的单词对应的索引描述的每个像素相关联地，关于所述单词的数据被添加到索引图像数据，

所述再现方法还包括用于与对应于指定的位置的像素相关联地，基于添加到索引图像数据的关于单词的数据，获取与所述单词有关的信息的步骤，并且

在所述再现控制步骤中，

在再现开始位置处的图像上重叠显示所获取的信息，或者

在再现开始位置处的图像作为静止图像显示在图像显示单元上的同时，连同与再现开始位置对应的帧的缩略图图像，在图像列表显示单元中显示与对应于另一位置的像素相关联地添加的时间戳的位置处的缩略图图像，其中，和对应于所指定的位置的像素相关联地添加的关于单词的数据相同的关于单词的数据与对应于所述另一位置的像素相关联地添加。

11.一种记录/再现装置，包括：

图像/音频记录单元，用于将时间码添加到通过对写入描述的人在描述部分中写入描述的同时正进行说明的状态进行成像以使得所述人和所述描述被成像而获得的运动图像数据以及与所述运动图像数据对应的音频数据，以将数据记录在第一记录单元中；

索引图像记录单元，用于处理所述运动图像数据、判定写入所述描述部分中的写入部分、生成用于显示判定为所述写入部分的各部分作为索引描述的索引图像数据、以及将所述索引图像数据记录在第二记录单元中，所述索引图像数据包括与构成所述索引描述的每个像素相关联地作为时间戳添加的与描述时刻对应的时间码的值；

索引图像显示控制单元，用于从第二记录单元读取索引图像数据，以在显示单元上基于该索引图像数据显示具有索引描述的索引图像；

用户操作单元，用于指定在显示单元上显示的索引图像的索引描述的任意位置；以及

再现控制单元，用于基于与对应于所指定的位置的像素相关联地添加到索引图像数据的时间戳，控制记录在第一记录单元中的运动图像数据和音频数据的再现开始位置，

其中，所述索引图像记录单元针对每个像素提取当前帧图像和基准帧图像之间的差异值，把握具有等于或大于阈值的差异值的一系列像素的组，并判定每个组是否具有所述写入部分，并且

所述索引图像记录单元通过使用形状评估值、提取时间评估值和静止时间评估值来判定每个组是否具有所述写入部分，并且

所述索引图像记录单元

基于包含该组的最小正方形与该组中包含的最大正方形的纵横比之间的关系判定形状评估值，

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的基准帧图像之间的差异的值获得提取时间评估值，以及

对于包括在该组中的像素，基于在当前帧和当前帧之前的多个帧中的一帧前的帧图像之间的差异的值获得静止时间评估值。

Images