KR100564893B1

KR100564893B1 - 프레임정보 기술방법 및 그 장치, 프레임정보 생성방법 및 그 장치, 특수재생방법 및 그 장치, 특수재생 제어정보 생성장치 및 컴퓨터 독출가능한 기록매체

Info

Publication number: KR100564893B1
Application number: KR1020010038300A
Authority: KR
Inventors: 호리오사무; 가네코도시미츠; 미타다케시; 야마모토고지; 마스쿠라고이치
Original assignee: 가부시끼가이샤 도시바
Priority date: 2000-06-30
Filing date: 2001-06-29
Publication date: 2006-03-30
Anticipated expiration: 2021-06-29
Also published as: CN1367612A; EP1168840A3; US20030086692A1; US20030002853A1; US20020051081A1; KR20020007158A; EP1168840A2

Abstract

본 발명의 특수재생 제어정보 생성장치는, 영상데이터 기억부, 영상데이터 처리부, 특수재생 제어정보 기억부를 구비하되, 영상데이터 처리부가 영상위치정보 처리부와 표시시간 제어정보 처리부를 구비한다. 영상데이터 처리부는 영상데이터 기억부로부터 대상으로 되는 영상데이터를 읽어들이고, 영상위치정보 처리부로 특수재생에 제공되는 프레임을 추출하며, 추출한 각 프레임의 원 영상데이터에서의 위치를 나타내는 영상위치정보를 작성하고, 표시시간 제어정보 처리부로 각 프레임의 표시시간을 나타내는 표시시간 제어정보를 작성한다. 영상데이터 처리부는 각 프레임의 영상위치정보와 표시시간 제어정보를 프레임정보로서 배열한 특수재생 제어정보를 작성하고, 이것을 특수재생 제어정보 기억부에 격납한다.

Description

프레임정보 기술방법 및 그 장치, 프레임정보 생성방법 및 그 장치, 특수재생방법 및 그 장치, 특수재생 제어정보 생성장치 및 컴퓨터 독출가능한 기록매체 {FRAME INFORMATION DESCRIPTION METHOD AND APPARATUS, FRAME INFORMATION GENERATING METHOD AND APPARATUS, SPECIAL REPRODUCING METHOD AND APPARATUS, APPARATUS FOR GENERATING A SPECIAL REPRODUCTION CONTROL INFORMATION, AND COMPUTER-READABLE RECORDING MEDIUM}

도 1은 본 발명의 한 실시형태에 따른 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 2는 특수재생 제어정보 생성장치의 구성례를 나타낸 도면,

도 3은 특수재생 제어정보 생성장치의 다른 구성례를 나타낸 도면,

도 4는 도 2의 경우의 처리수순의 일례를 나타낸 플로우챠트,

도 5는 도 3의 경우의 처리수순의 일례를 나타낸 플로우챠트,

도 6은 영상재생장치의 구성례를 나타낸 도면,

도 7은 도 6의 경우의 처리수순의 일례를 나타낸 플로우챠트,

도 8은 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 9는 원 영상프레임을 참조하는 위치를 나타내는 영상위치정보에 대해 설명하는 도면,

도 10은 화상데이터 파일을 참조하는 영상위치정보에 대해 설명하는 도면,

도 11은 화면의 움직임에 따른 화상데이터의 추출방법에 대해 설명하는 도 면,

도 12는 원 영상프레임을 참조하는 위치를 나타내는 영상위치정보에 대해 설명하는 도면,

도 13은 화상데이터 파일을 참조하는 영상위치정보에 대해 설명하는 도면,

도 14는 원 영상정보로서 기술(記述)하는 프레임의 위치정보에 시간적인 폭을 갖게 하는 경우의 프레임정보의 데이터구조를 나타낸 도면,

도 15는 원 영상프레임을 참조하는 영상위치정보에 시간적인 폭을 갖게 한 예를 설명하는 도면,

도 16은 화상데이터 파일을 참조하는 영상위치정보에 시간적인 폭을 갖게 한 예를 설명하는 도면,

도 17은 원 영상프레임을 참조하는 영상위치정보에 시간적인 폭을 갖게 한 예를 설명하는 도면,

도 18은 화상데이터 파일을 참조하는 영상위치정보에 시간적인 폭을 갖게 한 예를 설명하는 도면,

도 19는 요약 표시된 영상의 프레임에 대응하는 원 영상의 프레임으로부터 재생을 개시하기 위한 흐름도,

도 20은 화면의 움직임에 따른 화상데이터의 추출방법에 대해 설명하는 도면,

도 21은 화면의 움직임에 따른 화상데이터의 추출방법에 대해 설명하는 도면,

도 22는 화면의 변화량이 가능한 한 일정하게 되는 표시시간을 구하는 처리수순의 일례를 나타낸 플로우챠트,

도 23은 MPEG 영상으로부터 모든 프레임의 화면 변화량을 구하는 처리수순의 일례를 나타낸 플로우챠트,

도 24는 MPEG 스트림으로부터의 화상 변화량의 산출방법에 대해 설명하는 도면,

도 25는 화면의 변화량이 가능한 한 일정하게 되는 표시시간을 구하는 처리수법에 대해 설명하는 도면,

도 26은 특수재생 제어정보에 기초한 특수재생을 행하는 처리수순의 일례를 나타낸 플로우챠트,

도 27은 표시사이클을 기준으로 특수재생을 행하는 처리수순의 일례를 나타낸 플로우챠트,

도 28은 산출된 표시시간과 표시사이클의 관계에 대해 설명하는 도면,

도 29는 산출된 표시시간과 표시사이클의 관계에 대해 설명하는 도면,

도 30은 원 영상위치정보를 갖는 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 31은 복수의 원 영상을 한데 모아서 요약 표시할 때의 원 영상프레임을 참조하는 영상위치정보를 설명하는 도면,

도 32는 복수의 원 영상을 한데 모아서 요약 표시할 때의 화상데이터 파일을 참조하는 영상위치정보를 설명하는 도면,

도 33은 프레임정보를 기술하기 위한 다른 데이터 구조를 나타낸 도면,

도 34는 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 35는 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 36은 중요도로부터 표시시간을 구하는 처리수순의 일례를 나타낸 플로우챠트,

도 37은 중요도로부터 표시시간을 구하는 수법에 대해 설명하는 도면,

도 38은 음성레벨이 큰 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리수순의 일례를 나타낸 플로우챠트,

도 39는 음성인식에 의해 중요한 단어가 많이 출현하고 있는 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리 또는 시간당 말한 단어의 수가 많은 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리의 수순의 일례를 나타낸 플로우챠트,

도 40은 텔롭인식에 의해 중요한 단어가 많이 출현하고 있는 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리 또는 시간당 출현한 텔롭에 포함된 단어의 수가 많은 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리의 수순의 일례를 나타낸 플로우챠트,

도 41은 큰 문자가 텔롭으로서 출현한 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리의 수순의 일례를 나타낸 플로우챠트,

도 42는 인간의 얼굴이 많이 등장하는 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리 또는 인간의 얼굴이 크게 찍힌 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리의 수순의 일례를 나타낸 플로우챠트,

도 43은 등록해 둔 중요 장면과 유사한 영상이 출현하는 장면을 중요한 것으로 하여 중요도 데이터를 산출하는 처리의 수순의 일례를 나타낸 플로우챠트,

도 44는 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 45는 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 46은 특수재생 제어정보의 데이터 구조예를 나타낸 도면,

도 47은 재생할 것인지 비재생으로 할 것인지의 정보와 재생영상의 관계에 대해 설명하는 도면,

도 48은 재생/비재생 판단을 포함한 특수재생의 처리의 수순의 일례를 나타낸 플로우챠트,

도 49는 소리(音)정보, 텍스트정보를 부가한 때의 데이터 구조의 일례를 나타낸 도면,

도 50은 소리정보만을 프레임정보와는 따로 기술하기 위한 데이터 구조의 일례를 나타낸 도면,

도 51은 텍스트정보만을 프레임정보와는 따로 기술하기 위한 데이터 구조의 일례를 나타낸 도면,

도 52는 각 미디어 재생의 동기에 대해 설명하는 도면,

도 53은 영상구간 내에서의 소리재생 개시시각과 소리재생시간의 결정수순의 일례를 나타낸 플로우챠트,

도 54는 재생용 음성데이터의 작성과 영상프레임 표시시간의 수정의 처리의 수순의 일례를 나타낸 플로우챠트,

도 55는 텔롭인식에 의한 텍스트정보 취득처리의 수순의 일례를 나타낸 플로우챠트,

도 56은 음성인식에 의한 텍스트정보의 취득처리의 수순의 일례를 나타낸 플로우챠트,

도 57은 텍스트정보의 작성처리의 수순의 일례를 나타낸 플로우챠트,

도 58a 및 도 58b는 텍스트정보의 표시방법에 대해 설명하는 도면,

도 59는 프레임정보를 기술하기 위한 다른 데이터 구조를 나타낸 도면,

도 60은 프레임정보를 기술하기 위한 다른 데이터 구조를 나타낸 도면,

도 61은 음악데이터의 요약재생을 설명하는 도면,

도 62는 복수의 음악데이터의 요약재생을 설명하는 도면이다.

＜도면부호의 설명＞

1 --- 영상데이터 처리부, 2 --- 영상데이터 기억부,

3 --- 특수재생 제어정보 기억부, 4 --- 화상데이터 파일 기억부,

11 --- 영상위치정보 처리부, 12 --- 표시시간 제어정보 처리부,

13 --- 화상데이터 파일 작성부, 21 --- 제어부,

22 --- 통상재생 처리부, 23 --- 특수재생 처리부,

24 --- 표시부, 25 --- 콘텐츠 기억부,

3005, 3006, 3007 --- 영상프레임,

3601 --- 텍스트정보 표시부, 3602, 3603 --- 영상표시부.

본 발명은 대상으로 되는 영상 콘텐츠에 대한 특수재생에 제공하기 위한 특수재생 제어정보를 기술(記述)하기 위한 특수재생 제어정보 기술방법, 특수재생 제어정보를 생성하기 위한 특수재생 제어정보 생성방법 및 특수재생 제어정보 생성장치, 및 그 특수재생 제어정보를 이용하여 특수재생을 행하는 영상재생장치 및 방법에 관한 것이다.

근래, 동화상을 디지털 영상으로서 압축하고, DVD나 HDD로 대표되는 디스크 미디어(disk media)에 격납함으로써, 영상을 랜덤 재생할 수 있는 환경이 마련되었다. 이 환경에서는, 미리 정해진 장소로부터 대기 시간이 거의 없는 상태에서 도중 재생이 가능하다. 종래의 테이프 미디어와 마찬가지로 2∼4배속의 빠른 회전 및 역회전도 가능하다.

그렇지만, 영상은 장시간인 경우가 많아 2∼4배속의 재생이라도 모든 내용을 시청하기 위해서는, 시간이 충분히 단축되지 않는 문제가 있었다. 배속재생을 크게 하면, 화면의 변화가 시청능력 이상으로 커져 내용파악이 곤란하게 되거나, 본래 내용을 파악하기 위해서는 그다지 중요하지 않은 부분에 있어서도 배속재생이 행해지거나 하여 불필요한 경우가 있다.

본 발명은, 상기 사정을 고려하여 이루어진 것으로, 이용자에게 보다 효과적 인 특수재생을 가능하게 하는 특수재생 제어정보 기술방법, 특수재생 제어정보 생성장치 및 방법과 영상재생장치 및 방법을 제공하는 것을 목적으로 한다.

본 발명은, 복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 프레임정보를 기술하는 방법으로, 상기 복수 프레임의 영상데이터로부터 선택적으로 추출된 프레임에, 그 추출 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보를 기술하고, 그 추출 프레임의 영상데이터의 표시시간에 관한 제2정보를 기술한다.

(발명의 실시형태)

이하, 도면을 참조하면서 발명의 실시형태를 설명한다.

본 발명은 영상데이터를 갖는 영상 콘텐츠의 재생에 관한 것이다. 영상데이터는, 동화상을 구성하는 영상프레임의 집합(영상프레임군)으로 이루어져 있는 것으로 한다.

최초로, 본 실시형태에 있어서 중요한 역할을 하는 특수재생 제어정보에 대해 설명한다.

특수재생 제어정보는, 대상으로 되는 영상데이터의 특수재생을 위한 제어정보로, 특수재생 제어정보 생성장치에 의해 당해 영상데이터를 기초로 하여 작성되어 당해 영상데이터에 부여되거나, 혹은 관련지워지는 제어정보이다. 특수재생은, 통상 재생 이외의 방법에 의한 재생으로, 예컨대 배속재생(혹은 고속재생), 비월(飛越)재생(혹은 비월연속재생), 트릭(trick)재생 등이 있다. 트릭재생에는, 예컨대 교체재생, 중복재생, 슬로우재생 등, 여러 가지 종류가 있다. 특수재생 제어정보는, 예컨대 영상데이터를 재생하는 영상재생장치에 있어서 특수재생을 행할 때에 참조된다.

도 1에 특수재생의 대상으로 되는 영상데이터를 기초로 하여 작성되는 특수재생 제어정보의 기본적인 데이터 구조의 일례를 나타낸다.

이 데이터구조는, 복수의 프레임정보 i(i=1∼N)를 영상데이터에서의 프레임 출현순서와 대응지워 기술한 것으로, 각 프레임정보는 특수재생시에 표시해야 할 영상(1매의 프레임, 또는 복수매의 연속한 프레임군, 또는 복수매의 근접한 프레임군 즉 복수매의 연속한 프레임 중의 일부분으로 이루어진 프레임군)의 소재를 나타내는 정보를 포함하는 영상위치정보(101)와, 그 영상에 대한 특수재생시에 표시해야 할 표시시간을 나타내는 정보 및/또는 표시시간을 산출하는 기초로 되는 정보를 포함하는 표시시간 제어정보(102)의 조(組)를 포함한다.

도 1은 프레임정보(i)를 영상데이터에서의 프레임 출현순서로 배열하여 기술한 것이지만, 프레임정보(i) 내에 그 프레임정보의 순서를 나타내는 정보를 기술하면, 프레임정보(i)를 어떠한 순번으로 배열하여 기술해도 상관없다.

이들 복수의 프레임정보(i)로 이루어진 프레임정보군에 첨부되는 재생배율정보(103)는, 특수재생의 재생속도의 배율을 나타내고, 프레임정보에 기술되어 있는 표시시간 그대로가 아니라 프레임의 표시시간을 단축하며, 수배의 속도로 재생하는 것을 지정하기 위해 사용한다. 다만, 재생배율정보(103)는 필수의 정보는 아니다. 항상 첨부하는 구성과, 항상 첨부하지 않는 구성과, 첨부할 것인지 어떨지를 개별적으로 선택가능하게 하는 구성이 있다. 재생배율정보(103)가 첨부되어 있어도 특 수재생에 있어서 이것을 반드시 사용하지 않아도 상관없다. 항상 사용하는 구성과, 항상 사용하지 않는 구성과, 사용할 것인지 어떨지를 개별적으로 선택가능하게 하는 구성이 있다.

도 1에 있어서, 프레임정보군에 대해 재생배율정보와 함께, 또는 재생배율정보 대신에 다른 제어정보를 더 부가하는 구성도 가능하다. 도 1에 있어서, 각 프레임정보(i)에 다른 제어정보를 더 부가하는 구성도 가능하다. 그들 경우에 있어서, 영상재생장치 측에서는 특수재생 제어정보에 포함된 각각의 정보를 전부 사용해도 좋고, 그들의 일부의 정보만을 사용해도 좋다.

도 2에 이러한 특수재생 제어정보의 생성장치의 구성례를 나타낸다.

도 2에 나타낸 바와 같이, 이 특수재생 제어정보 생성장치는 영상데이터 기억부(2), 영상위치정보 처리부(11) 및 표시시간 제어정보 처리부(12)를 포함하는 영상데이터 처리부(1), 특수재생 제어정보 기억부(3)를 구비하고 있다. 상세한 것은 후술하겠지만, 도 2의 구성에서는 영상데이터를 표시하는 경우는 영상데이터(부호화되어 있음)를 디코드하여 화상데이터로 하고 나서 표시하므로, 표시가 지시되고 나서 실제로 화상이 표시될 때까지 디코드를 위한 처리시간이 걸린다. 이 시간을 단축하기 위해, 특수재생에 사용할 영상데이터를 미리 디코드해 두고, 화상데이터 파일을 기억해 두는 방법을 생각할 수 있다. 이러한 화상데이터 파일을 이용하는 경우(항상 화상데이터 파일을 이용하는 형태를 취하는 경우, 또는 화상데이터 파일을 이용할 것인지 어떨지를 선택가능하게 하는 형태를 취하는 경우)에는, 도 3에 나타낸 바와 같이 영상데이터 처리부(1) 내에 화상데이터 파일 작성부(13)를 더 갖추고, 영상데이터 처리부(1)에 화상데이터 파일 기억부(4)를 접속한다. 특수재생 제어정보에 영상데이터를 기초로 하여 구한 다른 제어정보를 부가하는 경우에는, 적절히 영상데이터 처리부(1) 내에 해당하는 기능이 추가된다.

본 처리에 있어서 사용자의 조작을 개입시키는 형태를 취하는 경우에는, 예컨대 영상데이터를 프레임 단위로 표시시키고, 사용자의 지시입력 등을 접수하는 등의 기능을 제공하는 GUI가 이용된다(도 2나 도 3에서는 생략하고 있음).

도 2, 도 3에 있어서는, CPU나 메모리, 필요에 따라 설치되는 외부기억장치나 네트워크 통신장치, 필요에 따라 사용되는 드라이버 소프트나 OS 등의 소프트웨어에 대해서도 생략하고 있다.

영상데이터 기억부(2)는, 특수재생 제어정보, 또는 특수재생 제어정보 및 화상데이터 파일을 생성하는 처리대상으로 되는 영상데이터를 기억하기 위한 것이다.

특수재생 제어정보 기억부(3)는, 생성된 특수재생 제어정보를 기억하기 위한 것이다.

화상데이터 파일 기억부(4)는, 화상데이터 파일 작성부(13)에 의해 작성된 화상데이터 파일을 기억하기 위한 것이다.

영상데이터 기억부(2), 특수재생 제어정보 기억부(3), 화상데이터 파일 기억부(4)는 모두, 예컨대 하드디스크나 광디스크나 반도체 메모리 등으로 구성된다. 영상데이터 기억부(2), 특수재생 제어정보 기억부(3), 화상데이터 파일 기억부(4)는, 각각의 기억장치에 의해 구성되어 있어도 좋지만, 그들 전부 또는 일부가 동일한 기억장치에 의해 구성되어 있어도 좋다.

영상데이터 처리부(1)는, 처리대상으로 되는 영상데이터를 기초로 하여 특수재생 제어정보(또는 특수재생 제어정보 및 화상데이터 파일)을 생성하기 위한 것이다.

영상위치정보 처리부(11)는, 특수재생시에 표시해야 할 또는 표시가능한 영상프레임(군)을 결정(추출)하고, 각 프레임정보(i)에 기술해야 할 정보(101)를 작성하는 처리를 행한다.

표시시간 제어정보 처리부(12)는, 각 프레임정보에 관련된 영상프레임(군)의 표시시간에 관계된 정보(102)를 작성하는 처리를 행한다.

화상데이터 파일 작성부(13)는, 영상데이터로부터 화상데이터 파일을 작성하는 처리를 행한다.

특수재생 제어정보 생성장치는, 예컨대 계산기 상에서 소프트웨어를 실행하는 형태로 실현할 수 있다. 특수재생 제어정보 생성을 위한 전용의 장치로서 실현해도 좋다.

도 4에 도 2의 구성의 경우의 제어정보 생성수순의 일례를 나타낸다. 기억부(2)로부터 영상데이터를 읽어들이고(스텝 S11), 영상위치정보를 작성하며(스텝 S12), 표시시간 제어정보를 작성하고(스텝 S13), 영상위치정보, 표시시간 제어정보로 이루어진 특수재생 제어정보를 기억부(3)에 보존한다(스텝 S14). 도 4의 수순은, 각 프레임정보마다 축차(逐次)로 행해도 좋고, 각 처리를 배치(batch)적으로 행해도 좋다. 그 외의 수순도 가능하다.

도 5에 도 3의 구성의 경우의 제어정보 생성수순의 일례를 나타낸다. 도 4 의 수순에 대해, 화상데이터 파일을 작성하여 보존하는 수순이 더 부가되어 있다(스텝 S22). 여기서는, 화상데이터 파일의 작성 및/또는 보존은 영상위치정보의 작성과 더불어 행하고 있지만, 도 5와는 다른 타이밍에서 행하는 것도 가능하다. 도 4의 경우와 마찬가지로, 도 5의 수순은 각 프레임정보마다 축차로 행해도 좋고, 각 처리를 배치적으로 행해도 좋다. 그 외의 수순도 가능하다.

다음으로, 도 6에 영상재생장치의 구성례를 나타낸다.

도 6에 나타낸 바와 같이, 이 영상재생장치는 제어부(21), 통상재생 처리부(22), 특수재생 처리부(23), 표시부(24), 콘텐츠 기억부(25)를 갖추고 있다. 영상데이터에 음성 등의 소리(Audio)가 부가되어 있는 콘텐츠를 취급하는 경우에는, 음성출력부를 갖추고 있는 것이 바람직하다. 영상데이터에 텍스트 데이터가 부가되어 있는 콘텐츠를 취급하는 경우에는, 텍스트는 표시부(24)에 표시해도 좋고, 음성출력부로부터 출력시키는 것도 가능하다. 프로그램이 첨부되어 있는 콘텐츠를 취급하는 경우에는, 첨부 프로그램 실행부를 설치하도록 해도 좋다.

콘텐츠 기억부(25)에는 적어도 영상데이터와 특수재생 제어정보가 기억되어 있다. 상세하게는 후술하는 바와 같이, 화상데이터 파일을 이용하는 형태를 취하는 경우에는, 화상데이터 파일이 더 기억되어 있다. 음성 데이터나 텍스트 데이터나 첨부 프로그램이 더 기억되어 있는 경우도 있다.

콘텐츠 기억부(25)는, 1군데에 집중 배치되어 있어도, 여러 군데에 분산 배치되어 있어도 좋고, 요는 통상재생 처리부(22)나 특수재생 처리부(23)에서 억세스할 수 있으면 좋다. 영상데이터나 특수재생 제어정보나 화상데이터 파일이나 음성 데이터나 텍스트 데이터나 첨부 프로그램은 각각의 매체에 격납되어 있어도 좋고, 동일한 매체에 격납되어 있어도 좋다. 매체로서는, 예컨대 DVD 등이 사용된다. 그들은 네트워크를 매개로 하여 전송되는 데이터여도 좋다.

제어부(21)는, 기본적으로는 GUI 등의 사용자 인터페이스를 매개로 하여 사용자로부터 콘텐츠에 대한 통상재생이나 특수재생 등의 지시를 받아 해당하는 처리부분에, 지정된 콘텐츠에 대한 지정된 방법에 의한 재생을 지시하는 등의 제어를 행한다.

통상재생 처리부(22)는, 지정된 콘텐츠를 통상재생하기 위한 것이다.

특수재생 처리부(23)는, 지정된 콘텐츠에 대해 특수재생 제어정보를 참조하여 지정된 내용의 특수재생(예컨대, 배속재생, 비월재생, 트릭재생 등)을 행하기 위한 것이다.

표시부(24)는, 영상을 표시하기 위한 것이다.

영상재생장치는, 예컨대 계산기 상에서 소프트웨어를 실행하는 형태로 실현할 수 있다(물론, 일부분에 하드웨어를 사용해도 좋다(예컨대, 디코드 보드(MPEG-2 디코더) 등)). 영상재생을 위한 전용의 장치로서 실현해도 좋다.

도 7에 도 6의 영상재생장치의 재생처리수순의 일례를 나타낸다. 스텝 S31에서 사용자로부터 요구된 것이 통상재생인지 특수재생인지를 판단한다. 통상재생의 요구가 있을 경우는, 스텝 S32에서 지정된 영상데이터를 읽어들이고, 스텝 S33에서 통상재생을 행한다. 사용자로부터 특수재생의 요구가 있을 경우는, 스텝 S34에서 지정된 영상데이터에 대응하는 특수재생 제어정보를 읽어들이고, 스텝 S35에서 표시해야 할 영상의 위치의 특정과, 표시시간의 결정을 행하며, 스텝 S36에서 해당하는 프레임(군)을 영상데이터 중(또는 화상데이터 파일)으로부터 읽어들이고, 스텝 S37에서 지정된 내용의 특수재생을 행한다. 표시해야 할 영상의 위치의 특정 및/또는 표시시간의 결정은, 도 7과는 다른 타이밍에서 행하는 것도 가능하다. 도 7의 특수재생의 수순은, 각 프레임정보마다 축차로 행해도 좋고, 각 처리를 배치적으로 행해도 좋다. 그 외의 수순도 가능하다. 예컨대, 각 프레임의 표시시간을 동등하게 일정의 값으로 하는 재생방법의 경우에는, 표시시간의 결정은 행하지 않는다.

통상재생과 특수재생의 어느 것에 있어서도, 사용자가 여러 가지의 지정(예컨대, 콘텐츠에서의 재생개시점 및/또는 콘텐츠에서의 재생종료점, 배속재생에서의 재생속도, 배속재생에서의 재생시간, 그 외의 특수재생의 방법 등)을 요구할 수 있도록 하면 보다 효과적이다.

다음으로, 특수재생 제어정보의 프레임정보의 생성의 알고리즘이나, 특수재생시의 표시시간의 결정의 알고리즘 등에 대해 개략적으로 설명한다.

프레임정보의 생성시에는, 영상데이터 중에서 특수재생에서 사용하는 프레임의 결정, 영상위치정보의 작성, 표시시간 제어정보의 작성이 행해진다.

프레임의 결정은, (1) 당해 영상데이터에 대한 얼마간의 특징량에 기초하여 행하는 방법(예컨대, 인접 프레임간의 특정의 특징량(예컨대, 프레임간의 화면 변화량)이 각 추출 프레임 사이에서 그 총합이 일정하게 되도록 하는 방법, 각 추출 프레임 사이에서의 모든 프레임의 중요도의 총합이 일정하게 되도록 하는 방법),

(2) 획일적인 기준에 의해 행하는 방법(예컨대, 랜덤하게 추출하는 방법, 등간격으로 추출하는 방법) 등이 있다.

표시시간 제어정보의 작성에는, (i) 표시시간 또는 표시프레임수의 절대치 또는 상대치를 구하는 방법, (ii) 표시시간 또는 표시프레임수의 기준으로 되는 정보(예컨대, 사용자지정, 영상중의 문자, 영상에 동기한 소리, 영상중의 사람, 혹은 영상중의 특정패턴 등에 기초하여 얻어지는 중요도)를 구하는 방법, (iii) 상기의 (i)과 (ii)의 양쪽을 기술하는 방법 등이 있다.

삭제

(1) 또는 (2)와 (i) 또는 (ii) 또는 (iii)은, 적절히 조합시키는 것이 가능하다. 물론, 그 이외의 방법도 가능하다. 그들 중의 특정의 1개의 조합만 가능하게 해도 좋으며, 그들 중의 복수의 조합을 가능하게 하고, 적절히 선택할 수 있도록 해도 좋다.

특수한 경우로서, (1)의 방법에서의 프레임의 결정과 동시에 (i)의 표시시간 또는 표시프레임수의 상대치를 구하는 방법이 있다. 항상 이 방법을 이용하는 경우에는, 표시시간 제어정보 처리부(12)를 생략하는 것도 가능하다.

특수재생시에는, 프레임정보에 포함된 (i) 또는 (ii) 또는 (iii)의 표시시간 제어정보를 참조하여 행하는 것을 상정하고 있지만, 기술되어 있는 값에 따르도록 해도 좋고, 기술되어 있는 값을 수정하여 사용하도록 해도 좋으며, 기술되어 있는 값 또는 이것을 수정한 값에 더하여 독자로 준비한 다른 정보나 사용자로부터 입력된 정보도 사용하도록 해도 좋고, 독자로 준비한 다른 정보나 사용자로부터 입력된 정보만을 사용하도록 해도 좋다. 그들 중 복수의 방법을 가능하게 하고, 적절히 선택할 수 있도록 해도 좋다.

다음에는 특수재생의 개략에 대해 설명한다.

배속재생(혹은 고속재생)은, 영상데이터·콘텐츠를 구성하는 모든 프레임중의 일부의 프레임을 재생함으로써, 본래의 콘텐츠를 통상 재생하는데 요하는 시간보다 짧은 시간에 재생을 행하는 것이다. 예컨대, 프레임정보로 나타내어지는 프레임을, 프레임정보로 나타내어지는 표시시간씩 그 시계열 순서로 표시한다. 사용자로부터, 본래의 콘텐츠를 통상재생하는 속도의 몇 배로 재생할 것인지(본래의 콘텐츠를 통상재생하는데 요하는 시간의 몇 분의 1의 시간으로 재생할 것인지)를 지정하는 배속지정이나, 어느 정도의 시간을 걸려 재생할 것인지를 지정하는 시간지정 등의 요구를 접수하고, 그 요구를 만족하도록 각 프레임(군)의 표시시간을 구하여 재생하도록 해도 좋다. 그 때문에, 이 배속재생은 요약재생(要約再生)이라고도 한다.

비월재생(혹은 비월연속재생)은, 배속재생에 있어서, 예컨대 후술하는 재생/비재생정보에 기초하여 프레임정보로 나타내어지는 프레임의 일부를 비재생으로 한다. 프레임정보로 나타내어지는 프레임중 비재생으로 된 프레임을 제외한 프레임에 대해 배속재생하는 것이다.

트릭재생은, 통상재생 이외의 재생으로부터 상기의 배속재생 및 비월재생을 제외한 것이다. 예컨대, 프레임정보로 나타내어지는 프레임을 재생할 때에, 어떤 부분에 대해 시계열 순서를 교체하여 재생하는 교체재생, 프레임정보로 나타내어지는 프레임을 재생할 때에, 어떤 부분에 대해서는 복수회 반복하여 재생하는 중복재 생, 프레임정보로 나타내어지는 프레임을 재생할 때에, 어떤 부분에 대해서는 다른 부분보다 저속으로 재생하거나(통상재생시의 속도로 하는 경우와, 통상재생시보다 저속으로 하는 경우를 포함한다), 혹은 다른 부분보다 고속으로 재생하거나, 혹은 일정 시간 표시하고 정지시키거나, 혹은 그들을 적절히 조합시키는 변속재생, 프레임정보로 나타내어지는 프레임의 일정의 다발마다 시계열을 랜덤하게 하여 재생하는 랜덤 재생 등, 여러 가지 형태의 것을 생각할 수 있다.

물론, 복수 종류의 방법을 적절히 조합시키는 것도 가능하다. 예컨대, 배속재생시에, 중요한 부분에 대해서는 복수회 재생함과 더불어 재생속도를 통상재생속도로 하는 방법 등, 다채로운 변형을 생각할 수 있다.

이하, 본 실시형태에 대해 보다 구체적으로 상세히 설명한다.

먼저, 프레임의 결정을 위한 화상데이터의 특성값으로서 인접 프레임간의 화면 변화량을 이용하는 경우를 예로 들어 설명한다.

여기서는, 1개의 프레임정보에, 1개의 프레임을 대응시키는 경우에 대해 설명한다.

도 8에 대상으로 되는 영상데이터를 기초로 하여 작성되는 특수재생 제어정보의 데이터 구조의 일례를 나타낸다.

이 데이터구조는, 도 1에서의 표시시간 제어정보(102)로서(또는 표시시간 제어정보(102) 대신에) 절대적인 또는 상대적인 표시시간을 나타내는 정보인 표시시간정보(121)를 기술하도록 한 것이다. 표시시간 제어정보(102)에 중요도를 기술하는 구성 등에 대해서는 다음에 설명하기로 한다.

영상위치정보(101)는, 당해 영상의 원 영상프레임에서의 위치를 특정가능하게 하는 정보로, 프레임번호(예컨대 선두프레임으로부터의 시퀀스번호)나 타임 스탬프 등과 같이 스트림내의 1프레임을 특정할 수 있는 것이라면 어떠한 것을 사용해도 상관없다. 원 영상스트림으로부터 빼낸 프레임에 대응하는 화상데이터를 다른 파일로 하는 경우는, 그 파일위치를 특정하는 정보로서 URL 등을 사용해도 좋다.

표시시간정보(121)는, 당해 화상을 표시하는 시간 혹은 프레임수를 특정가능하게 하는 정보로, 실제로 시간 혹은 프레임수를 단위로 하여 기술하는 방법과, 다른 프레임정보에 기술되어 있는 표시시간정보와의 상대적인 시간의 길이의 관계를 알 수 있는 상대값(예컨대 정규화된 수치)을 기술하는 방법 등이 있다. 후자의 경우는, 전체의 총재생시간으로부터 각 영상의 실제의 재생시간을 산출하게 된다. 각 영상에 대해, 표시의 계속시간을 기술하는 것이 아니라, 특정의 타이밍을 기점으로 한(예컨대 최초의 영상의 개시시간을 0으로 한) 개시시간과 종료시간의 조합에서의 기술이나, 개시시간과 계속시간의 조합에서의 기술을 이용해도 좋다.

특수재생에서는, 영상위치정보(101)에 의해 특정되는 위치에 존재하는 영상을, 표시시간정보(121)에 의해 특정되는 표시시간만큼 재생하는 것을, 배열에 포함되는 프레임정보의 수만큼 축차로 행하는 것을 기본으로 한다.

개시시간과 종료시간 또는 계속시간이 지정되어 있고, 또한 이 지정에 따르는 경우에는, 영상위치정보(101)에 의해 특정되는 위치에 존재하는 영상을 표시시간정보(121)에 의해 특정되는 개시시간으로부터 종료시간까지 재생하는 것을, 배열 에 포함된 프레임정보의 수만큼 축차로 행하는 것을 기본으로 한다.

재생배율 등의 파라미터나, 다른 부가정보를 사용함으로써, 기술된 표시시간을 가공하여 재생하는 것도 가능하다.

다음에는 도 9∼도 11을 참조하여 영상의 위치정보의 기술방법을 설명한다.

도 9는 원 영상프레임을 참조하는 영상위치정보의 기술방법을 설명하는 도면이다.

도 9에 있어서, 시간축(200)은 특수재생을 위한 프레임정보를 작성하는 대상으로 되는 원 영상스트림에 대응하고, 화상(201)은 영상스트림중의 기술대상으로 되는 1프레임에 대응한다. 시간축(202)은 원 영상스트림으로부터 빼낸 화상(201)을 사용하여 특수재생을 행할 때의 영상의 재생시간에 대응하고, 표시시간(203)은 그 중에 포함된 1개의 화상(201)에 대응하는 구간이다. 이 경우에는, 예컨대 화상(201)의 위치를 나타내는 영상위치정보(101)와, 표시시간(203)의 길이를 나타내는 영상표시시간(121)의 조가 프레임정보로서 기술된다. 전술한 바와 같이, 화상(201)의 위치의 기술은 프레임번호나 타임 스탬프 등, 원 영상스트림 내의 1프레임을 특정할 수 있는 것이라면 무엇이든지 좋다. 이 프레임정보가 다른 화상에 대해서도 마찬가지로 기술된다.

도 10은 화상데이터 파일을 참조하는 영상위치정보의 기술방법을 설명하는 도면이다.

도 9에 의해 나타내어진 영상위치정보의 기술방법은, 특수재생을 행하고자 하는 원 영상데이터 내의 프레임을 직접 참조하는 것이었지만, 도 10에 의해 나타 내어진 영상위치정보의 기술방법은 원 영상스트림으로부터 빼낸 단일 프레임(202)에 대응하는 화상데이터(300)를 다른 파일로 준비하고, 그 위치를 기술하는 것이다. 파일위치의 기술방법은, 예컨대 URL 등을 이용함으로써, 국부적인 기억장치 상에 존재하는 경우라도, 네트워크 상에 존재하는 경우라도 마찬가지로 취급하는 것이 가능하다. 이 화상데이터 파일의 위치를 나타내는 영상위치정보(101)와, 대응하는 표시시간(301)의 길이를 나타내는 영상표시시간(121)의 조를 프레임정보로서 기술한다.

원 영상프레임과의 대응이 필요한 경우는, 기술한 프레임정보에 대응하는 원 영상의 단일 프레임(302)을 나타내는 정보(예컨대 도 9의 경우에서의 영상위치정보와 마찬가지의 것)를 프레임정보에 포함시키면 좋다. 이 경우, 프레임정보는 영상위치정보, 표시시간정보, 원 영상정보로 구성되는 것으로 된다. 물론, 원 영상정보는 필요가 없으면 기술할 필요는 없다.

도 10의 방법에 의해 기술되는 화상데이터의 형태는, 특별히 제약은 없지만, 예컨대 원 영상의 프레임을 그대로 사용하거나, 축소하여 사용하거나 하도록 해도 좋다. 이것은, 원 영상을 전개할 필요가 없으므로, 고속으로 재생처리를 행하기 위해서도 유효하다.

축소화상의 작성은, 원 영상스트림이 MPEG-1이나 MPEG-2 등에 의해 압축되어 있는 경우에는, 그 스트림을 부분적으로 복호(復號)하는 것만으로, 고속으로 작성할 수 있다. 이 수법은, 프레임내 부호화되어 있는 I화면(picture) 프레임(프레임내 부호화 프레임)의 DCT(이산코사인변환) 계수만을 복호하고, 그 직류성분을 이용 함으로써, 축소화상을 작성한다.

도 10의 기술방법에서는, 화상데이터를 각각 다른 파일로 격납했지만, 이들 파일은 랜덤 억세스가능한 영상포맷(예컨대, Motion JPEG)을 갖는 화상데이터군 격납파일에 한데 모아서 격납해도 좋다. 이 경우, 화상데이터의 위치는 화상데이터군 격납파일의 위치를 나타내는 URL 및 화상데이터군 격납파일 내에서의 위치를 나타내는 프레임번호 또는 타임 스탬프의 조합에 의해 기술된다. 화상데이터군 격납파일의 위치를 나타내는 URL정보는, 개개의 프레임정보 내에 기술되어도 좋고, 프레임정보의 배열 밖에 부가정보로서 기술되어도 좋다.

원 영상의 어느 프레임을 선택해 화상데이터를 작성하여 영상위치정보에 기술하는가에 대해서는, 여러 가지의 방법을 취할 수 있다. 예컨대, 원 영상으로부터 등간격으로 화상데이터를 추출해도 좋고, 화면의 움직임이 많은 곳은 좁은 간격으로 많은 화상데이터를 추출하고, 움직임이 적은 곳은 넓은 간격으로 적은 화상데이터를 추출해도 좋다.

도 11을 참조하면서, 프레임 선택방법의 일례로서, 화면의 움직임에 따라 화면의 움직임이 많은 곳은 좁은 간격으로 많은 화상데이터를 추출하고, 움직임이 적은 곳은 넓은 간격으로 적은 화상데이터를 추출하는 방법에 대해 설명한다.

도 11에 있어서, 횡축은 프레임번호를 나타내고, 곡선(800)은 (인접 프레임간의) 화면 변화량의 변화를 나타내고 있다. 각 프레임의 화면 변화량의 산출방법은, 후술하는 표시시간정보를 구할 때의 수법과 마찬가지이다. 여기서는, 화면의 움직임에 따라 추출간격을 결정하기 위해, 화상데이터 추출원(抽出元)의 영상프레 임간의 화상 변화량이 일정하게 되는 간격을 구하는 방법을 나타낸다. 화상데이터 추출원의 영상프레임간의 화면 변화량의 합계를 S_i, 모든 프레임의 화면 변화량의 총합을 S(=∑S_i)로 하고, 추출하는 화상데이터수를 n으로 한다. 화상데이터 추출원 프레임간의 화상 변화량을 일정하게 하기 위해서는, S_i=S/n으로 되면 좋다. 도 11에서는, 화면 변화량의 곡선(800)이 파선에 의해 구분된 구간의 면적(S_i)이 일정하게 되는 것에 대응한다. 그래서, 예컨대 선두프레임으로부터 순차 화면 변화량을 가산하고, 그 값이 S/n을 넘은 프레임을 화상데이터 추출원의 영상프레임(F_i)으로 한다.

MPEG의 I화면 프레임으로부터 화상데이터를 생성하는 경우에는, 산출된 화상데이터 작성원 프레임이 I화면으로는 한정되지 않으므로, 근방의 I화면 프레임으로부터 화상데이터를 작성한다.

그런데, 도 11에서 설명한 방법에 대해서는, 화면 변화량 = 0의 구간에 속하는 영상은 스킵되는 것으로 된다. 그러나, 예컨대 정지화상이 계속되는 경우에는, 중요한 장면인 경우도 많다. 그래서, 화면 변화량 = 0이 일정시간 이상 경과한 경우에는, 그 때의 프레임을 빼내도록 해도 좋다. 이 경우에 있어서는, 예컨대 선두프레임으로부터 순차 화면 변화량을 가산하고, 그 값이 S/n을 넘은 프레임, 또는 화면 변화량 = 0이 일정시간 이상 경과한 프레임을 화상데이터 추출원의 영상프레임(F_i)으로 하도록 해도 좋다. 화면 변화량 = 0이 일정시간 이상 경과하여 프레임 을 추출한 때에, 화면 변화량의 가산치를 0으로 클리어하는 방법과, 클리어하지 않고 유지하는 방법이 있다. 이 방법을 사용할 것인지 아닌지를 선택가능하게 해도 좋다.

도 11의 예의 경우, 어느 프레임에 대해서도 표시시간은 같게 되도록 표시시간정보(121)를 기술하는 것을 상정하고 있지만(이 표시시간정보(121)에 따라 일정시간씩 재생한 때에, 화면의 변화량이 일정하게 된다), 표시시간정보(121)는 일정한 것이 아니고, 다른 방법으로 구하여 기술하도록 해도 상관없다.

다음으로, 1개의 프레임정보에, 1 또는 복수의 프레임을 대응시키는 경우에 대해 설명한다.

이 경우의 특수재생 제어정보의 데이터 구조의 일례는 도 8과 마찬가지이다.

이하, 도 12∼도 20, 도 21을 참조하여, 영상의 위치정보의 기술방법을 설명한다.

도 12는 원 영상의 연속한 프레임을 참조하는 영상위치정보의 기술방법을 설명하는 도면이다.

도 9에 의해 나타내어진 영상위치정보의 기술방법은, 특수재생을 행하고자 하는 원 영상 내의 1프레임을 참조하는 것이었지만, 도 12에 의해 나타내어진 영상위치정보의 기술방법은 원 영상 내의 연속하는 복수의 프레임의 집합(500)을 기술하는 것이다. 프레임의 집합(500)은 원 영상 내의 연속하는 복수의 프레임 중의 일부분을 빼낸 것이어도 좋다. 또, 프레임의 집합(500) 중에 1개의 프레임만 포함하는 것이 있어도 좋다.

프레임의 집합(500)이 원 영상 내의 연속하는 복수의 프레임 또는 1개의 프레임을 포함하는 것인 경우에는, 프레임 위치의 기술은 개시프레임 및 종료프레임의 위치를 기술하거나, 개시프레임의 위치와 기술구간의 계속시간을 기술한다. 1개의 프레임을 포함하는 것인 경우에는, 예컨대 개시프레임과 종료프레임의 위치를 같게 하면 좋다. 위치나 시간의 기술은, 프레임번호나 타임 스탬프 등, 스트림 내의 프레임을 특정할 수 있는 것을 사용한다.

프레임의 집합(500)이, 원 영상 내의 연속하는 복수의 프레임 중의 일부분인 경우에는, 그 프레임이 특정가능하게 되는 정보를 기술한다. 프레임을 빼내는 방법이 결정되어 있고, 예컨대 개시프레임 및 종료프레임의 위치를 기술하면 프레임이 특정가능하게 되는 경우에는, 그것들을 기술하면 좋다.

도 12의 표시시간정보(501)은, 대응하는 원 영상프레임 집합(500)에 포함된 프레임군 전체에 대응하는 총표시시간을 나타내는 것이다. 원 영상프레임 집합(500)에 포함된 각 프레임의 표시시간에 대해서는, 특수재생하는 장치 측에서 적절히 결정가능하게 할 수 있다. 간단한 방법으로서는, 상기의 총표시시간을 모든 프레임수로 균등분할하여 1개의 프레임의 표시시간으로 하는 방법이 있다. 물론, 그 외에도 여러 가지의 방법이 있다.

도 13은 화상데이터 파일을 참조하는 영상위치정보의 기술방법을 설명하는 도면이다.

도 12에 의해 나타내어진 영상위치정보의 기술방법은, 재생하고자 하는 원 영상 내의 연속하는 프레임을 직접 참조하는 것이었지만, 도 13에 의해 나타내어진 영상위치정보의 기술방법은 원 영상스트림으로부터 빼낸 프레임 집합(602)에 대응하는 화상데이터의 프레임 집합(600)을 다른 파일에 준비하고, 그 위치를 기술하는 것이다. 파일위치의 기술방법은, 예컨대 URL 등을 이용함으로써, 국부적인 기억장치 상에 존재하는 경우라도, 네트워크 상에 존재하는 경우라도 마찬가지로 취급하는 것이 가능하다. 이 화상데이터 파일의 위치를 나타내는 영상위치정보(101)와, 대응하는 표시시간(601)의 길이를 나타내는 영상표시시간(121)의 조를 프레임정보로서 기술한다.

원 영상프레임과의 대응이 필요한 경우는, 기술한 프레임정보에 대응하는 원 영상의 프레임 집합(602)을 나타내는 정보(예컨대 도 12의 경우에서의 영상위치정보와 마찬가지의 것)를 프레임정보에 포함시키면 좋다. 이 경우, 프레임정보는 영상위치정보, 표시시간정보, 원 영상정보로 구성되는 것으로 된다. 물론, 원 영상정보는 필요가 없으면 기술할 필요는 없다.

화상데이터의 형태나, 화상데이터의 작성, 축소화상의 작성, 화상데이터의 격납방법, URL 등의 위치정보의 기술방법 등에 대해서는, 전술한 바와 마찬가지이다.

원 영상의 어느 프레임을 선택해 화상데이터를 작성하여 영상위치정보에 기술하는가에 대해서도, 전술한 바와 마찬가지로 여러 가지의 방법을 취할 수 있는 바, 예컨대 원 영상으로부터 등간격으로 화상데이터를 추출해도 좋고, 화면의 움직임이 많은 곳은 좁은 간격으로 많은 화상데이터를 추출하고 움직임이 적은 곳은 넓은 간격으로 적은 화상데이터를 추출해도 좋다.

상기한 실시형태에서는 화상데이터 파일(300)과 원 영상(302)의 대응지음을 프레임단위로 행하고 있지만, 원 영상정보로서 기술하는 프레임의 위치정보에 시간적인 폭을 갖게 하는 것도 가능하다. 그것을 위한 프레임정보의 데이터 구조는 예컨대 도 14와 같이 된다. 도 14에서는 도 8의 프레임에 원 영상정보(3701)가 추가되어 있다. 원 영상정보(3701)에는 특수재생대상인 원 영상의 대응구간의 시점위치와 구간길이가 각각 시점정보(3702), 구간길이정보(3703)로서 기술된다.

원 영상정보로서 기술하는 정보는 구간을 특정할 수 있는 것이라면 무엇이든지 좋다. 여기서는 시점위치와 구간길이를 사용했지만, 그 대신에 시점위치와 종점위치를 원 영상정보로서 사용해도 좋다.

도 15는 도 9에 대해 원 영상정보에 시간적인 폭을 갖게 한 예이다. 이 경우, 예컨대 동일한 프레임정보에 포함된 영상위치정보, 표시시간정보, 원 영상정보로서, 각각 원 영상프레임(3801)의 위치, 표시시간(3802), 원 영상프레임 구간(3803)(시점프레임위치와 구간길이)을 기술하고, 서로가 대응하고 있는 것을 나타낸다. 즉, 원 영상프레임 구간(3803)을 대표하는 화상으로서, 영상위치정보에 기술된 원 영상프레임(3801)을 표시하게 된다.

도 16은 도 10에 대해 원 영상정보에 시간적인 폭을 갖게 한 예이다. 이 경우, 예컨대 동일의 프레임정보에 포함된 영상위치정보, 표시시간정보, 원 영상정보로서, 각각 표시용 화상데이터 파일(3901)의 격납장소, 표시시간(3902), 원 영상프레임 구간(3903)(시점프레임위치와 구간길이)을 기술하고, 서로가 대응하고 있는 것을 나타낸다. 즉, 원 영상프레임 구간(3903)을 대표하는 화상으로서, 영상위치 정보에 기술된 화상데이터 파일의 화상(3901)을 표시하게 된다.

또, 도 12, 도 13에서 나타낸 바와 같이 프레임의 집합을 표시용 영상으로서 사용하는 경우에 있어서, 표시용의 영상에 사용되고 있는 원 영상프레임 구간과는 다른 구간을 원 영상정보로서 대응지워도 상관없다.

도 17은 도 12에 대해 원 영상정보에 시간적인 폭을 갖게 한 예이다. 이 경우, 예컨대 동일한 프레임정보에 포함된 영상위치정보, 표시시간정보, 원 영상정보로서, 각각 원 영상중의 프레임의 집합(4001), 표시시간(4002), 원 영상프레임 구간(4003)(시점프레임위치와 구간길이)을 기술하고, 서로가 대응하고 있다는 것을 나타낸다. 이때, 영상위치정보로서 기술하는 프레임의 집합의 구간(4001)과 원 영상정보로서 기술하는 원 영상프레임 구간(4003)은 반드시 일치할 필요는 없고, 다른 구간을 표시용으로 사용해도 상관없다.

도 18은 도 13에 대해 원 영상정보에 시간적인 폭을 갖게 한 예이다. 이 경우, 예컨대 동일의 프레임정보에 포함된 영상위치정보, 표시시간정보, 원 영상정보로서, 각각 표시에 사용하는 프레임 집합(4101)의 격납장소, 표시시간(4102), 원 영상프레임 구간(4103)(시점프레임위치와 구간길이)을 기술하고, 서로가 대응하고 있는 것을 나타낸다.

이때, 영상위치정보로서 기술하는 프레임의 집합(4101)의 구간과 원 영상정보로서 기술하는 원 영상프레임 구간(4103)은 반드시 일치할 필요는 없다. 즉, 표시용 프레임의 집합(4101)의 구간이 원 영상프레임 구간(4103)보다 짧아도 좋고, 길어도 좋다. 또, 내용이 전혀 다른 영상이 포함되어 있어도 좋다. 그 밖에, 영 상데이터 파일로서 원 영상정보에 기술된 구간중 특히 중요한 구간만을 빼내어 한데 모은 영상데이터 파일을 사용하는 방법도 생각할 수 있다.

이들 프레임정보를 이용하여, 예컨대 요약재생(특수재생) 영상을 열람할 때에, 원 영상중의 대응하는 프레임을 참조하고 싶은 경우도 있다.

도 19는 요약표시된 영상의 프레임에 대응하는 원 영상의 프레임으로부터 재생을 개시하기 위한 플로우이다. 스텝 S3601에서, 요약영상으로 재생개시프레임을 지정한다. 스텝 S3602에서는 후술하는 방법으로, 지정된 프레임에 대응하는 원 영상프레임을 산출한다. 스텝 S3603에서는 산출된 프레임으로부터 원 영상을 재생한다.

물론, 이 플로우는 재생 이외에도 원 영상의 대응하는 위치를 참조하기 위해 사용하는 것이 가능하다.

스텝 S3602에 있어서, 대응하는 원 영상프레임을 산출하는 방법의 일례로서, 요약영상으로 지정된 프레임의 표시시간에 대한 비례배분을 이용하는 방법을 나타낸다. i번째의 프레임정보가 포함된 표시시간정보를 D_i초로 하고, 원 영상정보의 구간시점위치를 t_i초, 구간길이를 d_i초로 한다. i번째의 프레임정보를 이용한 재생이 시작되고 나서, t초 경과한 위치를 지정한 경우, 대응하는 원 영상의 프레임의 위치는 T = t_i + d_i×t/D_i로 된다.

다음에는 특수재생, 요약재생하는 프레임 선택의 방법을 설명한다.

도 20, 도 21을 참조하면서, 프레임 선택방법의 일례로서 화면의 움직임에 따라 화면의 움직임이 많은 곳은 좁은 간격으로 많은 화상데이터를 추출하고, 움직임이 적은 곳은 넓은 간격으로 적은 화상데이터를 추출하는 방법에 대해 설명한다. 도 20, 도 21의 횡축이나 곡선(800)이나 S_i나 F_i는 도 11과 마찬가지이다.

도 11의 예에서는, 화상데이터 추출원의 프레임간의 화면 변화량이 일정하게 되는 간격으로 1프레임씩 추출했다. 도 20, 도 21은 프레임번호(F_i)를 기준으로 하여 복수의 프레임의 집합을 추출하는 예를 나타내고 있다. 이 경우, 예컨대 도 20에 나타낸 바와 같이 프레임번호(F_i)로부터 일정수의 연속하는 프레임을 추출하도록 해도 좋고(프레임길이(811)와 프레임길이(812)는 동일), 도 21에 나타낸 바와 같이 프레임번호(F_i)로부터 화상 변화량의 총합이 일정하게 되도록 각각 해당하는 수의 연속하는 프레임을 추출하도록 해도 좋다(면적(813)과 면적(814)이 동일). 물론, 그 밖에도 여러 가지의 방법을 생각할 수 있다.

물론, 전술한 화면 변화량 = 0이 일정시간 이상 경과한 경우의 F_i의 추출처리도 이용하는 것이 가능하다.

도 11의 경우와 마찬가지로, 도 20, 도 21의 예의 경우, 어느 프레임 집합에 대해서도 같은 표시시간으로 되도록 표시시간정보(121)를 기술하도록 해도 좋고, 다른 방법으로 표시시간을 구해 기술하도록 해도 상관없다.

다음에는 표시시간을 결정하는 처리의 일례에 대해 설명한다.

도 22는 영상위치정보에 기술된 영상을, 표시시간정보에 기술된 시간대로 연 속적으로 재생한 때에, 화면의 변화량이 가능한 한 일정하게 되는 표시시간을 구하기 위한 기본처리수순의 일례이다.

이 처리는, 프레임의 추출을 어떠한 방법으로 행한 경우에도 적용가능하지만, 예컨대 도 11과 같은 방법으로 프레임을 추출한 경우에는 이 처리는 생략할 수 있다. 왜냐하면, 도 11은 표시시간 일정이고 화면의 변화량이 가능한 한 일정하게 되도록 프레임을 선택했기 때문이다.

스텝 S71에서는, 원 영상의 모든 프레임에 대해 인접 프레임과의 사이의 화면 변화량을 구한다. 영상의 각 프레임이 비트맵에 의해 표현되어 있는 경우는, 인접하는 프레임간의 화소의 차분치를 화면 변화량으로 할 수 있다. 영상이 MPEG에 의해 압축되어 있는 경우는, 움직임 벡터(motion vector)를 이용하여 화면 변화량을 구하는 것이 가능하다.

화면 변화량을 구하는 방법의 일례를 설명한다.

도 23은 MPEG에 의해 압축된 영상스트림으로부터 모든 프레임의 화면 변화량을 구하기 위한 기본 처리수순의 일례이다.

스텝 S81에서는, P화면의 프레임으로부터 움직임 벡터를 추출한다. MPEG에 의해 압축된 영상의 프레임은, 도 24에 나타낸 바와 같이 I화면(프레임내 부호화 프레임), P화면(전방예측 프레임간 부호화 프레임), B화면(쌍방향 예측 프레임간 부호화 프레임)의 나열에 의해 기술된다. 그중 P화면에는 직전의 I화면 또는 P화면으로부터의 움직임에 대응하는 움직임 벡터가 포함되어 있다.

스텝 S82에서는, 1개의 P화면의 프레임에 포함된 각 움직임 벡터의 크기(강 도)를 구하고, 그 평균을 직전의 I화면 또는 P화면으로부터의 화면 변화량으로 한다.

스텝 S83에서는, P화면의 프레임에 대해 구한 화면 변화량을 기초로, P화면 이외의 프레임을 포함한 모든 프레임에 대응하는 1프레임마다의 화면 변화량을 산출한다. 예컨대, P화면의 프레임의 움직임 벡터의 평균치가 p이고, 참조원(參照元)으로 되는 직전의 I화면 또는 P화면의 프레임으로부터의 간격이 d인 경우, 그 사이의 각 프레임의 1프레임당 화면 변화량은 p/d이다.

이어서, 도 22의 수순에서의 스텝 S72에서는, 영상위치정보에 기술하는 기술대상 프레임으로부터 다음의 기술대상 프레임간에서의 사이에 있는 프레임의 화면 변화량의 총합을 구한다.

도 25는 1프레임마다의 화면 변화량의 변화를 기술한 도면이다. 횡축은 프레임번호에 대응하고, 곡선(1000)이 화면 변화량의 변화를 나타낸다. 프레임위치(F_i)의 위치정보를 갖는 영상의 표시시간을 구하는 경우, 다음의 기술대상 프레임위치인 F_i+1까지의 구간(1001)의 화면 변화량을 누적가산한다. 이것은, 사선부(1002)의 면적(S_i)으로 되고, 프레임위치(F_i)의 움직임의 크기라고 생각할 수 있다.

이어서, 도 22의 수순에서의 스텝 S73에서는, 각 프레임의 표시시간을 구한다. 화면의 변화량을 가능한 한 일정하게 하기 위해서는, 화면의 움직임이 큰 프레임일수록 표시시간을 많이 배분하면 좋으므로, 각 프레임위치(F_i)의 영상에 배분 하는 표시시간의 재생시간에 대한 비율을, S_i/∑S_i로 하면 좋다. 재생시간의 총합을 T로 하면, 각 영상의 표시시간은 D_i = T·S_i/∑S_i로 된다. 재생시간의 총합(T)의 값은 표준의 재생시간으로 원 영상의 총재생시간이라고 규정해 둔다.

화면변화가 없어 S_i=0으로 되는 경우는, 미리 결정된 하한치(예컨대, 1)를 넣어도 좋고, 그 프레임정보를 기술하지 않아도 좋다. S_i=0으로 되지 않을 때까지도, 화면변화가 대단히 작고, 실제의 재생에 있어서 거의 표시되지 않을 것이 예상되는 프레임에 관해서도 하한치를 대입해도 좋으며, 프레임정보를 기술하지 않아도 좋다. 프레임정보를 기술하지 않는 경우는, S_i의 값은 S_i+1에 가산해도 좋고, 가산하지 않아도 좋다.

이 표시시간을 구하는 처리는, 특수재생 제어정보 생성장치로 프레임정보 작성을 위해 행할 수 있지만, 영상재생장치 측에서 특수재생시에 행하는 것도 가능하다.

다음에는 특수재생을 행하는 경우의 처리의 예에 대해 설명한다.

도 26은 기술된 특수재생 제어정보에 기초하여 N배속 재생을 행하기 위한 처리수순의 일례이다.

스텝 S111에서는, 재생배율에 기초하여 재생시의 표시시간(D'_i)을 산출한다. 프레임정보에 기술되어 있는 표시시간정보는 표준의 표시시간이므로, N배속에서의 재생을 행하는 경우, 각 프레임의 표시시간 D'_i=D_i/N으로 된다.

스텝 S112에서는, 표시를 위한 초기화를 행한다. 즉, 선두의 프레임정보를 표시하도록 i=0으로 한다.

스텝 S113에서는, i번째의 프레임정보의 표시시간(D'_i)이 미리 설정된 표시시간의 임계치보다 큰지 아닌지를 판정한다.

큰 경우는, 스텝 S114에 있어서, i번째의 프레임정보(F_i)에 포함된 영상위치정보의 영상을 D'_i초간 표시한다.

크지 않은(하회하는) 경우에는, 스텝 S115로 진행하여 표시시간의 임계치를 하회하지 않는 i번째의 프레임정보를 순방향으로 탐색한다. 이 사이, 표시시간의 임계치를 하회한 프레임정보의 표시시간은, 전부 탐색의 결과 얻어진 i번째의 프레임정보의 표시시간에 가산하고, 표시시간의 임계치를 하회한 프레임정보의 표시시간은 0으로 한다. 이러한 처리를 행하는 것은, 재생시의 표시시간이 대단히 짧아지면, 표시할 영상을 준비하는 시간이 표시시간보다도 길어져서 제시간에 표시할 수 없게 되는 경우가 있기 때문이다. 그래서, 표시시간이 대단히 짧은 경우는, 표시를 하지 않고 우선 진행하도록 한다. 그때에 총재생시간이 변화하지 않도록 표시되지 않는 영상의 표시시간을 표시되는 영상의 표시시간에 가산한다.

스텝 S116에서는, 아직 표시되지 않은 프레임정보가 남아 있지 않은지를 판단하기 위해, i가 프레임정보의 총수를 하회하고 있는지를 판정한다. 하회하고 있는 경우는, 스텝 S117로 진행하여 i를 1 증가시키고, 다음 프레임정보의 표시를 행할 준비를 한다. i가 프레임정보의 총수에 도달한 경우는, 재생처리를 종료한다.

도 27은 기정(旣定)의 표시사이클(예컨대, 1초간에 30프레임을 표시하는 경우, 1표시사이클은 1/30초)을 기준으로 하여, 기술된 특수재생 제어정보에 기초하여 N배속 재생을 행하기 위한 처리수순의 일례이다.

스텝 S121에서는, N배속 재생시에 각 프레임의 표시시간 D'_i를, D'_i=D_i/N으로 하여 구한다. 여기서 산출되는 표시시간은, 실제로는 표시사이클과의 관계가 있으므로, 산출된 표시시간에 영상을 표시할 수 있는 것으로는 한정되지 않는다.

도 28은 산출된 표시시간과 표시사이클의 관계를 나타낸 도면이다. 시간축(1300)은 산출된 표시시간을 나타내고, 시간축(1301)은 표시속도에 기초한 표시사이클을 나타낸다. 표시속도가 f프레임/초의 경우, 표시사이클의 간격은 1/f초로 된다.

따라서, 스텝 S122에서는, 표시사이클의 개시점이 포함된 프레임정보(F_i)를 탐색하고, 스텝 S123에서는 프레임정보(F_i)에 포함된 영상을 1표시사이클(1/f초)동안 표시한다.

예컨대, 표시사이클(1302)은 표시개시점(1303)이 산출된 표시시간(1304)에 포함되므로, 이 표시시간에 대응하는 프레임정보의 영상을 표시한다.

표시사이클과 프레임정보를 대응짓는 방법은, 도 29에 나타낸 바와 같이 표시사이클 개시점의 가장 근방의 영상을 표시하도록 해도 좋다. 도 28의 표시시간(1305)과 같이, 표시시간이 표시사이클보다 작게 된 경우는, 그 영상의 표 시를 생략해도 좋고, 강제적으로 표시해도 좋다. 강제적으로 표시한 경우는, 전후의 표시시간을 짧게 하여 전체의 총표시시간이 변화하지 않도록 조정한다.

스텝 S124에서는, 현재의 표시가 최종 표시사이클인지를 조사하여 최종 표시사이클이면 처리를 종료하고, 최종 표시사이클이 아니면 다음의 표시사이클을 처리하기 위해 스텝 S125로 진행한다.

프레임정보 기술의 다른 예를 설명한다.

도 8 혹은 도 14의 데이터 구조에 포함된 프레임정보는 단일의 원 영상을 요약하는 경우에 대해 취급한 것이지만, 프레임정보를 확장함으로써 복수의 원 영상을 한데 모아 요약할 수 있다. 도 30은 그 일례로, 개개의 프레임정보에 포함된 원 영상정보(4201)에 원 영상파일의 위치 등을 나타내는 원 영상위치정보(4202)를 추가한 구조로 되어 있다. 원 영상위치정보에 기술되는 파일은 반드시 파일 전체의 구간을 취급할 필요는 없고, 일부 구간만을 빼낸 형태로 사용해도 좋다. 이 경우, 파일명 등 파일의 정보뿐만 아니라, 파일의 어느 구간이 대상으로 되어 있는지를 나타내기 위한 구간정보도 아울러 기술한다. 영상파일로부터 선택하는 구간은 1개의 영상에 대해 복수여도 좋다.

또, 원 영상이 몇 종류인가 존재하고, 개개에 식별정보가 부여되어 있는 경우는, 원 영상위치정보 대신에 원 영상식별정보를 기술해도 좋다.

도 31은 원 영상위치정보를 추가한 프레임정보를 이용하여 복수의 원 영상을 한데 모아 요약표시하는 예에 대해 설명하는 도면이다. 이 예에서는 3개의 영상(영상1, 영상2, 영상3)을 한데 모아 1개의 요약영상을 표시하고 있다. 영상2에 관 해서는 전 구간이 아니라 4301과 4302의 2군데의 구간을 취출하여 각각의 원 영상으로서 취급하고 있다. 프레임정보로서는 이들 원 영상정보와 함께, 각각을 대표하는 화상의 프레임위치(4301에 대해서는 4303)가 영상위치정보로서, 또 표시시간(4301에 대해서는 4304)이 표시시간정보로서 기술된다.

도 32는 원 영상위치정보를 추가한 프레임정보를 이용하여 복수의 원 영상을 한데 모아 요약표시하는 다른 예에 대해 설명하는 도면이다. 이 예에서도 3개의 영상을 한데 모아 1개의 요약영상을 표시하고 있다. 영상2에 관해서는 전 구간이 아니라 일부 구간을 취출하여 각각의 원 영상으로서 취급하고 있다. 물론, 도 31과 같이 복수의 구간을 취출해도 좋다. 프레임정보로서는 이들 원 영상정보(예컨대 영상2에 더하여 4401의 구간정보)와 함께, 각각을 대표하는 화상파일(4402)의 격납장소가 영상위치정보로서, 또 표시시간(4403)이 표시시간정보로서 기술된다.

이들 예에서 설명한 바와 같은 프레임정보로의 원 영상위치정보의 추가는, 프레임의 집합을 영상위치정보로서 사용하는 경우에 있어서도, 완전히 동일하게 적용할 수 있고, 복수의 원 영상을 한데 모은 요약표시가 가능하다.

도 33은 프레임정보를 기술하기 위한 다른 데이터 구조이다, 이 데이터 구조에서는 이미 설명한 영상위치정보, 표시시간정보, 원 영상정보에 더하여, 움직임정보(4501)와 주목영역정보(4502)가 추가되어 있다. 움직임정보는 프레임정보가 대응하는 원 영상의 구간(즉 원 영상정보에 기술된 구간)의 움직임의 크기(화면의 변화량)를 기술한다. 주목영역정보란 영상위치정보에 기술되어 있는 화상 중에서 특별히 주목해야 할 영역의 정보를 기술한 것이다.

움직임정보는 도 22에 있어서, 영상의 움직임으로부터 표시시간을 산출할 때에 사용한 것처럼 영상위치정보에 기술되는 화상의 표시시간을 산출하기 위해 사용하는 것이 가능하다. 이 경우, 표시시간정보를 생략하고, 움직임정보만을 기술해도 표시시간을 기술한 경우와 마찬가지로 조송(早送) 등의 특수재생을 행할 수 있다(이 경우, 재생시에 표시시간을 계산한다).

표시시간정보와 움직임정보의 양쪽을 동시에 기술하는 것도 가능한데, 그 경우는 표시를 행하는 어플리케이션이 처리에 맞추어 필요한 쪽을 사용하거나, 조합하여 사용하면 좋다.

예컨대, 표시시간정보에는 움직임과 관계없이 산출된 표시시간을 기술해 둔다. 원 영상으로부터, 중요한 장면을 잘라내는 표시시간의 산출방법 등이 이것에 해당한다. 이와 같이 산출된 요약표시의 조송을 행할 때에, 움직임정보를 이용하여 움직임이 큰 경우는 천천히, 움직임이 작은 부분은 빨리 재생을 행함으로써, 빠뜨림이 적은 조송이 가능하다.

주목영역정보는 프레임정보의 영상위치정보에 기술된 화상 중에서 특별히 주목해야 할 영역이 존재할 때 사용한다. 예컨대, 시청자에게 중요하다고 생각되는 인물의 얼굴 등이 이것에 해당한다. 이러한 주목영역정보를 포함한 화상을 표시할 때에는 영역을 알 수 있도록 직사각형 등을 서로 겹치게 하여 표시해도 좋다. 이 표시는 필수적인 것은 아니고, 그대로 화상을 표시할 뿐이라도 상관없다.

주목영역정보는 프레임정보 등의 특수재생정보를 가공하여 표시하거나 하는 것도 가능하다. 예컨대, 일부의 프레임정보만을 재생표시하는 경우에, 주목영역정 보가 포함된 프레임정보를 우선적으로 표시한다. 또, 큰 면적을 갖는 직사각형 영역이 포함될수록 중요도가 높다고 하는 해석을 이용하여 선택표시하는 것도 가능하다.

이상, 화면 변화량에 기초하여 요약재생하는 프레임을 선택하는 경우를 설명했지만, 이하에서는 중요도정보를 이용하여 프레임을 선택하는 경우를 설명한다.

도 34는 영상에 부대시키는 프레임정보의 데이터 구조의 일례이다.

이 데이터 구조는, 도 1의 프레임정보의 데이터 구조에 있어서, 표시시간 제어정보(102)로서(또는 표시시간 제어정보(102) 대신에) 표시시간의 기초로 되는 정보인 중요도정보(122)를 기술하도록 한 것이다.

중요도정보(122)는, 대응하는 프레임(또는 프레임 집합)의 중요도를 나타낸다. 중요도는, 예컨대 일정범위(예컨대 0으로부터 100의 사이)의 정수로서 표현하거나, 일정범위(예컨대 0으로부터 1의 사이)의 실수로서 표현한다. 혹은, 상한을 정하지 않고 정수, 실수값으로서 표현해도 좋다. 중요도정보는 영상의 모든 프레임에 대해 부대시켜도 좋고, 중요도가 변화한 프레임만 부대시켜도 좋다.

이 경우, 영상의 위치정보의 기술방법은, 도 9, 도 10, 도 12, 도 13의 어느 형태를 취하는 것도 가능하다. 도 11이나 도 20, 도 21의 프레임 추출방법도 이용가능하다(이 경우에는, 도 11이나 도 20, 도 21의 화면 변화량을 중요도로 치환하면 좋다).

다음으로, 앞에 설명한 예에서는 화면의 변화량에 의해 표시시간의 설정을 행했지만, 중요도정보에 의해 표시시간을 설정하는 것도 가능하다. 이하, 이러한 표시시간의 설정방법에 대해 설명한다.

앞에 예시한 화면의 변화량에 기초한 표시시간 설정에서는, 영상 내용을 이해하기 쉽게 하기 위해, 변화량이 큰 곳에서는 표시시간을 길게 설정하고, 변화량이 작은 곳에서는 표시시간을 짧게 설정했다. 이 중요도에 기초한 표시시간 설정에서는, 중요도가 높은 곳에서는 표시시간을 길게 설정하고, 중요도가 낮은 곳에서는 표시시간을 짧게 하면 좋다. 즉, 중요도에 따른 표시시간의 설정방법은, 기본적으로 화면의 변화량에 기초한 표시시간 설정방법(도 25 참조)과 마찬가지이기 때문에, 여기서는 간단히 설명하기로 한다.

도 36에 이 경우의 기본 처리수순의 일례를 나타낸다.

스텝 S191에서는, 원 영상의 모든 프레임의 중요도를 구한다. 그 구체적인 방법에 대해서는 다음에 예시한다.

스텝 S192에서는, 영상위치정보에 기술하는 기술대상 프레임으로부터 다음의 기술대상 프레임까지의 사이에 있는 프레임의 중요도의 총합을 구한다.

도 37은 1프레임마다의 중요도의 변화를 기술한 도면이다. 2200이 중요도이다. 프레임위치(F_i)의 위치정보를 갖는 영상의 표시시간을 구하는 경우, 다음의 기술대상 프레임위치인 F_i+1까지의 구간(2201)의 중요도를 가산한다. 가산결과는 사선부(2202)의 면적(S'_i)으로 된다.

스텝 S193에서는, 각 프레임의 표시시간을 구한다. 각 프레임위치(F_i)의 영 상에 배분하는 표시시간의 재생시간에 대한 비율을 S'_i/∑S'_i로 한다. 재생시간의 총합을 T라 하면, 각 영상의 표시시간은 D_i = T·S'_i/∑S'_i로 된다. 재생시간의 총합(T)의 값은 표준의 재생시간으로 원 영상의 총재생시간이라 규정해 둔다.

중요도의 합이 S'_i=0으로 되는 경우는, 미리 결정된 하한값(예컨대, 1)을 넣어도 좋고, 그 프레임정보를 기술하지 않아도 좋다. S'_i=0으로 되지 않을 때까지도, 중요도가 대단히 작고, 실제의 재생에 있어서 거의 표시되지 않을 것이 예상되는 프레임에 관해서도 하한값을 대입해도 좋고, 프레임정보를 기술하지 않아도 좋다. 프레임정보를 기술하지 않는 경우는, S'_i의 값은 S'_i+1에 가산해도 좋고, 가산하지 않아도 좋다.

도 35와 같이, 도 1의 프레임정보의 데이터 구조에 있어서, 각 프레임정보(i)에 영상위치정보(101)와, 표시시간정보(121) 및, 중요도정보(122)를 기술하도록 해도 좋다. 이 경우에 있어서, 특수재생시에는 표시시간정보(121)를 이용하지만 중요도정보(122)를 이용하지 않는 방법과, 중요도정보(122)를 이용하지만 표시시간정보(121)를 이용하지 않는 방법과, 양쪽을 이용하는 방법과, 양쪽을 이용하지 않는 방법이 있다.

다음에, 각 프레임 또는 장면(영상구간)의 중요도의 결정방법(예컨대, 도 36의 스텝 S191)에 대해 설명한다.

영상의 어떤 장면이 중요한지 어떤지는, 통상 여러 가지의 요인이 서로 얽혀 있기 때문에, 중요도를 결정하는 가장 타당한 방법은 인간이 결정하는 방법이다. 이 방법에서는, 영상의 각각의 장면, 또는 일정의 시간간격마다 중요도 평가자가 중요도를 평가하고, 중요도 데이터로의 입력을 행한다. 여기서 말하는 중요도 데이터라는 것은, 프레임번호 또는 시각과 그 때의 중요도의 값과의 대응표의 것이다. 중요도의 평가가 주관적으로 되어 버리는 것을 피하기 위해서는, 복수의 중요도 평가자에게 동일의 영상을 평가하게 하고, 각 장면 또는 각 영상구간마다 평균값(또는 메디안 등이라도 좋다)을 산출하여 최종적인 중요도를 결정한다. 이러한 사람의 손에 의한 중요도 데이터의 입력은, 말로는 표현할 수 없는 애매한 인상이나 복수의 요소를 중요도에 가미하는 것이 가능하다.

인간이 결정하는 수고를 줄이기 위해서는, 중요하다고 생각되는 영상장면에 출현한 듯한 사상을 생각하고, 이러한 사상을 자동으로 평가하여 중요도로 변환하는 처리를 이용하는 것이 바람직하다. 이하, 중요도의 자동생성의 예를 몇가지 나타낸다.

도 38은 음성레벨이 큰 장면이 중요한 것으로 하여 중요도 데이터를 자동산출할 때의 처리수순의 일례이다(도 38은 기능블럭도로서도 성립한다).

스텝 S210의 음성레벨 산출처리에서는, 영상에 부수하고 있는 음성 데이터가 입력되면, 각 시각에서의 음성레벨을 산출한다. 음성레벨은 순간적으로 크게 변화 하기 때문에, 스텝 S210의 음성레벨 산출처리에서는 평활화 등의 처리를 행해도 좋다.

스텝 S211의 중요도 산출처리에서는, 음성레벨 산출처리의 결과 출력되는 음성레벨을 중요도로 변환하는 처리를 행한다. 예컨대, 미리 정해져 있는 최저 음성레벨을 0, 최고 음성레벨을 100으로 하여 입력된 음성레벨을 0으로부터 100의 값으로 선형으로 변환한다. 최저 음성레벨 이하의 경우는 0, 최고 음성레벨 이상의 경우는 100으로 한다. 중요도 산출처리의 결과, 각 시각에서의 중요도가 결정되고, 중요도 데이터로서 출력된다.

도 39는 다른 중요도레벨 자동결정방법의 처리수순예이다(도 39는 기능블럭도로서도 성립한다).

도 39의 처리는, 영상에 부수하는 음성 중에 미리 등록되어 있는 중요단어가 많이 출현하는 장면을 중요한 것으로 판단하는 것이다.

스텝 S220의 음성인식처리에서는, 영상에 부수하는 음성 데이터가 입력되면, 음성인식처리에 의해 사람이 말한 말(단어)을 텍스트 데이터로 변환한다.

중요단어사전(221)에는, 중요한 장면에 등장할 것 같은 단어가 등록되어 있다. 등록되어 있는 단어의 중요성의 정도가 다른 경우에는, 등록단어마다 가중치를 부가해 둔다.

스텝 S222의 단어대조처리에서는, 음성인식처리의 출력인 텍스트 데이터와 중요단어사전(221)에 등록되어 있는 단어를 대조하여 중요한 단어가 이야기되었는지 어떤지를 판정한다.

스텝 S223의 중요도 산출처리는, 단어대조처리의 결과로부터 영상의 각 장면이나 각 시각에서의 중요도를 산출한다. 이 계산에는, 중요단어의 출현수, 중요단어의 가중치가 사용되고, 예컨대 중요단어가 출현한 시각의 주변(또는 출현한 장면)의 중요도를 일정치 또는 중요단어의 가중치에 비례하는 값만큼 상승시킨다고 하는 처리를 행한다. 중요도 산출처리의 결과, 각 시각에서의 중요도가 결정되고, 중요도 데이터로서 출력된다.

모든 단어의 가중치를 동일하게 한 경우에는, 중요단어사전(221)은 불필요하게 된다. 이것은, 많은 단어가 이야기된 장면은 중요한 장면이라고 상정하고 있는 것에 상당한다. 이때, 스텝 S222의 단어대조처리에서는, 단순히 음성인식처리로부터 출력되는 단어의 수를 카운트하는 처리를 행한다. 단어수가 아니라, 문자수를 카운트하도록 해도 좋다.

도 40은 더욱 다른 중요도레벨 자동결정방법의 처리수순예이다(도 40은 기능블럭도로서도 성립한다).

도 40의 처리는, 영상 중에 등장하는 텔롭(telop: television opaque projector)에 미리 등록되어 있는 중요단어가 많이 출현하는 장면을 중요한 것으로 판단하는 것이다.

스텝 S230의 텔롭인식처리에서는, 영상 중의 문자위치를 특정하고, 문자위치의 영상영역을 2치화하여 문자인식을 행한다. 인식된 결과는 텍스트 데이터로서 출력된다.

중요단어사전(231)은, 도 39의 중요단어사전(221)과 마찬가지의 것이다.

스텝 S232의 단어대조처리에서는, 도 39의 수순에서의 스텝 S222와 마찬가지로, 텔롭인식처리의 출력인 텍스트 데이터와 중요단어사전(231)에 등록되어 있는 단어를 대조하여 중요한 단어가 등장했는지 어떤지를 판정한다.

스텝 S233의 중요도 산출처리에서는, 도 39의 수순에서의 스텝 S223과 마찬가지로, 중요단어의 출현수, 중요단어의 가중치로부터 각 장면 또는 각 시각에서의 중요도를 산출한다. 중요도 산출처리의 결과, 각 시각에서의 중요도가 결정되고, 중요도 데이터로서 출력된다.

모든 단어의 가중치를 동일하게 한 경우에는, 중요단어사전(231)은 불필요하게 된다. 이것은, 텔롭으로서 많은 단어가 출현한 장면은 중요한 장면이라고 상정하고 있는 것에 상당한다. 이때, 스텝 S232의 단어대조처리에서는, 단순히 텔롭인식처리로부터 출력되는 단어의 수를 카운트하는 처리를 행한다. 단어수가 아니라, 문자수를 카운트하도록 해도 좋다.

도 41은 더욱 다른 중요도레벨 자동결정방법의 처리수순예이다(도 41은 기능블럭도로서도 성립한다).

도 41의 처리는, 영상 중에 등장하는 텔롭의 문자가 클수록 중요한 장면이라고 판단하는 것이다.

스텝 S240의 텔롭검출처리에서는, 영상 중의 문자열의 위치를 특정하는 처리를 행한다.

스텝 S241의 문자사이즈의 산출처리에서는, 문자열로부터 개개의 문자를 잘라내고, 문자의 크기(면적)의 평균치 또는 최대치를 산출한다.

스텝 S242의 중요도 산출처리에서는, 문자사이즈 산출처리의 출력인 문자사이즈에 비례한 중요도를 산출한다. 산출된 중요도가 너무 크거나 너무 작거나 한 경우에는, 임계치처리에 의해 중요도를 미리 결정된 범위내에 거두어들이는 처리도 행한다. 중요도 산출처리의 결과, 각 시각에서의 중요도가 결정되고, 중요도 데이터로서 출력된다.

도 42는 더욱 다른 중요도레벨 자동결정방법의 처리수순예이다(도 42는 기능블럭도로서도 성립한다).

도 42의 처리는, 영상 중에 인간의 얼굴이 등장하는 장면은 중요한 것으로 판단하는 것이다.

스텝 S250의 얼굴검출처리에서는, 영상 중에 있는 인간의 얼굴로 추측되는 영역을 검출하는 처리를 행한다. 처리의 결과로서, 인간의 얼굴이라고 판단된 영역의 수(얼굴의 수)가 출력된다. 얼굴의 크기(면적)의 정보도 동시에 출력하도록 해도 좋다.

스텝 S251의 중요도 산출처리에서는, 얼굴검출처리의 출력인 얼굴의 수를 정수배 하여 중요도를 산출한다. 얼굴검출처리의 출력이 얼굴의 크기정보를 포함하는 경우에는, 중요도는 얼굴의 크기와 더불어 증대하도록 산출된다. 예컨대, 얼굴의 면적을 정수배 하여 중요도를 산출한다. 중요도 산출처리의 결과, 각 시각에서의 중요도가 결정되고, 중요도 데이터로서 출력된다.

도 43은 더욱 다른 중요도레벨 자동결정방법의 처리수순예이다(도 43은 기능블럭도로서도 성립한다).

도 43의 처리는, 미리 등록되어 있는 화상과 유사한 영상이 등장하는 장면은 중요한 것으로 판단하는 것이다.

중요장면사전(260)에는, 중요하다고 판단할 만한 화상이 등록되어 있다. 화상은 그대로의 데이터로서 기록되어 있다거나, 데이터 압축된 형식으로 기록되어 있다. 화상 그 자체가 아니라 화상의 특징량(색히스토그램이나 주파수 등)을 기록해 두어도 좋다.

스텝 S261의 유사도/비유사도 산출처리에서는, 중요장면에 등록되어 있는 화상과 입력된 화상데이터의 유사도 또는 비유사도를 산출한다. 비유사도로서는, 2승 오차의 총합이나 절대값차분의 총합 등이 사용된다. 중요장면사전(260)에 화상데이터가 기록되어 있는 경우에는, 대응하는 화소마다의 2승 오차의 총합이나 절대값차분의 총합 등이 비유사도로서 산출된다. 중요장면사전(260)에 화상의 색히스토그램이 기록되어 있는 경우에는, 입력된 화상데이터에 대해 마찬가지의 색히스토그램을 산출하고, 히스토그램끼리의 2승 오차의 총합이나 절대값차분의 총합을 산출하여 비유사도로 한다.

스텝 S262의 중요도 산출처리에서는, 유사도/비유사도 산출처리의 출력인 유사도 또는 비유사도로부터 중요도를 산출한다. 유사도가 입력되는 경우에는 유사도가 클수록 큰 중요도로 되도록, 비유사도가 입력되는 경우에는 비유사도가 클수록 작은 중요도로 되도록 중요도가 계산된다. 중요도 산출처리의 결과, 각 시각에서의 중요도가 결정되고, 중요도 데이터로서 출력된다.

더욱 다른 중요도레벨 자동결정방법으로서, 순간 시청률이 높은 장면을 중요 한 것으로 결정하는 방법이 있다. 순간 시청률의 데이터는, 시청률 조사의 집계결과로서 얻어지는 것으로, 이 순간 시청률을 정수배 함으로써 중요도가 산출된다. 물론, 그 밖에도 여러 가지의 방법이 있다.

중요도의 산출처리는, 단독으로 이용되어도 좋고, 복수를 동시에 이용하여 중요도를 산출하도록 해도 좋다. 후자의 경우에는, 예컨대 몇 개의 다른 방법으로 하나의 영상의 중요도를 산출하고, 최종적인 중요도는 평균값 또는 최대값으로서 산출하도록 해도 좋다.

이상에서는 화면 변화량이나 중요도를 예로 들어 설명을 했지만, 화면 변화량 및/또는 중요도와 더불어, 혹은 화면 변화량 및 중요도 대신에 그 밖의 1 또는 복수 종류의 정보를 이용하는(프레임정보에 기술하는) 것도 가능하다.

다음으로, 프레임정보(도 1 참조)에, 재생/비재생의 제어를 위한 정보를 부가하는 경우에 대해 설명한다.

영상데이터 중에서의 특정의 장면 혹은 부분(예컨대 하이라이트 장면)만을 재생하거나, 특정의 인물이 등장하고 있는 장면 혹은 부분만을 재생하고 싶다고 하는 등과 같이, 영상의 일부만을 보고 싶다고 하는 요구가 있다.

이 요구를 만족시키기 위해, 프레임정보에 재생할 것인지 비재생으로 할 것인지를 제어하기 위한 재생/비재생정보를 부가하도록 해도 좋다. 이에 따라, 재생측에서는, 이 재생/비재생정보에 기초하여 영상의 일부만을 재생하거나, 반대로 영상의 일부만을 재생하지 않거나 할 수 있다.

도 44, 도 45, 도 46에 재생/비재생정보를 부가한 데이터 구조예를 나타낸 다.

도 44는 도 8의 데이터 구조예에 있어서, 재생/비재생정보(123)를 부가한 것이다. 물론, 도 45, 도 46은 도 34, 도 35의 데이터 구조에 재생/비재생정보(123)를 부가한 것이다. 도시하고 있지 않지만, 도 1의 데이터 구조예에 있어서, 재생/비재생정보를 부가해도 좋다.

재생/비재생정보(123)는, 재생할 것인지 비재생으로 할 것인지의 2치 정보를 지정하는 방법과, 재생레벨과 같은 연속치를 지정하는 방법이 있다.

후자의 경우에는, 예컨대 재생시에 재생레벨이 어떤 임계치 이상이라면 재생하고, 그렇지 않으면 비재생으로 한다. 임계치는, 예컨대 사용자가 직접적 또는 간접적으로 지정가능하게 해도 좋다.

재생/비재생정보(123)는, 독립한 정보로서 보호·유지해도 좋지만, 재생인지 비재생인지를 선택적으로 지정하는 경우에 있어서, 표시시간정보(121)에 의해 나타내어지는 표시시간이 특정의 값(예컨대, 0 혹은 -1 등)일 때에 비재생이라고 하는 것도 가능하다. 혹은, 중요도정보(122)에 의해 나타내어지는 중요도가 특정의 값(예컨대, 0 혹은 -1 등)일 때에 비재생이라고 하는 것도 가능하다. 이 경우에는, 재생/비재생정보(123)는 부가하지 않아도 좋다.

재생인지 비재생인지를 레벨값으로 지정하는 경우에 있어서도, 표시시간정보(121) 및/또는 중요도정보(다만, 중요도를 레벨값으로 나타내는 경우)로 대용하는 것도 가능하다.

재생/비재생정보(123)를 독립한 정보로서 보호·유지하는 경우는, 데이터량 이 그만큼 증가하지만, 재생 측에서 비재생 지정부분을 재생하지 않도록 하여 다이제스트를 볼 수도 있고, 비재생 지정부분도 재생하여 영상의 전부를 보는 것도 가능하게 된다(재생/비재생정보(123)를 독립한 정보로서 보호·유지하지 않는 경우는, 비재생 지정부분도 재생하여 영상의 전부를 보기 위해서는, 예컨대 0으로서 지정되어 있는 표시시간을 적절히 변경할 필요가 있다).

재생/비재생정보(123)는, 인간이 입력해도 좋고, 하등의 조건으로부터 결정해도 좋다. 예컨대, 영상의 움직임정보로부터 움직임이 일정치 이상 큰 때는 재생, 그렇지 않으면 비재생으로 하면, 움직임이 심한 곳만 재생할 수 있고, 색정보로부터 살색이 일정치보다 큰지 작은지로부터 결정하면 인물이 있는 곳만 재생할 수 있다. 소리(音)의 대소에 따라 결정하는 수법, 미리 입력되어 있는 재생프로그램 정보로부터 결정하는 수법도 생각할 수 있다. 중요도를 어떤 수법으로든 결정해 두고, 중요도정보로부터 재생/비재생정보(123)를 생성해도 좋다. 재생/비재생정보를 연속치로 했을 때는, 이들 정보를 적당한 함수에 의해 재생/비재생정보로 변환함으로써 구하면 좋다.

도 47은 재생/비재생정보(123)에 기초해 재생/비재생의 제어를 행하여 재생한 예이다.

도 47에 있어서, 원 영상(2151)을 F₁∼F₆으로 표시되는 영상프레임 위치정보 또는 영상프레임군 위치정보(2153)와, D₁∼D₆으로 표시되는 표시시간정보(2154)에 기초하여 재생하는 것으로 한다. 이때, 재생/비재생정보(2155)는 표시시간정보(2154)에 부가되는 것으로 한다. 이 예에 있어서, D₁, D₂, D₄, D₆의 구간이 재생으로 되고, 그 이외의 구간이 비재생으로 된 경우에는, 재생영상(2152)으로서는 D₁, D₂, D₄, D₆의 구간이 연속적으로 재생된다(그 이외는 비재생으로 된다).

예컨대, 재생영상의 프레임(F_i)에 있어서, 재생/비재생정보(123)가 재생을 나타내는 것이었을 때의 표시시간을 D⁺ _i, 비재생이었을 때의 표시시간을 D^- _i로 했을 때, 원 영상의 재생부분의 총시간이 T'라고 하면, ∑iD⁺ _i=T'로 된다. 통상은, D⁺ _i는 원 영상과 등배속으로 표시시간을 설정해 둔다. 미리 결정해 놓은 암묵(暗默)의 고정된 배속으로 해도 좋고, 몇 배속으로 설정할 것인지의 정보를 기술해도 좋다. N배속 재생하고 싶은 경우는, 재생부분의 표시시간(D⁺ _i)을 1/N배 한다. 예컨대, 결정된 시간(D')으로 재생을 행하도록 하기 위해서는, 각 재생부분의 표시시간(D⁺ _i)을 D'/∑iD⁺ _i배로 가공하여 표시하면 좋다.

프레임정보에 기초하여 각 프레임(또는 프레임군)의 표시시간을 결정하는 경우에, 결정된 표시시간을 조정하도록 해도 좋다.

결정된 표시시간을 조정하지 않는 방법에서는, 비재생의 구간이 발생한 것을 고려하지 않고 결정된 표시시간을 그대로 사용하므로, 비재생의 구간에 본래부터 0을 넘는 표시시간이 할당되어 있던 경우에는, 그만큼 전체의 표시시간이 짧아진다.

결정된 표시시간을 조정하는 방법에서는, 예컨대 비재생의 구간에 본래부터 0을 넘는 표시시간이 할당되어 있는 경우에는, 비재생의 구간을 재생한 때와 전체의 표시시간이 같게 되도록 재생하는 각 프레임(또는 프레임군)의 표시시간에 일정수를 곱해 조정을 행한다.

사용자가 조정할 것인지 아닌지를 선택가능하게 해도 좋다.

사용자가 N배속 재생을 지정한 경우에도, 결정된 표시시간을 조정하지 않고 N배속 재생의 처리를 행해도 좋고, 결정된 표시시간을 상기와 같이 하여 조정한 후의 표시시간을 기초로 하여 N배속 재생의 처리를 행해도 좋다(전자의 쪽이 표시시간이 짧아진다).

사용자가 전체의 표시시간을 지정가능하게 해도 좋다. 이 경우에도, 예컨대 지정된 전체의 표시시간으로 되도록 재생하는 각 프레임(또는 프레임군)의 표시시간에 일정수를 곱해 조정을 행하도록 해도 좋다.

도 48은 재생/비재생정보(123)에 기초하여 영상의 일부만을 재생하는 처리수순의 일례를 나타낸다.

스텝 S162에서 그 프레임의 프레임정보(영상위치정보 및 표시시간정보)를 독출하고, 스텝 S163에서 표시시간정보 내의 재생/비재생정보로부터 그 프레임을 재생할 것인지 비재생으로 할 것인지를 판단한다.

판단결과가 재생이면, 스텝 S164에서 표시시간만큼 그 프레임을 표시한다. 그렇지 않으면, 그 프레임은 재생하지 않고 다음의 프레임의 처리로 이동한다.

스텝 S161에서 재생해야 할 영상이 종료했는지 어떤지를 판별하고, 영상이 종료했으면 재생처리도 종료한다.

그런데, 스텝 S163에서 그 프레임을 재생할 것인지 비재생으로 할 것인지를 판단할 때에는, 단순히 재생/비재생정보가 재생이면 재생하고, 비재생이면 재생하지 않는다고 하는 이외에, 사용자의 기호에 따라 비재생부를 재생할 것인지 재생하지 않을 것인지를 결정하고 싶은 경우가 있다. 이때는, 영상의 재생전에 미리 비재생부를 재생할 것인지 재생하지 않을 것인지를 사용자 프로파일 등으로부터 결정해 두고, 비재생부를 재생할 때는 반드시 스텝 S164에서 프레임의 재생을 행하도록 한다.

그 밖에도, 재생/비재생정보가 재생레벨로서 연속치로서 보존되어 있을 때는, 사용자 프로파일로부터 재생과 비재생을 구별하는 임계치를 구하고, 재생/비재생정보가 임계치를 넘고 있는지 어떤지로 재생할 것인지 비재생으로 할 것인지를 판단하도록 해도 좋다. 사용자 프로파일을 사용하는 이외에도, 예컨대 각 프레임마다 설정된 중요도로부터 임계치를 계산하거나, 사용자로부터 미리 또는 실시간으로 재생할 것인지 재생하지 않을 것인지의 정보를 수취해도 좋다.

이와 같이, 프레임정보에 재생할 것인지 비재생으로 할 것인지를 제어하기 위한 재생/비재생정보(123)를 부가함으로써, 영상의 일부만을 재생하는 것이 가능하게 되고, 하이라이트 장면만을 재생하거나, 흥미 있는 인물이나 물체가 나오는 장면만을 재생하거나 하는 것이 가능하게 된다.

다음으로, 프레임정보(도 1 참조)에, 표시되는 영상에 관련한 영상 이외의 미디어(예컨대 텍스트나 소리)의 위치정보와, 그들을 표시 또는 재생하는 시간을 부가정보로 하는 경우의 기술방법에 대해 설명한다.

도 8에서는 프레임정보(100)에 영상위치정보(101)와 표시시간정보(102)가 포함되고, 도 34에서는 각 프레임정보(100)에 영상위치정보(101)와 중요도정보(103)가 포함되며, 도 35에서는 각 프레임정보(100)에 영상위치정보(101)와 표시시간정보(102) 및 중요도정보(103)가 포함되고, 도 44, 도 45, 도 46에서는 더욱이 재생/비재생정보(123)가 포함되어 있는 예를 나타냈지만, 그들의 어느 것에 있어서도 0 이상의 소리위치정보(2703), 소리재생시간정보(2704), 0 이상의 텍스트정보(2705), 텍스트 표시시간정보(2706)(다만, 어느 것인가는 1 이상으로 한다)를 부가하도록 해도 좋다.

도 49는 도 8의 데이터 구조예에 1조의 소리위치정보(2703)/소리재생시간정보(2704)와, N조의 텍스트정보(2705)/텍스트 표시시간정보(2706)를 부가한 경우의 예이다.

소리는, 소리위치정보(2703)에 격납한 위치로부터 소리재생시간정보(2704)에 격납한 시간만큼 재생을 행한다. 재생의 대상은, 최초로부터 영상에 부대하고 있던 소리정보라도 상관없고, 배경음악 등을 작성하여 새로 부가해도 상관없다.

텍스트는, 텍스트정보(2705)에 격납한 텍스트정보를 텍스트 표시시간정보(2706)에 격납한 시간만큼 표시한다. 1개의 영상 프레임에 대해 복수의 텍스트정보를 부가해도 좋다.

소리의 재생과 텍스트의 표시를 개시하는 시각은, 관련지워진 영상프레임이 표시되는 것과 동시이다. 소리의 재생시간과 텍스트의 표시시간도 관련지워진 영상프레임의 표시시간 이내로 된다. 복수의 영상프레임에 걸쳐서 연속한 소리를 재생하는 경우에는, 소리의 위치정보와 재생시간을 연속하도록 설정하면 좋다.

이러한 방법에 의해, 요약음성이나 요약텍스트 등도 가능하게 된다.

도 50에 프레임정보와는 별도로 소리정보를 기술하는 방법의 일례를 나타낸다. 이것은, 특수재생을 행할 때에, 표시되어 있는 영상프레임에 관련한 음성을 재생하기 위한 데이터 구조예이다. 재생하는 음성의 소재를 나타내는 위치정보(2801)와, 음성의 재생을 개시하는 시각(2802)과, 재생을 계속하는 시간(2803)의 조를 1개의 소리정보(2800)로 하고, 이 소리정보의 배열로서 기술된다.

도 51에 텍스트정보를 기술하기 위한 데이터 구조의 일례를 나타낸다. 도 50의 소리정보와 마찬가지의 구조를 갖고, 표시하는 텍스트의 문자코드(2901)와 표시개시시각(2902) 및 표시시간(2903)의 조를 1개의 텍스트정보(2900)로 하고, 이 텍스트정보의 배열로서 기술된다. 2901에 해당하는 정보로서 문자코드 대신에 그 문자코드를 보존한 장소, 혹은 그 문자를 화상으로서 보존한 장소 등을 가리키는 위치정보를 사용해도 좋다.

상기의 소리정보나 텍스트정보는, 영상프레임의 표시와 동기를 취하고, 표시되어 있는 영상프레임 또는 그 영상프레임이 존재하는 일정의 영상구간에 관련이 있는 정보로서 표시된다. 도 52에 나타낸 바와 같이, 소리정보나 텍스트정보는 시간축(3001)이 나타내는 시간의 경과에 따라 재생 혹은 표시가 개시된다. 먼저, 영상(3002)은 각 영상프레임이 기술된 순서로, 기술된 표시시간씩 표시됨으로써 재생 된다. 3005, 3006, 3007은 각각 영상프레임을 나타내고 있고, 소정의 표시시간이 할당되어 있다. 소리(3003)는 각 소리정보에 기술된 재생개시시각으로 되면 재생되고, 마찬가지로 기술된 재생시간을 지나면 재생을 정지한다. 도 52에 나타낸 바와 같이, 동시에 복수의 소리 3008과 3009가 재생되어도 좋다. 텍스트(3004)도 소리와 마찬가지로 각 텍스트정보에 기술된 표시개시시각으로 되면 표시되고, 기술된 표시시간을 지나면 표시를 정지한다. 동시에 복수의 텍스트 3010과 3011을 표시해도 좋다.

소리의 재생개시시각 및 텍스트의 표시개시시각은, 영상프레임의 표시를 행하는 시각과 일치할 필요는 없다. 소리의 재생시간 및 텍스트의 표시시간은 영상프레임의 표시시간과 일치할 필요는 없다. 이들은 자유로 설정할 수 있고, 반대로 소리의 재생시간이나 텍스트의 표시시간에 따라 영상프레임의 표시시간을 변경해도 좋다.

이것들은 인간이 수동으로 설정하는 것도 가능하다.

인간이 결정하는 수고를 줄이기 위해서는, 중요하다고 생각되는 영상장면에 출현할 듯한 사상구간을 생각하고, 이러한 사상을 자동적으로 설정하는 처리를 이용하는 것이 바람직하다. 이하, 자동설정의 예를 몇가지 나타낸다.

도 53은 숏(shot: 컷)이라 불리는 화면의 절환으로부터 다음의 절환까지의 연속한 영상구간을 구하고, 그 숏에 포함된 영상프레임의 표시시간의 총합을 음성의 재생시간으로 하는 처리수순의 일례를 나타낸다(도 53은 기능블럭도로서도 성립한다).

스텝 S3101에 있어서, 영상으로부터 숏을 검출한다. 이것에는, 「유도비설정을 이용한 MPEG 비트 스트림으로부터의 동화상 컷 검출수법(신가쿠론, Vol. J82-D-II, No. 3, pp. 361∼370, 1999)」 등의 방법을 이용한다.

스텝 S3102에 있어서, 영상프레임의 위치정보를 참조하여 각각의 영상프레임이 어느 숏에 속하고 있는지를 조사한다. 더욱이, 영상프레임의 표시시간의 총합을 취함으로써, 각각의 숏의 표시시간을 구한다.

예컨대, 소리의 위치정보는 숏의 시작에 대응한 음성의 위치로 하고, 소리의 재생개시시각은 각각의 숏에 속하는 최초의 영상프레임의 표시시간에 맞추며, 소리의 재생시간은 그 숏의 표시시간과 같게 하면 좋다. 혹은, 소리의 재생시간에 따라 각각의 숏에 포함된 영상프레임의 표시시간을 수정해도 좋다. 여기서는 숏을 검출했지만, (프레임정보에 중요도정보를 기술하는 데이터 구조를 취하는 경우에는) 영상프레임에 대한 중요도를 이용하여 그 중요도가 임계치 이상인 구간을 구하고, 그 구간에 포함된 소리를 재생해도 좋다.

구해진 재생시간이 일정 기준을 만족시키지 않는 경우에는, 당해 음성은 재생하지 않도록 해도 좋다.

도 54는 숏 또는 중요도가 높은 영상구간에 대응하는 음성데이터로부터 음성인식에 의해 중요한 단어를 취출하고, 그 단어 또는 단어가 포함된 음성 또는 복수의 단어를 조합시킨 음성을 재생하는 처리수순의 일례를 나타낸다(도 54는 기능블럭도로서도 성립한다).

스텝 S3201에 있어서, 숏을 검출한다. 숏 대신에 상기 중요도가 높은 영상 구간을 구해도 좋다.

스텝 S3202에 있어서, 얻어진 영상구간에 대응하는 음성데이터의 구간에 대해, 음성인식을 행한다.

스텝 S3203에 있어서, 인식결과 중에서 중요한 단어를 포함한 음성 또는 중요단어부분의 음성을 구한다. 중요단어를 선택하기 위해서는, 중요단어사전(3204)을 참조한다.

스텝 S3205에 있어서, 재생용의 음성을 작성한다. 중요단어를 포함한 연속한 음성을 그대로 사용해도 좋고, 중요단어만을 추출(抽出)해도 좋다. 중요단어를 복수 조합시킨 음성을 작성해도 좋다.

스텝 S3206에 있어서, 작성한 음성의 재생시간에 따라 영상프레임의 표시시간을 수정한다. 다만, 소리의 재생시간이 영상프레임의 표시시간 내로 되도록, 선택한 단어의 수를 줄이고, 소리의 재생시간을 짧게 해도 좋다.

도 55에 텔롭으로부터 텍스트정보를 취득하는 수순의 일례를 나타낸다(도 55는 기능블럭도로서도 성립한다).

도 55의 처리는, 텍스트정보는 영상 중에 표시되는 텔롭 혹은 음성으로부터 취득하는 것이다.

스텝 S3301에 있어서, 영상 내에서 표시되는 텔롭을 판독한다. 이것에는, 예컨대 문헌 「호리슈: "텔롭영역을 위한 영상으로부터의 문자부 추출법", CVIM114-17, pp. 129∼136(1999)」에 기술되어 있는 방법 등에 의해, 원 영상 중의 텔롭을 자동 추출하거나, 인간이 텔롭을 판독하여 수입력하는 방법이 있다.

스텝 S3302에 있어서, 판독한 텔롭 문자열로부터 중요한 단어를 취출한다. 중요단어의 판정에는 중요단어사전(3303)을 사용한다. 물론, 판독한 텔롭 문자열을 그대로 텍스트정보로 해도 좋다. 추출한 단어를 나열하고, 중요단어만으로 그 영상구간을 나타내는 문장을 구성하여 텍스트정보로 해도 좋다.

도 56에 음성으로부터 텍스트정보를 취득하는 처리수순의 일례를 나타낸다(도 56은 기능블럭도로서도 성립한다).

스텝 S3401의 음성인식처리에 의해 음성을 인식한다.

스텝 S3402에 있어서, 인식한 음성데이터로부터 중요한 단어를 취출한다. 중요단어의 판정에는, 중요단어사전(3403)을 사용한다. 물론, 인식한 음성데이터를 그대로 텍스트정보로 해도 좋다. 추출한 단어를 나열하고, 중요단어만으로 그 영상구간을 나타내는 문장을 구성하여 텍스트정보로 해도 좋다.

도 57에 숏 또는 중요도가 높은 영상구간으로부터 텔롭 인식에 의해 텍스트정보를 취출하고, 텍스트정보를 작성하는 처리수순의 일례를 나타낸다(도 57은 기능블럭도로서도 성립한다).

스텝 S3501에 있어서, 영상으로부터 숏을 검출한다. 숏이 아니라, 중요도가 높은 구간을 구해도 좋다.

스텝 S3502에 있어서, 그 영상구간 내에 표시되는 텔롭을 인식한다.

스텝 S3503에 있어서, 중요단어사전(3504)을 이용하여 중요한 단어를 추출한다.

스텝 S3505에 있어서, 표시용의 텍스트를 작성한다. 이것에는, 중요단어를 포함한 텔롭 문자열을 사용해도 좋고, 중요단어만 또는 중요단어를 복수 이용한 문자열을 텍스트정보로 해도 좋다. 음성인식에 의해 텍스트정보를 얻는 경우에는, 스텝 S3502의 텔롭 인식처리의 부분을 음성인식처리로 바꿔 놓고, 음성데이터를 입력으로 하면 좋다. 텍스트정보는, 그 텍스트가 텔롭으로서 표시된 영상프레임, 혹은 음성으로서 재생된 시각의 영상프레임에 맞추어 표시한다. 혹은, 그 영상구간 내의 텍스트정보를 한번에 표시해도 좋다.

도 58a, 도 58b에 텍스트정보의 표시예를 나타낸다. 도 58a와 같이 텍스트정보 표시부(3601)와 영상표시부(3602)로 분할해도 좋고, 도 58b와 같이 텍스트정보를 영상표시부(3603)에 겹쳐서 표시해도 좋다.

영상프레임, 소리정보, 텍스트정보 각각의 표시시간(재생시간)은, 모든 미디어 정보가 동기하도록 조정한다. 예컨대, 영상을 배속재생할 때에는, 먼저 전술한 방법으로 중요한 음성을 추출하고, 통상재생의 2분의 1의 시간의 음성정보를 취득해 둔다. 다음에, 각각의 음성에 관련한 영상프레임에 표시시간을 할당한다. 화면의 변화량이 일정하게 되도록 영상프레임의 표시시간을 결정한 경우에는, 음성의 재생시간이나 텍스트의 표시시간은, 각각 관련된 영상프레임의 표시시간 내로 한다. 또는, 숏과 같이 복수의 영상프레임을 포함하는 구간을 구해 놓고, 그 구간에 포함된 음성 혹은 텍스트를 그 구간의 표시시간에 따라 재생 또는 표시하도록 한다.

이제까지는 영상데이터를 중심으로 하여 설명했지만, 음성데이터를 중심으로 취급한 시스템도 물론 가능하다.

이제까지는 영상을 중심으로 한 요약표시에 대해 취급했지만, 프레임정보를 갖지 않는(즉 영상을 갖지 않는) 형식으로, 소리정보나 텍스트정보를 사용하는 것도 가능하다. 이 경우, 원 영상에 대해, 소리정보와 텍스트정보만으로 구성되는 요약을 작성하게 된다. 또, 음성데이터나 음악데이터에 대해, 소리정보와 텍스트정보만으로 구성되는 요약을 작성하는 것도 가능하다.

그때, 프레임정보의 경우와 마찬가지로, 소리정보나 텍스트정보에 원래의 음성, 음악데이터의 대응관계를 기술하기 위한 원 데이터정보를 추가해도 좋다.

도 59는 도 50에 나타낸 데이터 구조의 소리정보에, 원 데이터정보(4901)를 포함한 데이터 구조의 예이다. 원 데이터정보(4901)는 입력이 영상인 경우는 영상의 구간을 나타내는 시간(시점정보(4902)와 구간길이정보(4903))으로 되고, 입력이 음성/음악인 경우는 음성/음악의 구간을 나타내는 시간으로 된다.

도 60은 도 30에 상당하는 데이터 구조의 소리정보에, 원 데이터정보(4901)를 포함한 데이터 구조의 예이다.

도 61은 음성정보를 이용하여 음성/음악을 요약한 일례에 대해 설명한 것이다. 이 예에서는, 기초로 되는 음성/음악을 몇 개의 구간으로 분할하고, 각각의 구간의 일부를 그 구간의 요약음성/음악으로서 잘라내어 요약을 작성하고 있다. 예컨대, 구간2의 5001의 부분을 요약음성/음악으로서 잘라내고, 요약의 5002의 구간으로서 재생한다. 구간을 분할하는 방법의 예로서는, 음악을 악장마다 분할하거나, 회화를 내용마다 분할하거나 하는 방법을 생각할 수 있다.

또, 프레임정보의 경우와 마찬가지로, 소리정보나 텍스트정보에 원 데이터파 일 및 구간의 기술을 포함시킴으로써, 복수의 음성, 음악데이터를 한데 모아 요약할 수도 있다. 이때, 개개의 원 데이터에 식별정보가 부여되어 있는 경우는 원 데이터파일이나 구간을 기술하는 대신에 원 데이터 식별정보를 사용해도 좋다.

도 62는 음성정보를 이용하여 음성/음악을 요약한 일례에 대해 설명한 것이다. 이 예에서는, 복수의 음성/음악데이터에 대해, 각각 일부 구간의 요약음성/음악으로서 잘라내어 요약을 작성하고 있다. 예컨대, 음성/음악2의 5101의 부분을 요약음성/음악으로서 잘라내고, 요약의 5102의 구간으로서 재생한다. 1매의 음악앨범에 포함되는 곡의 일부 구간씩을 잘라내어 한데 모아 시청용의 요약데이터를 작성하는 용도 등을 생각할 수 있다.

앨범 등을 요약하는 경우 등, 곡명을 아는 편이 좋은 경우는 소리정보에 음악데이터의 곡명을 포함시키도록 해도 좋다. 물론, 이 정보는 필수적인 것은 아니다.

다음에는 영상데이터나 물체영역 데이터의 제공방법에 대해 설명한다.

본 실시형태의 처리에 의해 작성된 특수재생 제어정보가 사용자용으로 제공되는 경우에는, 작성자 측으로부터 사용자 측으로 하등의 방법으로 특수재생 제어정보를 제공할 필요가 있다. 이 제공의 방법으로서도 이하에 예시하는 바와 같이 여러 가지의 형태를 생각할 수 있다.

(1) 영상데이터와 그 특수재생 제어정보를 1개(또는 복수)의 기록매체에 기록하여 동시에 제공하는 형태

(2) 영상데이터를 1개(또는 복수)의 기록매체에 기록하여 제공하고, 별도로 특수재생 제어정보를 1개(또는 복수)의 기록매체에 기록하여 제공하는 형태

(3) 영상데이터와 그 특수재생 제어정보를 동일한 기회에 통신매체를 매개로 하여 제공하는 형태

(4) 영상데이터와 그 특수재생 제어정보를 다른 기회에 통신매체를 매개로 하여 제공하는 형태

이에 따라, 영상 콘텐츠의 특수재생에 제공하기 위한 제어정보로서, 원 영상으로부터 선택적으로 추출한 프레임(군)의 취득방법과, 그 프레임(군)에 할당한 표시시간의 정보 또는 이것을 얻는 기초로 되는 정보를 포함하는 프레임정보를, 복수 배열시켜 기술함으로써, 재생 측에서는 그 제어정보에 기초한 효과적인 특수재생이 가능하게 된다.

이상 설명한 바와 같이 본 실시형태에 의하면, 영상콘텐츠에 대한 특수재생에 제공하기 위한 특수재생 제어정보를 기술하는 특수재생 제어정보 기술방법에 있어서, 상기 영상 콘텐츠를 구성하는 영상데이터의 모든 프레임계열 중에서 선택적으로 추출된 1프레임 또는 연속 혹은 근접한 복수 프레임으로 이루어진 프레임군마다, 그 1프레임 또는 그 프레임군의 데이터가 존재하는 위치를 나타내는 제1정보와, 그 1프레임 또는 그 프레임군에 대해 부여된 표시시간에 관한 제2정보 및/또는 그 프레임정보에 대응하는 상기 1프레임 또는 상기 프레임군에 대해 부여된 중요도를 나타내는 제3정보를 프레임정보로서 기술한다.

또, 본 실시형태에 의하면, 영상 콘텐츠를 구성하는 영상데이터의 모든 프레 임계열 중에서 선택적으로 추출된 1프레임 또는 연속 혹은 근접한 복수 프레임으로 이루어진 프레임군마다 기술된, 그 1프레임 또는 그 프레임군의 데이터가 존재하는 위치를 나타내는 제1정보와, 그 1프레임 또는 그 프레임군에 대해 부여된 표시시간에 관한 제2정보 및/또는 그 1프레임 또는 그 프레임군에 대해 부여된 중요도를 나타내는 제3정보를 포함하는 프레임정보를 적어도 포함하는 특수재생 제어정보를 격납한 컴퓨터 독출가능한 기록매체도 제공된다.

더욱이, 영상 콘텐츠에 대한 특수재생에 제공하기 위한 특수재생 제어정보를 생성하는 특수재생 제어정보 생성장치/생성방법에 있어서, 상기 영상 콘텐츠를 구성하는 영상데이터의 모든 프레임계열 중에서 특수재생에 제공되는 일부의 프레임을, 1프레임 또는 연속 혹은 근접한 복수 프레임으로 이루어진 프레임군마다, 그 프레임계열에 따라 순차 선택적으로 추출하고, 추출된 상기 1프레임 또는 상기 프레임군마다 그 1프레임 또는 그 프레임군의 데이터가 존재하는 위치를 나타내는 영상위치정보와, 그 1프레임 또는 그 프레임군에 대해 할당해야 할 표시시간의 정보 또는 이것을 산출하는 기초로 되는 정보를 포함하는 표시시간 제어정보를 생성하며, 상기 1프레임 또는 상기 프레임군마다 생성된 상기 영상위치정보 및 상기 표시시간 제어정보를 프레임정보로서 기술함으로써, 상기 영상 콘텐츠에 대한 특수재생 제어정보를 작성한다.

또, 영상 콘텐츠에 대한 특수재생을 행하는 것이 가능한 영상재생장치/방법에 있어서, 상기 영상 콘텐츠에 부수하는 그 영상 콘텐츠를 구성하는 영상데이터의 모든 프레임계열 중에서 선택적으로 추출된 1프레임 또는 연속 혹은 근접한 복수 프레임으로 이루어진 프레임군마다 기술된, 그 1프레임 또는 그 프레임군의 데이터가 존재하는 위치를 나타내는 영상위치정보와, 그 1프레임 또는 그 프레임군에 대해 할당해야 할 표시시간의 정보 또는 이것을 산출하는 기초로 되는 정보를 나타내는 표시시간 제어정보를 포함하는 프레임정보를 적어도 포함하는 특수재생 제어정보를 참조하고, 상기 프레임정보에 포함된 영상위치정보에 기초하여 각 프레임정보에 대응하는 상기 1프레임 또는 상기 프레임군의 데이터를 취득함과 더불어, 적어도 각각의 상기 프레임정보에 포함된 상기 표시시간 제어정보에 기초하여 각 프레임정보에 대해 할당해야 할 표시시간을 결정하며, 취득된 상기 1프레임 또는 복수 프레임의 데이터를 결정된 상기 표시시간에 따라 재생하는 것을 소정의 순서로 행함으로써 특수재생을 행한다.

본 발명의 실시형태에서는, 예컨대 미리 표시에 사용하는 유효한 영상프레임의 위치정보 또는 원 영상으로부터 프레임단위로 취출한 영상데이터를 준비하고, 그 영상프레임 위치정보 또는 화상데이터의 표시시간에 관한 정보를 원 영상과는 따로 준비한다. 원 영상으로부터 취출한 영상프레임 또는 영상데이터를 표시정보에 기초하여 그들을 연속 표시함으로써, 배속재생, 트릭재생, 비월연속재생 등의 특수재생을 행할 수 있다.

예컨대, 고속으로 내용을 확인하기 위한 배속재생에 있어서는, 표시화면의 화면의 변화가 가능한 한 일정하게 되도록, 움직임이 큰 곳은 표시시간을 길게, 움직임이 작은 곳은 표시시간을 짧게 하도록 미리 표시시간을 결정해 두도록 해도 좋다. 또는, 표시에 사용하는 영상프레임 또는 영상데이터의 움직임이 많은 부분으 로부터는 많이, 움직임이 적은 곳은 적게 하도록 위치정보를 결정해도 동일한 효과가 얻어진다. 전체로서, 사용자에 의해 지정되는 배속치 또는 재생시간으로 되도록 제어되는 값을 준비하도록 해도 좋다. 긴 영상도 짧은 시간에 보기 쉬운 배속재생 등으로 볼 수 있고, 내용을 짧은 시간에 파악할 수 있다.

예컨대, 표시시간을 중요도에 따라 중요한 장소는 표시시간을 길게, 낮은 장소는 짧게 함으로써, 중요한 장소를 못보고 넘어가지 않도록 하는 재생도 가능하다.

예컨대, 모든 영상프레임을 표시하지 않고 부분적으로 영상의 일부를 생략함으로써, 중요한 부분만을 효율좋게 재생하도록 해도 좋다.

본 발명의 실시형태에 의하면, 영상 콘텐츠의 특수재생에 제공하기 위한 제어정보로서, 원 영상으로부터 선택적으로 추출한 프레임(군)의 취득방법과, 그 프레임(군)에 할당한 (절대적 혹은 상대적인) 표시시간의 정보 또는 이것을 얻는 기초로 되는 정보를 포함하는 프레임정보를, 복수 배열시켜 기술함으로써, 재생 측에서는 그 제어정보에 기초한 효과적인 특수재생이 가능하게 된다.

예컨대, 이상의 각 기능은 소프트웨어로서도 실현가능하다. 상기 실시형태는, 컴퓨터에 소정의 수단을 실행시키기 위한(혹은 컴퓨터를 소정의 수단으로서 기능시키기 위한, 혹은 컴퓨터에 소정의 기능을 실현시키기 위한) 프로그램을 기록한 컴퓨터 독출가능한 기록매체로서 실시할 수도 있다.

각 실시형태에 예시한 구성은 일례로, 그 이외의 구성을 배제하는 취지의 것이 아니라 예시한 구성의 일부를 다른 것으로 치환하거나, 예시한 구성의 일부를 생략하거나, 예시한 구성에 다른 기능을 부가하거나, 그들을 조합시키거나 함으로써 얻어지는 다른 구성도 가능하다. 예시한 구성과 논리적으로 등가인 다른 구성, 예시한 구성과 논리적으로 등가인 부분을 포함하는 다른 구성, 예시한 구성의 요부와 논리적으로 등가인 다른 구성 등도 가능하다. 예시한 구성과 동일 또는 유사한 목적을 달성하는 다른 구성, 예시한 구성과 동일 또는 유사한 효과를 발휘하는 다른 구성 등도 가능하다.

각 실시형태 내에 있어서, 각종 구성부분에 대한 각종 변경은 적절히 조합시켜 실시하는 것이 가능하다.

각 실시형태는 적절히 조합시켜 실시하는 것이 가능하다.

각 실시형태는 정보의 기술방법으로서의 발명, 기술된 정보로서의 발명, 장치 또는 그것에 대응하는 방법으로서의 발명, 장치 내부 또는 그것에 대응하는 방법으로서의 발명 등, 여러 가지의 관점, 단계, 개념 또는 카테고리에 관련된 발명을 포함·내재하는 것이다.

따라서, 이 발명의 실시형태에 개시한 내용으로부터는, 예시한 구성에 한정되지 않고 발명을 추출(抽出)할 수 있는 것이다.

Claims

복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 프레임정보를 기술하는 프레임정보 기술방법으로,

상기 복수 프레임의 영상데이터로부터 선택적으로 추출된 프레임에, 그 추출 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보를 기술하고, 그 추출 프레임의 영상데이터의 표시시간에 관한 제2정보를 기술하는 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 추출 프레임은 복수의 프레임군으로 이루어지고, 상기 제1정보는 그 프레임군의 영상데이터 중에서의 위치를 특정하는 정보인 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 추출된 추출 프레임은 1프레임 또는 복수의 프레임군으로 이루어지고, 상기 1프레임 또는 복수의 프레임군에 대해 부여된 중요도를 나타내는 제3정보를 더 기술하는 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 제1정보는 상기 추출 프레임의 영상데이터로부터 작성된 화상데이터 파일의 위치를 특정하는 정보를 더 포함하는 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 추출 프레임은 복수의 프레임군으로 이루어지고, 상기 영상 콘텐츠의 어떤 복수 프레임으로부터 추출된 프레임군의 시간적 구간을 특정하는 제4정보를 더 기술하는 것을 특징으로 하는 프레임정보 기술방법.
제5항에 있어서, 상기 제4정보는 상기 시간적 구간의 영상데이터로부터 작성되되, 상기 추출 프레임에 대응하는 화상데이터 파일의 존재위치를 특정하는 정보인 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 제2정보는 특수재생시의 화면 변화량이 거의 일정하게 되도록 설정된 표시시간에 관한 정보인 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 추출 프레임에, 2치의 정보 또는 재생레벨로 지정하여 상기 영상데이터 중에서의 영상의 일부의 재생 또는 비재생을 지시하는 제5정보를 더 기술하는 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 제1정보는 상기 영상 콘텐츠와는 따로 격납하고 있는 화상데이터 파일에서의 상기 추출 프레임에 대응하는 화상데이터의 위치를 특정하는 정보인 것을 특징으로 하는 프레임정보 기술방법.
제1항에 있어서, 상기 추출 프레임을 포함하는 상기 영상 콘텐츠 이외의 미디어의 데이터에 대해, 각 미디어의 데이터가 존재하는 위치를 나타내는 정보와, 각 미디어의 데이터에 대해 부여된 재생 또는 표시시간에 관한 정보를 더 기술하는 것을 특징으로 하는 프레임정보 기술방법.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 프레임정보를 격납하는 컴퓨터 독출가능한 기록매체로,

상기 프레임정보는, 상기 복수 프레임의 영상데이터로부터 선택적으로 추출된 추출 프레임에 기술되되, 상기 추출 프레임의 상기 영상데이터 중에서의 위치를 특정하는 제1정보와,

상기 추출 프레임의 상기 영상데이터 중에서의 표시시간에 관한 제2정보를 구비하는 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.
제11항에 있어서, 상기 추출 프레임은 프레임군으로 이루어지고, 상기 제1정보는 상기 프레임군의 상기 영상데이터 중에서의 위치를 특정하는 정보인 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.
제11항에 있어서, 상기 프레임정보는 1프레임 또는 프레임군에 대해 추출 프레임의 중요도를 나타내는 제3정보를 더 갖춘 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.
제11항에 있어서, 상기 제1정보는 상기 추출 프레임의 영상데이터로부터 작성된 화상데이터 파일의 위치을 특정하는 정보인 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.
제11항에 있어서, 상기 프레임정보와 함께, 상기 영상데이터 및 상기 추출 프레임의 영상데이터에 대응하는 화상데이터 파일을 더 격납하는 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 특수재생 제어정보를 생성하는 특수재생 제어정보 생성장치로,

상기 복수 프레임의 영상데이터로부터 소정의 프레임을 선택적으로 추출해서 추출된 추출 프레임의 상기 영상데이터 중에서의 위치를 특정하는 영상위치정보를 작성하는 영상위치정보 처리부와,

상기 추출 프레임의 영상데이터의 표시시간에 관한 표시시간 제어정보를 작성하는 표시시간 제어정보 처리부를 구비하고서,

상기 추출 프레임의 영상위치정보와 표시시간 제어정보로부터 프레임정보로서 배열한 특수재생 제어정보를 작성하도록 구성된 것을 특징으로 하는 특수재생 제어정보 생성장치.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 프레임정보를 생성하는 프레임정보 생성방법으로,

복수의 영상데이터의 프레임으로부터 추출한 추출 프레임의 그 영상데이터 중에서의 위치를 특정하는 제1정보를 생성하는 단계와,

그 추출 프레임의 표시시간에 관한 제2정보를 생성하는 단계를 구비하는 것을 특징으로 하는 프레임정보 생성방법.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하는 특수재생장치로,

상기 복수의 프레임의 영상데이터로부터 추출한 추출 프레임에 기술된, 그 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보와, 그 추출 프레임의 영상데이터의 표시시간에 관한 제2정보를 참조하는 유니트와,

상기 제1정보에 기초해서 상기 추출 프레임의 영상데이터를 취득하는 유니트,

상기 제2정보에 기초해서 상기 추출 프레임의 영상데이터를 재생하는 표시시간을 결정하는 유니트 및,

취득된 상기 영상데이터를 결정된 상기 표시시간동안 재생하는 유니트를 구비하는 것을 특징으로 하는 특수재생장치.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하는 특수재생방법으로,

상기 복수의 프레임의 영상데이터로부터 추출된 추출 프레임에 기술된, 그 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보와, 그 추출 프레임의 영상데이터의 표시시간에 관한 제2정보를 참조하고,

상기 제1정보에 기초해서 상기 추출 프레임의 영상데이터를 취득하며,

상기 제2정보에 기초해서 상기 추출 프레임의 영상데이터를 재생하는 표시시간을 결정하고,

취득된 상기 영상데이터를 결정된 상기 표시시간동안 재생하는 것을 특징으로 하는 특수재생방법.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하는 프로그램을 격납하는 컴퓨터 독출가능한 기록매체로,

컴퓨터에 상기 복수 프레임의 영상데이터로부터 선택적으로 추출된 추출 프레임에 기술된, 그 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보와, 그 프레임의 영상데이터의 표시시간에 관한 제2정보로 이루어진 프레임정보를 참조시키는 프로그램 코드수단과,

컴퓨터에 상기 제1정보에 기초해서 상기 추출된 프레임의 영상데이터를 취득시키는 프로그램 코드수단,

컴퓨터에 상기 제2정보에 기초해서 상기 추출된 프레임의 영상데이터를 재생하는 표시시간을 결정시키는 프로그램 코드수단 및,

컴퓨터에 취득된 상기 영상데이터를 결정된 상기 표시시간 재생시키는 프로그램 코드수단을 구비하는 것을 특징으로 하는 기록매체.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 프레임정보를 기술하는 프레임정보 기술방법으로,

상기 복수 프레임의 영상데이터로부터 선택적으로 추출된 추출 프레임에, 그 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보를 기술하고, 그 1프레임 또는 프레임군에 대해 부여된 영상데이터의 중요도에 관한 제2정보를 기술하는 것을 특징으로 하는 프레임정보 기술방법.
복수 프레임의 영상데이터로 이루어진 영상 콘텐츠를 특수재생하기 위한 프레임정보를 격납하는 컴퓨터 독출가능한 기록매체로,

상기 프레임정보는, 상기 복수 프레임의 영상데이터로부터 선택적으로 추출된 추출 프레임에 기술되되, 그 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보와,

그 1프레임 또는 프레임군에 대해 부여된 영상데이터의 중요도에 관한 제2정보를 구비하는 것을 특징으로 하는 기록매체.
복수의 프레임의 영상데이터로부터 추출된 추출 프레임에 기술된, 그 프레임의 영상데이터 중에서의 위치를 특정하는 제1정보를 기술하는 수단과,

그 추출 프레임의 표시시간에 관한 제2정보를 기술하는 수단을 구비하는 것을 특징으로 하는 프레임정보 기술장치.
원 소리데이터의 복수의 프레임으로부터 추출한 소리프레임의 그 원 소리데이터 중에서의 위치를 특정하는 제1정보를 기술하는 단계와,

그 추출한 소리프레임의 재생시간에 관한 제2정보를 기술하는 단계를 구비하는 것을 특징으로 하는 프레임정보 기술방법.
원 소리데이터의 복수의 프레임으로부터 추출한 소리프레임에 관한 프레임정보를 격납하는 컴퓨터 독출가능한 기록매체에 있어서,

상기 프레임정보가, 그 추출한 소리프레임의 상기 원 소리데이터 중에서의 위치를 특정하는 제1정보와, 그 추출한 소리프레임의 재생시간에 관한 제2정보를 구비하는 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.
원 텍스트 데이터의 복수의 프레임으로부터 추출한 텍스트 프레임의 위치를 특정하는 제1정보를 기술하는 단계와,

그 추출한 텍스트 프레임의 표시시간에 관한 제2정보를 기술하는 단계를 구비하는 것을 특징으로 하는 프레임정보 기술방법.
원 텍스트 데이터의 복수의 프레임으로부터 추출한 텍스트 프레임에 관한 프레임정보를 격납하는 컴퓨터 독출가능한 기록매체에 있어서,

상기 프레임정보가, 그 추출한 텍스트 프레임의 상기 원 텍스트 데이터 중에서의 위치를 특정하는 제1정보와, 그 추출한 텍스트 프레임의 표시시간에 관한 제2정보를 구비하는 것을 특징으로 하는 컴퓨터 독출가능한 기록매체.