JP2005303977A - Data processing apparatus for controlling video recording and video quantity - Google Patents
Data processing apparatus for controlling video recording and video quantity Download PDFInfo
- Publication number
- JP2005303977A JP2005303977A JP2004291362A JP2004291362A JP2005303977A JP 2005303977 A JP2005303977 A JP 2005303977A JP 2004291362 A JP2004291362 A JP 2004291362A JP 2004291362 A JP2004291362 A JP 2004291362A JP 2005303977 A JP2005303977 A JP 2005303977A
- Authority
- JP
- Japan
- Prior art keywords
- video
- unit
- recording
- stream
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
本発明は、映像、音声等の信号を受け取ってデータストリームを生成し、光ディスク等の記録媒体に書き込むための技術に関する。 The present invention relates to a technique for receiving a signal such as video and audio, generating a data stream, and writing it on a recording medium such as an optical disk.
従来、銀塩フィルム等のフィルムに映像を記録し、再生する技術が知られている。例えば映画は、フィルムを利用して撮影され、上映されるフィルム素材の映像(フィルム映像)である。一般の映画は毎秒24コマのコマ数で撮影されている。 Conventionally, a technique for recording and reproducing an image on a film such as a silver salt film is known. For example, a movie is an image (film image) of a film material that is filmed and shown using film. A general movie is shot at a frame rate of 24 frames per second.
一方、日本国、米国のテレビ放送で採用されているNTSC(National Television Standards Committee)方式の映像(NTSC映像)は、毎秒約30フレーム(正確には毎秒29.97フレーム)で撮影されている。1フレームの画像は2フィールド(奇数フィールドおよび偶数フィールド)の画像から構成されているため、NTSC映像は毎秒約60フィールド(正確には毎秒59.94フィールド)で撮影され、再生される。 On the other hand, NTSC (National Television Standards Committee) video (NTSC video) adopted in television broadcasting in Japan and the United States is taken at about 30 frames per second (more precisely 29.97 frames per second). Since an image of one frame is composed of images of two fields (odd field and even field), NTSC video is captured and reproduced at about 60 fields per second (more precisely, 59.94 fields per second).
毎秒24コマで作成されたフィルム映像を、NTSC方式の機器を利用して記録するためには、毎秒24コマのフィルム映像から毎秒30フレーム60フィールドのNTSC映像への変換(いわゆるテレシネ変換)を行って、両方の映像の整合性をとる必要がある。 In order to record film images created at 24 frames per second using NTSC equipment, the film images from 24 frames per second are converted to NTSC images at 30 frames and 60 fields per second (so-called telecine conversion). Therefore, it is necessary to ensure the consistency of both images.
図31は、2−3プルダウン方式を用いたテレシネ変換の例を示す。2−3プルダウン方式では、フィルム映像の2コマからNTSC映像の5フィールド画像が生成される。具体的には、フィルム映像の1コマ目(A)からNTSC映像の3フィールド画像が生成され、2コマ目(B)から2フィールド画像が生成される。同様に、3コマ目(C)から3フィールド画像が生成され、4コマ目(D)から2フィールド画像が生成される。この処理を24コマ目まで繰り返すことにより、60フィールド画像が得られる。2−3プルダウン方式は、フィルム映像をNTSC方式に準拠したテレビ等で再生する際に広く使われている。 FIG. 31 shows an example of telecine conversion using the 2-3 pull-down method. In the 2-3 pull-down method, a 5-field image of NTSC video is generated from two frames of film video. Specifically, a three-field image of NTSC video is generated from the first frame (A) of the film video, and a two-field image is generated from the second frame (B). Similarly, a three-field image is generated from the third frame (C), and a two-field image is generated from the fourth frame (D). By repeating this process up to the 24th frame, a 60-field image is obtained. The 2-3 pull-down method is widely used when a film image is played back on a television or the like conforming to the NTSC method.
ここで、毎秒24コマのフィルム映像から2−3プルダウン方式で変換されたNTSC映像を、メディア(例えばDVD−RAMディスク)に記録する処理を考える。例えば特許文献1は、映像信号を効率良く符号化するために、プルダウン検出回路を有する記録再生装置を開示している。
Here, a process of recording an NTSC video converted from a film video of 24 frames per second by a 2-3 pull-down method on a medium (for example, a DVD-RAM disk) will be considered. For example,
図32は、従来の記録再生装置320の機能ブロックの構成を示す。記録再生装置320は、2−3プルダウン方式で変換されたNTSC映像の信号(2−3プルダウン信号)を受け取り、プルダウン検出部1103において変換時に重複されたフィールドを検出する。制御部1201は、検出されたフィールドを冗長なフィールドとして除去するよう、動画ストリーム生成部1102に指示する。動画ストリーム生成部1102が指示されたフィールドを省いて必要なフィールドのみを符号化する。これによりフィルム映像の動画ストリームが生成される。記録部1200は、ピックアップ130を介して動画ストリームをDVD−RAMディスク131に書き込む。なお、入力された2−3プルダウン信号には音声信号が別途含まれていてもよい。
FIG. 32 shows a functional block configuration of a conventional recording / reproducing
なお、記録再生装置320において再生処理は以下のように行われる。再生制御部1203からの指示に基づいて、再生部1202はピックアップ130を介してDVD−RAMディスク131から動画ストリームを読み出す。動画ストリーム復号部1111は、読み出されたフィルム映像の動画ストリームを復号化するとともに、NTSC映像として出力するために、2−3プルダウン方式の変換処理を行い、NTSC映像の映像信号を映像信号出力部1110から出力する。動画ストリームに音声データが含まれているときには、動画ストリーム復号部1111は音声データも復号化して音声信号を音声信号出力部1112から出力する。
In the recording / reproducing
近年、DV規格やDVD規格等が制定され、またカメラの性能向上も進んでいる。例えば、ハイビジョン映像の撮影が可能な民生用の高性能ビデオカメラが手頃な価格で製品化されており、高品質な動画を手軽に撮影できるようになっている。また、DVDレコーダなどディジタル記録媒体を用いた記録再生装置の普及、パーソナルコンピュータ(以下、PC)、インターネット等の普及により、映画を初めとした様々な動画コンテンツを劣化させることなく頒布可能な環境が整いつつある。
機器の普及に伴って、著作権者の了解なしに不法に作成/複製されたコンテンツ(いわゆる「海賊版」のコンテンツ)が出回っており、著作権者の権利が脅かされている。例えば、映画館などで上映中の映画をビデオカメラで撮影したコンテンツが出回っている。撮影の対象となった映画には一般には著作権が発生しているため、その著作権を保護するための対策が必要である。特に、ハイビジョン映像の撮影が可能な高性能ビデオカメラを用いて上映中の映画が撮影されると、視聴に十分耐え得る高画質の映画が複製されることになり、早急な対策が必要である。 With the spread of equipment, illegally created / reproduced content (so-called “pirated” content) without the consent of the copyright owner is circulating, threatening the rights of the copyright owner. For example, content that shoots a movie being shown in a movie theater with a video camera is on the market. Since a movie that is the subject of shooting generally has a copyright, it is necessary to take measures to protect the copyright. In particular, if a movie being screened is shot using a high-performance video camera capable of shooting a high-definition video, a high-quality movie that can withstand viewing will be duplicated, and urgent measures are required. .
本発明の目的は、撮影対象が映画等の著作権保護の対象となる映像であるか否かを判別し、著作権保護の対象となる映像であるときにはその記録を制限することである。 An object of the present invention is to determine whether or not a subject to be photographed is a video subject to copyright protection, such as a movie, and to restrict the recording when the subject is a video subject to copyright protection.
本発明による第1のデータ処理装置は、映像に関する映像ストリームを記録媒体に記録することができる。データ処理装置は、前記映像に関する映像信号を取得する信号取得部と、前記映像信号に基づいて、映像のタイプを特定するタイプ特定部であって、前記映像のタイプは、前記映像の単位時間あたりの表示ピクチャ数に応じて決定される、タイプ特定部と、前記映像信号に基づいて映像ストリームを生成するストリーム生成部と、前記映像のタイプに基づいて、前記映像ストリームの記録を禁止するか、あるいは、映像品質を低下させた映像ストリームの記録を許可するかを決定する制御部と、前記制御部の決定に基づいて、前記記録媒体への前記映像ストリームの記録を制御する記録部とを備えている。 The first data processing apparatus according to the present invention can record a video stream related to video on a recording medium. The data processing device is a signal acquisition unit that acquires a video signal related to the video, and a type specification unit that specifies a video type based on the video signal, wherein the video type is per unit time of the video Whether to prohibit recording of the video stream based on the type of the video, a type generation unit that is determined according to the number of displayed pictures, a stream generation unit that generates a video stream based on the video signal, Alternatively, a control unit that determines whether to permit recording of a video stream with reduced video quality, and a recording unit that controls recording of the video stream on the recording medium based on the determination of the control unit. ing.
前記制御部は、前記映像のタイプが映画であるときに前記映像ストリームの記録を禁止してもよい。 The control unit may prohibit the recording of the video stream when the video type is a movie.
前記データ処理装置は、前記映像のタイプに基づいて映像品質を選択する調整部をさらに備えている。前記ストリーム生成部は、選択された前記映像品質を有する映像の映像ストリームを生成してもよい。 The data processing apparatus further includes an adjustment unit that selects video quality based on the video type. The stream generation unit may generate a video stream of video having the selected video quality.
前記映像のタイプが予め規定されているタイプと一致するとき、前記制御部は、前記映像品質を低下させた映像ストリームの記録を許可し、前記調整部は、予め設定された映像品質よりも低い映像品質を選択してもよい。 When the video type matches a predefined type, the control unit permits recording of a video stream with a reduced video quality, and the adjustment unit is lower than a preset video quality Video quality may be selected.
前記映像のタイプが予め規定されているタイプと一致しないとき、前記制御部は、映像品質を維持した映像ストリームの記録を許可し、前記調整部は、予め設定された映像品質と同じ映像品質を選択してもよい。 When the video type does not match a predefined type, the control unit permits recording of a video stream maintaining the video quality, and the adjustment unit has the same video quality as the preset video quality. You may choose.
前記調整部は、解像度に関して前記映像品質を選択してもよい。 The adjustment unit may select the video quality with respect to resolution.
前記タイプ特定部は、継続的に前記映像信号を受け取って、前記映像の各ピクチャを構成する第1画像と第2画像とが一致するか否かを検出する検出部と、検出結果に基づいて、前記映像のタイプを判別する判別部とを備えていてもよい。 The type specifying unit continuously receives the video signal, detects whether or not the first image and the second image constituting each picture of the video match, and based on the detection result And a discriminator for discriminating the type of the video.
前記検出部は、前記第1画像のデータを格納する第1メモリと、前記第2画像のデータを格納する第2メモリと、前記第1メモリ内のデータと前記第2メモリ内のデータとを比較して、前記第1画像と前記第2画像との一致/不一致を検出する比較部とを備えていてもよい。 The detection unit includes a first memory that stores data of the first image, a second memory that stores data of the second image, data in the first memory, and data in the second memory. For comparison, a comparison unit for detecting coincidence / mismatch between the first image and the second image may be provided.
前記判別部は、検出結果を継続的に受け取り、一致および不一致が出現するパターンに基づいて、前記映像のタイプを特定してもよい。 The determination unit may continuously receive the detection result and specify the type of the video based on a pattern in which a match and a mismatch appear.
前記データ処理装置は、前記映像が第1解像度および前記第1解像度よりも低い第2解像度のいずれで符号化されたかを示す判別情報を生成して、前記映像ストリームに関連付けて管理する管理情報生成部をさらに備えている。前記記録部は、さらに前記判別情報を前記記録媒体に記録してもよい。 The data processing device generates management information that generates discrimination information indicating whether the video is encoded at a first resolution or a second resolution lower than the first resolution, and manages the information in association with the video stream The unit is further provided. The recording unit may further record the discrimination information on the recording medium.
前記管理情報生成部は、関連付けられた1組の前記判別情報および前記映像ストリームからなるコンテンツを複数管理し、前記データ処理装置は、前記コンテンツの各々から判別情報を抽出して、各コンテンツごとのエントリを有するコンテンツ管理ファイルを生成する管理ファイル生成部をさらに備えていてもよい。 The management information generation unit manages a plurality of contents including a set of associated discrimination information and the video stream, and the data processing device extracts discrimination information from each of the contents, and You may further provide the management file production | generation part which produces | generates the content management file which has an entry.
本発明による第2のデータ処理装置は、映像に関する映像ストリームを記録媒体から読み出して、映像信号を出力することができる。前記記録媒体には、前記映像ストリームおよび管理情報が記録されている。前記管理情報は、前記映像が、第1映像品質および前記第1映像品質よりも低い第2映像品質のいずれで符号化されたかを示す判別情報を含んでいる。データ処理装置は、前記記録媒体から前記映像ストリームおよび前記管理情報を読み出す読み出し部と、前記管理情報から前記判別情報を抽出して、前記判別情報に基づいて前記第1映像品質および前記第2映像品質のいずれであるかを示す品質表示データを生成する抽出部と、前記映像ストリームを復号化して映像信号を生成する復号部と、前記品質表示データおよび前記映像信号を対応付けて出力する出力部とを備えている。 The second data processing apparatus according to the present invention can read a video stream related to video from a recording medium and output a video signal. The video stream and management information are recorded on the recording medium. The management information includes discrimination information indicating whether the video is encoded with a first video quality or a second video quality lower than the first video quality. A data processing device reads the video stream and the management information from the recording medium, extracts the discrimination information from the management information, and based on the discrimination information, the first video quality and the second video An extraction unit for generating quality display data indicating which quality is present, a decoding unit for decoding the video stream to generate a video signal, and an output unit for outputting the quality display data and the video signal in association with each other And.
前記判別情報は、前記映像のタイプが予め規定されているタイプと一致するとき、前記映像が前記第2映像品質で符号化されたことを示し、一致しないとき、前記映像が前記第1映像品質で符号化されたことを示してもよい。 The discrimination information indicates that the video is encoded with the second video quality when the video type matches a predefined type, and when the video type does not match, the video is the first video quality. It may indicate that it is encoded with.
前記データ処理装置は、前記映像信号に前記品質表示データを重畳する重畳処理部をさらに備えており、前記出力部は、前記品質表示データが重畳された前記映像信号を出力してもよい。 The data processing device may further include a superimposition processing unit that superimposes the quality display data on the video signal, and the output unit may output the video signal on which the quality display data is superimposed.
前記出力部は、前記映像信号を出力する映像信号出力部と、前記品質表示データを表示する表示出力部とを有していてもよい。 The output unit may include a video signal output unit that outputs the video signal and a display output unit that displays the quality display data.
前記記録媒体には、1組の前記判別情報および前記映像ストリームの組が関連付けられてコンテンツとして複数格納され、さらに、各判別情報が各コンテンツごとのエントリを有するコンテンツ管理ファイルに格納されており、前記抽出部は、前記コンテンツ管理ファイルから各判別情報を抽出して、各エントリに対応するコンテンツと前記品質表示データとを対応付けて表示するための一覧データを生成してもよい。 In the recording medium, a plurality of sets of the discrimination information and the set of video streams are associated and stored as content, and each discrimination information is stored in a content management file having an entry for each content, The extraction unit may extract each determination information from the content management file, and generate list data for displaying the content corresponding to each entry and the quality display data in association with each other.
本発明によるデータ処理方法は、映像に関する映像ストリームを記録媒体に記録することができる。データ処理方法は、前記映像に関する映像信号を取得するステップと、前記映像信号に基づいて、映像のタイプを特定するステップであって、前記映像のタイプは前記映像の単位時間あたりの表示ピクチャ数に応じて決定されるステップと、前記映像信号に基づいて映像ストリームを生成するステップと、前記映像のタイプに基づいて、前記映像ストリームの記録を禁止するか、あるいは、映像品質を低下させた映像ストリームの記録を許可するかを決定するステップと、前記決定に基づいて、前記記録媒体への前記映像ストリームの記録を制御するステップとを包含する。 The data processing method according to the present invention can record a video stream related to video on a recording medium. The data processing method includes a step of obtaining a video signal related to the video and a step of specifying a video type based on the video signal, wherein the video type is set to a number of displayed pictures per unit time of the video. And a step of generating a video stream based on the video signal, and a video stream in which recording of the video stream is prohibited or video quality is reduced based on the video type Determining whether to permit recording of the video stream, and controlling recording of the video stream onto the recording medium based on the determination.
前記制御するステップは、前記映像のタイプが映画であるときに前記映像ストリームの記録を禁止してもよい。 The controlling step may prohibit recording of the video stream when the video type is a movie.
前記データ処理方法は、前記映像のタイプに基づいて映像品質を選択するステップをさらに包含し、前記映像ストリームを生成するステップは、選択された前記映像品質を有する映像の映像ストリームを生成してもよい。 The data processing method may further include selecting a video quality based on the video type, and the generating the video stream may generate a video stream of the video having the selected video quality. Good.
前記映像のタイプが予め規定されているタイプと一致するとき、前記決定するステップは、前記映像品質を低下させた映像ストリームの記録を許可し、前記選択するステップは、予め設定された映像品質よりも低い映像品質を選択してもよい。 When the video type matches a predefined type, the determining step allows recording of a video stream with reduced video quality, and the selecting step is based on a preset video quality. A lower video quality may be selected.
本発明によれば、単位時間あたりの表示ピクチャ数に応じて決定される映像のタイプを検出し、撮影の対象が著作物である映画等であると判断すると、記録の禁止または符号化時の解像度を低下させて記録することにより、当初設定されていた解像度での記録を禁止する。これにより、著作物の品位を低下させて忠実な再生を妨げることができるのでコンテンツの著作権の侵害を防止し、コンテンツを保護に貢献できる。 According to the present invention, when the type of video determined according to the number of displayed pictures per unit time is detected and it is determined that the subject of shooting is a movie or the like that is a copyrighted work, the recording is prohibited or encoded. By recording at a reduced resolution, recording at the initially set resolution is prohibited. As a result, the quality of the copyrighted work can be reduced to prevent faithful reproduction, so that infringement of the copyright of the content can be prevented and the content can be contributed to protection.
以下、添付の図面を参照しながら、本発明によるデータ処理装置の各実施形態を説明する。以下の実施形態では、データ処理装置はビデオカメラであるとして説明する。 Embodiments of a data processing apparatus according to the present invention will be described below with reference to the accompanying drawings. In the following embodiments, the data processing apparatus will be described as a video camera.
本明細書では、以下のように定義される用語を用いて説明する。 In this specification, it demonstrates using the term defined as follows.
映像:複数のピクチャを所定の垂直走査周波数で次々と切り替えることによって表示される画像。映像は、動画、静止画、字幕などの文字や図形等を含む。例えば、単位時間(1秒間)に30枚のピクチャを切り替える映像の垂直走査周波数は30Hzである。 Video: An image displayed by switching a plurality of pictures one after another at a predetermined vertical scanning frequency. The video includes characters, graphics, and the like such as moving images, still images, and subtitles. For example, the vertical scanning frequency of a video that switches 30 pictures per unit time (1 second) is 30 Hz.
ピクチャ:インターレース方式では奇数ラインと偶数ラインの2つのフィールド画像から構成されるフレーム画像。プログレッシブ方式では1つのフレーム画像。ピクチャは、フレームおよびフィールドの両方を表す概念である。なお、映像の1ピクチャ(特にフィルムに記録された映像の1ピクチャ)は「1コマ」と呼ばれることもある。一般的な映画は、インターレース方式ではなく、また、1秒間に24ピクチャ(フレーム)が表示される。 Picture: A frame image composed of two field images of odd lines and even lines in the interlace method. In the progressive method, one frame image. A picture is a concept that represents both a frame and a field. One picture of the video (particularly one picture of the video recorded on the film) may be called “one frame”. A general movie is not an interlace system, and displays 24 pictures (frames) per second.
SD(Standard Definition)映像:標準画質の映像(NTSC方式の480i映像、PAL方式の576i映像)をいう。 SD (Standard Definition) video: Standard quality video (NTSC 480i video, PAL 576i video).
HD(High Definition)映像:上記SD映像以外の高精細の映像(例えばハイビジョン映像)をいう。 HD (High Definition) video: refers to high-definition video (for example, high-definition video) other than the SD video.
以下、表1および表2に、SD映像とHD映像の動画に関する、より具体的な例を示す。表2における24pまたは23.976pのHD映像は、フィルム素材の映像と呼ばれている。 Tables 1 and 2 below show more specific examples of SD video and HD video moving images. The 24p or 23.976p HD video in Table 2 is called a film material video.
(実施形態1)
図1は、本実施形態によるビデオカメラ1の機能ブロックの構成を示す。ビデオカメラ1は、撮影した映像をHD映像またはSD映像として記録媒体(図1ではDVD−RAMディスク131)に記録することができる。またビデオカメラ1は、記録媒体に記録された映像および音声を、ビデオカメラ1に付属するモニタやスピーカを用いて再生することもできる。
(Embodiment 1)
FIG. 1 shows a functional block configuration of the
ビデオカメラ1は、カメラ部100と、マイク101と、動画ストリーム生成部102と、制御部105と、記録部106と、映像信号出力部110と、音声信号出力部111と、動画ストリーム復号部112と、再生制御部115と、再生部116と、映像タイプ特定部119と、ピックアップ130とを有する。なお、図1に示されているDVD−RAMディスク131はビデオカメラ1の構成要素ではないが、記録媒体として、DVD−RAMディスク131に代えてビデオカメラ1に内蔵されたハードディスク等を採用するときには、そのハードディスクはビデオカメラ1の構成要素になる。
The
以下、ビデオカメラ1の各構成要素を説明し、その後、ビデオカメラ1の動作を説明する。
Hereinafter, each component of the
まず、ビデオカメラ1の記録機能に関連する構成要素を説明する。
First, components related to the recording function of the
カメラ部100は、撮影対象からの光を受け取って、例えばNTSCインターレース方式のデジタル映像信号を生成する。すなわちビデオカメラ1はカメラ部100を利用してデジタル映像信号を取得する。カメラ部100は、例えばレンズ等の光学系、CCD素子およびアナログ/デジタル(AD)変換器(図示せず)から構成されている。カメラ部100が受け取る光は、人物、物品、風景等に当たり反射された光の他、本実施形態ではスクリーンに投射され、スクリーンから反射した光も含まれる。すなわち、ビデオカメラ1ではスクリーンに投影された映画等の映像が撮影対象とされることもある。1秒あたり24枚のピクチャが切り替わって表示されている一般的な映画を撮影する際には、カメラ部100は、CCD素子を利用してNTSCのフィールド周波数60Hz(または1/60秒)よりも速く、かつ適切な露出を得られるシャッター速度で撮影し、NTSCインターレース方式の映像信号を出力する。この映像信号はアナログ形式である。AD変換器はこの映像信号をアナログ形式からデジタル形式に変換して出力する。
The
マイク101は、撮影中の音声を受け取ってアナログ形式の音声信号を生成する。マイク101のAD変換器(図示せず)はこの音声信号をアナログ形式からデジタル形式に変換して出力する。
The
動画ストリーム生成部102は、デジタル形式の映像信号および音声信号をそれぞれ所定の符号化形式で符号化する。図2は、動画ストリーム生成部102の機能ブロックの構成を示す。動画ストリーム生成部102は、入力端子1301および1302において、それぞれ映像信号および音声信号を受け取る。MPEG−Video符号化部1303は、映像信号からMPEG−Video形式の符号化映像データを生成する。音声符号化部1304は、音声信号から例えばAC−3形式の符号化音声データを生成する。MPEG−Video符号化部1303および音声符号化部1304は、記録形式に応じたデータを生成する。例えば、いずれの符号化部1303および1304は、符号化映像データおよび符号化音声データを記録形式に応じたデータの単位に分け、ヘッダ等を付加して映像パケットおよび音声パケットとして生成する。映像パケットおよび音声パケットは、それぞれ一時的に多重化バッファ部1305および1306に記憶される。多重化処理部1307は、多重化バッファ部1305および1306に記憶された映像パケットおよび音声パケットを多重化して、MPEG−2プログラムストリームを生成し、出力端子1308から出力する。
The moving image
なお、動画ストリームには映像データおよび音声データが含まれているとして説明しているが、本明細書では映像データが含まれていればよい。また、MPEG−2プログラムストリームはMPEG2システム規格(ISO/IEC 13818−1)で規定されるシステムストリームの一例である。このシステムストリームには、プログラムストリーム(PS)の他に、トランスポートストリーム(TS)およびPESストリームが規定されている。本発明は動画ストリームがMPEG−2トランスポートストリームであっても適用可能である。本実施形態においては、これらのストリームのデータ構造は特に問題ではないため、その説明は省略する。 Note that although the video stream is described as including video data and audio data, in this specification, it is only necessary to include video data. The MPEG-2 program stream is an example of a system stream defined by the MPEG2 system standard (ISO / IEC 13818-1). In addition to the program stream (PS), the system stream defines a transport stream (TS) and a PES stream. The present invention is applicable even when the moving picture stream is an MPEG-2 transport stream. In the present embodiment, the data structure of these streams is not particularly problematic, and the description thereof is omitted.
次に、図3を参照しながら映像タイプ特定部119を説明する。図3は、映像タイプ特定部119の機能ブロックの構成を示す。映像タイプ特定部119はカメラ部100から映像信号を受け取り、その映像信号に基づいて、映像のタイプを特定する。「映像のタイプ」は、その映像の単位時間(1秒)あたりに表示されるピクチャ数に応じて決定される。本実施形態では、映像のタイプは毎秒24枚のピクチャが表示される映画、毎秒30枚のフレーム(60枚のフィールド)が表示されるテレビ放送等である。
Next, the video
映像タイプ特定部119は、検出部103および判別部104を有する。そして検出部103は、第1メモリ1031と、第2メモリ1032と、比較器1033とを備えている。
The video
検出部103に入力される映像信号は、第1メモリ1031および第2メモリ1032に入力され記憶される。2つのメモリ1031および1032は、それぞれ1ピクチャの画像のデータを記憶できる。例えばメモリ1031および1032は、1ピクチャが2つのフィールド画像から構成されるときは各フィールド画像のデータを記憶できる。比較器1033は、1フィールド画像の表示時間間隔(約1/60秒)で第1メモリ1031の記憶内容と第2メモリ1032の記憶内容とを比較し、比較結果を出力する。比較は、第1メモリ1031の記憶内容と第2メモリ1032の記憶内容との差分を計算することによって行われ、0になるか否か、すなわち一致または不一致かが比較結果として出力される。なお、映像信号にノイズが含まれることがあるため、デジタルフィルタ等を用いてノイズを除去した後に差分を計算してもよい。
The video signal input to the
なお、プログレッシブ方式の映像では1ピクチャが1フレーム画像に対応しているため、第1メモリ1031および第2メモリ1032は、フレーム画像ごとのデータを記憶できる。プログレッシブ方式を採用するカメラを利用したときには、プログレッシブ方式の映像が出力され、その信号に基づいてフレーム画像のデータが毎秒60枚の速度でメモリ1031および1032に記憶され、比較の対象とされる。
Note that since one picture corresponds to one frame image in progressive video, the
図4は、検出部103の各機能ブロックの動作タイミングの例を示す。NTSCインターレース方式の映像信号が入力されたときには、メモリ1031および1032には、そのピクチャを構成する奇数ラインおよび偶数ラインの2つのフィールド画像データがそれぞれ記憶される。メモリ1031および1032は、「記憶タイミング」と示すように、毎秒フレーム数と同じ周期(毎秒約30フレーム)で記憶内容を更新する。メモリ1031および1032は、互いに1フィールド分(約1/60秒)の位相差(タイミングずれ)を保持して更新動作する。比較器1033は、60Hzのクロックの立ち上がりおよび立ち下がる「比較タイミング」と示す時刻(1/60秒ごと)において、各メモリのデータを比較する。その結果、次の「比較タイミング」までにその結果を出力する。比較タイミングは、メモリ1031および1032が記憶内容の更新を完了した後に到来する。図4では、比較器1033は、メモリ1031および1032の各記憶動作の後、「タイミング調整」として示す期間を経て比較を実行する。比較器1033は、例えば、比較結果が「一致」のときは「0」を示す値を出力し、「不一致」のときは「1」を示す値を出力する。
FIG. 4 shows an example of the operation timing of each functional block of the
図5は、ビデオカメラ1で人物、風景などが撮影されたときのビデオカメラ1内の処理を示す。映像が連続的に撮影された結果、カメラ部100からはNTSCインターレース方式のフィールド画像A,B,C・・・の映像信号が出力されている。このとき、第1メモリ1031は、偶数フィールド画像B,D,F・・・のデータを記憶する。第2メモリ1032は、奇数フィールド画像A,C,E・・・のデータを記憶する。比較器1033は、パルスの立ち上がりおよび立ち下がりのタイミングで比較する。図5に示す例では、第1メモリ1031および第2メモリ1032は、記憶タイミングが1フィールド画像の時間分ずれており、同時に同じデータを記憶することはないため、比較器1033の出力はすべて不一致となる。
FIG. 5 shows processing in the
図6は、主としてビデオカメラ1でスクリーンに投影された映画が撮影されたときのビデオカメラ1内の処理を示す。映画を構成する各ピクチャ(コマ)の画像A,B,C・・・は1/24秒ごとに更新されるため、カメラ部100のCCD素子は1/60秒間隔でA,B,B,B,C,C,D,D,D・・・のフィールド画像の映像信号を生成する。その結果、例えば「コマA」から「コマB」への切り変わり時刻(時刻t1)において第1メモリ1031の記憶内容は「コマB」のデータに更新される。このとき第2メモリ1032にはすでに「コマA」のデータが記憶されている。
FIG. 6 shows processing in the
第1メモリ1031の更新動作後、所定時間L1が経過すると、比較器1033が比較動作を行う。このときの記憶内容は、第1メモリは「コマB」、第2メモリは「コマA」であるため、比較結果は「不一致」となる。この比較結果は次の比較時まで保持される。
When the predetermined time L1 elapses after the update operation of the
時刻t1から約1/60秒後の時刻t2において、第2メモリ1032はコマBのデータを記憶する。この時点で第1メモリ1031および第2メモリ1032とも、「コマB」のデータを記憶している。よって、時刻t2から時間L2経過後のパルス立ち下がり時の比較器1033の比較結果は「一致」となる。
At time t2 after about 1/60 second from time t1, the
時刻t2点より約1/60秒後の時刻t3では、カメラ部100からはコマBの映像信号が出力され続けているため、第1メモリ1031は「コマB」のデータを再度記憶し、第2メモリも「コマB」のデータを記憶する。この状態は、時刻t3から時間L3経過した後の比較動作時も変化していないため、比較結果は「一致」となる。
At time t3, which is about 1/60 seconds after time t2, the video signal of frame B continues to be output from the
一方、時刻t1から1/24秒経過後に、撮影対象は「コマB」から「コマC」に切り替わる。よって、その後の時刻t4(時刻t3から1/60秒後)において、第2メモリ1032には「コマC」のデータが記憶される。時刻t4から時間L4経過した後の比較動作時においても、第1メモリ1031は「コマB」のデータが記憶され、第2メモリ1032には「コマC」のデータが記憶されているため、比較結果は「不一致」となる。
On the other hand, after 1/24 seconds have elapsed from time t1, the subject to be photographed is switched from “Frame B” to “Frame C”. Therefore, at the subsequent time t4 (1/60 seconds after time t3), the data of “frame C” is stored in the
以後、メモリ1031および1032の記憶内容が順次更新され、比較が行われると、「一致」と「不一致」とが一定順序で周期Dで繰り返される比較結果が得られる。
Thereafter, when the stored contents of the
検出部103は、以上のような比較を繰り返し、比較結果を出力する。
The
映像タイプ特定部119の判別部104は、検出部103の比較結果を継続的に受け取り、「一致」と「不一致」とが出現するパターンが特定パターンに一致するか否かを判別する。「特定パターン」とは、撮影対象が毎秒24ピクチャの映像(すなわち映画)であるときに出現するパターンである。本実施形態では図6の区間Dに示す「一致」および「不一致」のパターンが特定パターンである。特定パターンは、現実に映画等を撮影することによって予め得ることが可能であり、例えば判別部104の読み出し専用メモリ(図示せず)に格納されている。
The
判別部104は、図5に示すように、検出部103の比較結果において不一致が連続している場合には、特定パターンと一致しないとして撮影対象が毎秒24ピクチャの映像ではないと判別する。一方、比較結果において図6に示すような順序でかつ周期Dで一致および不一致が繰り返される場合には、撮影対象が毎秒24ピクチャの映像、すなわち映画であると判別する。判別部104は、1秒あたりの表示ピクチャ数を示す値(例えば「24」)または映画であるか否かを示すフラグ値を、判別結果として出力する。これにより、撮影対象の映像のタイプを特定することができる。
As shown in FIG. 5, when there is a continuous mismatch in the comparison result of the
なお図6では、撮影対象である映像のピクチャBの切り替わりタイミングとカメラ出力の切り替わりタイミングとが一致しているが、これは説明の便宜のためである。それらのタイミングがずれているときであっても、上述の説明は同様に適用される。 In FIG. 6, the switching timing of the picture B of the video to be photographed coincides with the switching timing of the camera output, but this is for convenience of explanation. Even when those timings are shifted, the above description is similarly applied.
再び図1を参照する。制御部105は、判別部104からの出力に基づいて、動画ストリームの記録を許可するか禁止するかを決定し、記録部106に指示する。具体的には、判別部104から出力された判別結果が映画であることを示しているときは、制御部105は、撮影対象は映画であると判断して動画ストリームの記録を禁止する。それ以外のときには、動画ストリームの記録を許可する。動画ストリームの記録を禁止する理由は、一般に映画には保護すべき著作権が発生しており、映画の複製に相当する動画ストリームの記録を禁止してその著作権を保護するためである。
Refer to FIG. 1 again. Based on the output from the
記録部106は、制御部105の決定に基づいて、DVD−RAMディスク131への動画ストリームの記録を制御する。具体的には記録部106は、制御部105によって動画ストリームの記録が禁止されたときには、動画ストリームの記録を行わない。禁止されていないときには、記録部106は、ピックアップ130を介してファイルをDVD−RAMディスク131に書き込む。書き込まれた動画ストリームは、そのファイルシステム上で時系列データファイルとして管理される。なお、動画ストリームは、時系列データとも呼ばれる。
The
次に、ビデオカメラ1の再生機能に関連する構成要素を説明する。
Next, components related to the playback function of the
再生制御部115は、ユーザから指示された動画ストリームの時系列データファイルの読み出しを指示する。再生部116は、ピックアップ130を動作させて、再生制御部115から指示された時系列データファイルを光学的に読み出して、動画ストリームとして取得する。動画ストリーム復号部112は、動画ストリームから映像データおよび音声データをそれぞれ分離して復号化し、映像信号および音声信号を生成する。復号化された映像の解像度は、符号化時の解像度と同じまたはそれ以下である。映像信号出力部110は、例えば液晶表示装置(図示せず)であり、映像信号に基づいてピクチャを次々と切り替えることにより、映像を再生表示する。音声信号出力部111は、例えばスピーカであり、音声信号を音声として再生する。なお、ビデオカメラ1は、DVD−RAMディスク131から再生した時系列データファイルを、IEEE1394規格等に準拠したデジタルインターフェース(図示せず)を経由して外部機器へ出力することもできる。
The
次に、ビデオカメラ1の記録処理を説明する。図7は、本実施形態によるビデオカメラ1の記録処理の手順を示す。なお、以下では、映像タイプ特定部119の判別部104は、判別結果が映画であるときには、1秒あたりの表示ピクチャ数(24枚)を示す値を出力するとして説明する。まずステップS001において、ビデオカメラ1は、時系列データ(動画ストリーム)を生成する。時系列データは、カメラ部100およびマイク101が映像信号および音声信号を出力し、動画ストリーム生成部102がそれらを符号化することによって生成される。
Next, recording processing of the
ステップS002において、映像タイプ特定部119の検出部103および判別部104は、カメラ部100から出力された映像信号に基づいて、被写体の1秒あたりの映像のピクチャ数(コマ数)を判別する。
In step S002, the
ステップS003において、制御部105は、映像のコマ数が毎秒24コマであるか否かを判定する。コマ数が毎秒24コマではないときには、処理はステップS004に進み、毎秒24コマであるとき処理はステップS005に進む。
In step S003, the
ステップS004において、制御部105は動画ストリームの書き込みを許可する。その許可を受けて、記録部106は動画ストリームをDVD−RAMディスク131に書き込む。一方、ステップS005では、制御部105は撮影対象が映画であると判断して、動画ストリームの書き込みを禁止する。その結果、記録部106は書き込みを中止する。ステップS004またはステップS005の後、処理は終了する。
In step S004, the
なお、撮影対象を映画以外の被写体(例えば図5に関連して説明した人や風景等)にすると、被写体の動きにほとんど変化がない場合も考えられる。このような状況では、第1メモリ1031および第2メモリ1032に実質的に同じ画像データが入力されるため、比較器1033の比較結果は「一致」が繰り返されることになる。そこで判別器104は、比較結果が図7に示すような周期Dのパターンを繰り返すときには映像が毎秒24コマであると判断し、それ以外のとき、すなわち「不一致」が連続し、「一致」が連続し、または「不一致」と「一致」とが上述の周期Dのパターンとは異なるパターン(不特定のパターン)で現れるときには、毎秒24コマの映像ではないと判断してもよい。
Note that if the subject to be photographed is a subject other than a movie (for example, the person or landscape described with reference to FIG. 5), there may be a case where there is almost no change in the motion of the subject. In such a situation, since substantially the same image data is input to the
(実施形態2)
実施形態1によるビデオカメラは、撮影対象が毎秒24ピクチャの映像であるときは、その映像の動画ストリームの記録を禁止した。
(Embodiment 2)
The video camera according to the first embodiment prohibits recording of a moving image stream of a video when the shooting target is a video of 24 pictures per second.
本実施形態によるビデオカメラは、撮影対象が毎秒24ピクチャの映像であるときは、その映像の映像品質を落として動画ストリームを記録する。 The video camera according to the present embodiment records a moving picture stream with the video quality of the video being lowered when the shooting target is a video of 24 pictures per second.
図8は、本実施形態によるビデオカメラ2の機能ブロックの構成を示す。ビデオカメラ2とビデオカメラ1(図1)とに共通する構成要素には共通の参照符号を付している。以下で特に言及がないときには、ビデオカメラ2の構成要素の機能および動作は、同じ図1に記載された同じ符号が付加された構成要素の機能および動作であるとする。
FIG. 8 shows a functional block configuration of the
ビデオカメラ2は、映像タイプ特定部119の出力を受け取り、その出力に基づいて映像の解像度を調整する解像度調整部107を備えている。解像度調整部107は、映像タイプ特定部119によって特定された映像のタイプが映画であるときには、ユーザによって撮影時に設定されている解像度よりも低い解像度を選択し、映画でないときには、撮影時に設定されている解像度をそのまま選択して解像度を維持する。例えばユーザによってNTSC方式の1080i映像の品質(HD画質)で記録を行うように設定されており、かつ、映像のピクチャ数が毎秒24枚であることが特定されたときには、解像度調整部107は、NTSC方式の480i(SD品質)で記録するように解像度を選択する。解像度調整部107は、選択した解像度を動画ストリーム生成部202に通知する。
The
図9は、動画ストリーム生成部202の機能ブロックの構成を示す。動画ストリーム生成部202は、図5に示す動画ストリーム生成部102に解像度設定部1309の構成を付加して構成されている。解像度設定部1309は、入力端子1301とMPEG−Video符号化部1303との間に設けられている。解像度設定部1309は、解像度調整部107から指示された解像度に対応する符号化パラメータを設定する。MPEG−Video符号化部1303は、そのパラメータを利用して映像を符号化する。
FIG. 9 shows a functional block configuration of the moving picture
動画ストリームが生成されると、記録部106は、その動画ストリームをDVD−RAMディスク131に書き込む。なお本実施形態においては、制御部105は記録部106に対して動画ストリームの記録を許可し、禁止はしない。
When the moving image stream is generated, the
図10は、本実施形態によるビデオカメラ2の記録処理の手順を示す。ステップS011の処理は、図7のステップS002の処理と同じである。すなわち映像タイプ特定部119は、実施形態1において説明した動作原理によって、被写体の1秒あたりの映像のピクチャ数(コマ数)を判別する。
FIG. 10 shows the procedure of the recording process of the
ステップS012において、解像度調整部107は映像のコマ数が毎秒24コマであるか否かを判定する。コマ数が毎秒24コマではないときには、処理はステップS013に進み、毎秒24コマであるとき処理はステップS014に進む。ステップS013では、解像度調整部107は、ユーザによって設定されている解像度よりも低い解像度を選択する。
In step S012, the
ステップS014では、動画ストリーム生成部202は選択された解像度で符号化処理を行い時系列データ(動画ストリーム)を生成する。なお、ステップS012から分岐したときには、ユーザによって設定された解像度が採用される。制御部105は動画ストリームの書き込みを許可し、その許可を受けて、記録部106はピックアップ130経由で動画ストリームの時系列データファイルをDVD−RAMディスク131に書き込む。
In step S014, the moving image
以上の処理により、撮影対象が映画の映像であるときには、ビデオカメラ2は映像品質を落として動画ストリームを記録することにより、映画の著作権保護を図ることができる。
As a result of the above processing, when the shooting target is a movie image, the
なお、上記説明では、毎秒のピクチャ数(コマ数)に基づいて撮影対象が映画であると判断したとき、解像度調整部107は符号化(エンコード)時の解像度を低下させるとした。解像度調整部107は、上述の表1に記載された範囲から解像度を任意に選択し得る。しかし映像規格に準拠する範囲であれば任意の解像度の採用を決定してもよい。動画ストリームは、符号化時の解像度に従って再生される。
In the above description, when it is determined that the shooting target is a movie based on the number of pictures (number of frames) per second, the
解像度の低下の他には、映像信号にメッセージを重畳させて記録する、映像をモザイク化して記録する、フレームレート(毎秒のピクチャ数)を下げて記録する(例えば毎秒5ピクチャ)、黒画面を記録する等によって、その後の流通時に著作権侵害を喚起することができ、また撮影対象への忠実性を低下させて著作権保護を図ることができる。 Besides reducing the resolution, the message is superimposed on the video signal, the video is mosaicked and recorded, the frame rate (number of pictures per second) is reduced (for example, 5 pictures per second), and the black screen is recorded. By recording or the like, copyright infringement can be aroused during the subsequent distribution, and copyright protection can be achieved by reducing fidelity to the object to be photographed.
(実施形態3)
本実施形態によるビデオカメラは、撮影対象の映像のタイプを特定して符号化時の解像度を設定し、映像の解像度を下げて符号化したときには、そのことを示す情報(判別情報)を生成し、記録媒体に動画ストリームと合わせて記録する。
(Embodiment 3)
The video camera according to the present embodiment specifies the type of video to be captured, sets the resolution at the time of encoding, and generates information (discrimination information) indicating that when the video is encoded with a reduced resolution. , And recording on the recording medium together with the moving image stream.
図11は、本実施形態によるビデオカメラ3の機能ブロックの構成を示す。ビデオカメラ3は、実施形態2によるビデオカメラ2に対して、ビデオカメラ3が、管理情報生成部108と、管理ファイル生成部109と、管理情報メモリ120と、判別情報抽出部121と、重畳処理部122とを新たに付加して構成されている。その他の構成要素は同じである。また、DVD−RAMディスク131には、管理情報を格納する管理情報領域132と、動画ストリームを格納するAVデータ領域133とがそれぞれ規定される。以下では、上述の相違点に関連して、ビデオカメラ3を説明する。
FIG. 11 shows a functional block configuration of the video camera 3 according to the present embodiment. The video camera 3 is different from the
まず管理情報生成部108は、動画ストリーム生成部202が撮影時に設定されている解像度よりも低い解像度で映像信号を符号化したときには、そのことを示す判別情報を生成する。判別情報の詳細は図18を参照しながら後述する。
First, when the video
管理ファイル生成部109は、管理情報生成部108が作成した判別情報を含む管理ファイルを作成する。
The management
ここで図12を参照しながら管理ファイルを説明する。本実施形態においては、管理ファイルは公知のMP4ファイルフォーマットに従ったデータ構造を有するとして説明する。そのデータ構造を利用して格納されるデータのうち、本実施形態に特有のデータの説明は後述する。 Here, the management file will be described with reference to FIG. In the present embodiment, the management file will be described as having a data structure according to a known MP4 file format. Of the data stored using the data structure, data specific to the present embodiment will be described later.
図12は、本実施形態による時系列データファイル12と管理ファイル14との関係を示す。管理ファイル14は管理情報を格納しており、そのファイル名は“MOV001.MP4”である。一方、時系列データファイル12は動画ストリームを格納しており、そのファイル名は“MOV001.MPG”である。なお、本実施形態では、動画ストリームはMPEG−2プログラムストリームとする。
FIG. 12 shows the relationship between the time-series data file 12 and the
管理情報には、時系列データファイル12に格納された動画ストリームの映像に関し、再生を管理するための情報が格納されている。管理情報では、映像に関する情報は、「ビデオトラック」と呼ばれる単位で管理される。ビデオトラックには、アクセス単位ごとの位置情報(アクセス情報)や、エンコード情報を含んでいる。本実施形態では、上述の判別情報はエンコード情報の一部を構成しており、管理情報内に格納されている。これらの情報は動画ストリームの記録時に生成され、動画ストリーム再生時のランダムアクセスに用いる。また、管理情報内には、対応する動画ストリームを特定するリンク情報を含んでいる。リンク情報は、例えば対応する動画ストリームを格納した時系列データファイルのファイル名(“MOV001.MPG”)である。 In the management information, information for managing the reproduction of the video of the moving image stream stored in the time series data file 12 is stored. In the management information, information related to video is managed in units called “video tracks”. The video track includes position information (access information) for each access unit and encoding information. In the present embodiment, the determination information described above constitutes a part of the encode information and is stored in the management information. These pieces of information are generated when a moving image stream is recorded, and are used for random access when the moving image stream is reproduced. In addition, the management information includes link information that identifies the corresponding video stream. The link information is, for example, the file name (“MOV001.MPG”) of the time-series data file storing the corresponding moving image stream.
図13は、光ディスク131に記録される時系列データファイル12および管理ファイル14のデータ構造を示す。時系列データファイル12は動画ストリーム11を含み、管理ファイル14は管理情報13を含む。時系列データファイル12は光ディスク131のAVデータ領域133に書き込まれ、管理ファイル14は光ディスク131の管理情報領域132に書き込まれる。
FIG. 13 shows the data structure of the time-series data file 12 and the
動画ストリーム11は、複数のサンプル(P2Sample)15を含む。サンプル15は、映像データおよび音声データが混在して構成されている。サンプル15は、映像の再生時間、データの大きさ(データ量)等に基づいて定めることが可能であり、例えばDVDのビデオオブジェクトユニット(VOBU)のような、映像の再生時間にして0.4秒から1秒程度の映像データを含む。サンプル15の1以上の集合をチャンク(chunk)16という。図14は、動画ストリーム11のより詳細なデータ構造を示す。各サンプル15は、複数の映像パック(V_PK)および音声パック(A_PK)を含む。各パックは、パックヘッダおよび映像または音声用のデータを格納したPESパケットから構成されており、そのデータ量は一定(2048バイト)である。図14に示すような動画ストリームに対しては、ビデオデータとオーディオデータとをまとめて動画ストリームトラックとし、1つのトラックで一括して管理してもよい。
The moving
再び図13を参照する。管理情報13は、サンプル単位のアクセス情報20およびエンコード情報19を含む。これらの情報は、アトム構造体と呼ばれるデータ構造を利用して管理されており、具体的にはムービーアトム(Movie atom)17のサンプルテーブルアトム(sample Table ATOM)18内に記述される。サンプルは、サンプルテーブルアトム(Sample Description Atom)18における最小管理単位として管理されており、各サンプルに対してデータ格納位置等を示すアクセス情報20が記述される。エンコード情報19はサンプル単位またはチャンク単位で規定され、各単位内の映像データに対して共通に適用される。なお、サンプル15およびチャンク16は管理情報13によって管理される動画ストリーム11の単位であって、動画ストリーム11のデータが常に物理的に区分されて規定されているわけではない。
Refer to FIG. 13 again. The
次に、管理情報13においてどのような基準でサンプル15およびチャンク16が規定されるかを説明する。例えば、映像の再生時間にして0.4秒から1秒程度の映像データおよび音声データが1つのサンプル(P2Sample)15とされるとする。各サンプルのアクセス情報は管理情報13に記述される。そして、ある一連の映像に対して共通して適用される解像度が決定されると、それらの映像に対応する区間が1つのチャンク16として取り扱われ、各チャンク内のサンプルに共通のエンコード情報19が規定される。「ある一連の映像」の例は、ビデオカメラによって撮影された、録画開始から録画終了までの連続的な映像である。管理情報13には、各チャンクに対するアクセス情報を設定することもできる。なお、解像度が共通する一連の映像の区間をチャンクが規定される基準として説明したが、本発明には特に関連しない他の基準によってチャンクが規定されることもある。
Next, the criteria by which the
動画ストリーム生成部202および管理情報生成部108は、上述したデータ構造および基準に基づいて動画ストリーム11および管理情報13を生成する。
The moving image
図15は、図14に対応する動画ファイル(MPEG2-PS)の管理情報13のアトム構造を示す。管理情報13は、ムービーアトム17において規定される。ムービーアトム17には、符号化された映像データおよび音声データの各々について、独立してフレーム単位のデータサイズ、データの格納先アドレス、再生タイミングを示すタイムスタンプ等の情報が記述されている。映像データに対してはトラックアトム304が規定される。トラックアトム304内の種々のアトム305、306、307等のうち、本明細書ではメディアアトム307内のサンプルテーブルアトム18を説明する。メディアアトム307は、符号化ストリームに関する情報を格納するフィールドである。なお、音声データに対しては、例えばトラックアトム317が規定される。
FIG. 15 shows an atom structure of the
サンプルテーブルアトム18は、さらに複数のアトムフィールド311〜316を有する。このうち、サンプル記述アトム311、サンプルサイズアトム312、デコーディングタイムツーサンプルアトム313、サンプルツーチャンクアトム314、チャンクオフセットアトム315に着目する。
The
サンプル記述アトム311には、そのサンプル内の映像に対して適用されるエンコード情報が規定されている。サンプルサイズアトム312には、そのサンプルのデータサイズが規定されている。デコーディングタイムツーサンプルアトム313には、そのサンプルの映像再生時間が規定されている。サンプルツーチャンクアトム314には、1チャンクに含まれるサンプルの数が規定されている。チャンクオフセットアトム315には、例えば時系列データファイルの先頭から計算した各チャンクの先頭位置(オフセット)が規定されている。なお、各アトム312〜315に記載されている”#0”は、第0番目のサンプルまたはチャンクに対するデータであることを示しており、図示されていない第1番目、第2番目のデータが後に続く。
The
図16は、動画ファイル内のストリームのデータ単位およびチャンク(chunk)構造と、動画ファイルに対応する管理ファイル中のアトム(サンプルテーブルアトム)18を示す。サンプルテーブルアトム18中の各アトム312〜315内のフィールドは、動画ファイル内のストリームのデータ単位およびチャンク(chunk)構造に示す同名の区間に対応するデータサイズ、再生時間等を規定している。例えば、サンプルサイズアトム312内に示された"samples size#0"は、時系列データファイル12の最初(0番目)に配置されたP2サンプル(P2sample#0)のデータサイズを規定する。図16に示されるように、管理ファイルのサンプルテーブルアトム)18において、時系列データ12を構成するデータの各サンプル、チャンク等が規定される。
FIG. 16 shows a data unit and a chunk structure of a stream in the moving image file, and an atom (sample table atom) 18 in the management file corresponding to the moving image file. The fields in each
図17は、サンプルテーブルアトム18のサンプル記述アトム311のアトム構造をより詳細に示している。サンプル記述アトム311は1以上のサンプル記述エントリ515を含む。サンプル記述エントリ515は、各チャンクに対して設けられる。さらにサンプル記述エントリ515はエンコード情報518を含み、エンコード情報518の一部として、解像度を下げて映像を符号化したか否かを示す判別情報(judgement_information)が記述される。
FIG. 17 shows the atom structure of the
図18は、エンコード情報518のデータ構造を示す。エンコード情報は8ビットで規定される。8ビットのうち、下位2ビット(B0〜B1:judgement_information)において判別情報が規定される。上位6ビットは予約ビットである。判別情報は、2ビットを利用して少なくとも4種類の情報を規定する。具体的には、撮影時に設定されている解像度を基準として、“00”はその解像度で映像が符号化されたことを表し、“01”はその解像度よりも低い解像度で映像が符号化されたことを表す。さらに本実施形態では“10”はその解像度よりも高い解像度で映像が符号化されたことを表すとして規定する。なお“11”の意味は未定義である。
FIG. 18 shows the data structure of the encode
図19は、各判別情報が適用される範囲を示し、各判別情報が記述されるサンプル記述エントリ#0〜#3を示す。図18に示すように、判別情報#n(n:整数)はチャンク#nに対して適用されるので、判別情報#nはチャンク#n内の映像に共通して適用される。
FIG. 19 shows a range to which each discrimination information is applied, and shows sample
図20は、本実施形態によるビデオカメラ3の記録処理の手順を示す。ステップS101、S102、S103の処理は、図10のステップS011、S012、S013の処理と同じである。 FIG. 20 shows the procedure of the recording process of the video camera 3 according to the present embodiment. The processing in steps S101, S102, and S103 is the same as the processing in steps S011, S012, and S013 in FIG.
ステップS104では、動画ストリーム生成部202は選択された解像度で符号化処理を行い時系列データ(動画ストリーム)を生成する。そして管理情報生成部108は、判別情報を生成する。より具体的には、ステップS102から分岐したときには、動画ストリーム生成部202はユーザによって設定された解像度で映像を符号化し、管理情報生成部108はその処理に対応する判別情報(“00”)を生成する。一方、ステップS103の処理を行ったときには、動画ストリーム生成部202は、解像度調整部107から指示された、より低い解像度によって映像を符号化し、管理情報生成部108はその処理に対応する判別情報(“01”)を生成する。なお、管理情報生成部108が判別情報を生成すると、管理ファイル生成部109は、その判別情報を含むエンコード情報等の管理情報を生成する。
In step S104, the moving image
ステップS105では、制御部105からの動画ストリームの書き込み許可を受けて、記録部106はピックアップ130経由で動画ストリームの時系列データファイルをDVD−RAMディスク131のAVデータ領域133に書き込む。また、記録部106は、管理ファイルをDVD−RAMディスク131の管理情報領域132に書き込む。
In step S <b> 105, the
以上の処理により、撮影対象が映画の映像であるときには、ビデオカメラ3は映像品質を落として動画ストリームを記録することにより、映画の著作権保護を図ることができる。 Through the above processing, when the shooting target is a movie image, the video camera 3 can protect the copyright of the movie by recording the moving image stream with a reduced image quality.
次に、ビデオカメラ3がDVD−RAMディスク131から動画ストリームを読み出して映像を再生する処理を説明する。
Next, a process in which the video camera 3 reads a moving image stream from the DVD-
図21は、本実施形態によるビデオカメラ3の再生処理の手順を示す。この処理は、ユーザが再生の対象となる映像を特定して、再生の開始を指示することにより実行される。まず、ステップS201において、再生制御部115が、再生の対象となる映像の時系列データファイル、および、対応する管理ファイルの読み出しを指示すると、再生部116はピックアップ130を介してDVD−RAMディスク131から時系列データファイルおよび管理ファイルを読み出す。管理情報メモリ120は管理ファイルを格納する。
FIG. 21 shows the procedure of the playback process of the video camera 3 according to this embodiment. This process is executed by the user specifying the video to be played and instructing the start of playback. First, in step S201, when the
ステップS202において、判別情報抽出部121は管理情報メモリ120に格納された管理ファイルを解析して、判別情報を抽出する。
In step S202, the discrimination
ステップS203では、動画ストリーム復号部112は、動画ファイルの動画ストリームを復号(デコード)処理して映像信号と音声信号とを取得する。映像信号および音声信号は、それぞれ重畳処理部122および音声信号出力部111へ出力される。
In step S203, the moving picture
ステップS204では、判別情報抽出部121は、判別情報に基づいて、符号化時に解像度を下げて記録した映像であるかを判別する。例えば、判別情報として“01”が設定されているときは、解像度を下げて符号化していることを意味する。ステップS205においては、判別情報抽出部121は「解像度を下げて記録した映像」であるか否かを表示するデータ(表示データ)を作成する。表示データは、解像度を下げて符号化した映像であること等が明確になるように、例えば文字のデータが用いられる。
In step S204, the discrimination
ステップS206では、重畳処理部122は、表示データを再生対象の映像信号に重畳する。表示データが重畳された映像信号は、映像信号出力部110から出力される。
In step S206, the
図22は、TVモニタにおける第1の再生表示例を示す。重畳された表示データは、画面右上の領域220に表示されている。表示データは、
記録日時 : 1/1(木) 10:10〜10:19
映像ソース : カメラ
記録情報 : SD(DC)
である。「記録情報」は記録時の解像度を示しており、「SD」は標準解像度を示し、「DC」は解像度を下げて記録したこと(ダウンコンバートしたこと)を示している。図22では、撮影対象が毎秒24コマの映像(映画)であったために、解像度を下げて記録したことを知らせている。
FIG. 22 shows a first reproduction display example on the TV monitor. The superimposed display data is displayed in the
Recording date: 1/1 (Thursday) 10: 10-10: 19
Video source: Camera Recording information: SD (DC)
It is. “Recording information” indicates the resolution at the time of recording, “SD” indicates the standard resolution, and “DC” indicates that recording was performed at a reduced resolution (down-converted). In FIG. 22, since the shooting target is an image (movie) of 24 frames per second, the fact that the resolution is reduced is recorded.
図23は、TVモニタにおける第2の再生表示例を示す。画面右上の領域220には、解像度を下げることなく高解像度で映像が記録されたことを示す「HD」が示されている。図24は、TVモニタにおける第3の再生表示例を示す。画面右上の領域220には、標準解像度で映像が記録されたことを示す「SD」が示されている。図24は当初から“標準解像度”で映像を記録したときの例である。よって、撮影対象が毎秒24ピクチャではなくビデオカメラ3は映像品質を落として映像を符号化していないため、“DC”は表示されない。
FIG. 23 shows a second reproduction display example on the TV monitor. In the upper
上記のように、本実施形態では、ビデオカメラ3が映画等を撮影対象としたか否かを検出し、著作権を有する映画等であると判断した場合、エンコード時の解像度を低下させて記録する。ビデオカメラ3は解像度を下げて映像を符号化したか否かを示す判別情報を管理情報として保持し、再生時に判別情報に基づいて表示を行う。ビデオカメラ3は、撮影当初“高解像度”による符号化が設定されているか否かに係わらず、“標準解像度”で記録したことをユーザーに通知できる。よってユーザは、通知に基づいて誤って映画などの著作物を撮影したことを認識することができ、機器の故障との間違いを解消できる。 As described above, in the present embodiment, when the video camera 3 detects whether or not a movie or the like is a subject to be photographed and determines that the movie is a copyrighted movie or the like, the recording is performed with a reduced resolution at the time of encoding. To do. The video camera 3 holds, as management information, discrimination information indicating whether or not the video has been encoded with a reduced resolution, and performs display based on the discrimination information during reproduction. The video camera 3 can notify the user of recording at “standard resolution” regardless of whether or not encoding at “high resolution” is set at the beginning of shooting. Therefore, the user can recognize that a copyrighted work such as a movie has been mistakenly shot based on the notification, and can eliminate a mistake with a device failure.
なお、判別情報は、図17に記載されたサンプル記述エントリ515にチャンク毎に格納するとして説明した。しかし、トラックヘッダーアトム(Track Header Atom)506(図17)に格納することもできる。これにより、動画ファイルに解像度を下げて記録した部分が存在することを示すことができる。また、チャンク毎にデータフィールドを定義する必要がないので、データサイズの削減が可能である。そして、図17等に記載されたデータ構造に限定されることもない。なお、撮影対象が映画等と判断し解像度を低下させて記録した部分を再生する場合に、全画面にメッセージを重畳させて表示する(説明では右上に表示)、再生映像に特殊効果(モザイク、ウォーターマーク)を重畳して出力する、再生時に、コピー禁止情報(マクロビジョン信号、など)を重畳して出力する、等により、撮影対象への忠実性をさらに低下させることが可能である。
The discrimination information has been described as being stored for each chunk in the
また、判別情報に基づいて、解像度を下げて記録した映像か否かを映像再生中のTV画面上に重畳させて表示するのではなく、ビデオカメラ3に判別情報を表示する表示出力部を設けてもよい。表示出力部は、蛍光表示管、LED(発光ダイオード)、ランプ(電球)等である。それらを駆動する駆動回路もまた、表示出力部に含めてもよい。表示出力部を備えることにより、映像再生時において映像の表示領域の一部を利用しなくてもよく、再生映像の見え難さを解消しつつ、必要な情報をユーザに提示できる。この変形例による処理は、図21のステップS205およびS206における表示データの重畳処理に代えて、表示出力部を駆動させる処理を実行することとなる。なお、映像信号の出力および解像度の出力は、対応付けて行われる。 In addition, based on the discrimination information, a display output unit for displaying the discrimination information on the video camera 3 is provided instead of displaying whether the video is recorded with a reduced resolution on the TV screen during video playback. May be. The display output unit is a fluorescent display tube, an LED (light emitting diode), a lamp (light bulb), or the like. A drive circuit for driving them may also be included in the display output unit. By providing the display output unit, it is not necessary to use a part of the display area of the video at the time of video playback, and necessary information can be presented to the user while solving the difficulty of viewing the playback video. In the process according to this modification, instead of the display data superimposition process in steps S205 and S206 of FIG. 21, a process of driving the display output unit is executed. Note that the output of the video signal and the output of the resolution are performed in association with each other.
(実施形態4)
実施形態3によるビデオカメラは、1つの動画ストリームについて判別情報を生成し、管理情報の一部としてDVD−RAMディスク131に格納するとして説明した。
(Embodiment 4)
The video camera according to the third embodiment has been described as generating discrimination information for one moving image stream and storing it in the DVD-
本実施形態によるビデオカメラは、複数の動画ストリームの各々について判別情報を生成し、各々の管理情報の一部としてDVD−RAMディスク131に格納する。そして、各動画ストリームに対応する管理情報を一元的に管理するコンテンツ管理ファイルを生成して、DVD−RAMディスク131に格納する。なお、本実施形態では、実施形態3における「判別情報」に相当する情報を「コンテンツ判別情報」と称する。
The video camera according to the present embodiment generates discrimination information for each of a plurality of moving image streams and stores it in the DVD-
図25は、本実施形態によるビデオカメラ4の機能ブロックの構成を示す。本実施形態によるビデオカメラ4が、実施形態3によるビデオカメラ3(図11)と相違する点は、ビデオカメラ3の管理ファイル生成部109および判別情報抽出部121に代えて、コンテンツ管理ファイル生成部209およびコンテンツ判別情報抽出部221を設けたことにある。
FIG. 25 shows a functional block configuration of the video camera 4 according to the present embodiment. The video camera 4 according to the present embodiment is different from the video camera 3 according to the third embodiment (FIG. 11) in that a content management file generation unit is used instead of the management
ただし、コンテンツ管理ファイル生成部209は管理ファイル生成部109の機能を有し、さらにコンテンツ管理ファイルを生成する機能を有する。また、コンテンツ判別情報抽出部221は、判別情報抽出部121と同等の機能を有し同等の処理を行う。よって、ビデオカメラ4は、映像の解像度を下げて符号化処理を行ったか否かを判別する情報を生成するとともに、その情報をユーザに通知するための機能を有している。
However, the content management
図26は、本実施形態によるビデオカメラ4の記録処理の手順を示す。ビデオカメラ4において実行される記録処理は、コンテンツ管理ファイルの作成または更新を除き、実施形態3によるビデオカメラ3の記録処理(図20)と実質的に同様である。具体的には、ステップS301からステップS306までの処理のうち、ステップS305を除いては、図20における処理と同じである。よって各処理の説明は省略する。「判別情報」を「コンテンツ判別情報」と読み替えればよい。 FIG. 26 shows the procedure of the recording process of the video camera 4 according to this embodiment. The recording process executed in the video camera 4 is substantially the same as the recording process (FIG. 20) of the video camera 3 according to the third embodiment, except for the creation or update of the content management file. Specifically, the processing from step S301 to step S306 is the same as the processing in FIG. 20 except for step S305. Therefore, description of each process is abbreviate | omitted. The “discrimination information” may be read as “content discrimination information”.
以下、図27を参照しながら、コンテンツ管理ファイルのデータ構造を説明する。なお、本実施形態では、対応する管理ファイルおよび時系列データファイル(動画ファイル)との組を「コンテンツ」と称する。 Hereinafter, the data structure of the content management file will be described with reference to FIG. In the present embodiment, a set of a corresponding management file and time-series data file (moving image file) is referred to as “content”.
図27は、コンテンツ管理ファイル270のデータ構造を示す。コンテンツ管理ファイル270は、コンテンツ(動画ファイル、静止画ファイル)毎にエントリを有し、DVD−RAMディスク131に記録された動画ファイルとその管理ファイルを一元管理する。例えば、コンテンツ[A]となる動画ファイル[A]と管理ファイル[A]にはエントリ[A]270aが割り当てられる。コンテンツ[B]も同様にエントリ[B]270bが割り当てられる。
FIG. 27 shows the data structure of the
各エントリには、対応するコンテンツに関する属性情報が規定される。属性情報は、例えば記録日時、撮影ソース、ファイルサイズ、リンク情報、符号化処理に関する情報(エンコード情報)等を含む。記録日時は撮影した日付、開始/終了時刻である。撮影ソースは、ビデオカメラ4による撮影であることを示す「カメラ」、DVDレコーダ等によりテレビ放送番組を録画したときにはチャンネル番号が記述される。エンコード情報は、実施形態1で説明したと同様であり、判別情報に対応する“コンテンツ判別情報”を含んでいる。さらにエンコード情報は“ 記録モード”、“符号化レート”、および“解像度”などに関する情報を含んでいてもよい。 Each entry defines attribute information related to the corresponding content. The attribute information includes, for example, a recording date and time, a shooting source, a file size, link information, information on encoding processing (encoding information), and the like. The recording date and time is the date of shooting and the start / end time. The shooting source is “camera” indicating that the video camera 4 is shooting, and a channel number is described when a TV broadcast program is recorded by a DVD recorder or the like. The encoding information is the same as that described in the first embodiment, and includes “content determination information” corresponding to the determination information. Further, the encoding information may include information on “recording mode”, “encoding rate”, “resolution”, and the like.
コンテンツ判別情報は、実施形態3における判別情報と同様、コンテンツ判別情報が“00”のときは、撮影時に設定された解像度で符号化処理を行い、“01”のときは解像度を下げて符号化処理を行う。また、コンテンツ判別情報が“10”のときは解像度を上げて符号化処理を行う。なお“11”の意味は未定義である。 Similar to the discrimination information in the third embodiment, the content discrimination information is encoded with the resolution set at the time of shooting when the content discrimination information is “00”, and is encoded with the resolution lowered when the content discrimination information is “01”. Process. When the content discrimination information is “10”, the encoding process is performed with the resolution increased. The meaning of “11” is undefined.
コンテンツ管理ファイル生成部209は、図27に示すコンテンツ管理ファイルを生成する。例えばコンテンツ管理ファイル生成部209は、実施の形態3で説明した管理情報13(図17)のエンコード情報518に格納されたコンテンツ判別情報をコピーしてコンテンツ管理ファイル内に格納することができる。これにより、管理ファイルとデータを共通化できるというメリットがある。
The content management
ビデオカメラ4が、DVD−RAMディスク131に種々のファイルを書き込んだ後、そのDVD−RAMディスク131から映像を再生する再生処理の内容も、実施形態3によるビデオカメラ3の再生処理(図21)と同様であり、その説明は本実施形態においても適用される。
After the video camera 4 writes various files on the DVD-
本実施形態ではさらに、コンテンツ管理ファイルを利用して、DVD−RAMディスク131に記録されたコンテンツの内容を確認するためのコンテンツの一覧を表示することができる。図28は、コンテンツ管理ファイルに基づいて表示されたコンテンツの一覧表示画面の例を示す。
In the present embodiment, a list of contents for confirming the contents recorded on the DVD-
上述のように、コンテンツ管理ファイルには記録日時、撮影ソース、エンコード情報等が格納されている。コンテンツ判別情報抽出部221はこれらの情報から、例えばエンコード情報を抽出して、各コンテンツとその解像度とを対応して表示するための一覧データを生成する。一覧データは、図28に示す表形式で対応関係を表示するためのデータである。
As described above, the content management file stores recording date and time, shooting source, encoding information, and the like. The content discriminating
ここで、図28の“情報”の項は記録時の解像度が示されている解像度情報表示欄である。この欄には、高解像度の記録を示す「HD」、標準解像度の記録を示す「SD」、解像度を下げて標準解像度で記録したことを示す「SD(DC)」等によって、記述されている。例えば、コンテンツ判別情報抽出部221は、コンテンツ判別情報の値が“00”であることと符号化レートとによって、「HD」または「SD」を特定する。また、コンテンツ判別情報の値が“01”であるときは「SD(DC)」と判断する。
Here, the item “information” in FIG. 28 is a resolution information display column in which the resolution at the time of recording is shown. In this column, “HD” indicating high-resolution recording, “SD” indicating standard-resolution recording, “SD (DC)” indicating that recording is performed at the standard resolution at a reduced resolution, and the like are described. . For example, the content determination
本実施形態においては、ビデオカメラ4は、実施形態3のビデオカメラ3と同じ効果を得られる他、さらに解像度を下げて記録したか等を示す判別情報をコンテンツ管理ファイルに格納し、必要に応じて表示している。コンテンツ毎の管理ファイルしか存在しないときには、一覧表示時には各管理ファイルにアクセスし、解析する必要があり表示に時間を要するが、コンテンツ管理ファイルに格納することで表示の高速化に貢献することができる。 In the present embodiment, the video camera 4 can obtain the same effect as the video camera 3 of the third embodiment, and also stores discrimination information indicating whether the recording is performed at a lower resolution in the content management file, and if necessary, Is displayed. When there is only a management file for each content, it is necessary to access and analyze each management file when displaying the list, and it takes time to display. However, storing it in the content management file can contribute to speeding up the display. .
なお、コンテンツ管理ファイルの各エントリにはさらに以下の情報を格納してもよい。例えば毎秒24ピクチャで変化する撮影対象を記録したコンテンツであることを示す情報、撮影被写体の映像変化周期(フレームレートともいう)を示す情報、ストリーム中に24ピクチャを30ピクチャにして記録することにより発生する、重複するフィールド/フレームの有無を示す情報、である。これらの情報をさらに格納することにより、より撮影対象に関する情報をユーザに知らしめることが可能になる。 The following information may be further stored in each entry of the content management file. For example, by recording information indicating that the subject to be photographed changes at 24 pictures per second, information indicating the video change period (also referred to as a frame rate) of the subject, and recording 24 pictures as 30 pictures in the stream. Information indicating the presence / absence of duplicate fields / frames to be generated. By further storing these pieces of information, it becomes possible to inform the user of information related to the shooting target.
上述の各実施形態では、ビデオカメラを利用して撮影する構成および処理を説明した。しかし、ストリーミングなどの、電気通信回線や無線回線を通じて伝送される映像信号についても、本発明は同様にかつ容易に適用することができる。このときは、データ処理装置のイーサネット端子等が、ビデオカメラのカメラ部100に代えて映像信号を取得する。また実施形態3および4において説明した管理情報のデータ構造は例であり、これに限定されることはない。また、本発明の実施の形態では、映像ピクチャ数の検出にフィールドメモリ1031および1032を用いる例を挙げて説明したが、フレームメモリ等を用いてもよい。
In each of the above-described embodiments, the configuration and processing for shooting using a video camera have been described. However, the present invention can be similarly and easily applied to video signals transmitted through telecommunication lines and wireless lines such as streaming. At this time, the Ethernet terminal or the like of the data processing apparatus acquires a video signal instead of the
さらに、本発明の実施の形態では検出する映像のタイプを毎秒24枚のピクチャで表示される映画として説明したが、これは例である。検出する映像のタイプに応じた検出ピクチャ数は任意に設定できる。また、検出に際して一定の閾値時間を設定し、特定パターンが閾値時間以上連続して検出されたときに、検出ピクチャ数に該当したと判断してもよい。これにより、信頼性の向上を図ることが可能である。 Further, in the embodiment of the present invention, the type of video to be detected is described as a movie displayed with 24 pictures per second, but this is an example. The number of detected pictures corresponding to the type of video to be detected can be arbitrarily set. Further, a certain threshold time may be set for detection, and it may be determined that the number of detected pictures corresponds when a specific pattern is detected continuously for the threshold time or longer. Thereby, it is possible to improve the reliability.
さらに本発明は、撮影映像が映画等の映像であるか否かの判断を、撮影映像の内容を解析することにより行うこともできる。 Further, according to the present invention, it is possible to determine whether or not the captured video is a movie or the like by analyzing the content of the captured video.
CCD(Charge Coupled Devices:電荷結合素子)やCMOS(Complementary Metal Oxide Semiconductor)などの受光素子をカメラ部の撮像素子に適用した場合、有効画素数(撮像素子のうち、実際に撮影に使用される素子の数)は総画素数(撮像素子の総数)より少ない。図29は、撮像素子290に関する全画素の範囲291と、有効画素の範囲292との関係を示す。図29において、総画素数に対応する範囲は斜線部、有効画素数に対応する範囲は空白部である。
When a light receiving element such as a CCD (Charge Coupled Devices) or CMOS (Complementary Metal Oxide Semiconductor) is applied to the image sensor of the camera unit, the number of effective pixels (elements actually used for photographing) Is less than the total number of pixels (total number of image sensors). FIG. 29 shows the relationship between the
図30は、スクリーンに投射された映画を、撮像素子290を利用して撮影したときの模式図である。上映中の映画を撮影する場合、通常、スクリーン部分は有効画素の範囲292内に収まる様に撮影すると考えられる。有効画素の範囲292の外はスクリーンの周辺を撮影することになる。スクリーン部は映写機からの投光(映画の映像)を反射するため比較的明るいのに対し、その外部はスクリーンを際だたせるためスクリーン部と比較して一般には極めて暗い。よって、有効画素範囲の内外で撮像素子が検出する明るさに大きな違いが生じる。その差異を用いて撮影対象がスクリーンであるかどうかを検出することができる。
FIG. 30 is a schematic diagram when a movie projected on the screen is shot using the
さらに、撮像素子の横縦比(アスペクト比、4対3など)と、撮影時の有効画素範囲のアスペクト比(横縦が4対3、または16対9など)、更に以下のような映画のアスペクト比を踏まえることで、撮像素子に入射する光の明暗部分を判別することが可能であり、さらに精度良く検出することが可能である。すなわちスタンダードサイズは1.33対1、ヨーロッパ規格のビスタサイズは1.66対1、アメリカ規格のビスタサイズは1.85対1、シネスコサイズは1.85対1である。 Furthermore, the aspect ratio of the image sensor (aspect ratio, 4 to 3, etc.), the aspect ratio of the effective pixel range at the time of shooting (4: 3 or 16: 9, etc.), and the following movie By taking the aspect ratio into consideration, it is possible to discriminate between bright and dark portions of light incident on the image sensor, and it is possible to detect it with higher accuracy. That is, the standard size is 1.33 to 1, the European standard vista size is 1.66 to 1, the American standard vista size is 1.85 to 1, and the cinesco size is 1.85 to 1.
このような手法で、撮影された映像の内容を解析することにより、撮影映像が映画等の映像であるか否かを判別することができる。また、毎秒のピクチャ数が24枚であるかどうかの検出と合わせて判断すると、より精度よく撮影対象を確定する事ができる。 By analyzing the content of the captured video by such a method, it is possible to determine whether the captured video is a video such as a movie. In addition, if the determination is made together with the detection of whether or not the number of pictures per second is 24, the shooting target can be determined with higher accuracy.
本発明の実施の形態では、DVD−RAM等の光ディスクに記録するものとして説明を行ったが、半導体メモリ等の不揮発性記憶素子、ハードディスク等の磁気記録媒体等に記録してもよい。また、記録するデータストリームとしてMPEG2映像ストリームを例に挙げて説明したが、他にMPEG4映像ストリームをはじめ、他の映像ストリームを利用することもできる。 In the embodiment of the present invention, the recording is performed on an optical disk such as a DVD-RAM. However, the recording may be performed on a nonvolatile storage element such as a semiconductor memory or a magnetic recording medium such as a hard disk. Further, the MPEG2 video stream has been described as an example of the data stream to be recorded, but other video streams such as an MPEG4 video stream can also be used.
ビデオカメラに代表されるデータ処理装置の記録機能および再生機能は、そのような機能を実現するコンピュータプログラムに基づいて動作する。コンピュータプログラムは、CD−ROM等の記録媒体に記録して市場に流通させ、または、インターネット等の電気通信回線を通じて伝送することにより、例えば、コンピュータシステムを記録装置および/または再生装置として動作させることができる。 A recording function and a reproducing function of a data processing apparatus typified by a video camera operate based on a computer program that realizes such a function. The computer program is recorded on a recording medium such as a CD-ROM and distributed in the market, or transmitted through an electric communication line such as the Internet, thereby causing the computer system to operate as a recording device and / or a reproducing device, for example. Can do.
本発明によれば、カメラにより撮影した対象が映画等のフィルム映像であるか否かを検出して、フィルム映像に該当する場合は記録を中止し、または解像度等の映像品質を十分低下させて記録する。これにより、コンテンツの著作権者の権利侵害を防ぎ、コンテンツを保護することができる。 According to the present invention, it is detected whether or not an object photographed by the camera is a film image such as a movie, and if it falls under the film image, the recording is stopped or the image quality such as the resolution is sufficiently lowered. Record. As a result, it is possible to prevent infringement of the copyright holder of the content and protect the content.
1、2、3、4 ビデオカメラ
100 カメラ部
101 マイク
102 動画ストリーム生成部
103 検出部
104 判別部
105 制御部
106 記録部
110 映像信号出力部
111 音声信号出力部
112 動画ストリーム復号部
115 再生制御部
116 再生部
119 ピクチャ数特定部
130 ピックアップ
131 DVD−RAMディスク
1, 2, 3, 4
Claims (20)
前記映像に関する映像信号を取得する信号取得部と、
前記映像信号に基づいて、映像のタイプを特定するタイプ特定部であって、前記映像のタイプは前記映像の単位時間あたりの表示ピクチャ数に応じて決定される、タイプ特定部と、
前記映像信号に基づいて映像ストリームを生成するストリーム生成部と、
前記映像のタイプに基づいて、前記映像ストリームの記録を禁止するか、あるいは、映像品質を低下させた映像ストリームの記録を許可するかを決定する制御部と、
前記制御部の決定に基づいて、前記記録媒体への前記映像ストリームの記録を制御する記録部と
を備えたデータ処理装置。 A data processing apparatus for recording a video stream related to video on a recording medium,
A signal acquisition unit for acquiring a video signal related to the video;
A type specifying unit for specifying a video type based on the video signal, wherein the video type is determined according to the number of display pictures per unit time of the video;
A stream generation unit that generates a video stream based on the video signal;
A control unit that determines whether to prohibit recording of the video stream based on the type of the video, or to permit recording of the video stream with reduced video quality;
And a recording unit that controls recording of the video stream on the recording medium based on the determination of the control unit.
前記ストリーム生成部は、選択された前記映像品質を有する映像の映像ストリームを生成する、請求項1に記載のデータ処理装置。 An adjustment unit for selecting a video quality based on the video type;
The data processing apparatus according to claim 1, wherein the stream generation unit generates a video stream of the video having the selected video quality.
前記制御部は、前記映像品質を低下させた映像ストリームの記録を許可し、
前記調整部は、予め設定された映像品質よりも低い映像品質を選択する、請求項3に記載のデータ処理装置。 When the video type matches the predefined type,
The control unit permits recording of a video stream having the video quality degraded;
The data processing apparatus according to claim 3, wherein the adjustment unit selects a video quality lower than a preset video quality.
前記制御部は、映像品質を維持した映像ストリームの記録を許可し、
前記調整部は、予め設定された映像品質と同じ映像品質を選択する、請求項3に記載のデータ処理装置。 When the video type does not match the predefined type,
The control unit permits recording of a video stream maintaining video quality,
The data processing apparatus according to claim 3, wherein the adjustment unit selects the same video quality as a preset video quality.
継続的に前記映像信号を受け取って、前記映像の各ピクチャを構成する第1画像と第2画像とが一致するか否かを検出する検出部と、
検出結果に基づいて、前記映像のタイプを判別する判別部と
を備えた、請求項1に記載のデータ処理装置。 The type specifying unit is:
A detection unit that continuously receives the video signal and detects whether or not a first image and a second image constituting each picture of the video match;
The data processing apparatus according to claim 1, further comprising: a determination unit that determines a type of the video based on a detection result.
前記第1画像のデータを格納する第1メモリと、
前記第2画像のデータを格納する第2メモリと、
前記第1メモリ内のデータと前記第2メモリ内のデータとを比較して、前記第1画像と前記第2画像との一致/不一致を検出する比較部とを備えている、請求項7に記載のデータ処理装置。 The detector is
A first memory for storing data of the first image;
A second memory for storing data of the second image;
The comparison unit according to claim 7, further comprising: a comparison unit that compares data in the first memory with data in the second memory and detects matching / mismatching between the first image and the second image. The data processing apparatus described.
前記記録部は、さらに前記判別情報を前記記録媒体に記録する、請求項6に記載のデータ処理装置。 A management information generating unit that generates discrimination information indicating whether the video is encoded at a first resolution or a second resolution lower than the first resolution, and manages the information in association with the video stream;
The data processing apparatus according to claim 6, wherein the recording unit further records the discrimination information on the recording medium.
前記コンテンツの各々から判別情報を抽出して、各コンテンツごとのエントリを有するコンテンツ管理ファイルを生成する管理ファイル生成部をさらに備えた、請求項10に記載のデータ処理装置。 The management information generation unit manages a plurality of contents including the set of the discrimination information and the video stream associated with each other,
The data processing apparatus according to claim 10, further comprising a management file generation unit that extracts discrimination information from each of the contents and generates a content management file having an entry for each content.
前記記録媒体には、前記映像ストリームおよび管理情報が記録されており、前記管理情報は、前記映像が、第1映像品質および前記第1映像品質よりも低い第2映像品質のいずれで符号化されたかを示す判別情報を含んでおり、
前記記録媒体から前記映像ストリームおよび前記管理情報を読み出す読み出し部と、
前記管理情報から前記判別情報を抽出して、前記判別情報に基づいて前記第1映像品質および前記第2映像品質のいずれであるかを示す品質表示データを生成する抽出部と、
前記映像ストリームを復号化して映像信号を生成する復号部と、
前記品質表示データおよび前記映像信号を対応付けて出力する出力部と
を備えたデータ処理装置。 A data processing device that reads a video stream related to video from a recording medium and outputs a video signal,
The video stream and management information are recorded on the recording medium, and the management information is encoded with either the first video quality or the second video quality lower than the first video quality. Discriminating information indicating whether or not
A reading unit for reading the video stream and the management information from the recording medium;
An extraction unit that extracts the discrimination information from the management information and generates quality display data indicating which of the first video quality and the second video quality is based on the discrimination information;
A decoding unit for decoding the video stream to generate a video signal;
An output unit that outputs the quality display data and the video signal in association with each other.
前記出力部は、前記品質表示データが重畳された前記映像信号を出力する、請求項13に記載のデータ処理装置。 Further comprising a superimposition processor that superimposes the quality display data on the video signal;
The data processing apparatus according to claim 13, wherein the output unit outputs the video signal on which the quality display data is superimposed.
前記抽出部は、前記コンテンツ管理ファイルから各判別情報を抽出して、各エントリに対応するコンテンツと前記品質表示データとを対応付けて表示するための一覧データを生成する、請求項12に記載のデータ処理装置。 In the recording medium, a plurality of sets of the discrimination information and the set of video streams are associated and stored as content, and each discrimination information is stored in a content management file having an entry for each content,
The extraction unit according to claim 12, wherein the extraction unit extracts each determination information from the content management file, and generates list data for displaying the content corresponding to each entry and the quality display data in association with each other. Data processing device.
前記映像に関する映像信号を取得するステップと、
前記映像信号に基づいて、映像のタイプを特定するステップであって、前記映像のタイプは前記映像の単位時間あたりの表示ピクチャ数に応じて決定されるステップと、
前記映像信号に基づいて映像ストリームを生成するステップと、
前記映像のタイプに基づいて、前記映像ストリームの記録を禁止するか、あるいは、映像品質を低下させた映像ストリームの記録を許可するかを決定するステップと、
前記決定に基づいて、前記記録媒体への前記映像ストリームの記録を制御するステップと
を包含するデータ処理方法。 A data processing method for recording a video stream related to video on a recording medium,
Obtaining a video signal relating to the video;
Identifying a video type based on the video signal, wherein the video type is determined according to the number of pictures displayed per unit time of the video;
Generating a video stream based on the video signal;
Determining whether to prohibit recording of the video stream or recording of a video stream with reduced video quality based on the video type; and
Controlling the recording of the video stream on the recording medium based on the determination.
前記映像ストリームを生成するステップは、選択された前記映像品質を有する映像の映像ストリームを生成する、請求項17に記載のデータ処理方法。 Further comprising selecting video quality based on the video type;
The data processing method according to claim 17, wherein generating the video stream generates a video stream of the video having the selected video quality.
前記決定するステップは、前記映像品質を低下させた映像ストリームの記録を許可し、
前記選択するステップは、予め設定された映像品質よりも低い映像品質を選択する、請求項19に記載のデータ処理方法。 When the video type matches the predefined type,
The step of determining permits recording of a video stream with reduced video quality;
The data processing method according to claim 19, wherein the selecting step selects a video quality lower than a preset video quality.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004291362A JP4520809B2 (en) | 2003-10-08 | 2004-10-04 | Data processing device for controlling video recording and quality |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003349248 | 2003-10-08 | ||
JP2004072552 | 2004-03-15 | ||
JP2004291362A JP4520809B2 (en) | 2003-10-08 | 2004-10-04 | Data processing device for controlling video recording and quality |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005303977A true JP2005303977A (en) | 2005-10-27 |
JP4520809B2 JP4520809B2 (en) | 2010-08-11 |
Family
ID=35334927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004291362A Expired - Fee Related JP4520809B2 (en) | 2003-10-08 | 2004-10-04 | Data processing device for controlling video recording and quality |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4520809B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278454A (en) * | 2007-02-28 | 2008-11-13 | Victor Co Of Japan Ltd | Imaging apparatus, and reproducing apparatus |
WO2017141745A1 (en) * | 2016-02-19 | 2017-08-24 | ソニー株式会社 | Image processing device, image processing method, and program |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10313440A (en) * | 1997-05-14 | 1998-11-24 | Nec Corp | Image recording device |
JPH10341412A (en) * | 1997-04-11 | 1998-12-22 | Sony Corp | Signal reproducing device and method |
JPH11136622A (en) * | 1997-10-31 | 1999-05-21 | Toshiba Corp | Video display device, computer system and video signal output control method |
JP2000324443A (en) * | 1999-05-14 | 2000-11-24 | Hitachi Ltd | Encoding device and recording device |
JP2001036844A (en) * | 1999-07-16 | 2001-02-09 | Nec Corp | Image quality confirming device, image quality confirming method and recording medium storing its program |
JP2002262220A (en) * | 2001-02-28 | 2002-09-13 | Sony Corp | Device and method for processing information program storage medium and program |
JP2002262252A (en) * | 2001-02-28 | 2002-09-13 | Hitachi Ltd | Video information input/output device and recording medium for video information |
JP2002314938A (en) * | 2001-02-28 | 2002-10-25 | Eastman Kodak Co | Copy protection for image data in digital motion picture |
JP2003169273A (en) * | 2001-09-18 | 2003-06-13 | Sony Corp | Intensity modulation method and system, and luminous quantity modulation apparatus |
-
2004
- 2004-10-04 JP JP2004291362A patent/JP4520809B2/en not_active Expired - Fee Related
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10341412A (en) * | 1997-04-11 | 1998-12-22 | Sony Corp | Signal reproducing device and method |
JPH10313440A (en) * | 1997-05-14 | 1998-11-24 | Nec Corp | Image recording device |
JPH11136622A (en) * | 1997-10-31 | 1999-05-21 | Toshiba Corp | Video display device, computer system and video signal output control method |
JP2000324443A (en) * | 1999-05-14 | 2000-11-24 | Hitachi Ltd | Encoding device and recording device |
JP2001036844A (en) * | 1999-07-16 | 2001-02-09 | Nec Corp | Image quality confirming device, image quality confirming method and recording medium storing its program |
JP2002262220A (en) * | 2001-02-28 | 2002-09-13 | Sony Corp | Device and method for processing information program storage medium and program |
JP2002262252A (en) * | 2001-02-28 | 2002-09-13 | Hitachi Ltd | Video information input/output device and recording medium for video information |
JP2002314938A (en) * | 2001-02-28 | 2002-10-25 | Eastman Kodak Co | Copy protection for image data in digital motion picture |
JP2003169273A (en) * | 2001-09-18 | 2003-06-13 | Sony Corp | Intensity modulation method and system, and luminous quantity modulation apparatus |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008278454A (en) * | 2007-02-28 | 2008-11-13 | Victor Co Of Japan Ltd | Imaging apparatus, and reproducing apparatus |
WO2017141745A1 (en) * | 2016-02-19 | 2017-08-24 | ソニー株式会社 | Image processing device, image processing method, and program |
JPWO2017141745A1 (en) * | 2016-02-19 | 2018-12-13 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
US10566027B2 (en) | 2016-02-19 | 2020-02-18 | Sony Corporation | Information processing apparatus and information processing method |
Also Published As
Publication number | Publication date |
---|---|
JP4520809B2 (en) | 2010-08-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9071830B2 (en) | Information processing apparatus and information processing method | |
JP2000270347A (en) | Recorder and monitor system using the recorder | |
KR20090012152A (en) | Recording apparatus, reproducing apparatus, recording/reproducing apparatus, image pickup apparatus, recording method and program | |
US10224055B2 (en) | Image processing apparatus, image pickup device, image processing method, and program | |
US20050111832A1 (en) | Data processing apparatus for controlling video recording and video quality | |
JP2009225361A (en) | Recording device and recording method, and editing device and editing method | |
US20110019024A1 (en) | Apparatus for recording and reproducing video images | |
KR101377263B1 (en) | Data processing device data processing method and computer program | |
JP4901215B2 (en) | Data processing device | |
JP4520809B2 (en) | Data processing device for controlling video recording and quality | |
JP4646160B2 (en) | Transmission apparatus and method | |
JP2008311744A (en) | Recorder, imaging apparatus, and method and program for creating play list | |
JP4714003B2 (en) | Imaging apparatus and recording method | |
JP2007243706A (en) | Apparatus and method for data format conversion | |
JP7374698B2 (en) | Imaging device, control method and program | |
JP2010206587A (en) | Imaging apparatus | |
JP5320186B2 (en) | Recording apparatus and reproducing apparatus | |
JP2004040518A (en) | Imaging recorder and reproducing device | |
JP2004350167A (en) | Video processor | |
JP2006319397A (en) | Digital recording and reproducing apparatus | |
JP2005269655A (en) | Data multiplexing device and method, program recording medium, and program | |
JP4983977B2 (en) | Data recording apparatus and method, and reproducing apparatus and method | |
JP2006246210A (en) | Reproducing device and method, and imaging apparatus and imaging signal processing method | |
JP2007097204A (en) | Data recording apparatus and method, program recording medium, and program | |
US8554048B2 (en) | Information processing apparatus, method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090217 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100427 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100521 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |