JP4766318B2 - 映像処理装置及びコンピュータプログラム - Google Patents

Description

本発明は映像処理装置にかかり，特に，高速撮影可能な映像処理装置及びコンピュータプログラムに関する。

近年，ディジタル技術の進展に伴い，通常より高速度で撮像する高速撮影が可能となっている。例えば，野球やゴルフなどのスポーツにおいて，プレイヤーのフォームの様子をスローモーション再生することなど活用されてきている。

高速撮影を行う場合，標準のテレビジョン信号に対しその倍速度分の周波数帯域を持つ信号を撮像によって得る必要がある。例えば，走査速度を３倍速で撮像をする場合には，カメラの出力として標準テレビジョン信号の３倍のデータレートが必要である（例えば，特許文献１，参照）。

特開平６−１６９４１９号公報

しかしながら，カメラから出力されるテレビジョン信号は通常のビデオ信号のフォーマットとは異なるため汎用性がなく，信号を伝送する伝送手段や，画像を記録する記録手段が高速撮影専用の撮像装置であった。また，かかる撮像装置の構成は大規模であり，かつ，コストが非常に高いという問題があった。

また，高速撮影で記録された画像には互換性がないため，再生装置によっては，その高速撮影で記録された画像を再生できず，利用者は画像を確認することができない場合があった。

本発明は，上記問題点に鑑みてなされたものであり，本発明の目的は，高速撮影においてテレビジョンの標準規格で画像を記録し，または，再生することが可能な，新規かつ改良された映像処理装置，コンピュータプログラムを提供することである。

上記課題を解決するため、第１の周期で被写体を撮像し、ＶＧＡ規格の第１の画像を生成する撮像手段と、撮像手段により生成されたＶＧＡ規格の第１の画像を複数並べて、所定のテレビジョン規格に定めたＨＤ規格の第２の画像を生成する画像生成手段と、画像生成手段により順次に生成される第２の画像を第２の周期で記憶する記憶手段とを備え、上記第１の画像は水平解像度を変換して所定のテレビジョン規格のテレビジョン信号で再生され、上記第２の周期は上記第１の周期より長いことを特徴とする映像処理装置が提供される。

上記第２の画像は，ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）画像でもよい。なお，上記ＨＤ画像は，例えば，１９２０×１０８０画素又は１２８０×７２０画素などの画像である。

上記第２の画像には，上記第１の画像が左から右に順に一列に配列されたユニットが１又は２組以上含まれるように構成しても良い。かかる構成により第２の画像に対する視認性が向上する。

上記課題を解決するために、本発明の別の観点によれば、コンピュータを、請求項１に記載の映像処理装置として機能せしめることを特徴とするコンピュータプログラムが提供される。

また、上記課題を解決するために、本発明の別の観点によれば、第１の周期で被写体が撮像されることにより、ＶＧＡ規格の第１の画像が生成され、そのＶＧＡ規格の第１の画像が複数並べられることで生成される所定のテレビジョン規格に定めたＨＤ規格の第２の画像を第２の周期で読み出す第２画像読出手段を備え、前記第１の画像は水平解像度を変換して所定のテレビジョン規格のテレビジョン信号で再生され、上記第２の周期は上記第１の周期より長いことを特徴とする映像処理装置が提供される。

上記第２の画像には，上記第１の画像が左から右に順に一列に配列されたユニットが１又は２組以上含まれるように構成されても良く，また，上記第２の画像は，ＨＤ画像でもよい。

上記映像処理装置は，上記第２の画像に含まれる上記第１の画像を順に読み出す第１画像読出手段をさらに備えるようにしてもよい。

上記映像処理装置は，上記第１画像読出手段により読み出された上記第１の画像の解像度を所定の解像度に変換する解像度変換手段をさらに備えるようにしてもよい。なお，所定の解像度は，例えば，ＳＤ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ）画像の解像度等を例示することができる。かかる構成により，ＳＤ画像を表示可能な広く普及しているＴＶ等に変換後の第１の画像を表示することができる。

上記課題を解決するために、本発明の別の観点によれば、コンピュータを、請求項３乃至５に記載の映像処理装置として機能せしめることを特徴とするコンピュータプログラムが提供される。

以上説明したように，本発明によれば，高速撮影においてテレビジョンの標準規格で画像を記録し，又は，再生することが可能となる。

以下，本発明の好適な実施の形態について，添付図面を参照しながら詳細に説明する。なお，以下の説明及び添付図面において，略同一の機能及び構成を有する構成要素については，同一符号を付することにより，重複説明を省略する。

（映像記録装置１０１について）
まず，図１を参照しながら，本実施の形態にかかる映像記録装置１０１について説明する。なお，図１は，本実施の形態にかかる映像記録装置１０１の概略的な構成を示すブロック図である。

図１に示す映像記録装置１０１は，被写体を撮像することで生成された画像を記録することが可能な装置である。

なお，本実施の形態では，記録される画像は標準規格であるＨＤの場合を例に挙げて以下に示す。また，ここでのＨＤ規格は，水平方向に１９２０画素，垂直方向に１０８０画素の１０８０／６０ｉのインターレース画像の場合を例に挙げて説明する。

図１に示すように，映像記録装置１０１は，撮像部１１１と，同期信号発生回路１１２と，制御部１１３と，映像信号増幅器１１４と，Ａ／Ｄ変換部１１５と，映像信号処理部１１６と，切替スイッチ１１７と，メモリ１２７と，記録部１２８とを備えている。

撮像部１１１は，ズームやワイド撮影機能などを具備し，同期信号発生回路１１２からの同期信号に従い，映像信号増幅器１１４に映像信号を出力する。また，撮像部１１１は，撮像素子（撮像デバイス）を少なくとも備えている。

また，上記撮像素子は，受光面に２次元的に設けられた光電変換素子からなる複数の画素により，被写体から受光した光学像を光電変換して電気的な映像信号として出力することが可能である。例えば，撮像素子は，多種からなるＣＣＤなどの固体撮像デバイスが挙げられる。

上記同期信号発生回路１１２は，撮像部１１１で撮像する際の基準となるフレーム周波数を基に同期信号を発生する。例えば，同期信号発生回路１１２が生成する同期信号は，通常のＨＤのフレーム周波数は略３０Ｈｚであり，高速撮影では，例えば，かかる３０Ｈｚの所定数倍（３０×６＝１８０Ｈｚなど）のフレーム周波数である。

上記制御部１１３は，映像記録装置１０１の撮像部１１１，同期信号発生回路１１２，映像信号増幅器１１４，Ａ／Ｄ変換部１１５，映像信号処理部１１６，切替スイッチ１１７，メモリ１２７，および記録部１２８の処理を制御する。

上記映像信号増幅器１１４は，高速撮影時には，撮像部１１１から出力された信号を，通常のＨＤ撮像時よりもゲインを上げてＡ／Ｄ変換部１１５に出力する。かかるゲインを上げるのは，高速撮影では撮像素子のチャージが短く画像が暗くなるためである。

上記Ａ／Ｄ変換部１１５は，映像信号増幅器１１４により出力された映像信号をアナログ信号からディジタル信号にＡ／Ｄ変換した映像信号を，映像信号処理部１１６に出力する。

上記映像信号処理部１１６は，Ａ／Ｄ変換部１１５により出力されたＲＧＢの映像信号に対して映像処理を施す。当該映像処理は，例えば，Ａ／Ｄ変換部１１５により出力されたＲＧＢの映像信号をＹ／Ｐｂ／ＰｒのＨＤ標準映像信号に変換などすることである。

上記切替スイッチ１１７は，映像信号を一旦メモリ１２７に出力するか，そのまま記録部１２８に出力するか，双方のどちらかを制御部１１３による切替制御で切り替えることができる。なお，メモリ１２７に映像信号を出力することで，マルチ画像を生成し，そのマルチ画像を記録部１２８に出力することができるが，詳細は後述する。

上記メモリ１２７は，所定大きさの記憶領域を有する記憶手段である。上記メモリ１２７は，映像信号処理部１１６から出力されてくる画像を記憶する。

上記映像信号処理部１１６により映像信号処理が施された映像信号は，ＨＤのディジタル画像を記録可能な記録部１２８に伝送される。記録部１２８は，例えば，自装置内に磁気ディスクや半導体メモリ等の記憶手段を備えて，その記憶手段にＨＤの映像情報などを記憶しても良いし，記録部１２８に装脱着可能な記録媒体（テープ，光学ディスク，磁気ディスク，または半導体メモリなど）に記録部１２８が記録しても良い。

次に，図２を参照しながら，本実施の形態にかかる撮像画像について説明する。なお，図２は，本実施の形態にかかる撮像画像の概略的な構成を示す説明図である。

図２に示すように，撮像部１１１により通常に撮像された画像は，１９２０×１０８０からなるＨＤ規格の画像２０１となる。

また，図２に示すように，高速撮影の場合，撮像部１１１により撮像された画像は，６４０×４８０のＶＧＡ相当の画像２０３となる。

例えば，撮像部１１１に備わる撮像素子のうち中央部分の６４０画素（水平方向）×４８０画素（垂直方向）のみが撮像部１１１により読み出されるように同期信号発生回路１１２の同期信号を変更すれば，画素の読み出し周波数はＨＤの周波数と変わらずに，フレーム周波数を６倍にして上記画像２０３を読み出すことが可能になる。これにより，６倍速の高速撮影が実現できる。光学的には，６４０×４８０の撮像エリアに合うように，例えば，撮像部１１１のズーム量をワイド側に調整する。

したがって，高速撮影の場合，撮像部１１１は，被写体を撮像し画像２０３の映像信号を映像信号増幅器１１４に出力する。さらに，映像信号増幅器１１４により出力された画像は，上述の通り，Ａ／Ｄ変換部１１５と映像信号処理部１１６を介して，メモリ１２７に出力される。

なお，本実施の形態にかかる映像記録装置１０１では，例えば，通常撮影又は高速撮影のどちらの撮像モードを選択するかを利用者から入力ボタンなどで指示を受け付けると，制御部１１３が撮像部１１１等の各部に高速撮影又は通常撮影の指示をする。

また，本実施の形態にかかる映像記録装置１０１は，通常撮影又は高速撮影のどちらかの撮像・画像記録が可能な装置である場合を例に挙げて説明したが，かかる例に限定されず，例えば，映像記録装置１０１は，高速撮影・画像記録のみ可能な装置である場合でも実施可能である。

（マルチ画像について）
次に，図３Ａを参照しながら，本実施の形態にかかるマルチ画像について説明する。なお，図３Ａは，本実施の形態にかかるマルチ画像の概略的な構成の一例を示す説明図である。

高速撮影を記録する場合，記録部１２８による記録処理の前に，メモリ１２７を用いて制御部１１３により，例えば図３Ａに示すような複数枚画像２０３が埋め込まれた１枚のマルチ画像３０１が作成される。

より具体的には，図２で上述した通り６４０×４８０の画像２０３が，１枚の画像にＡ領域，Ｂ領域，Ｃ領域，…の順にＦ領域まで６枚の画像２０３−１〜画像２０３−６が配置されてマルチ画像３０１が生成される。なお，図３Ａに示すように，画像３０１は，１９２０×１０８０からなるＨＤの画像であるため，画像２０１を６枚配置しても多少の画像領域に余りが生じる。

上記マルチ画像３０１を通常のＨＤの画像と同様に，記録部１２８で記録する。

なお，図３Ａに示すように，本実施の形態にかかるマルチ画像３０１は，６枚の画像２０３が含まれる場合を例に挙げて説明したが，マルチ画像３０１は，１又は２枚以上の画像２０３を含むことができる。

さらに，図３Ａに示すように，マルチ画像３０１には，横一列に３枚の画像２０３からなるユニットが上下に２組存在する場合を例に挙げて説明したが，かかる例に限定されず，例えば，マルチ画像３０１には，横一列に１又は２枚以上の画像２０３からなるユニットが上下に１又は２組以上存在する場合でも実施可能である。

上記図３Ａに示すマルチ画像３０１以外にも，例えば，図３Ｂ（ａ）のように，上下又は左右の画像２０３と重ならないように４枚の画像２０３を含んだマルチ画像３０１や，図３Ｂ（ｂ）のように，上下又は左右の画像２０３と重ならないように６枚の画像２０３を含んだマルチ画像３０１などでもよい。

本実施の形態に係る映像記録装置１０１には，以下に示すような優れた効果が存在する。
（１）通常撮影または高速撮影のどちらであっても，記録部１２８により標準規格としてのＨＤの画像（高速撮影時にはマルチ画像３０１）を記録することができる。
（２）記録部１２８は，ＨＤ画像であるマルチ画像３０１を記録するため，記録機構が複雑化せず，映像記録装置１０１の大規模化を防ぎ，製作コストを低減することができる。
（３）従来では，高速撮影の際，ビットリダクションが行われるため，記録レートを落とす必要があり，画質が悪かったが，本実施の形態に係る映像記録装置１０１では，画質を落とさずに，高速撮影できる。

（映像再生装置１０２について）
まず，図４を参照しながら，本実施の形態にかかる映像再生装置１０２について説明する。なお，図４は，本実施の形態にかかる映像再生装置１０２の概略的な構成を示すブロック図である。

図４に示す映像再生装置１０２は，既に記録された画像を再生し，その画像をディスプレイ装置等に該当する表示部（画面）に出力することが可能な装置である。なお，本実施の形態に係る画像は，動画像などを例示することができる。

また，本実施の形態では，記録される画像はＨＤの場合を例に挙げて以下に示す。また，ここでのＨＤ規格は，水平方向に１９２０画素，垂直方向に１０８０画素の１０８０／６０ｉのインターレース画像の場合を例に挙げて説明する。

図４に示すように，映像再生装置１０２は，制御部１１３ａと，切替スイッチ１１７ａと，メモリ１２７ａと，再生部１３１と，解像度変換部１３３と，ビデオエンコーダ１３５と，ＤＡＣ１３７（１３７−１，１３７−２）とを備えている。

上記制御部１１３ａは，映像再生装置１０２の切替スイッチ１１７ａ，メモリ１２７ａ，再生部１３１，解像度変換部１３３，ビデオエンコーダ１３５，およびＤＡＣ１３７の処理を制御する。

上記切替スイッチ１１７ａは，再生部１３１により読み出された映像信号を一旦メモリ１２７ａに出力するか，そのままＤＡＣ１３７−１に出力するか，双方のどちらかを制御部１１３ａによる切替制御で切り替えることができる。なお，メモリ１２７ａにマルチ画像３０１を出力することで，映像再生装置１０２では，マルチ画像３０１に含まれる画像２０３各々を取り出して，その画像をＤＡＣ１３７−２に出力することができるが，詳細は後述する。

上記解像度変換部１３３は，マルチ画像３０１に含まれる各々の画像２０３が伝送されてくると，その画像２０３の解像度を変換する。例えば，上記解像度変換部１３３は，メモリ１２７ａから出力された上記６４０×４８０画素の画像２０３の水平方向の解像度を変換し，７２０×４８０画素の画像に変換することができる。つまり，上記解像度変換部１３３により画像２０３から変換された画像は，テレビジョンの標準規格であるＮＴＳＣ信号の画像に相当する。

上記再生部１３１は，例えば，自装置内に磁気ディスクや半導体メモリ等の記憶手段を備え，その記憶手段に記録されたＨＤのマルチ画像３０１などの画像を読み出しても良いし，再生部１３１に装脱着可能な記録媒体（テープ，光学ディスク，磁気ディスク，または半導体メモリなど）に記録された画像を再生部１３１が読み出しても良い。

上記ＤＡＣ１３７は，上記ビデオエンコーダ１３５により表示部に出力可能なように映像信号が変換されると，その映像信号をディジタル信号からアナログ信号に変換した映像信号を，表示部（図示せず）に出力する。上記表示部の画面には，当該画像が出力され，映像再生装置１０２は，映像を再生することができる。

なお，上記表示部は，例えば，テレビジョン（ＴＶ）又は液晶ディスプレイ装置などが例示され，動画像や音声のほか，静止画像などを出力することが可能である。

より具体的には，ＤＡＣ１３７−１は，ディジタル信号をアナログからなるＹ／Ｐｂ／Ｐｒのコンポーネント信号に変換し，ＨＤ画像として出力する。ＤＡＣ１３７−２は，ディジタル信号をアナログ信号に変換し，ＳＤの映像信号であるＹ／Ｃｂ／Ｃｒのコンポジット信号や，Ｙ／Ｃのコンポジット信号として出力する。

図５（ａ）に示すように，通常再生モードでは，ＨＤ画像として，１フレームあたり２フィールド画像からなるフレーム画像が順番に画面上に出力される。

即ち，図５（ａ）に示すように，１フレーム目のフィールド画像１−１，フィールド画像１−２，次に２フレーム目のフィールド画像２−１，フィールド画像２−２，…のように順に再生される。

また，高速撮影した各画像２０３を再生する高速撮影再生モードでは，通常再生の１／６の再生速度でスローモーション再生が行われる。

即ち，図５（ｂ）上段に示すように，フィールド画像１−１とフィールド画像１−２からなるフレーム画像が６回繰り返して出力される。この１フレームのマルチ画像３０１から，図５（ｂ）下段に示すように，順に画像２０３を切り出して読み出すことで，マルチ画像３０１に存在する６枚全ての画像２０３が順番に再生される。

なお，図５は，本実施の形態にかかる映像再生装置１０２による通常再生又は高速撮影再生の概略を示す説明図である。

上述したように，メモリ１２７ａから読み出された６４０×４８０画素の画像２０３は，解像度変換部１３３により，水平方向の解像度の変換がされる。したがって，例えば，７２０×４８０画素の映像信号，即ち標準規格のテレビジョン信号であるＮＴＳＣ信号に変換すれば，ＳＤ画像を容易に再生することができる。こうしてＮＴＳＣ信号にエンコードすることにより，ＳＤ品質の高速撮影画が得られることになる。

なお，本実施の形態にかかる映像再生装置１０２では，１９２０×１０８０／６０ｉのシステムを用いて，６倍の高速撮影を７２０×４８０／６０ｉのＮＴＳＣ信号で出力するシステムを例に挙げて説明したが，かかる例に限定されず，例えば，映像再生装置１０２では，１９２０×１０８０／５０ｉの画像を用いて，６４０×４８０画像２０３を水平方向と垂直方向の解像度を変換して７２０×５７６／５０ｉのＰＡＬ信号として出力する場合などでも実施可能である。

なお，本実施の形態にかかる映像再生装置１０２のように，高速撮影再生モードに対応しておらずスローモーション再生できない再生装置などの場合でも，再生装置は，上記通常再生モードでマルチ画像３０１をそのままＨＤの画像として画面上に出力することができる。

本実施の形態に係る映像再生装置１０２には，以下に示すような優れた効果が存在する。
（１）再生部１３１が読み出す画像がＨＤ画像であるため，映像再生装置１０２のシステムが大規模になるのを防ぎ，製作コストを低減することができる。
（２）高速撮影再生モードに対応していない再生装置でも，記録された画像がＨＤ画像であるため，利用者は，ＨＤ対応の再生装置であれば，記録内容を確認することができる。
（３）高速撮影した各画像２０３に対してはビットリダクションが行われていないため，画面上に表示される映像の画質の向上化が図れる。

なお，上述した一連の処理は，専用のハードウェアにより行うこともできるし，ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には，そのソフトウェアを構成するプログラムが，汎用のコンピュータやマイクロコンピュータ等の情報処理装置にインストールされ，上記情報処理装置を映像記録装置１０１及び／又は映像再生装置１０２として機能させる。

以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例を想定し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。

上記実施形態においては，映像記録装置１０１は，被写体を撮像することで生成された画像を記録することが可能な場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，映像記録装置１０１は，上記記録機能とともに，記録された画像をディスプレイ装置等の出力装置に出力する再生機能とを備えてもよい。

また，上記実施形態においては，映像再生装置１０２は，記録された画像をディスプレイ装置等の出力装置に出力する再生することが可能な場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，映像再生装置１０２は，上記再生機能とともに，被写体を撮像することで生成された画像を記録する記録機能とを備えてもよい。

また，上記実施形態においては，映像記録装置１０１に備わる撮像部１１１，同期信号発生回路１１２，制御部１１３，映像信号増幅器１１４，Ａ／Ｄ変換部１１５，映像信号処理部１１６，切替スイッチ１１７，メモリ１２７，および記録部１２８はハードウェアからなる場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，上記撮像部１１１，同期信号発生回路１１２，制御部１１３，映像信号増幅器１１４，Ａ／Ｄ変換部１１５，映像信号処理部１１６，切替スイッチ１１７，メモリ１２７，または記録部１２８のうち少なくとも一つは，１又は２以上のモジュールまたはコンポーネントから構成されるプログラムの場合であってもよい。

また，上記実施形態においては，映像再生装置１０２に備わる制御部１１３ａ，切替スイッチ１１７ａ，メモリ１２７ａ，再生部１３１，解像度変換部１３３，ビデオエンコーダ１３５，およびＤＡＣ１３７はハードウェアからなる場合を例にあげて説明したが，本発明はかかる例に限定されない。例えば，上記制御部１１３ａ，切替スイッチ１１７ａ，メモリ１２７ａ，再生部１３１，解像度変換部１３３，ビデオエンコーダ１３５，またはＤＡＣ１３７のうち少なくとも一つは，１又は２以上のモジュールまたはコンポーネントから構成されるプログラムの場合であってもよい。

本発明は，高速撮影可能な映像処理装置又はコンピュータプログラムなどに適用可能である。

本実施の形態にかかる映像記録装置の概略的な構成を示すブロック図である。 本実施の形態にかかる撮像画像の概略的な構成を示す説明図である。 本実施の形態にかかるマルチ画像の概略的な構成の一例を示す説明図である。 本実施の形態にかかるマルチ画像の概略的な構成の変形例を示す説明図である。 本実施の形態にかかる映像再生装置の概略的な構成を示すブロック図である。 本実施の形態にかかる映像再生装置による通常再生又は高速撮影再生の概略を示す説明図である。

符号の説明

１０１ 映像記録装置
１０２ 映像再生装置
１１１ 撮像部
１１２ 同期信号発生回路
１１３ 制御部
１１４ 映像信号増幅器
１１５ Ａ／Ｄ変換部
１１６ 映像信号処理部
１１７ 切替スイッチ
１２７ メモリ
１２８ 記録部
１３１ 再生部
１３３ 解像度変換部
１３５ ビデオエンコーダ
１３７ ＤＡＣ

Claims (6)

1. 第１の周期で被写体を撮像し、ＶＧＡ規格の第１の画像を生成する撮像手段と、
   前記撮像手段により生成されたＶＧＡ規格の第１の画像を複数並べて、所定のテレビジョン規格に定めたＨＤ規格の第２の画像を生成する画像生成手段と、
   前記画像生成手段により順次に生成される前記第２の画像を第２の周期で記憶する記憶手段と、を備え、
   前記第１の画像は水平解像度を変換して所定のテレビジョン規格のテレビジョン信号で再生され、
   前記第２の周期は前記第１の周期より長いことを特徴とする、映像処理装置。
2. コンピュータを、請求項１に記載の映像処理装置として機能せしめることを特徴とする、コンピュータプログラム。
3. 第１の周期で被写体が撮像されることにより、ＶＧＡ規格の第１の画像が生成され、そのＶＧＡ規格の第１の画像が複数並べられることで生成される所定のテレビジョン規格に定めたＨＤ規格の第２の画像を第２の周期で読み出す第２画像読出手段を備え、
   前記第１の画像は水平解像度を変換して所定のテレビジョン規格のテレビジョン信号で再生され、
   前記第２の周期は前記第１の周期より長いことを特徴とする、映像処理装置。
4. 前記第２の画像に含まれる前記第１の画像を順に読み出す第１画像読出手段をさらに備えることを特徴とする、請求項３に記載の映像処理装置。
5. 前記第１画像読出手段により読み出された前記第１の画像の解像度を所定の解像度に変換する解像度変換手段をさらに備えることを特徴とする、請求項４に記載の映像処理装置。
6. コンピュータを、請求項３乃至５のいずれかに記載の映像処理装置として機能せしめることを特徴とする、コンピュータプログラム。
   

Images