JP4371170B2 - 撮像装置、画像記録装置および画像記録方法 - Google Patents

Description

本発明は、画像を撮像して記録する撮像装置、画像記録装置および画像記録方法に関し、特に、複数の撮像装置によって画像が撮像された場合に適した撮像装置、画像記録装置および画像記録方法に関する。

近年、動画像を撮影してデジタルデータとして記録することが可能な家庭用のデジタルビデオカメラが広く普及している。このようなビデオカメラは、自機で撮影して記録した画像信号を再生して、内蔵されているＬＣＤ（Liquid Crystal Display）や外部のモニタに表示させることが可能となっている。また、これとともに、他の撮像装置や画像記録装置から通信ケーブル等を通じて受信した画像信号を記録媒体に記録する機能を具備しているものもある。さらに、自身の撮像部で撮像した映像信号を、集音部で集音した音声信号とともに、内蔵された無線送信機等を通じて外部に送信する機能を具備するビデオカメラ装置も考えられている（例えば、特許文献１参照）。

一方、放送局等の業務用の分野では、複数のビデオカメラにおいて撮影された画像信号から、任意の画像信号を選択して記録することが一般的に行われている。また、画像信号の選択の際に、あらかじめ撮影対象を決めておき、その撮影対象が映っている画像を自動的に認識して選択する方法も考えられている。例えば、撮影対象の人に関するデータやカメラの設置状況等のデータをあらかじめデータベースに登録しておき、小型発信機を携帯している人が立ち入り禁止区域に近づくと、この小型発信機をアンテナによって検知し、検知した信号を基にデータベースを検索して、検索したデータに基づいてカメラの選択および制御を行う監視カメラ自動制御装置があった（例えば、特許文献２参照）。また、撮影対象の人に無線タグを携帯させることでも、同様の選択および制御を行うことができる。さらに、会議等において、各参加者用のカメラとマイクとを設けておき、マイクからの発言者の音声レベルに応じてカメラからの画像信号を切り換えるようなシステムも考えられている。
特開平１１−３０６６６３号公報（段落番号〔００１３〕〜〔００１８〕、第１図） 特開平９−４６６９４号公報（段落番号〔００１４〕〜〔００１９〕、第１図）

ところで、最近では、家庭用のビデオカメラの普及に伴い、例えば運動会や結婚式等において、複数の観客や出席者がビデオカメラを持参することが多くなっている。このような状況では、自分のビデオカメラで撮影された画像だけでなく、他人のビデオカメラで撮影された画像を利用可能にすることが求められているが、従来のビデオカメラでは、そのような機能を具備しているものはなかった。

また、ビデオカメラは通常、画像とともに音声の収録も行っているが、複数のビデオカメラからの画像信号を切り換える場合、画面上のシーンの移り変わりやそのときに生じる画面の乱れと比較して、切り換えを挟んだ音声のつながり方が不自然となることの方が、視聴者に対してより大きな不快感を与えることが多い。しかし、このような音声切り換え時の不快感を低減することは、従来、考えられていなかった。

さらに、撮影されている複数の画像の中から選択して記録媒体に記録する場合には、あらかじめ決めておいた対象が撮影されている画像を自動的に認識して記録できることが好ましい。しかし、上記の特許文献２のように、撮影対象の人に小型発信機や無線タグ等を携帯させる方法は、画像や音声の送受信とは別にこのような小型発信機や無線タグ等を用いた通信システムを導入しなければならず、装置コストの上昇や装置の大型化を招いてしまう。また、各撮影対象者の発言した音声レベルに基づいて画像を切り換える方法は、会議等の特定の用途に適したものであり、汎用性が低い。

本発明はこのような課題に鑑みてなされたものであり、自機の撮像画像と他機の撮像画像とを選択的に記録することが可能な撮像装置を提供することを目的とする。
また、本発明の他の目的は、複数の撮像装置による撮像画像を選択的に記録することが可能な画像記録装置を適用することである。

さらに、本発明の他の目的は、自機の撮像画像と他機の撮像画像とを選択的に記録するための画像記録方法を提供することである。

本発明では上記課題を解決するために、画像を撮像して記録する撮像装置において、画像を撮像する撮像手段と、１つ以上の外部装置の間で信号の送受信を行う通信手段と、前記外部装置より送信され、前記通信手段によって受信された受信画像に対して、所定の特徴情報に基づいて画像認識処理を実行する画像認識手段と、前記画像認識処理の対象とする前記特徴情報に関する設定を受け付ける設定手段と、前記撮像手段による撮像画像と前記受信画像とを表示装置に表示させるように制御する表示制御手段と、前記撮像画像の信号または前記受信画像の信号を記録媒体に記録するように制御する記録制御手段とを有し、前記画像認識手段により前記受信画像の中から前記設定手段により設定された前記特徴情報に対応する被写体が認識された画像が通知されると、前記表示制御手段は通知された画像をその他の画像と区別して識別可能な状態で前記表示装置に表示するように制御するとともに、前記記録制御手段は通知された画像の信号を前記記録媒体に記録するように制御することを特徴とする撮像装置が提供される。

このような撮像装置では、撮像手段によって画像を撮像するとともに、外部装置から送信された画像を、通信手段を介して受信することができる。表示制御手段は、撮像手段による撮像画像と、外部装置からの受信画像とを表示装置に表示させ、記録制御手段は、撮像手段による撮像画像の信号または外部装置からの受信画像の信号を、記録媒体に記録するように制御する。画像認識手段は、外部装置からの受信画像に対して所定の特徴情報に基づいて画像認識処理を実行する。設定手段は、その画像認識処理の対象とする特徴情報に関する設定を受け付ける。

ここで、画像認識手段により受信画像の中から特徴情報に対応する被写体が認識された画像が通知されると、表示制御手段は、通知された画像をその他の画像と区別して識別可能な状態で表示装置に表示させ、記録制御手段は、通知された画像の信号を記録媒体に記録させる。

複数の撮像装置によって撮像された画像を記録するための画像記録方法において、少なくとも１つの前記撮像装置が、画像認識処理の対象とする特徴情報に関する設定を受け付け、他機による撮像画像の信号を受信し、前記他機から受信した受信画像に対して、前記設定された特徴情報に基づいて画像認識処理を実行し、自機による撮像画像と前記受信画像とを表示装置に表示させ、前記画像認識処理により前記受信画像の中から前記設定された特徴情報に対応する被写体が認識された画像が通知されると、通知された画像をその他の画像と区別して識別可能な状態で前記表示装置に表示するように制御するとともに、通知された画像の信号を記録媒体に記録するように制御することを特徴とする画像記録方法が提供される。

このような画像記録方法では、撮像装置において、他機による撮像画像の信号が受信され、自機による撮像画像と他機からの受信画像とが表示装置に表示される。また、他機からの受信画像に対しては、設定された特徴情報に基づいて画像認識処理が実行され、特徴情報に対応する被写体が認識された画像が通知されると、通知された画像がその他の画像と区別して識別可能な状態で表示装置に表示されるとともに、通知された画像の信号が記録媒体に記録される。

本発明の撮像装置では、外部装置からの受信画像から、設定された特徴情報に対応する被写体が認識されると、その画像が表示装置を通じてユーザに通知されるとともに、その画像の信号が記録媒体に記録される。従って、撮影機会を逃すことが少なくなるとともに、記録中の画像を容易に識別できる。

また、本発明の画像記録方法では、他機からの受信画像から、設定された特徴情報に対応する被写体が認識されると、その画像が表示装置を通じてユーザに通知されるとともに、その画像の信号が記録媒体に記録される。従って、撮影機会を逃すことが少なくなるとともに、記録中の画像を容易に識別できる。

以下、本発明の実施の形態を図面を参照して説明する。なお、以下の説明では、本発明の撮像装置として、デジタルビデオカメラを適用した場合を想定する。
図２は、本発明の実施の形態に係るデジタルビデオカメラを含むカメラシステムの構成を示す図である。

本実施の形態では、図２に示すように、画像を撮像し、デジタルデータとして記録媒体に記録することが可能な複数のデジタルビデオカメラ１〜３からなるカメラシステムを想定する。各デジタルビデオカメラ１〜３は、無線通信により相互にデータを送受信することが可能となっている。そして、デジタルビデオカメラ１〜３は、それぞれ自機で撮像した画像のデータを他機に送信する機能と、他機で撮像された画像のデータを受信する機能とを具備している。さらに、各デジタルビデオカメラ１〜３は、自機による撮像画像と他機からの受信画像とを選択的に記録媒体に記録することが可能となっている。

このようなカメラシステムが適用される状況としては、例えば、運動会やスポーツ、結婚式、パーティの会場等で、複数の観戦者や出席者がそれぞれデジタルビデオカメラ１〜３を持参している場合等が考えられる。このような状況において、各デジタルビデオカメラ１〜３で、自機による撮像画像と他機からの受信画像とを選択的に記録可能とすることにより、各ユーザは記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなるといった効果が生まれる。

なお、図２では例として３台のデジタルビデオカメラ１〜３が存在する場合を示しているが、このカメラシステムは２台以上のデジタルビデオカメラが存在する場合に適用可能である。

図１は、本発明の実施の形態に係るデジタルビデオカメラの内部構成を示すブロック図である。なお、図１では代表してデジタルビデオカメラ１について説明するが、他のデジタルビデオカメラ２および３も同様の構成を有しているものとする。

デジタルビデオカメラ１は、図１に示すように、カメラブロック１０、カメラ信号処理部２０、ビデオエンコーダ３０、ビデオデコーダ４０、音声処理部５０、制御部６０、ＬＣＤコントローラ７０、ＬＣＤ８０、タッチパネル９０、入力部１００、テープデッキ部１１０および無線通信モジュール１２０を具備している。

カメラブロック１０は、複数のレンズ等が設けられた光学ブロック、ＣＣＤ（Charge Coupled Device）等の撮像素子、前処理回路、および光学ブロックやＣＣＤのためのドライバ、タイミング生成回路等（いずれも図示せず）からなる。カメラブロック１０は、光学ブロックに入射された光を撮像素子によって光電変換し、さらに前処理回路によってサンプルホールドやＡＧＣ（Auto Gain Control）処理を施し、Ａ／Ｄ変換を行ってデジタル方式の画像データを出力する。また、光学ブロックや撮像素子の動作は、制御部６０からの制御信号に基づいて制御される。

カメラ信号処理部２０は、カメラブロック１０から出力された画像データに対して、ＡＷＢ（Auto White Balance）処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理等のカメラ信号処理を施す。処理後の画像データは、ビデオエンコーダ３０および制御部６０に出力される。

ビデオエンコーダ３０は、カメラ信号処理が施された画像データに対して、ＭＰＥＧ（Moving Picture Experts Group）方式等の所定の動画像データフォーマットで圧縮符号化処理を行い、符号化された画像データを制御部６０に供給する。

ビデオデコーダ４０は、制御部６０から受け取った画像データに対して伸長復号化処理を行い、復号化された画像データを制御部６０に供給する。
音声処理部５０は、アンプやＡ／Ｄ変換器、Ｄ／Ａ変換器、圧縮符号化／伸長復号化処理を行う処理回路等によって構成される。この音声処理部５０には、マイクロフォン５１およびスピーカ５２が接続されている。音声処理部５０は、マイクロフォン５１によって集音された音声信号を増幅してデジタル信号に変換し、さらにＭＰＥＧ−ＡＵＤＩＯ方式等の所定の音声データフォーマットで圧縮符号化して、制御部６０に出力する。なお、この他に例えばアナログ音声信号の外部入力端子を設け、この外部入力端子からの入力信号を音声処理部５０において圧縮符号化し、制御部６０に供給してもよい。また、制御部６０から供給された音声の符号化データを伸長復号化処理し、アナログ信号に変換して増幅し、スピーカ５２から再生出力する。

制御部６０は、このデジタルビデオカメラ１全体を制御するマイクロコンピュータであり、例えばＣＰＵ、ＲＡＭ、ＲＯＭ等がシステムバスを通じて接続された構成（いずれも図示せず）を有している。この制御部６０では、例えばフラッシュ型ＥＥＰＲＯＭ（Electrically Erasable Programmable ＲＯＭ）からなるＲＯＭにあらかじめ記憶されたプログラムがＣＰＵによって実行されることにより、デジタルビデオカメラ１の各部を制御するための制御信号を出力する。また、ＤＲＡＭ（Dynamic ＲＡＭ）等からなるＲＡＭは、処理の途中結果を一時的に記憶する等、主にＣＰＵの作業領域として使用される。

ＬＣＤコントローラ７０は、制御部６０から供給された画像データから、ＬＣＤ８０に表示させる画像信号を生成して、これをＬＣＤ８０に供給し、画像を表示させる。また、ＬＣＤ８０にはタッチパネル９０が設けられており、ユーザが画面上を指や指示具で押圧することで入力操作を行うことが可能となっている。さらに、入力部１００は、この他の各種ボタンやレバー、ダイヤル等により構成される。タッチパネル９０および入力部１００において入力操作が行われると、これらから制御部６０に対して制御信号が出力される。

テープデッキ部１１０には、画像データや音声データを記録する記録媒体として、磁気テープが内蔵されたビデオカセット１１１が着脱可能に搭載される。テープデッキ部１１０は、制御部６０から供給された画像や音声等のデータを変調して、ビデオカセット１１１内の磁気テープに書き込む。また、磁気テープから読みとった信号を復調して、制御部６０に供給する。

無線通信モジュール１２０は、ＯＦＤＭ（Orthogonal Frequency Division Multiplexing）等の変調方式を用いた信号送受信のためのアンテナおよびＲＦトランシーバや、ベースバンド処理、制御部６とのインタフェース処理等を行うプロセッサ等からなり、制御部６により制御される通信手順に従って、外部のデジタルビデオカメラ２および３との無線通信を行う。なお、無線通信規格としては、例えば、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）８０２．１１ｇ方式の無線ＬＡＮ等が用いられる。

ここで、上記のデジタルビデオカメラ１における基本的な動作について説明する。
撮像画像を記録する場合には、記録を開始する前において、被写体からの光がカメラブロック１０の撮像素子によって光電変換され、前処理が行われて、デジタル化された画像データがカメラ信号処理部２０に入力される。さらにカメラ信号処理が施された画像データは、制御部６０を介してＬＣＤコントローラ７０に入力される。これにより、ＬＣＤ８０にカメラスルー画像が表示される。

この状態から、入力部１００において画像記録のための操作入力が行われると、撮像された画像データがカメラ信号処理部２０からビデオエンコーダ３０に送出されて圧縮符号化処理され、所定の動画像フォーマットのデータに変換されて、ビデオストリームとして制御部６０に入力される。一方、マイクロフォン５１で集音された音声信号は、音声処理部５０において圧縮符号化処理され、所定の音声フォーマットのデータに変換されて、オーディオストリームとして制御部６０に入力される。ビデオストリームおよびオーディオストリームは、制御部６０において多重化されてテープデッキ部１１０に出力され、所定の変調処理等が施された後、ビデオカセット１１１内の磁気テープに順次記録される。

また、ビデオカセット１１１に記録されたデータを再生する場合には、テープデッキ部１１０によって読み出されたデータが、制御部６０においてビデオストリームとオーディオストリームに分離される。ビデオストリームは、ビデオデコーダ４０において伸長復号化処理され、制御部６０を介してＬＣＤコントローラ７０に入力される。これにより、ＬＣＤ８０において再生画像が表示される。一方、オーディオストリームは、音声処理部５０において伸長復号化処理され、スピーカ５２から音声が再生出力される。

また、撮像した画像を他のデジタルビデオカメラ２および３に送信する場合には、カメラ信号処理部２０から出力された画像データが、制御部６０を介して無線通信モジュール１２０に入力され、所定の無線通信手順に従って無線送信される。

また、他のデジタルビデオカメラ２および３において撮像され、無線送信された画像を受信する場合には、無線通信モジュール１２０によって受信されたデータが制御部６０に入力され、ビデオストリームが分離される。このビデオストリームは、ビデオデコーダ４０において伸長復号化処理され、復号化された画像データは制御部６０を介してＬＣＤコントローラ７０に出力され、受信した画像がＬＣＤ８０に表示される。また、入力部１００あるいはタッチパネル９０からの入力操作に応じて、分離されたビデオストリームは制御部６０からテープデッキ部１１０に出力され、ビデオカセット１１１内の磁気テープに記録される。

なお、このように無線通信モジュール１２０によって受信した画像とともに音声を磁気テープに記録することが可能であるが、本実施の形態ではこの場合でも、音声処理部５０において圧縮符号化処理された音声データが、常に磁気テープに記録される。

ところで、このデジタルビデオカメラ１は、カメラブロック１０において撮像されている画像とともに、他のデジタルビデオカメラ２および３において撮像されている画像を無線通信モジュール１２０によって受信して、これらの画像を合成してＬＣＤ８０に同時に表示し、所望の画像を選択してそのデータをビデオカセット１１１に記録することが可能となっている。以下、このような動作について詳しく説明する。

図３は、自機の撮像画像と他機からの受信画像を選択的に記録する動作を実現するための制御部６０内の機能を示すブロック図である。なお、以下の説明では、デジタルビデオカメラ１〜３において撮像された画像をそれぞれ画像Ａ、画像Ｂ、画像Ｃとする。

図３に示すように、制御部６０は、各画像を合成表示するための画像合成部６１と、各画像を選択的に記録するための記録制御部６２と、受信した信号から画像信号を分離するデータ分離部６３とを具備している。

画像合成部６１には、カメラ信号処理部２０からのカメラスルー画像（画像Ａ）のデータと、ビデオデコーダ４０によって伸長復号化された画像ＢおよびＣの各データとが入力される。画像合成部６１は、入力されたこれらの画像を１つの画面上に合成した合成画像を生成して、ＬＣＤコントローラ７０に出力する。この合成画像では、例えば後述するように、タッチパネル９０からの制御信号に応じて、記録するように選択された画像が最も大きく表示され、それ以外の画像が子画面や分割画面としてより小さく表示される。

記録制御部６２には、ビデオエンコーダ３０によって圧縮符号化された画像Ａのデータと、データ分離部６３によって受信信号から分離された画像ＢおよびＣのデータとが入力される。記録制御部６２は、タッチパネル９０からの制御信号に応じて、これらの画像データの中から選択されたものをテープデッキ部１１０に出力し、ビデオカセット１１１内の磁気テープに記録させる。

データ分離部６３は、無線通信モジュール１２０による受信信号から、デジタルビデオカメラ２および３からそれぞれ送信された画像ＢおよびＣのデータを分離して、記録制御部６２およびビデオデコーダ４０に出力する。

ここで、各デジタルビデオカメラ１〜３の間で無線ＬＡＮによって通信が行われるものとすると、各カメラ間ではアクセスポイントを介さない“アドホックモード”による通信が行われる。この場合、１つのデジタルビデオカメラでの撮像画像を、他の１つあるいは複数のデジタルビデオカメラに送信するために、１つの通信チャネルが用いられる。従って、デジタルビデオカメラ１においては、デジタルビデオカメラ２および３からの各画像ＢおよびＣの受信のために、それぞれ個別の通信チャネルを用いた通信が行われる。データ分離部６３は、各通信チャネルの受信パケットを識別して画像ＢおよびＣの各データを抽出する。

また、データ分離部６３において分離された画像ＢおよびＣのデータは、それぞれビデオデコーダ４０によって伸長復号化処理され、画像合成部６１に入力される。このように、無線通信により複数の画像を受信している場合は、複数系統の画像を伸長復号化処理する必要がある。このためには、例えば、受信した画像の数だけのビデオデコーダ４０を設けて、各画像の伸長復号化処理を行う。あるいは、１つのビデオデコーダ４０を用いて、各画像の伸長復号化処理を時分割して実行してもよい。

図４は、１つのビデオデコーダ４０を用いた伸長復号化処理を説明するための図である。
本実施の形態では、例えば、制御部６０内のＲＡＭを、画像データを一時的に記憶するためのバッファ６４として使用する。このバッファ６４は、圧縮符号化されていない画像Ａ〜Ｃのデータがそれぞれ格納される領域６４ａ〜６４ｃと、圧縮符号化されている画像ＢおよびＣのデータがそれぞれ格納される領域６４ｄおよび６４ｅを具備している。なお、これらのバッファ領域は、カメラ信号処理部２０やビデオエンコーダ３０、ビデオデコーダ４０に接続されたフレームメモリ（図示せず）等によって実現されてもよい。

データ分離部６３は、受信パケットから画像ＢおよびＣの各データを分離し、それぞれを領域６４ｄおよび６４ｅに順次書き込む。また、データ分離部６３は、例えば、受信した画像数に応じたチャネル数と、画像を識別するためのチャネル番号とを含むチャネル情報を、ビデオデコーダ４０に出力する。ここでは例として、画像ＢおよびＣにそれぞれ“Ｃｈ−１”“Ｃｈ−２”のチャネル番号が割り当てられている。

ビデオデコーダ４０は、通知されたチャネル情報に基づいて、バッファ６４に対する読み出しおよび書き込みの領域を判断する。チャネル情報により２つのチャネルが通知された場合は、まず“Ｃｈ−１”に対する処理として領域６４ｄから画像Ｂのデータを読み出し、伸長復号化処理を行って処理結果を領域６４ｂに書き込む。次に、“Ｃｈ−２”の処理として領域６４ｅから画像Ｃのデータを読み出し、伸長復号化処理を行って処理結果を領域６４ｃに書き込む。これらの処理を例えば所定画素数ずつ交互に行うことにより、２系統の画像ＢおよびＣに対する伸長復号化処理が並行して実行される。

次に、画像合成部６１において生成され、ＬＣＤ８０において表示される画像について説明する。図５は、自機の撮像画像と他機からの受信画像とを表示した合成画像の画面構成例を示す図である。

自機での撮像とともに、他機からの画像を受信している場合には、画像合成部６１の処理により各画像が同時に表示されるような合成画像を生成してＬＣＤ８０に表示し、表示された画像に対してタッチ操作することにより、記録する画像の選択を可能とする。例として、図５に示す合成表示画像２００は、親画面２０１と２つの子画面２０２および２０３とによって構成されている。

親画面２０１には、記録対象として現在選択されている画像が表示され、子画面２０２および２０３には、選択されていない画像が表示される。そして、タッチパネル９０を用いて、ユーザが子画面２０２または２０３に対してタッチ操作を行うと、選択された子画面２０２または２０３の画像が記録されるとともに、その画像と親画面２０１の画像とが入れ替わって表示される。従って、ユーザは、合成表示画像２００によって記録可能なすべての画像を同時に閲覧しながら、記録する画像を選択することができる。

なお、各画像Ａ、ＢおよびＣの合成画像は、上記の画像に限らない。例えば、画面を分割してそれぞれの領域に画像Ａ、ＢおよびＣが表示されるようにしてもよい。また、選択に応じて表示領域を変更せずに、表示領域の枠の色を変化させる等、選択された画像を明示するようにしてもよい。この場合、自機で撮像した画像を常に最も大きく表示させてもよい。

このような画像記録が行われる際の処理を、フローチャートを用いて説明する。図６は、自機の撮像画像と他機からの受信画像を選択的に記録する際の処理の流れを示すフローチャートである。

ステップＳ６１において、画像Ａ、ＢおよびＣが、ＬＣＤ８０上に合成されて表示される。図４のような構成の場合、カメラ信号処理部２０から出力された画像Ａのデータが、バッファ６４の領域６４ａに順次書き込まれる。また、デジタルビデオカメラ２および３からの画像ＢおよびＣの各データはビデオデコーダ４０によって伸長復号化処理され、処理後の各データが領域６４ｂおよび６４ｃに順次書き込まれる。ここで、画像合成部６１は、画像の選択に応じて、バッファ６４からの読み出し位置を制御することで、画像の合成を行う。なお、初期状態では例えば、自機で撮像した画像Ａが選択された状態とし、この画像Ａを親画面２０１に表示させる。

ステップＳ６２において、タッチパネル９０を用いた画像の選択操作が行われたか否かについて、タッチパネル９０からの制御信号の有無に基づいて判断する。選択操作が行われた場合はステップＳ６３に進み、行われなかった場合はステップＳ６４に進む。

ステップＳ６３において、画像合成部６１は、ステップＳ６２での選択に応じて、ＬＣＤ８０の表示画面を切り換える。図５のような合成表示画像２００を表示している場合、バッファ６４からの読み出し位置を制御して、選択された画像を親画面２０１に表示させる。

ステップＳ６４において、入力部１００に設けられた所定のスイッチからの制御信号、あるいはＬＣＤ８０上に表示したスイッチボタンに対するタッチ操作に応じてタッチパネル９０からの制御信号の有無に基づき、記録開始の操作が行われたか否かを判断する。操作があった場合はステップＳ６５に進み、なかった場合はステップＳ６２に戻る。

ステップＳ６５において、このとき選択されている画像のデータを、音声処理部５０からの音声データとともに、ビデオカセット１１１の磁気テープに記録する。なお、記録する音声データとしては、音声処理部５０からのデータに限らない。例えば画像データとともに他のデジタルビデオカメラから音声データを受信して、この音声データを記録するようにしてもよい。あるいは、可般型の半導体メモリ等の他の記録媒体が搭載されている場合には、この記録媒体に記録された音声データを読み出して、磁気テープに記録するようにしてもよい。

ステップＳ６６において、ステップＳ６２と同様に、画像の選択操作が行われたか否かを判断し、行われた場合はステップＳ６７に進み、行われなかった場合はステップＳ６８に進む。

ステップＳ６７において、画像合成部６１は、ステップＳ６６での選択に応じて、ＬＣＤ８０の表示画面を切り換える。これとともに、記録制御部６２は、画像データの入力を切り換え、選択された画像をテープデッキ部１１０に記録させる。なお、このときに、音声データは切り換えず、継続して記録を行う。

ステップＳ６８において、入力部１００あるいはタッチパネル９０からの制御信号の有無に基づいて、記録動作を終了するか否かを判断し、終了しない場合はステップＳ６６に戻る。

以上のようなデジタルビデオカメラでは、同様な構成のデジタルビデオカメラが複数台存在することにより、各デジタルビデオカメラにおいて、自機で撮像した撮像画像だけでなく、外部のデジタルビデオカメラにおいて撮像されて送信された画像を無線通信により受信し、所望の画像を選択して磁気テープに記録することが可能となる。従って、各デジタルビデオカメラのユーザにとって、各デジタルビデオカメラで撮像された画像を有効に活用して、記録する画像の内容をより充実させることができるとともに、撮影機会を逃すことが少なくなる。また、記録可能な画像を合成してＬＣＤ８０に同時に表示させ、所望の画像を選択可能とすることにより、すべての画像を閲覧しながら選択操作を行うことができ、操作性が高くなる。

さらに、画像の選択に関係なく、音声処理部５０等からの１系統の音声データを常時記録することにより、画像切り換え時の音声のつながり方が不自然になって、再生時に視聴者に不快感を与えることがなくなり、記録するコンテンツの品質をより高めることができる。

なお、上記のデジタルビデオカメラ１では、画像Ａ、ＢおよびＣのいずれかのデータを磁気テープに記録していたが、これらの画像を合成した合成画像のデータを記録するようにしてもよい。この場合でも、各画像の合成位置を、タッチパネル９０等からの選択操作により容易に移動可能なようにしてもよい。また、このようなデジタルビデオカメラでは、画像合成部６１において生成された合成画像のデータをビデオエンコーダ３０に出力して圧縮符号化処理させ、処理後のデータをテープデッキ部１１０に出力して、磁気テープに記録させる。従って、２系統の画像の圧縮符号化処理を並行して実行できるように構成される必要がある。

また、他機から受信した画像を選択して記録した場合に、その送信元のデジタルビデオカメラに対して、画像を選択したことを無線通信により通知するようにしてもよい。この場合、通知を受けたデジタルビデオカメラでは、例えば、ＬＣＤ上に表示された自機による撮像画像の枠の色を変える等、自機による撮像画像が他機で記録されていることが明示され、ユーザがこのことを認識できるようにする。

次に、上記の実施の形態の変形例について説明する。この変形例は、画像認識技術を用いて、記録対象の各画像に所望の被写体があるか否かを判断して、この判断に基づいて記録する画像を自動的に選択するものである。

図７は、自機の撮像画像と他機からの受信画像を画像認識により自動的に選択して記録する動作を実現するための制御部６０内の機能を示すブロック図である。
以下の説明で変形例として示すデジタルビデオカメラの基本的な構成は、図１に示したものと同様である。また、図７では、図３で示したデジタルビデオカメラに対応する構成要素には、同じ符号を付して示している。

図７に示すように、このデジタルビデオカメラの制御部６０は、画像合成部６１、記録制御部６２、データ分離部６３に加えて、被写体の特徴を設定するための特徴設定部６５と、設定された特徴を有する被写体を画像から認識する画像認識処理部６６と、優先順位の設定に応じて記録する画像を通知する優先順位判定部６７とを具備している。

特徴設定部６５は、画像認識対象とする被写体の特徴に対する入力設定を受け、画像認識処理部６６に通知する。入力設定は、例えば、ＬＣＤ８０上に表示した画像から、対象とする被写体をタッチパネル９０を用いたクリック操作やドラッグ操作によって選択する、あるいは入力部１００の所定のスイッチを用いて、被写体の色等の情報を入力すること等により行われる。

画像認識処理部６６は、カメラ信号処理部２０からの画像Ａのデータ、およびビデオデコーダ４０によって伸長復号化処理された画像ＢおよびＣのデータから、特徴設定部６５から通知された特徴情報に基づいて画像認識処理を行い、対象の被写体を含む画像を優先順位判定部６７に通知する。

優先順位判定部６７は、画像認識処理部６６から、対象の被写体を含む画像が複数通知された場合、あるいはその被写体を含む画像が通知されなかった場合に、タッチパネル９０あるいは入力部１００を用いて入力された優先順位の情報に基づいて、優先順位の高い画像を画像合成部６１および記録制御部６２に対して通知する。画像の優先順位の情報は、タッチパネル９０や入力部１００からのユーザの操作入力によって任意に設定される。

ここで、図８は、画像認識処理の例として、色認識処理について説明するための図である。
このデジタルビデオカメラで適用可能な画像認識処理として、例えば色認識処理を挙げることができる。この処理では、被写体上の特徴的な特定の色を特徴情報として用いて、この色が画像に含まれているか否かを判定する。例えば、運動会の競技者を記録対象とする場合に、周囲にあまり存在しない特徴的な色のリボンをその競技者に付けさせることで実現することができる。

図８（Ａ）は、処理対象の画像の画素配列の一部を模式的に示している。この図では、画像内のある領域に、例としてＣＬ１〜ＣＬ４までの４種類の色の画素が含まれている場合を示している。この場合に、画像認識処理部６６は、入力された画像の各画素の色情報から、所定領域内における各色の画素数を累積演算し、図８（Ｂ）に示すようなヒストグラムを算出する。これにより、特徴設定部６５によってあらかじめ設定した所望の色の画素が存在するか否かによって、記録すべき画像であるか否かを判定することができる。

また、このような方法以外には、例えば、形状の特徴点に基づいて対象の被写体を画像中から抽出する方法も適用可能である。例えば、対象とする人物の顔の幾何学的特徴の情報（目、口、鼻等の顔の造作の形状、配置等からなる）を用いる、あるいは、顔全体の形状を一般的な濃淡２次元画像としてとらえること等により、その人物の顔をパターン認識する方法が考えられる。さらに、認識対象の画像の符号化方式としてオブジェクト符号化方式を用いると、対象の被写体を抽出する精度を効率的に高めることができる。

ここで、図７に戻って説明する。画像認識処理部６６は、入力画像の中から、対象の被写体が抽出された場合に、その画像を優先順位判定部６７に通知する。ここで、通知された画像が１つだけであった場合には、優先順位判定部６７はその通知された画像をそのまま画像合成部６１および記録制御部６２に通知する。これにより、画像合成部６１は、例えば通知された画像を親画面に表示させる等、選択された画像を明示した画像を生成して、ＬＣＤ８０に表示させる。これとともに、記録制御部６２は、通知された画像を選択してテープデッキ部１１０に出力し、磁気テープに記録させる。

また、画像認識処理部６６から、対象の被写体を含む画像が複数通知された場合には、優先順位判定部６７は、あらかじめ設定された画像の優先順位に基づいて、通知された画像のうち最も優先順位が高い画像を選択して、画像合成部６１および記録制御部６２に通知する。この優先順位はユーザによって任意に設定可能であるが、例えば、被写体までの距離が短い位置に設置されたカメラの優先順位を高くする、あるいは、被写体に対する角度に応じて、より良好な画像を撮影可能なカメラの優先度を高くする等といった順位の設定基準を適用することができる。

さらに、画像認識処理部６６によって、対象の被写体がどの画像からも抽出できなかった場合にも、あらかじめ設定した優先順位に基づいて画像を選択するようにしてもよい。以下、優先順位に基づいて画像を選択する方法について、３通りの例をフローチャートを用いて示す。

図９は、第１の画像選択方法による処理の流れを示すフローチャートである。
ステップＳ９１において、画像認識処理部６６から、対象の被写体を含む画像が優先順位判定部６７に対して１つでも通知された場合にはステップＳ９２に進み、１つも通知されなかった場合はステップＳ９３に進む。

ステップＳ９２において、優先順位判定部６７は、通知された画像の中から、あらかじめ設定された優先順位が最も高い画像を選択し、この画像を画像合成部６１および記録制御部６２に通知する。この結果、選択された画像が磁気テープに記録される。

ステップＳ９３において、優先順位判定部６７は、すべての画像の中から優先順位が最も高い画像を選択し、この画像を画像合成部６１および記録制御部６２に通知する。この結果、選択された画像が磁気テープに記録される。

以上の第１の画像選択方法は、例えば、野球の中継等のように、基本的な画像を撮影して、通常最も多く選択されるカメラがあらかじめわかっており、その他のカメラの画像に切り換えられることが圧倒的に少ないような場合等に適している。

図１０は、第２の画像選択方法による処理の流れを示すフローチャートである。
ステップＳ１０１およびＳ１０２は図９の場合と同様で、画像認識処理部６６から対象の被写体を含む画像が１つでも通知された場合に、優先順位判定部６７は、通知された画像の中から最も優先順位が高い画像を通知する。また、ステップＳ１０１で、画像が１つも通知されなかった場合は、ステップＳ１０３に進む。

ステップＳ１０３において、当該画像ストリームの記録開始時から現在までに、対象の被写体を含む画像が通知されたか否かを判断し、１つも通知されていない場合はステップＳ１０４に進み、１つでも通知されていた場合はステップＳ１０５に進む。

ステップＳ１０４において、優先順位判定部６７は、すべての画像の中から優先順位が最も高い画像を選択し、通知する。
ステップＳ１０５において、それ以前に最後に通知されて選択した画像を、記録する画像として選択し、通知する。

図１１は、第３の画像選択方法による処理の流れを示すフローチャートである。
ステップＳ１１１およびＳ１１２は図９および図１０の場合と同様で、画像認識処理部６６から対象の被写体を含む画像が１つでも通知された場合に、優先順位判定部６７は、通知された画像の中から最も優先順位が高い画像を通知する。また、ステップＳ１１１で、画像が１つも通知されなかった場合は、ステップＳ１１３に進む。

ステップＳ１１３およびＳ１１４は、図１０の場合と同様で、当該画像ストリームの記録開始時から現在までに、対象の被写体を含む画像が通知されたか否かを判断し、１つも通知されていない場合は、すべての画像の中から優先順位が最も高い画像を選択し、通知する。また、ステップＳ１１３で、画像がそれ以前に１つでも通知されていた場合は、ステップＳ１１５に進む。

ステップＳ１１５において、それ以前に最後に通知されて選択した画像より、１段階だけ優先順位の低い画像を記録する画像として選択し、通知する。
ここで、上記の第２および第３の画像選択方法を用いた場合の効果を、競技場のトラックの走者を撮影する場合を例に挙げて説明する。図１２は、競技場のトラックの走者を撮影する場合のカメラ配置例を示す図である。

図１２では、競技場のトラック３０１上を走る走者３０２を撮影するために、３台のデジタルビデオカメラ１〜３からなるビデオカメラシステムが導入されている。デジタルビデオカメラ１〜３は、それぞれトラック３０１のスタート地点付近、中間地点付近、およびゴール地点付近を撮影している。しかし、これらの３台のデジタルビデオカメラ１〜３ではトラック３０１の全域を撮影することはできず、各撮影対象領域の間に撮像画像に映らない領域３０３および３０４が存在している。従って、走者３０２をスタート地点からゴール地点まで撮影している間には、画面上に走者が表示されない期間が生じることになる。

ところで、どのデジタルビデオカメラ１〜３による撮像画像からも対象の被写体が認識できない場合に、図９で示したように優先順位の高い画像を選択する方法を採ると、対象の被写体が認識できなくなるたびに、最も優先順位の高い１つのデジタルビデオカメラによる撮像画像に必ず戻ってしまうので、画面の遷移が不自然になり、図１２のような状況での撮影には適さない。

これに対して、図１０で示した第２の画像選択方法では、すべての撮像画像から対象の被写体が認識できず、かつ記録開始時点から被写体の認識が１回でも行われた場合には、それ以前に最後に選択されていた画像を選択するようにしているので、撮影の途中で不自然に同じデジタルビデオカメラによる撮像画像に戻ってしまうことはない。

図１２のような状況での撮影を考えると、まず、走者３０２がスタートすると、デジタルビデオカメラ１による撮像画像から走者３０２が認識され、この撮像画像が選択される。次に、走者３０２が領域３０３にさしかかると、撮像画像から走者３０２を認識できなくなるが、このとき図１０のステップＳ１０５の処理により、デジタルビデオカメラ１による撮像画像が継続して選択される。そして、その後にデジタルビデオカメラ２による撮像画像から走者３０２が認識されるようになり、この撮像画像が選択されることになる。従って、走者３０２が走っている間に例えば不自然にスタート地点の映像が記録されるようなことがなくなり、場面が円滑に遷移するような動画像コンテンツを作成することができる。

一方、図１１で示した第３の画像選択方法では、すべての撮像画像から対象の被写体が認識できず、かつ記録開始時点から被写体の認識が１回でも行われた場合には、それ以前に最後に選択されていた画像より１段階低い優先順位を有する画像が選択される。従って、第２の画像選択方法と同様に、途中で優先順位の高いデジタルビデオカメラによる撮像画像が不自然に挿入されることがなくなる。

図１２のような状況での撮影時に、デジタルビデオカメラ１，２，３の順に高い優先順位を設定した場合を考えると、スタートした走者３０２はまずデジタルビデオカメラ１で撮像され、この走者３０２が領域３０３にさしかかると、次に優先順位の高いデジタルビデオカメラ２による撮像画像に切り換えられる。この切り換え後に、切り換えられた撮像画像上に走者３０２が現れるようになり、やがて領域３０４に達すると、今度はデジタルビデオカメラ３による撮像画像に切り換えられる。そして、その後に同様に切り換えられた撮像画像上に走者３０２が現れることになる。従って、走者３０２の移動方向に合致した自然な画像の切り換えが行われるので、より高品質な動画像コンテンツを作成することが可能となる。

以上のように、各デジタルビデオカメラにおいて、自機による撮像画像と他機からの受信画像とから画像認識により対象の被写体を抽出して、抽出された画像を自動的に選択して記録する機能を付加することにより、ユーザは他機からの受信画像を閲覧せずに、自機による撮影だけに集中しながら、より良好な内容のコンテンツを自機の記録媒体に記録させることが可能となる。

なお、以上の実施の形態では、本発明をデジタルビデオカメラに適用した場合について説明したが、例えばデジタルスチルカメラ（特に動画像の撮影機能を具備するもの）等の他の撮像装置に対して適用することも可能である。また、選択した画像を記録する記録媒体としては、他に、可般型の半導体メモリ、ハードディスクや光ディスク等のディスク型記録媒体等を用いることが可能である。

また、本発明は、撮像機能を具備しない画像記録装置に対して適用することも可能である。例えば、ビデオテープレコーダ、あるいはハードディスクや光ディスク等のディスク型記録媒体を用いたビデオレコーダ等に対して、複数のカメラからの撮像画像を無線通信等によって受信し、これらを合成して外部のモニタ上に同時に表示しながら、画像を選択して記録媒体に記録する。このような画像記録装置を、上記のようなデジタルビデオカメラが複数台存在している場所に設置し、各デジタルビデオカメラからの撮像画像から所望の画像を選択して記録することで、良好な内容の動画像コンテンツを手軽に作成することができる。

また、各画像を個別に記録するだけでなく、それらの合成画像を記録媒体に記録してもよい。例えば、あるカメラからの画像から画像認識によりある被写体を取り出し、それ以外の画面領域を単色の背景とする。そして、別のカメラからの画像を、元の画像の背景に合成する。合成する画像は、受信している画像から選択可能とする。

さらに、他のネットワーク、特にインターネット等の広域ネットワークから複数の画像を受信し、選択して記録するようにしてもよい。例えば、ストリーミング配信されている動画像と、別のＷｅｂページ上の静止画像や記録媒体から読み込んだ静止画像等をリアルタイムに合成して、記録媒体に記録する。これにより、インターネット上の多数のコンテンツや、手持ちのコンテンツを手軽に選択して合成し、別のコンテンツを作成することが可能となる。

本発明の実施の形態に係るデジタルビデオカメラの内部構成を示すブロック図である。 本発明の実施の形態に係るデジタルビデオカメラを含むカメラシステムの構成を示す図である。 自機の撮像画像と他機からの受信画像を選択的に記録する動作を実現するための制御部内の機能を示すブロック図である。 １つのビデオデコーダを用いた伸長復号化処理を説明するための図である。 自機の撮像画像と他機からの受信画像とを表示した合成画像の画面構成例を示す図である。 自機の撮像画像と他機からの受信画像を選択的に記録する際の処理の流れを示すフローチャートである。 自機の撮像画像と他機からの受信画像を画像認識により自動的に選択して記録する動作を実現するための制御部内の機能を示すブロック図である。 画像認識処理の例として、色認識処理について説明するための図である。 第１の画像選択方法による処理の流れを示すフローチャートである。 第２の画像選択方法による処理の流れを示すフローチャートである。 第３の画像選択方法による処理の流れを示すフローチャートである。 競技場のトラックの走者を撮影する場合のカメラ配置例を示す図である。

符号の説明

１，２，３……デジタルビデオカメラ、１０……カメラブロック、２０……カメラ信号処理部、３０……ビデオエンコーダ、４０……ビデオデコーダ、５０……音声処理部、６０……制御部、６１……画像合成部、６２……記録制御部、６３……データ分離部、６４……バッファ、６４ａ〜６４ｅ……領域、７０……ＬＣＤコントローラ、８０……ＬＣＤ、９０……タッチパネル、１００……入力部、１１０……テープデッキ部、１１１……ビデオカセット、１２０……無線通信モジュール

Claims (6)

1. 画像を撮像して記録する撮像装置において、
   画像を撮像する撮像手段と、
   １つ以上の外部装置の間で信号の送受信を行う通信手段と、
   前記外部装置より送信され、前記通信手段によって受信された受信画像に対して、所定の特徴情報に基づいて画像認識処理を実行する画像認識手段と、
   前記画像認識処理の対象とする前記特徴情報に関する設定を受け付ける設定手段と、
   前記撮像手段による撮像画像と前記受信画像とを表示装置に表示させるように制御する表示制御手段と、
   前記撮像画像の信号または前記受信画像の信号を記録媒体に記録するように制御する記録制御手段と、
   を有し、
   前記画像認識手段により前記受信画像の中から前記設定手段により設定された前記特徴情報に対応する被写体が認識された画像が通知されると、前記表示制御手段は通知された画像をその他の画像と区別して識別可能な状態で前記表示装置に表示するように制御するとともに、前記記録制御手段は通知された画像の信号を前記記録媒体に記録するように制御することを特徴とする撮像装置。
2. 前記表示制御手段は、前記画像認識手段により前記特徴情報に対応する被写体が認識されたとして通知された画像を、その他の画像より大きく表示させることを特徴とする請求項１記載の撮像装置。
3. 前記表示制御手段は、表示させた画像の枠の色を変化させることで、前記画像認識手段により前記特徴情報に対応する被写体が認識されたとして通知された画像を識別可能な状態とすることを特徴とする請求項１記載の撮像装置。
4. １系統の音声の入力を受ける音声入力手段をさらに有し、
   前記記録制御手段は、前記画像認識手段により前記受信画像の中から前記設定手段により設定された前記特徴情報に対応する被写体が認識された画像が通知されたとき、前記音声入力手段からの音声の信号を、通知された画像の信号とともに前記記録媒体に記録するように制御することを特徴とする請求項１記載の撮像装置。
5. 入力された画像を記録する画像記録装置において、
   外部装置から送信された画像を含む複数の画像の信号を受信する画像受信手段と、
   前記外部装置からの受信画像に対して、所定の特徴情報に基づいて画像認識処理を実行する画像認識手段と、
   前記画像認識処理の対象とする前記特徴情報に関する設定を受け付ける設定手段と、
   前記画像受信手段により受信された複数の受信画像を表示装置に表示させるように制御する表示制御手段と、
   前記画像受信手段により受信されたいずれかの画像の信号を記録媒体に記録するように制御する記録制御手段と、
   を有し、
   前記画像認識手段により前記外部装置からの受信画像の中から前記設定手段により設定された前記特徴情報に対応する被写体が認識された画像が通知されると、前記表示制御手段は通知された画像をその他の画像と区別して識別可能な状態で前記表示装置に表示するよう制御するとともに、前記記録制御手段は通知された画像の信号を前記記録媒体に記録するよう制御することを特徴とする画像記録装置。
6. 複数の撮像装置によって撮像された画像を記録するための画像記録方法において、
   少なくとも１つの前記撮像装置が、
   画像認識処理の対象とする特徴情報に関する設定を受け付け、
   他機による撮像画像の信号を受信し、
   前記他機から受信した受信画像に対して、前記設定された特徴情報に基づいて画像認識処理を実行し、
   自機による撮像画像と前記受信画像とを表示装置に表示させ、
   前記画像認識処理により前記受信画像の中から前記設定された特徴情報に対応する被写体が認識された画像が通知されると、通知された画像をその他の画像と区別して識別可能な状態で前記表示装置に表示するように制御するとともに、通知された画像の信号を記録媒体に記録するように制御する、
   ことを特徴とする画像記録方法。

Images