JP3678404B2 - 映像情報処理装置 - Google Patents
映像情報処理装置 Download PDFInfo
- Publication number
- JP3678404B2 JP3678404B2 JP2000139253A JP2000139253A JP3678404B2 JP 3678404 B2 JP3678404 B2 JP 3678404B2 JP 2000139253 A JP2000139253 A JP 2000139253A JP 2000139253 A JP2000139253 A JP 2000139253A JP 3678404 B2 JP3678404 B2 JP 3678404B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- identification information
- blinking
- information
- light source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、被写体の識別情報をもとに映像を処理する映像情報処理装置に関する。
【０００２】
【従来の技術】
従来、赤外線やギガヘルツの周波数帯域を用いたワイアレス情報送受信方法が一般的に用いられており、テレビやビデオデッキ、無線ＬＡＮなどに広く応用されている。また、Bluetooth という近距離無線の規格も出来つつある。
【０００３】
一方、映像を印画紙上の化学反応で記録するのではなく、ＣＣＤ等の固体撮像素子が取り込んだ映像データを電子メモリ素子に記録するディジタルカメラも広く用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、業務や趣味として写真撮影を行う場合、その撮影枚数が多くなればなるほど後日の整理に手間がかかり、日数を経てしまうと映像の内容を確認するためには、その映像そのものを閲覧しなければ判断できないという問題がある。一方、１枚の映像中に興味ある被写体が複数ある場合、それぞれに注釈を加える方法が提案されている（特開平６−３４３１４６号公報）が、その作業にも多少の手間がかかる。
【０００５】
また、従来の監視カメラはカメラ映像を人間が目視で見張って救助の要否を判断しており、被写体の側から自発的に、かつ他人に知られずに救助を要請することは不可能であったために、通報すれば危害を加えるという脅迫を受けている被害者は、監視カメラの前にありながら加害者に知られずに通報することができなかった。
【０００６】
さらに、カメラによる写真撮影に不慣れな利用者は、複数の被写体を撮影範囲におさめるのに困難を感じることもある。また、写真撮影を行う際には、撮影と無関係な被写体の中に、撮影されることを好まないものが存在することもあり、プライバシーと関連して問題となる。
【０００７】
本発明は斯かる実情に鑑み、上記のような映像整理を容易に実現できるようなカメラを実現すること、および映像にその説明となる情報を多重化して記録するカメラを実現すること、また、周囲の人間に知られることなく被写体の意思を伝達する機能を持つカメラを実現すること、さらに、所望の被写体が確実に撮影範囲に入っていることを容易に確認できるカメラを実現することを目的とする。
【０００８】
【課題を解決するための手段】
本発明においては、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、この点滅情報変換手段によって変換された識別情報を、入力された前記映像とともに出力するための出力手段とを備えることを特徴とする。
【０００９】
これにより識別情報がＵＲＬの場合、後日、その写真内の被写体をコンピュータ画面内でクリックすることにより、被写体に応じたインターネット・ページを表示することができる「クリッカブル・イメージ（clickable image ）」を自動作成でき、撮影と別に映像に情報を付加する手間が省略される。
【００１０】
また、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、この点滅情報変換手段によって変換された識別情報を、入力された前記映像とともに出力するための出力手段とを備えることを特徴とする。
【００１１】
これにより、被写体が発する識別情報が「写真撮影を好まない」というものである場合には画面の一部または全部を修正する。これにより写真撮影を好まない被写体のプライバシーを守ることができる。撮影は許容するが、自分が映った写真を後日送付してほしい場合や、自分が映ったことによって課金を行いたい場合なども、本発明の映像情報処理装置を用いて実現できる。
【００１２】
さらに、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、この点滅情報変換手段によって変換された識別情報に応じて、あらかじめ設定されたメッセージを出力するためのメッセージ出力手段とを備えることを特徴とする。
【００１３】
これにより、「ＳＯＳ」を意味する識別情報を発する被写体が撮影範囲にある場合には、救助機関や警察などに自動的に通報する。これにより銀行のＡＴＭ（現金自動預出機）やコンビニエンス・ストア、市街地などに設置されている防犯カメラがＳＯＳ（救助要請）識別情報を読み取れば、発信源の脅威の原因（強盗や痴漢など）に察知されることなく救助機関に自動通報することができる。
【００１４】
さらに、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、前記映像内での点滅光源の位置を検出するための位置検出手段と、検出すべき被写体を示す識別情報を記憶してなる被写体記憶手段と、前記点滅情報変換手段によって変換された識別情報であって、前記被写体記憶手段に記憶された識別情報を有する被写体の位置を、前記位置検出手段によって検出された点滅光源の位置をもとに検出する被写体検出手段とを備えることを特徴とする。
【００１５】
これにより、本発明の映像情報処理装置にあらかじめ撮影したい（したくない）被写体が発する識別情報を登録しておけば、撮影したい（したくない）被写体が撮影範囲に入っているか否かをカメラが感知し、撮影範囲に入っていない（入っている）場合には、そのことを撮影者に伝える。あるいは、撮影したい（したくない）被写体が撮影範囲に入ったときに（出たときに）自動的に撮影を行う。これにより写真撮影に不慣れな撮影者が写真を撮影する場合にも、目的の被写体を正しくフレーム内におさめた写真を簡単に撮影することができる。
【００１６】
また、被写体の識別情報をもとに映像を処理する映像処理装置に対し、被写体ごとの識別情報を発信するための発信装置であって、被写体の識別情報を示す点滅パターンを記憶してなる点滅パターン記憶手段と、この点滅パターン記憶手段に記憶された点滅パターンを所定のタイミングで発光するための発光手段とを有することを特徴とする。この発信機により、映像処理装置に対し識別情報を発信することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。本発明の映像情報処理装置について、図面に即して説明する。なお、以下では便宜的にカメラと表現することもあるが、本発明の映像情報処理装置の形態は、必ずしも写真カメラと一体になったものに限定されない。例えば、カメラがパーソナル・コンピュータに接続されており、識別情報の読み取りなどの計算処理をパーソナル・コンピュータ側で行ってもよいし、カメラが撮影映像を無線または有線通信で遠隔地に送信する機能を持っており、映像を受信したパーソナル・コンピュータなどで識別情報の読み取りなどの計算処理を行ってもよい。
【００１８】
図１は本発明の第１の実施例の構成を示す図である。映像情報はカメラのＣＣＤ等の入力部１０１から入力され、処理用映像と表示・記録用映像に分けられる。この時点における処理用映像と表示・記録用映像の内容は同一のものである。
【００１９】
処理用映像は、点滅情報変換部１０４に送られる。点滅情報変換部１０４では、図２のフローチャートにあるように、数秒分の映像をもとに、点滅情報変換部１０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ３０１）。
【００２０】
なお、所定の規則とは、例えばテレビジョン受像機やビデオテーププレイヤー、あるいはエアコンといった家電製品を遠隔操作するための赤外線リモコンや、ノート型パーソナル・コンピュータ同士、あるいはノート型パーソナル・コンピュータとプリンターなどとの間を無線で情報交換を行うＩｒＤＡ（Infrared Data Association ）プロトコルでもいいし、それ以外の規則でもよい。
【００２１】
ここでは、点滅の有無を識別する方法を限定するものではないが、点滅を見つけるもっとも簡単な例としては、映像に含まれる全画素の輝度を合計し、数フレームにわたってその合計値の変化を観察するという方法がある。例えば、ある時点から３フレームの全画素の輝度の合計値が３９３２１６００であり、その次の３フレームの輝度の合計値は３９３２２１１２、さらに次の３フレームの輝度の合計値が３９３２１６００に戻るという場合、もしカメラアングルが変わらず、ズームもなく画面に動く物体がないような状況（例えば無人エリアの監視カメラ）であれば、画面の一部の画素が点滅していると推察される。
【００２２】
また、他の認識例としては、点滅画素を探索するウィンドウ（画面の一部）を限定し、そのエリア内で上述の技術と同様に点滅を判定してもよい。また、点滅画素が画面内を移動しているような場合には、そのエリア自身を点滅している物体の移動に追従させてもよい。この場合の追従方法としては、オプティカルフローを用いた前後の映像フレームでの部分マッチング方法などを用いるのが一般的である。
【００２３】
このようにして所定の規則に則した点滅を行う光源が見つかった場合、点滅情報変換部１０４は、変換辞書１０３をもとに、点滅パターンから識別情報に変換する（Ｓ３０２）。図３に変換辞書による記憶例を示すが、例えば点灯を１、消灯を０で表し、光源が０．１秒ごとに「１００１０１１０」という点滅パターンを持っていた場合には、「１５０」という数字を意味し、同様に「０１００１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」という点滅パターンの場合には「Ｈｅｌｌｏ」という文字列を意味するなどである。
【００２４】
このようにして変換された識別情報は、表示・記録用映像とともに、あるいは別々に関連情報出力部１０６に送られ、表示・記録用映像に多重化される（Ｓ３０３）。ここで、多重化とは映像に関連付けて復元できる形で格納することである。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ３０１の処理に戻る（Ｓ３０４）。
【００２５】
図４をもとに、点滅パターンの検出と、識別情報と映像を多重化する例を説明する。ここでカメラで撮像した映像２０１の中には、点滅光源２０２が二箇所存在する。点滅パターンから識別情報を復号した結果、一方が「(T)Kendall Station, Cambridge 」という識別情報を、他方が「Food Court, Open Hours 8am-7pm」という識別情報を発信していることが分かったとする。どちらの光源がどちらの識別情報を発信しているかについては、ここでは特定しない。
【００２６】
識別情報と映像の多重化の例として音声を用いる方法がある。つまり、映像２０１を動画として記録し、その音声トラックに識別情報２０３を音声として記録する方法である。その他の例としては、映像のディジタルファイル中に識別情報２０３を含める方法がある。例えばＪＰＥＧ（Joint Photographic Coding Experts Group）をはじめとする静止画像、ＭＰＥＧ（Moving Picture Experts Group）をはじめとする動画像のディジタルデータ形式には、付加情報を記録するための領域を設けることができる。この付加情報領域に、識別情報を記録してもよい。また、映像は映像ファイルとして、識別情報はテキストファイルとして出力してもよい。このようにして識別情報を関連付けて出力された映像は、以下のように利用できる。
【００２７】
例えば、観光地において史跡を撮影した写真中に、上に示した所定の規則に則した点滅をする光源があり、点滅によって史跡の解説を行っていれば、後日、その写真を閲覧すると、識別情報として記録されていた史跡の解説文を表示させたり、音声で聴いたりすることができる。識別情報としてインターネット上の情報アクセスの場所を示すＵＲＬ（Uniform Resource Locator。インターネット上で情報源の所在地を示す英数字記号列）が用いられていた場合、撮影された写真をコンピュータ上で閲覧する際に、インターネット経由でより詳細な情報を得ることもできる。
【００２８】
また、撮影した映像および識別情報は必ずしも記録・蓄積しなくてもよい。小型カメラを身につけて生活するウェアラブル・コンピュータ・システムの場合、店の看板が発する「今から１５分間、牛乳３０％引き」という識別情報をカメラが受信すると、そのことを表示や音声で利用者（装着者）に提示するという例も考えられる。
【００２９】
以上のように関連情報出力部１０６から識別情報が多重化された映像データは出力され、記憶媒体（図示しない）に記録されたり、別の処理装置（図示しない）に送られたりする。
【００３０】
図５は本発明の映像情報処理装置の第２の実施例の構成を示す説明図である。図５における入力部４０１、変換辞書４０３、点滅情報変換部４０４、関連情報出力部４０６は、それぞれ図１の入力部１０１、変換辞書１０３、点滅情報変換部１０４、関連情報出力部１０６と同じである。本発明の第２の映像情報処理装置においては、本発明の第１の映像情報処理装置に加え位置検出部４０９を備えることを特徴とする。
【００３１】
図６は、この手順を示したフローチャートである。入力部４０１より入力された映像は、表示・記録用と点滅検査用、そして点滅位置観測用に分けられる。これら３つの映像の内容は同一である。第１の実施例と同様に、点滅情報変換部４０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ６０１）。そして、変換辞書４０３をもとに、点滅パターンから識別情報に変換する（Ｓ６０２）。
【００３２】
位置検出部４０９は、点滅情報変換部４０４が識別情報に変換した点滅パターンが、映像中のどの位置にある画素から発信されているかを計算し（Ｓ６０３）、点滅パターンから変換された識別情報と位置情報を関連情報出力部４０６に送る。関連情報出力部４０６では、第１の実施例と同様に映像に位置付きの識別情報を多重化して出力する（Ｓ６０４）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ６０１の処理に戻る（Ｓ６０５）。
【００３３】
なお、Ｓ６０３の映像中で点滅光源の位置を計算する方法の一例としては、本発明の第１の実施例に述べたように、オプティカルフローを利用したオブジェクト追跡手法が一般的であるが、本発明では位置計算の方法をこれに限定するものではない。
【００３４】
図７では、このようにして位置を特定して上で識別情報が多重化記録された場合の活用例を示している。映像５０１内に２箇所の点滅光源５０２が存在しており、入口ドアの上に取り付けられた点滅光源は「Food Court, Open Hours 8am-7pm」というパターンで点滅しており、脇の壁面に取り付けられた光源は「Kendall Station, Cambridge」という点滅パターンを発している。
【００３５】
ここでは、それぞれの点滅光源の位置情報を含んでいるので、それぞれの光源５０２に近い位置に「ふきだし」５０３として表示することができるようになっている。このような映像を利用する場合、第１の実施例に加えて以下のような効果がある。
【００３６】
例えば、観光地において史跡を撮影した写真中に、上で示した所定の規則に則した点滅をする光源があり、点滅によって史跡各部（寺社、碑、植物など）の解説を行っていれば、後日、その写真を閲覧する際に興味ある被写体を指示すると、識別情報として記録されていた史跡各部の解説文を表示させたり、音声で聴いたりすることができる。識別情報としてインターネット上の情報アクセスの場所を示すＵＲＬが用いられていた場合、撮影された写真をコンピュータ上で閲覧する際に、被写体ごとにインターネット経由でより詳細な情報を得ることもできる（クリッカブル・イメージ）。
【００３７】
また、撮影した映像および識別情報は必ずしも記録・蓄積しなくてもよい。小型カメラを身につけ、メガネ状のディスプレイを身につけて生活するウェアラブル・コンピュータ・システムの場合、カメラ視野にある店の看板が発する「今から１５分間、牛乳３０％引き」という識別情報をカメラが受信すると、ディスプレイ内においてどの店が牛乳の安売りをしているのかを直感的に理解できる方法で提示することができる。
【００３８】
図８は本発明の映像情報処理装置の第３の実施例の構成を示す説明図である。図８における入力部７０１、変換辞書７０３、点滅情報変換部７０４は、それぞれ図１の入力部１０１、変換辞書１０３、点滅情報変換部１０４と同じであるが、関連情報出力部１０６に代わり映像加工部７０６を有する構成になっている。図９は本発明の第３の実施例を説明するためのフローチャートである。
【００３９】
第１の実施例と同様に、入力部７０１から入力した映像に対し、点滅情報変換部４０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ９０１）。そして、変換辞書７０３をもとに、点滅パターンから識別情報に変換する（Ｓ９０２）。
【００４０】
点滅情報変換部７０４から送られてくる識別情報が映像加工を要求するものであった場合（Ｓ９０３）、映像加工部７０６は映像加工を施して出力する（Ｓ９０４）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ９０１の処理に戻る（Ｓ９０５）。
【００４１】
図１０では、このようにして位置を特定して上で識別情報が多重化記録された場合の活用例を示している。例えば映像８０１中の被写体８０３に「撮影禁止」という識別情報を発信するタグ８０２がある場合、映像加工部７０６は映像全面を黒く塗りつぶしたり、撮影禁止であることを示す文字や記号を映像中に書き加えたりして出力する。
【００４２】
本発明の第２の映像情報処理装置のように、映像中でどのタグ（点滅光源）がどの識別情報を発信しているかを知る手段がある場合には、「私を撮影しないで」という識別情報を発信している被写体８０３だけについて、画面内で黒く塗りつぶしたり「ぼかし」や「モザイク」という加工（マスクされた被写体）を施した映像８０４を出力する。
【００４３】
映像中では点のように見えるタグの位置から、それを身につけている人物の領域を計算する方法としては、例えば映像を細かいメッシュ状に分割し、映像各部の動きベクトル（現在の画面と次の画面で、メッシュ状の各部がどこに移動したかというベクトル）を計算した上で、背景と異なる動きベクトルを持っている部分を一つの被写体領域としてとらえる方法や、タグのある部分（被写体の体の一部など）から領域を拡張していき、色相ヒストグラムなどが大幅に変化する部分までを被写体とする方法などがある。これらの方法はオブジェクト切り出し技術と呼ばれ、様々な方法が提案されているが、本発明はどのオブジェクト切り出し技術を用いるかということには依存しない。
【００４４】
また、オブジェクト切り出しを行わなくても、「タグの周辺・半径２０ピクセル」などのように、規定の面積の領域を自動的に修正するという方法でもよい。さらに、被写体が発する識別情報は「撮影禁止」というものに限定されない。例えば、被写体が氏名やＵＲＬなどを発信している場合には、写真内でそのタグが映っている場所、またはそのタグを身につけている被写体の付近に、その名前やＵＲＬなどを書き込むという映像加工を映像加工部７０６でおこなってもよい。
【００４５】
図１１は、本発明の映像情報処理装置の第４の実施例の構成を示す図である。図１１における入力部１００１、変換辞書１００３、点滅情報変換部１００４は、それぞれ図１の入力部１０１、変換辞書１０３、点滅情報変換部１０４と同じであるが、関連情報出力部１０６に代わりメッセージ出力部１００６を有する構成になっている。また、図１２は本発明の第４の実施例の手順を示すフローチャートである。
【００４６】
例えば、銀行のＡＴＭ機、またはＡＴＭ機が設置されている部屋に取り付けられたカメラが本発明の入力部１００１であり、「ＳＯＳ（救助要請）」信号を発する被写体がそのカメラの視野内に入ったとする。第１の実施例と同様に、入力部１００１から入力した映像に対し、点滅情報変換部１００４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ１２０１）。そして、変換辞書１００３をもとに、点滅パターンから識別情報に変換する（Ｓ１２０２）。
【００４７】
点滅情報変換部１００４から送られてくる識別情報がメッセージ出力を要求するものであった場合（Ｓ１２０３）、メッセージ出力部１００６はメッセージを出力する（Ｓ１２０４）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ１２０１の処理に戻る（Ｓ１２０５）。
【００４８】
図１３には、この例を示すための映像を示す。カメラが捕らえた映像１１０１には、ＡＴＭ機の近くに立つ人物１１０２が映っているが、その後ろには人物１１０２に脅威を与えている強盗１１０４が存在している。なお、強盗１１０４がカメラの捕らえた映像範囲内にいる必要はない。
【００４９】
人物１１０２は、自分が脅迫されていることを通報したいが、通報することによって自分に危害が加わることを避けるために、通報は強盗１１０４に気づかれずに行いたい。そこで、自分が身につけている点滅光源（タグ）１１０３からＳＯＳ信号を発信するように設定する。
【００５０】
このＳＯＳ信号は赤外線ＬＥＤの点滅によるため、強盗１１０４は目視では気づかれない。したがって、強盗１１０４に気づかれずに救助要請の意思表示を行うことができる。
【００５１】
光源１１０３が発するＳＯＳ信号は、識別信号として本発明の入力部１００１に入力され、点滅情報変換部１００４で復号されたＳＯＳ信号がメッセージ出力部１００６に送られる。メッセージ出力部１００６は、ＳＯＳ信号を受信したことを受けて、救助機関にその旨を伝達する。救助機関への伝達方法は、電話、インターネット、専用の通報回線など、様々であり、いかなる方法でもよい。また、ＳＯＳ信号のみではなく、撮影した映像を添えて救助機関に送信すれば、救助機関では現場の状況をより詳細に知ることができる。
【００５２】
また、第２の実施例で説明したように、映像中のどの被写体がＳＯＳ信号を発しているかを感知する場合には、この映像と位置情報を添えてＳＯＳ信号を救助機関に送信することにより、救助の対象者を、脅威の対象（例えば強盗や痴漢）に知られることなく特定することができる。
【００５３】
さらに、本発明の適用は緊急時に限定しない。ＡＴＭ機の例でいうならば、体の不自由な人が、自分の体が不自由であることを示す識別情報を発信するタグを身につけている場合、ＡＴＭ機の前に介助の必要なお客様が来たことを銀行のスタッフに通報することも可能になる。また、駅などの公共の場面では、体の不自由な人が改札機に差し掛かったときには自動的に最寄りの改札機を開放にしたり、駅員が介助に行くように通報することも可能である。本発明の特徴は、監視カメラがある環境においては、その監視カメラを本発明の映像情報処理装置に置きかえれば、新たに無線受信機を設置しなくても、発信された識別情報を受信することができることにある。
【００５４】
図１４は、本発明の映像情報処理方法または装置の第５の実施例の構成を示す図である。図１４における入力部１３０１、変換辞書１３０３、点滅情報変換部１３０４、位置検出部１３０９は、それぞれ図５の入力部４０１、変換辞書４０３、点滅情報変換部４０４と同じであるが、関連情報出力部４０６に代わり被写体検出部１３０６を有する構成になっている。
【００５５】
また、図１５は本発明の第５の実施例の手順を示すフローチャートである。この映像情報処理装置においては、カメラが撮影する映像範囲内に存在することが予定されている光源が撮影視野内に存在しない場合にはそれを撮影者に通知する。
【００５６】
第２の実施例と同様に、点滅情報変換部１３０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ１６０１）。そして、変換辞書１３０３をもとに、点滅パターンから識別情報に変換する（Ｓ１６０２）。
【００５７】
位置検出部１３０９は、点滅情報変換部１３０４が識別情報に変換した点滅パターンが、映像中のどの位置にある画素から発信されているかを計算し（Ｓ１６０３）、点滅パターンから変換された識別情報と位置情報を被写体検出部部１３０６に送る。被写体検出部１３０６では、予め登録された識別情報が読み取れたか判断する（Ｓ１６０４）。
【００５８】
Ｓ１６０４の処理で、登録された識別情報が読み取れなかった場合、被写体検出部は被写体がすべてフレーム内にいないことを出力する（Ｓ１６０５）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ１６０１の処理に戻る（Ｓ１６０６）。
【００５９】
例えば、本発明の映像情報処理機能を有するカメラを持って４人の友人とともに旅行するとする。友人４人が点滅光源である赤外線ＩＤタグ（赤外線で固有の識別情報を発信する装置）を身につけて行動し、その４つのＩＤタグの番号が既知である場合、その４番号をカメラにあらかじめ記憶させておくものとする。以下、図１６をもとに説明する。
【００６０】
図１６には被写体となるべき人物１４０２、１４０４、１４０６、１４０８が描かれている。各人物はそれぞれ赤外線ＩＤタグ１４０３、１４０５、１４０７、１４０９を身につけている。被写体検出部１３０６は、被写体としてこの４つの番号を記憶している。
【００６１】
ここで、写真を撮影しようとする際、撮影に先駆けて撮影視野内に４つのタグが映っているかどうかをチェックする。すなわち、撮影領域１４０１内の点滅情報を点滅情報変換部１３０４において復号した結果、図１６では「１４０３」「１４０５」「１４０７」だけが受信されたことが分かる。この例では赤外線タグが映像中のどの位置にいるかは関知しなくてよいので、位置検出部１３０９は、復号された識別情報つまり上記３つの番号だけを識別情報として出力する。位置を利用した例は後述する。
【００６２】
被写体検出部１３０６は、あらかじめ記憶されている４つの番号と比較し、撮影領域１４０１の中で３つの番号しか受信できなかったことを検出する。そこで、本発明の映像情報処理装置は、カメラのファインダー内の警告表示、または警告音や音声による警告メッセージ、あるいはバイブレーターなどを用いて、全員が撮影視野内にないことを撮影者に対して通知する。これにより、撮影者は同行した友人３人が必ず写真に映るようにすることが容易になる。
【００６３】
上記の説明では、本発明の映像情報処理装置が映像範囲内に存在することが予想されている光源の有無だけを判断したが、撮影視野内に警告領域を設け、その警告領域に光源がある場合に同様の警告表示または音声を提示することもできる。図１７では、外側の実線枠１５０１が撮影領域を示し、内側の点線枠１５０２と撮影領域との間を警告領域とした例である。
【００６４】
例えば、この警告領域に光源が映っている場合には「その光源をもつ被写体は、撮影した際に画面から切れる恐れがある」旨を警告することができる。上記の方法を逆に利用すれば、同行した友人４人が撮影視野内にある場合にそれを伝える表示または音声提示を行い、（４人全員を写真におさめるという）目的に対する準備が整ったことを利用者に伝えることもできる。
【００６５】
また、上記で説明した警告領域を領域Ｂ、それ以外の撮影視野の映像領域（点線枠１５０２の内側）を領域Ａと表現する場合、領域Ａから領域Ｂへと光源が移動した場合にその旨を利用者に警告することもでき、撮影視野外から領域Ｂに光源が入ってきた場合にその旨を利用者に通知することもできる。
【００６６】
さらに、変形例として、所定数の光源が撮影視野内にあるかどうかを検査し、所定の識別情報を発する光源が撮影視野内にある場合に、自動的に写真撮影を行うことも可能である。
【００６７】
また、逆に所定の光源が撮影視野内にあるかどうかを検査し、あらかじめ指定した識別情報を発する光源が撮影視野内にない場合に、自動的に写真撮影を行うことも可能である。登録された識別情報が撮影視野内にない場合に撮影を行いたい理由の例としては、写真撮影を嫌う人物が同行者のなかにある場合が上げられる。そのうち１人が写真撮影を嫌う場合、その人物が視野内にある場合には撮影を行わない。
【００６８】
また、カメラ自身が位置、方向、撮影範囲を自発的に変えることができる駆動部分を持っているものとすると、所定の光源が撮影視野から外れている、または外れようとしている場合、光源が撮影視野に入るように駆動部分に命令を発し、予定光源が撮影視野に入るように調整する。
【００６９】
例えば、第５の実施例で説明した友人３人と旅行に出かけ、セルフタイマーを用いて総勢５人の写真を取ろうとするものとする。この際、カメラは所定の光源（この場合４人が所持する４つの光源）が撮影視野内にない場合には、望遠をテレ（遠景）側に調整して、より広い範囲が撮影範囲に入るように修正したり、撮影方向を上下左右に駆動したりして、４光源のすべてが撮影視野内にあるようにする。これにより、セルフタイマーを用いた写真撮影でも、失敗無く撮影を行うことができる。
【００７０】
このような光学系の自動調整は、レンズの位置や方向を物理的に変えることで実現してもいいし、装置ではあらかじめ大きな映像範囲を撮影候補範囲として保持しており、撮影を行う際に、予定光源が含まれるように撮影対象範囲を選択してもよい。このような撮影視野調整が完了した際に、撮影を行うように利用者に促してもよいし、装置が自動的に撮影を行ってもよい。
【００７１】
また逆に、所定の光源が撮影範囲に含まれないようにカメラを調整することも可能である。
【００７２】
図１８は、点滅光源となる発信装置の構成例を示した図である。この発信装置は、識別情報に対応する点滅パターンを記憶した点滅パターン記憶部１８０と、点滅パターン記憶部に記憶されたパターンでを発光させるタイミングを生成するためのタイミング生成部１８２と、このタイミング生成部で生成されたタイミングをもとに、上記点滅パターンで発光する発光部１８４とを有する。
【００７３】
ここで、発信装置の形態は特に問わない。例えば、店や史跡の案内看板に取り付けてもよいし、人物に取り付けられるようにバッチのような形態でもよい。
【００７４】
また、本願発明の映像情報処理装置の実施例における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【００７５】
なお、本願発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００７６】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００７７】
さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００７８】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００７９】
なお、本願発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【００８０】
また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
【００８１】
尚、本発明の映像情報処理装置または発信装置は、上述の実施例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００８２】
【発明の効果】
以上、説明したように本発明の映像情報処理方法または装置によれば、タグが発信する識別情報を映像処理によって読み取り、映像を様々に作用させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【図１】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図２】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図３】本発明の一実施例である映像情報処理装置の変換辞書の一例を示す図である。
【図４】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図５】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図６】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図７】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図８】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図９】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図１０】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図１１】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図１２】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図１３】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図１４】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図１５】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図１６】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図１７】本発明の一実施例である映像情報処理装置の処理動作を制御する領域設定を説明する図である。
【図１８】本発明の一実施例である発信装置の構成を示す図である。
【符号の説明】
１０１、４０１、７０１、１００１、１３０１…入力部
１０３、４０３、７０３、１００３、１３０３…変換辞書
１０４、４０４、１００４、１３０４…点滅情報変換部
１０６、４０６…関連情報出力部
２０１、５０１、８０１、１１０１、１４０１…撮影領域
２０２、５０２、８０２、１１０３…点滅光源
２０３、５０３…識別情報
４０９、１３０９…位置検出部
７０６…映像加工部
８０３、１４０２、１４０４、１４０６、１４０８…被写体
８０４…処理後の映像
８０５…マスクされた被写体
１００６…メッセージ出力部
１１０２…脅迫されている人物
１１０４…脅迫している人物
１３０６…被写体検出部
１４０３、１４０５、１４０９…赤外線タグ（点滅光源）
１８０…点滅パターン記憶部
１８２…タイミング生成部
１８４…発光部
【発明の属する技術分野】
本発明は、被写体の識別情報をもとに映像を処理する映像情報処理装置に関する。
【０００２】
【従来の技術】
従来、赤外線やギガヘルツの周波数帯域を用いたワイアレス情報送受信方法が一般的に用いられており、テレビやビデオデッキ、無線ＬＡＮなどに広く応用されている。また、Bluetooth という近距離無線の規格も出来つつある。
【０００３】
一方、映像を印画紙上の化学反応で記録するのではなく、ＣＣＤ等の固体撮像素子が取り込んだ映像データを電子メモリ素子に記録するディジタルカメラも広く用いられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、業務や趣味として写真撮影を行う場合、その撮影枚数が多くなればなるほど後日の整理に手間がかかり、日数を経てしまうと映像の内容を確認するためには、その映像そのものを閲覧しなければ判断できないという問題がある。一方、１枚の映像中に興味ある被写体が複数ある場合、それぞれに注釈を加える方法が提案されている（特開平６−３４３１４６号公報）が、その作業にも多少の手間がかかる。
【０００５】
また、従来の監視カメラはカメラ映像を人間が目視で見張って救助の要否を判断しており、被写体の側から自発的に、かつ他人に知られずに救助を要請することは不可能であったために、通報すれば危害を加えるという脅迫を受けている被害者は、監視カメラの前にありながら加害者に知られずに通報することができなかった。
【０００６】
さらに、カメラによる写真撮影に不慣れな利用者は、複数の被写体を撮影範囲におさめるのに困難を感じることもある。また、写真撮影を行う際には、撮影と無関係な被写体の中に、撮影されることを好まないものが存在することもあり、プライバシーと関連して問題となる。
【０００７】
本発明は斯かる実情に鑑み、上記のような映像整理を容易に実現できるようなカメラを実現すること、および映像にその説明となる情報を多重化して記録するカメラを実現すること、また、周囲の人間に知られることなく被写体の意思を伝達する機能を持つカメラを実現すること、さらに、所望の被写体が確実に撮影範囲に入っていることを容易に確認できるカメラを実現することを目的とする。
【０００８】
【課題を解決するための手段】
本発明においては、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、この点滅情報変換手段によって変換された識別情報を、入力された前記映像とともに出力するための出力手段とを備えることを特徴とする。
【０００９】
これにより識別情報がＵＲＬの場合、後日、その写真内の被写体をコンピュータ画面内でクリックすることにより、被写体に応じたインターネット・ページを表示することができる「クリッカブル・イメージ（clickable image ）」を自動作成でき、撮影と別に映像に情報を付加する手間が省略される。
【００１０】
また、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、この点滅情報変換手段によって変換された識別情報を、入力された前記映像とともに出力するための出力手段とを備えることを特徴とする。
【００１１】
これにより、被写体が発する識別情報が「写真撮影を好まない」というものである場合には画面の一部または全部を修正する。これにより写真撮影を好まない被写体のプライバシーを守ることができる。撮影は許容するが、自分が映った写真を後日送付してほしい場合や、自分が映ったことによって課金を行いたい場合なども、本発明の映像情報処理装置を用いて実現できる。
【００１２】
さらに、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、この点滅情報変換手段によって変換された識別情報に応じて、あらかじめ設定されたメッセージを出力するためのメッセージ出力手段とを備えることを特徴とする。
【００１３】
これにより、「ＳＯＳ」を意味する識別情報を発する被写体が撮影範囲にある場合には、救助機関や警察などに自動的に通報する。これにより銀行のＡＴＭ（現金自動預出機）やコンビニエンス・ストア、市街地などに設置されている防犯カメラがＳＯＳ（救助要請）識別情報を読み取れば、発信源の脅威の原因（強盗や痴漢など）に察知されることなく救助機関に自動通報することができる。
【００１４】
さらに、映像を入力するための入力手段と、点滅光源による点滅パターンに対応する識別情報を記憶してなる記憶手段と、この記憶手段に記憶された識別情報をもとに、前記入力手段によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換するための点滅情報変換手段と、前記映像内での点滅光源の位置を検出するための位置検出手段と、検出すべき被写体を示す識別情報を記憶してなる被写体記憶手段と、前記点滅情報変換手段によって変換された識別情報であって、前記被写体記憶手段に記憶された識別情報を有する被写体の位置を、前記位置検出手段によって検出された点滅光源の位置をもとに検出する被写体検出手段とを備えることを特徴とする。
【００１５】
これにより、本発明の映像情報処理装置にあらかじめ撮影したい（したくない）被写体が発する識別情報を登録しておけば、撮影したい（したくない）被写体が撮影範囲に入っているか否かをカメラが感知し、撮影範囲に入っていない（入っている）場合には、そのことを撮影者に伝える。あるいは、撮影したい（したくない）被写体が撮影範囲に入ったときに（出たときに）自動的に撮影を行う。これにより写真撮影に不慣れな撮影者が写真を撮影する場合にも、目的の被写体を正しくフレーム内におさめた写真を簡単に撮影することができる。
【００１６】
また、被写体の識別情報をもとに映像を処理する映像処理装置に対し、被写体ごとの識別情報を発信するための発信装置であって、被写体の識別情報を示す点滅パターンを記憶してなる点滅パターン記憶手段と、この点滅パターン記憶手段に記憶された点滅パターンを所定のタイミングで発光するための発光手段とを有することを特徴とする。この発信機により、映像処理装置に対し識別情報を発信することができる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態を図示例と共に説明する。本発明の映像情報処理装置について、図面に即して説明する。なお、以下では便宜的にカメラと表現することもあるが、本発明の映像情報処理装置の形態は、必ずしも写真カメラと一体になったものに限定されない。例えば、カメラがパーソナル・コンピュータに接続されており、識別情報の読み取りなどの計算処理をパーソナル・コンピュータ側で行ってもよいし、カメラが撮影映像を無線または有線通信で遠隔地に送信する機能を持っており、映像を受信したパーソナル・コンピュータなどで識別情報の読み取りなどの計算処理を行ってもよい。
【００１８】
図１は本発明の第１の実施例の構成を示す図である。映像情報はカメラのＣＣＤ等の入力部１０１から入力され、処理用映像と表示・記録用映像に分けられる。この時点における処理用映像と表示・記録用映像の内容は同一のものである。
【００１９】
処理用映像は、点滅情報変換部１０４に送られる。点滅情報変換部１０４では、図２のフローチャートにあるように、数秒分の映像をもとに、点滅情報変換部１０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ３０１）。
【００２０】
なお、所定の規則とは、例えばテレビジョン受像機やビデオテーププレイヤー、あるいはエアコンといった家電製品を遠隔操作するための赤外線リモコンや、ノート型パーソナル・コンピュータ同士、あるいはノート型パーソナル・コンピュータとプリンターなどとの間を無線で情報交換を行うＩｒＤＡ（Infrared Data Association ）プロトコルでもいいし、それ以外の規則でもよい。
【００２１】
ここでは、点滅の有無を識別する方法を限定するものではないが、点滅を見つけるもっとも簡単な例としては、映像に含まれる全画素の輝度を合計し、数フレームにわたってその合計値の変化を観察するという方法がある。例えば、ある時点から３フレームの全画素の輝度の合計値が３９３２１６００であり、その次の３フレームの輝度の合計値は３９３２２１１２、さらに次の３フレームの輝度の合計値が３９３２１６００に戻るという場合、もしカメラアングルが変わらず、ズームもなく画面に動く物体がないような状況（例えば無人エリアの監視カメラ）であれば、画面の一部の画素が点滅していると推察される。
【００２２】
また、他の認識例としては、点滅画素を探索するウィンドウ（画面の一部）を限定し、そのエリア内で上述の技術と同様に点滅を判定してもよい。また、点滅画素が画面内を移動しているような場合には、そのエリア自身を点滅している物体の移動に追従させてもよい。この場合の追従方法としては、オプティカルフローを用いた前後の映像フレームでの部分マッチング方法などを用いるのが一般的である。
【００２３】
このようにして所定の規則に則した点滅を行う光源が見つかった場合、点滅情報変換部１０４は、変換辞書１０３をもとに、点滅パターンから識別情報に変換する（Ｓ３０２）。図３に変換辞書による記憶例を示すが、例えば点灯を１、消灯を０で表し、光源が０．１秒ごとに「１００１０１１０」という点滅パターンを持っていた場合には、「１５０」という数字を意味し、同様に「０１００１００００１１００１０１０１１０１１０００１１０１１０００１１０１１１１」という点滅パターンの場合には「Ｈｅｌｌｏ」という文字列を意味するなどである。
【００２４】
このようにして変換された識別情報は、表示・記録用映像とともに、あるいは別々に関連情報出力部１０６に送られ、表示・記録用映像に多重化される（Ｓ３０３）。ここで、多重化とは映像に関連付けて復元できる形で格納することである。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ３０１の処理に戻る（Ｓ３０４）。
【００２５】
図４をもとに、点滅パターンの検出と、識別情報と映像を多重化する例を説明する。ここでカメラで撮像した映像２０１の中には、点滅光源２０２が二箇所存在する。点滅パターンから識別情報を復号した結果、一方が「(T)Kendall Station, Cambridge 」という識別情報を、他方が「Food Court, Open Hours 8am-7pm」という識別情報を発信していることが分かったとする。どちらの光源がどちらの識別情報を発信しているかについては、ここでは特定しない。
【００２６】
識別情報と映像の多重化の例として音声を用いる方法がある。つまり、映像２０１を動画として記録し、その音声トラックに識別情報２０３を音声として記録する方法である。その他の例としては、映像のディジタルファイル中に識別情報２０３を含める方法がある。例えばＪＰＥＧ（Joint Photographic Coding Experts Group）をはじめとする静止画像、ＭＰＥＧ（Moving Picture Experts Group）をはじめとする動画像のディジタルデータ形式には、付加情報を記録するための領域を設けることができる。この付加情報領域に、識別情報を記録してもよい。また、映像は映像ファイルとして、識別情報はテキストファイルとして出力してもよい。このようにして識別情報を関連付けて出力された映像は、以下のように利用できる。
【００２７】
例えば、観光地において史跡を撮影した写真中に、上に示した所定の規則に則した点滅をする光源があり、点滅によって史跡の解説を行っていれば、後日、その写真を閲覧すると、識別情報として記録されていた史跡の解説文を表示させたり、音声で聴いたりすることができる。識別情報としてインターネット上の情報アクセスの場所を示すＵＲＬ（Uniform Resource Locator。インターネット上で情報源の所在地を示す英数字記号列）が用いられていた場合、撮影された写真をコンピュータ上で閲覧する際に、インターネット経由でより詳細な情報を得ることもできる。
【００２８】
また、撮影した映像および識別情報は必ずしも記録・蓄積しなくてもよい。小型カメラを身につけて生活するウェアラブル・コンピュータ・システムの場合、店の看板が発する「今から１５分間、牛乳３０％引き」という識別情報をカメラが受信すると、そのことを表示や音声で利用者（装着者）に提示するという例も考えられる。
【００２９】
以上のように関連情報出力部１０６から識別情報が多重化された映像データは出力され、記憶媒体（図示しない）に記録されたり、別の処理装置（図示しない）に送られたりする。
【００３０】
図５は本発明の映像情報処理装置の第２の実施例の構成を示す説明図である。図５における入力部４０１、変換辞書４０３、点滅情報変換部４０４、関連情報出力部４０６は、それぞれ図１の入力部１０１、変換辞書１０３、点滅情報変換部１０４、関連情報出力部１０６と同じである。本発明の第２の映像情報処理装置においては、本発明の第１の映像情報処理装置に加え位置検出部４０９を備えることを特徴とする。
【００３１】
図６は、この手順を示したフローチャートである。入力部４０１より入力された映像は、表示・記録用と点滅検査用、そして点滅位置観測用に分けられる。これら３つの映像の内容は同一である。第１の実施例と同様に、点滅情報変換部４０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ６０１）。そして、変換辞書４０３をもとに、点滅パターンから識別情報に変換する（Ｓ６０２）。
【００３２】
位置検出部４０９は、点滅情報変換部４０４が識別情報に変換した点滅パターンが、映像中のどの位置にある画素から発信されているかを計算し（Ｓ６０３）、点滅パターンから変換された識別情報と位置情報を関連情報出力部４０６に送る。関連情報出力部４０６では、第１の実施例と同様に映像に位置付きの識別情報を多重化して出力する（Ｓ６０４）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ６０１の処理に戻る（Ｓ６０５）。
【００３３】
なお、Ｓ６０３の映像中で点滅光源の位置を計算する方法の一例としては、本発明の第１の実施例に述べたように、オプティカルフローを利用したオブジェクト追跡手法が一般的であるが、本発明では位置計算の方法をこれに限定するものではない。
【００３４】
図７では、このようにして位置を特定して上で識別情報が多重化記録された場合の活用例を示している。映像５０１内に２箇所の点滅光源５０２が存在しており、入口ドアの上に取り付けられた点滅光源は「Food Court, Open Hours 8am-7pm」というパターンで点滅しており、脇の壁面に取り付けられた光源は「Kendall Station, Cambridge」という点滅パターンを発している。
【００３５】
ここでは、それぞれの点滅光源の位置情報を含んでいるので、それぞれの光源５０２に近い位置に「ふきだし」５０３として表示することができるようになっている。このような映像を利用する場合、第１の実施例に加えて以下のような効果がある。
【００３６】
例えば、観光地において史跡を撮影した写真中に、上で示した所定の規則に則した点滅をする光源があり、点滅によって史跡各部（寺社、碑、植物など）の解説を行っていれば、後日、その写真を閲覧する際に興味ある被写体を指示すると、識別情報として記録されていた史跡各部の解説文を表示させたり、音声で聴いたりすることができる。識別情報としてインターネット上の情報アクセスの場所を示すＵＲＬが用いられていた場合、撮影された写真をコンピュータ上で閲覧する際に、被写体ごとにインターネット経由でより詳細な情報を得ることもできる（クリッカブル・イメージ）。
【００３７】
また、撮影した映像および識別情報は必ずしも記録・蓄積しなくてもよい。小型カメラを身につけ、メガネ状のディスプレイを身につけて生活するウェアラブル・コンピュータ・システムの場合、カメラ視野にある店の看板が発する「今から１５分間、牛乳３０％引き」という識別情報をカメラが受信すると、ディスプレイ内においてどの店が牛乳の安売りをしているのかを直感的に理解できる方法で提示することができる。
【００３８】
図８は本発明の映像情報処理装置の第３の実施例の構成を示す説明図である。図８における入力部７０１、変換辞書７０３、点滅情報変換部７０４は、それぞれ図１の入力部１０１、変換辞書１０３、点滅情報変換部１０４と同じであるが、関連情報出力部１０６に代わり映像加工部７０６を有する構成になっている。図９は本発明の第３の実施例を説明するためのフローチャートである。
【００３９】
第１の実施例と同様に、入力部７０１から入力した映像に対し、点滅情報変換部４０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ９０１）。そして、変換辞書７０３をもとに、点滅パターンから識別情報に変換する（Ｓ９０２）。
【００４０】
点滅情報変換部７０４から送られてくる識別情報が映像加工を要求するものであった場合（Ｓ９０３）、映像加工部７０６は映像加工を施して出力する（Ｓ９０４）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ９０１の処理に戻る（Ｓ９０５）。
【００４１】
図１０では、このようにして位置を特定して上で識別情報が多重化記録された場合の活用例を示している。例えば映像８０１中の被写体８０３に「撮影禁止」という識別情報を発信するタグ８０２がある場合、映像加工部７０６は映像全面を黒く塗りつぶしたり、撮影禁止であることを示す文字や記号を映像中に書き加えたりして出力する。
【００４２】
本発明の第２の映像情報処理装置のように、映像中でどのタグ（点滅光源）がどの識別情報を発信しているかを知る手段がある場合には、「私を撮影しないで」という識別情報を発信している被写体８０３だけについて、画面内で黒く塗りつぶしたり「ぼかし」や「モザイク」という加工（マスクされた被写体）を施した映像８０４を出力する。
【００４３】
映像中では点のように見えるタグの位置から、それを身につけている人物の領域を計算する方法としては、例えば映像を細かいメッシュ状に分割し、映像各部の動きベクトル（現在の画面と次の画面で、メッシュ状の各部がどこに移動したかというベクトル）を計算した上で、背景と異なる動きベクトルを持っている部分を一つの被写体領域としてとらえる方法や、タグのある部分（被写体の体の一部など）から領域を拡張していき、色相ヒストグラムなどが大幅に変化する部分までを被写体とする方法などがある。これらの方法はオブジェクト切り出し技術と呼ばれ、様々な方法が提案されているが、本発明はどのオブジェクト切り出し技術を用いるかということには依存しない。
【００４４】
また、オブジェクト切り出しを行わなくても、「タグの周辺・半径２０ピクセル」などのように、規定の面積の領域を自動的に修正するという方法でもよい。さらに、被写体が発する識別情報は「撮影禁止」というものに限定されない。例えば、被写体が氏名やＵＲＬなどを発信している場合には、写真内でそのタグが映っている場所、またはそのタグを身につけている被写体の付近に、その名前やＵＲＬなどを書き込むという映像加工を映像加工部７０６でおこなってもよい。
【００４５】
図１１は、本発明の映像情報処理装置の第４の実施例の構成を示す図である。図１１における入力部１００１、変換辞書１００３、点滅情報変換部１００４は、それぞれ図１の入力部１０１、変換辞書１０３、点滅情報変換部１０４と同じであるが、関連情報出力部１０６に代わりメッセージ出力部１００６を有する構成になっている。また、図１２は本発明の第４の実施例の手順を示すフローチャートである。
【００４６】
例えば、銀行のＡＴＭ機、またはＡＴＭ機が設置されている部屋に取り付けられたカメラが本発明の入力部１００１であり、「ＳＯＳ（救助要請）」信号を発する被写体がそのカメラの視野内に入ったとする。第１の実施例と同様に、入力部１００１から入力した映像に対し、点滅情報変換部１００４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ１２０１）。そして、変換辞書１００３をもとに、点滅パターンから識別情報に変換する（Ｓ１２０２）。
【００４７】
点滅情報変換部１００４から送られてくる識別情報がメッセージ出力を要求するものであった場合（Ｓ１２０３）、メッセージ出力部１００６はメッセージを出力する（Ｓ１２０４）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ１２０１の処理に戻る（Ｓ１２０５）。
【００４８】
図１３には、この例を示すための映像を示す。カメラが捕らえた映像１１０１には、ＡＴＭ機の近くに立つ人物１１０２が映っているが、その後ろには人物１１０２に脅威を与えている強盗１１０４が存在している。なお、強盗１１０４がカメラの捕らえた映像範囲内にいる必要はない。
【００４９】
人物１１０２は、自分が脅迫されていることを通報したいが、通報することによって自分に危害が加わることを避けるために、通報は強盗１１０４に気づかれずに行いたい。そこで、自分が身につけている点滅光源（タグ）１１０３からＳＯＳ信号を発信するように設定する。
【００５０】
このＳＯＳ信号は赤外線ＬＥＤの点滅によるため、強盗１１０４は目視では気づかれない。したがって、強盗１１０４に気づかれずに救助要請の意思表示を行うことができる。
【００５１】
光源１１０３が発するＳＯＳ信号は、識別信号として本発明の入力部１００１に入力され、点滅情報変換部１００４で復号されたＳＯＳ信号がメッセージ出力部１００６に送られる。メッセージ出力部１００６は、ＳＯＳ信号を受信したことを受けて、救助機関にその旨を伝達する。救助機関への伝達方法は、電話、インターネット、専用の通報回線など、様々であり、いかなる方法でもよい。また、ＳＯＳ信号のみではなく、撮影した映像を添えて救助機関に送信すれば、救助機関では現場の状況をより詳細に知ることができる。
【００５２】
また、第２の実施例で説明したように、映像中のどの被写体がＳＯＳ信号を発しているかを感知する場合には、この映像と位置情報を添えてＳＯＳ信号を救助機関に送信することにより、救助の対象者を、脅威の対象（例えば強盗や痴漢）に知られることなく特定することができる。
【００５３】
さらに、本発明の適用は緊急時に限定しない。ＡＴＭ機の例でいうならば、体の不自由な人が、自分の体が不自由であることを示す識別情報を発信するタグを身につけている場合、ＡＴＭ機の前に介助の必要なお客様が来たことを銀行のスタッフに通報することも可能になる。また、駅などの公共の場面では、体の不自由な人が改札機に差し掛かったときには自動的に最寄りの改札機を開放にしたり、駅員が介助に行くように通報することも可能である。本発明の特徴は、監視カメラがある環境においては、その監視カメラを本発明の映像情報処理装置に置きかえれば、新たに無線受信機を設置しなくても、発信された識別情報を受信することができることにある。
【００５４】
図１４は、本発明の映像情報処理方法または装置の第５の実施例の構成を示す図である。図１４における入力部１３０１、変換辞書１３０３、点滅情報変換部１３０４、位置検出部１３０９は、それぞれ図５の入力部４０１、変換辞書４０３、点滅情報変換部４０４と同じであるが、関連情報出力部４０６に代わり被写体検出部１３０６を有する構成になっている。
【００５５】
また、図１５は本発明の第５の実施例の手順を示すフローチャートである。この映像情報処理装置においては、カメラが撮影する映像範囲内に存在することが予定されている光源が撮影視野内に存在しない場合にはそれを撮影者に通知する。
【００５６】
第２の実施例と同様に、点滅情報変換部１３０４は映像中に所定の規則に則した点滅を行う光源があるかどうかを判定する（Ｓ１６０１）。そして、変換辞書１３０３をもとに、点滅パターンから識別情報に変換する（Ｓ１６０２）。
【００５７】
位置検出部１３０９は、点滅情報変換部１３０４が識別情報に変換した点滅パターンが、映像中のどの位置にある画素から発信されているかを計算し（Ｓ１６０３）、点滅パターンから変換された識別情報と位置情報を被写体検出部部１３０６に送る。被写体検出部１３０６では、予め登録された識別情報が読み取れたか判断する（Ｓ１６０４）。
【００５８】
Ｓ１６０４の処理で、登録された識別情報が読み取れなかった場合、被写体検出部は被写体がすべてフレーム内にいないことを出力する（Ｓ１６０５）。処理すべき映像が終わると終了し、処理すべき映像があると再度、Ｓ１６０１の処理に戻る（Ｓ１６０６）。
【００５９】
例えば、本発明の映像情報処理機能を有するカメラを持って４人の友人とともに旅行するとする。友人４人が点滅光源である赤外線ＩＤタグ（赤外線で固有の識別情報を発信する装置）を身につけて行動し、その４つのＩＤタグの番号が既知である場合、その４番号をカメラにあらかじめ記憶させておくものとする。以下、図１６をもとに説明する。
【００６０】
図１６には被写体となるべき人物１４０２、１４０４、１４０６、１４０８が描かれている。各人物はそれぞれ赤外線ＩＤタグ１４０３、１４０５、１４０７、１４０９を身につけている。被写体検出部１３０６は、被写体としてこの４つの番号を記憶している。
【００６１】
ここで、写真を撮影しようとする際、撮影に先駆けて撮影視野内に４つのタグが映っているかどうかをチェックする。すなわち、撮影領域１４０１内の点滅情報を点滅情報変換部１３０４において復号した結果、図１６では「１４０３」「１４０５」「１４０７」だけが受信されたことが分かる。この例では赤外線タグが映像中のどの位置にいるかは関知しなくてよいので、位置検出部１３０９は、復号された識別情報つまり上記３つの番号だけを識別情報として出力する。位置を利用した例は後述する。
【００６２】
被写体検出部１３０６は、あらかじめ記憶されている４つの番号と比較し、撮影領域１４０１の中で３つの番号しか受信できなかったことを検出する。そこで、本発明の映像情報処理装置は、カメラのファインダー内の警告表示、または警告音や音声による警告メッセージ、あるいはバイブレーターなどを用いて、全員が撮影視野内にないことを撮影者に対して通知する。これにより、撮影者は同行した友人３人が必ず写真に映るようにすることが容易になる。
【００６３】
上記の説明では、本発明の映像情報処理装置が映像範囲内に存在することが予想されている光源の有無だけを判断したが、撮影視野内に警告領域を設け、その警告領域に光源がある場合に同様の警告表示または音声を提示することもできる。図１７では、外側の実線枠１５０１が撮影領域を示し、内側の点線枠１５０２と撮影領域との間を警告領域とした例である。
【００６４】
例えば、この警告領域に光源が映っている場合には「その光源をもつ被写体は、撮影した際に画面から切れる恐れがある」旨を警告することができる。上記の方法を逆に利用すれば、同行した友人４人が撮影視野内にある場合にそれを伝える表示または音声提示を行い、（４人全員を写真におさめるという）目的に対する準備が整ったことを利用者に伝えることもできる。
【００６５】
また、上記で説明した警告領域を領域Ｂ、それ以外の撮影視野の映像領域（点線枠１５０２の内側）を領域Ａと表現する場合、領域Ａから領域Ｂへと光源が移動した場合にその旨を利用者に警告することもでき、撮影視野外から領域Ｂに光源が入ってきた場合にその旨を利用者に通知することもできる。
【００６６】
さらに、変形例として、所定数の光源が撮影視野内にあるかどうかを検査し、所定の識別情報を発する光源が撮影視野内にある場合に、自動的に写真撮影を行うことも可能である。
【００６７】
また、逆に所定の光源が撮影視野内にあるかどうかを検査し、あらかじめ指定した識別情報を発する光源が撮影視野内にない場合に、自動的に写真撮影を行うことも可能である。登録された識別情報が撮影視野内にない場合に撮影を行いたい理由の例としては、写真撮影を嫌う人物が同行者のなかにある場合が上げられる。そのうち１人が写真撮影を嫌う場合、その人物が視野内にある場合には撮影を行わない。
【００６８】
また、カメラ自身が位置、方向、撮影範囲を自発的に変えることができる駆動部分を持っているものとすると、所定の光源が撮影視野から外れている、または外れようとしている場合、光源が撮影視野に入るように駆動部分に命令を発し、予定光源が撮影視野に入るように調整する。
【００６９】
例えば、第５の実施例で説明した友人３人と旅行に出かけ、セルフタイマーを用いて総勢５人の写真を取ろうとするものとする。この際、カメラは所定の光源（この場合４人が所持する４つの光源）が撮影視野内にない場合には、望遠をテレ（遠景）側に調整して、より広い範囲が撮影範囲に入るように修正したり、撮影方向を上下左右に駆動したりして、４光源のすべてが撮影視野内にあるようにする。これにより、セルフタイマーを用いた写真撮影でも、失敗無く撮影を行うことができる。
【００７０】
このような光学系の自動調整は、レンズの位置や方向を物理的に変えることで実現してもいいし、装置ではあらかじめ大きな映像範囲を撮影候補範囲として保持しており、撮影を行う際に、予定光源が含まれるように撮影対象範囲を選択してもよい。このような撮影視野調整が完了した際に、撮影を行うように利用者に促してもよいし、装置が自動的に撮影を行ってもよい。
【００７１】
また逆に、所定の光源が撮影範囲に含まれないようにカメラを調整することも可能である。
【００７２】
図１８は、点滅光源となる発信装置の構成例を示した図である。この発信装置は、識別情報に対応する点滅パターンを記憶した点滅パターン記憶部１８０と、点滅パターン記憶部に記憶されたパターンでを発光させるタイミングを生成するためのタイミング生成部１８２と、このタイミング生成部で生成されたタイミングをもとに、上記点滅パターンで発光する発光部１８４とを有する。
【００７３】
ここで、発信装置の形態は特に問わない。例えば、店や史跡の案内看板に取り付けてもよいし、人物に取り付けられるようにバッチのような形態でもよい。
【００７４】
また、本願発明の映像情報処理装置の実施例における処理をコンピュータで実行可能なプログラムで実現し、このプログラムをコンピュータで読み取り可能な記憶媒体として実現することも可能である。
【００７５】
なお、本願発明における記憶媒体としては、磁気ディスク、フロッピーディスク、ハードディスク、光ディスク（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＤＶＤ等）、光磁気ディスク（ＭＯ等）、半導体メモリ等、プログラムを記憶でき、かつコンピュータが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。
【００７６】
また、記憶媒体からコンピュータにインストールされたプログラムの指示に基づきコンピュータ上で稼動しているＯＳ（オペレーションシステム）や、データベース管理ソフト、ネットワーク等のＭＷ（ミドルウェア）等が本実施形態を実現するための各処理の一部を実行してもよい。
【００７７】
さらに、本願発明における記憶媒体は、コンピュータと独立した媒体に限らず、ＬＡＮやインターネット等により伝送されたプログラムをダウンロードして記憶または一時記憶した記憶媒体も含まれる。
【００７８】
また、記憶媒体は１つに限らず、複数の媒体から本実施形態における処理が実行される場合も、本発明における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。
【００７９】
なお、本願発明におけるコンピュータは、記憶媒体に記憶されたプログラムに基づき、本実施形態における各処理を実行するものであって、パソコン等の１つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。
【００８０】
また、本願発明におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって本願発明の機能を実現することが可能な機器、装置を総称している。
【００８１】
尚、本発明の映像情報処理装置または発信装置は、上述の実施例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【００８２】
【発明の効果】
以上、説明したように本発明の映像情報処理方法または装置によれば、タグが発信する識別情報を映像処理によって読み取り、映像を様々に作用させることができるという優れた効果を奏し得る。
【図面の簡単な説明】
【図１】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図２】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図３】本発明の一実施例である映像情報処理装置の変換辞書の一例を示す図である。
【図４】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図５】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図６】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図７】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図８】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図９】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図１０】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図１１】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図１２】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図１３】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図１４】本発明の一実施例である映像情報処理装置の構成を示す図である。
【図１５】本発明の一実施例である映像情報処理装置の動作の流れを示すフローチャートを示す図である。
【図１６】本発明の一実施例である映像情報処理装置の出力情報の一例を示す図である。
【図１７】本発明の一実施例である映像情報処理装置の処理動作を制御する領域設定を説明する図である。
【図１８】本発明の一実施例である発信装置の構成を示す図である。
【符号の説明】
１０１、４０１、７０１、１００１、１３０１…入力部
１０３、４０３、７０３、１００３、１３０３…変換辞書
１０４、４０４、１００４、１３０４…点滅情報変換部
１０６、４０６…関連情報出力部
２０１、５０１、８０１、１１０１、１４０１…撮影領域
２０２、５０２、８０２、１１０３…点滅光源
２０３、５０３…識別情報
４０９、１３０９…位置検出部
７０６…映像加工部
８０３、１４０２、１４０４、１４０６、１４０８…被写体
８０４…処理後の映像
８０５…マスクされた被写体
１００６…メッセージ出力部
１１０２…脅迫されている人物
１１０４…脅迫している人物
１３０６…被写体検出部
１４０３、１４０５、１４０９…赤外線タグ（点滅光源）
１８０…点滅パターン記憶部
１８２…タイミング生成部
１８４…発光部
Claims (4)
- 映像を入力する入力部と、
点滅光源による点滅パターンに対応する識別情報を記憶する記憶部と、
前記記憶部に記憶された識別情報をもとに、前記入力部によって入力された映像内で点滅する光源の点滅パターンに対応する識別情報に変換する点滅情報変換部と、
入力された前記映像内での点滅光源の位置を検出する位置検出部と、
入力された前記映像を符号化して符号化データを生成する画像符号化部と、
前記点滅情報変換部によって変換された識別情報、および、前記位置検出部によって検出された点滅光源の位置を用いて、クリッカブル・イメージにおける指示領域および当該指示領域に対応付けられた識別情報を含むクリッカブル・イメージのデータを求め、前記クリッカブル・イメージのデータを前記符号化データに多重化して出力する出力部と、
を備える映像情報処理装置。 - 前記符号化部は、静止画像の符号化データまたは動画像の符号化データを生成する、
ことを特徴とする請求項１に記載の映像情報処理装置 - 前記出力部によって多重化される前記識別情報は、テキストデータ、音声データ、および、ＵＲＬのうちのいずれかを含む、
ことを特徴とする請求項１または請求項２に記載の映像情報処理装置 - 前記クリッカブル・イメージのデータは、
前記位置検出部によって検出された点滅光源の位置を用いて求められた、前記クリッカブル・イメージの閲覧者が指示すべき位置または領域の情報と、
前記閲覧者が前記指示すべき位置を指示した場合に提示される情報である、前記点滅情報変換部によって変換された識別情報を含む、
ことを特徴とする請求項１から請求項３までのいずれか一項に記載の映像情報処理装置
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000139253A JP3678404B2 (ja) | 2000-05-12 | 2000-05-12 | 映像情報処理装置 |
| US09/852,086 US6853750B2 (en) | 2000-05-12 | 2001-05-10 | Video information processing apparatus and transmitter for transmitting information to the same |
| US10/909,341 US6993188B2 (en) | 2000-05-12 | 2004-08-03 | Video information processing apparatus and transmitter for transmitting information to the same |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000139253A JP3678404B2 (ja) | 2000-05-12 | 2000-05-12 | 映像情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001320702A JP2001320702A (ja) | 2001-11-16 |
| JP3678404B2 true JP3678404B2 (ja) | 2005-08-03 |
Family
ID=18646735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000139253A Expired - Fee Related JP3678404B2 (ja) | 2000-05-12 | 2000-05-12 | 映像情報処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US6853750B2 (ja) |
| JP (1) | JP3678404B2 (ja) |
Families Citing this family (53)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7680324B2 (en) | 2000-11-06 | 2010-03-16 | Evryx Technologies, Inc. | Use of image-derived information as search criteria for internet and other search engines |
| US7565008B2 (en) | 2000-11-06 | 2009-07-21 | Evryx Technologies, Inc. | Data capture and identification system and process |
| US7899243B2 (en) | 2000-11-06 | 2011-03-01 | Evryx Technologies, Inc. | Image capture and identification system and process |
| US8224078B2 (en) | 2000-11-06 | 2012-07-17 | Nant Holdings Ip, Llc | Image capture and identification system and process |
| US9310892B2 (en) | 2000-11-06 | 2016-04-12 | Nant Holdings Ip, Llc | Object information derived from object images |
| AU2003302450A1 (en) * | 2002-11-25 | 2004-06-18 | Nippon Telegraph And Telephone Corporation | Real world object recognition method and device, and attached device |
| JP4058352B2 (ja) * | 2003-01-07 | 2008-03-05 | キヤノン株式会社 | 撮像装置及び撮像制御方法 |
| TW200500965A (en) * | 2003-06-17 | 2005-01-01 | Sin Etke Technology Co Ltd | Personal carry-on rescue system |
| JP4345424B2 (ja) * | 2003-10-01 | 2009-10-14 | 株式会社ニコン | カメラシステム |
| WO2005050975A1 (en) | 2003-11-19 | 2005-06-02 | Matsushita Electric Industrial Co.,Ltd. | Digital camera system with means for restricting image acquisition |
| JP4509619B2 (ja) * | 2004-03-24 | 2010-07-21 | 株式会社日立製作所 | 映像処理装置の動作プログラム |
| US8077980B2 (en) | 2004-05-18 | 2011-12-13 | Panasonic Corporation | Image processing apparatus |
| CN100555914C (zh) * | 2004-05-31 | 2009-10-28 | 卡西欧计算机株式会社 | 信息接收装置、信息传输系统以及信息接收方法 |
| KR100585604B1 (ko) * | 2004-08-26 | 2006-06-07 | 삼성테크윈 주식회사 | 디지털 촬영 장치의 제어 방법 및 이 방법을 채용한디지털 촬영 장치 |
| US7004387B1 (en) * | 2004-10-15 | 2006-02-28 | Kaimikaua Charles M | System and method for preventing theft at automatic teller machines |
| JP5002131B2 (ja) * | 2005-04-05 | 2012-08-15 | キヤノン株式会社 | 監視用撮像装置及びその制御方法 |
| EP1886486A4 (en) * | 2005-05-16 | 2010-10-13 | Human Monitoring Ltd | MONITORING PROCEDURES AND EQUIPMENT |
| JP5032798B2 (ja) * | 2006-03-24 | 2012-09-26 | 富士フイルム株式会社 | 情報提供装置、情報提供システムおよび情報提供方法 |
| JP4855130B2 (ja) * | 2006-04-27 | 2012-01-18 | 京セラ株式会社 | 情報処理装置およびデータ記録保存方法 |
| JP5106903B2 (ja) * | 2007-03-30 | 2012-12-26 | 株式会社東芝 | 移動体監視システム |
| JP5397030B2 (ja) * | 2009-06-15 | 2014-01-22 | カシオ計算機株式会社 | 動画記録装置及びプログラム |
| WO2011154949A2 (en) * | 2010-06-10 | 2011-12-15 | Audhumbla Ltd. | Optical tracking system and method for herd management therewith |
| US20150106947A1 (en) * | 2013-10-10 | 2015-04-16 | Elwha Llc | Methods, systems, and devices for handling image data from captured images |
| US10346624B2 (en) | 2013-10-10 | 2019-07-09 | Elwha Llc | Methods, systems, and devices for obscuring entities depicted in captured images |
| WO2015054638A1 (en) * | 2013-10-10 | 2015-04-16 | Elwha Llc | Methods, systems, and devices for handling image data from captured images |
| US10013564B2 (en) | 2013-10-10 | 2018-07-03 | Elwha Llc | Methods, systems, and devices for handling image capture devices and captured images |
| US20150104004A1 (en) | 2013-10-10 | 2015-04-16 | Elwha Llc | Methods, systems, and devices for delivering image data from captured images to devices |
| US10102543B2 (en) * | 2013-10-10 | 2018-10-16 | Elwha Llc | Methods, systems, and devices for handling inserted data into captured images |
| US10289863B2 (en) | 2013-10-10 | 2019-05-14 | Elwha Llc | Devices, methods, and systems for managing representations of entities through use of privacy beacons |
| US20150106628A1 (en) * | 2013-10-10 | 2015-04-16 | Elwha Llc | Devices, methods, and systems for analyzing captured image data and privacy data |
| US9799036B2 (en) | 2013-10-10 | 2017-10-24 | Elwha Llc | Devices, methods, and systems for managing representations of entities through use of privacy indicators |
| JP6462990B2 (ja) * | 2014-03-07 | 2019-01-30 | キヤノン株式会社 | 画像処理装置およびその方法 |
| US9613448B1 (en) * | 2014-03-14 | 2017-04-04 | Google Inc. | Augmented display of information in a device view of a display screen |
| JP6331571B2 (ja) * | 2014-03-28 | 2018-05-30 | 日本電気株式会社 | 情報通知装置及び情報通知方法、情報通知システム、並びにコンピュータ・プログラム |
| US9679194B2 (en) * | 2014-07-17 | 2017-06-13 | At&T Intellectual Property I, L.P. | Automated obscurity for pervasive imaging |
| JP6690140B2 (ja) * | 2015-06-24 | 2020-04-28 | カシオ計算機株式会社 | 撮影装置、撮影方法及びプログラム |
| WO2018078607A1 (en) * | 2016-10-31 | 2018-05-03 | Wildhaber Fabien | A method and apparatus for detection of light-modulated signals in a video stream |
| US10545092B2 (en) * | 2016-11-07 | 2020-01-28 | Alarm.Com Incorporated | Automated optical device monitoring |
| CN106649593B (zh) * | 2016-11-14 | 2020-09-11 | 深圳市元征科技股份有限公司 | 一种通信数据获取方法及其设备 |
| JP6508730B2 (ja) * | 2016-12-16 | 2019-05-08 | Ｎｅｃプラットフォームズ株式会社 | 発光マーカ装置、マーカ検出装置、伝送システム、マーカ発光方法、マーカ検出方法、及びプログラム |
| DK201870364A1 (en) | 2018-05-07 | 2019-12-03 | Apple Inc. | MULTI-PARTICIPANT LIVE COMMUNICATION USER INTERFACE |
| CN109034230B (zh) * | 2018-07-17 | 2021-03-30 | 厦门大学 | 一种基于深度学习的单幅图像相机溯源方法 |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11082249B2 (en) * | 2019-04-02 | 2021-08-03 | Google Llc | Location determination for device control and configuration |
| US11079913B1 (en) | 2020-05-11 | 2021-08-03 | Apple Inc. | User interface for status indicators |
| DE102020211069A1 (de) | 2020-09-02 | 2021-11-11 | Continental Automotive Gmbh | Anordnung und Verfahren zum Betreiben eines Mobilitätsdienstes |
| US11671697B2 (en) | 2021-01-31 | 2023-06-06 | Apple Inc. | User interfaces for wide angle video conference |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US20220368548A1 (en) | 2021-05-15 | 2022-11-17 | Apple Inc. | Shared-content session user interfaces |
| US11893214B2 (en) | 2021-05-15 | 2024-02-06 | Apple Inc. | Real-time communication user interface |
| US11907605B2 (en) | 2021-05-15 | 2024-02-20 | Apple Inc. | Shared-content session user interfaces |
| US11770600B2 (en) | 2021-09-24 | 2023-09-26 | Apple Inc. | Wide angle video conference |
| CN116612474B (zh) * | 2023-07-20 | 2023-11-03 | 深圳思谋信息科技有限公司 | 对象检测方法、装置、计算机设备及计算机可读存储介质 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5036385A (en) * | 1986-03-07 | 1991-07-30 | Dimension Technologies, Inc. | Autostereoscopic display with multiple sets of blinking illuminating lines and light valve |
| US5611038A (en) * | 1991-04-17 | 1997-03-11 | Shaw; Venson M. | Audio/video transceiver provided with a device for reconfiguration of incompatibly received or transmitted video and audio information |
| JPH08234827A (ja) | 1995-03-01 | 1996-09-13 | Fuji Facom Corp | 動作解析支援システム |
| EP0813040A3 (en) | 1996-06-14 | 1999-05-26 | Xerox Corporation | Precision spatial mapping with combined video and infrared signals |
| US5793630A (en) * | 1996-06-14 | 1998-08-11 | Xerox Corporation | High precision spatially defined data transfer system |
| TW548572B (en) * | 1998-06-30 | 2003-08-21 | Sony Corp | Image processing apparatus, image processing method and storage medium |
| JP3994558B2 (ja) | 1998-12-08 | 2007-10-24 | 三菱電機株式会社 | 監視警戒装置 |
| JP2001177819A (ja) | 1999-12-15 | 2001-06-29 | Shimizu Corp | カメラ視野内の対象物特定方法 |
-
2000
- 2000-05-12 JP JP2000139253A patent/JP3678404B2/ja not_active Expired - Fee Related
-
2001
- 2001-05-10 US US09/852,086 patent/US6853750B2/en not_active Expired - Fee Related
-
2004
- 2004-08-03 US US10/909,341 patent/US6993188B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6853750B2 (en) | 2005-02-08 |
| JP2001320702A (ja) | 2001-11-16 |
| US20050008226A1 (en) | 2005-01-13 |
| US6993188B2 (en) | 2006-01-31 |
| US20010041007A1 (en) | 2001-11-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3678404B2 (ja) | 映像情報処理装置 | |
| CN102906810B (zh) | 支持视觉受损的个体的扩增的现实全景 | |
| US7649551B2 (en) | Electronic camera system, photographing ordering device and photographing system | |
| JP5150067B2 (ja) | 監視システム、監視装置及び監視方法 | |
| US9438806B2 (en) | Photographing apparatus and photographing method for displaying combined avatar and map information related to a subject | |
| US7423272B2 (en) | Monitoring apparatus | |
| EP2119233B1 (en) | Mobile video conference terminal with face recognition | |
| US20100020229A1 (en) | Wearable personal video/audio device method and system | |
| JP2004356683A (ja) | 画像管理システム | |
| JP2005045398A (ja) | 撮影支援方法、撮影支援装置及び撮影装置 | |
| KR20050094041A (ko) | 화상들에 대한 메타데이터 부가 | |
| CN112040115A (zh) | 图像处理设备及其控制方法和存储介质 | |
| JP2007158421A (ja) | 監視カメラシステム及び顔画像追跡記録方法 | |
| JP4440926B2 (ja) | デジタルカメラシステム | |
| JP7059576B2 (ja) | 自動撮影システム及び自動撮影方法 | |
| KR20100035385A (ko) | 디지털 촬영 장치를 이용한 영상 감시 방법 및 장치 | |
| JP5268671B2 (ja) | 画像記録装置 | |
| JP2004179919A (ja) | 画像仲介システム | |
| JP4765280B2 (ja) | 撮像装置、被写体ｉｄ付加方法及びプログラム | |
| KR101269576B1 (ko) | Ｒｆｉｄ 통신을 이용한 방범단말기 및 이를 이용한 방범시스템 | |
| JP4934871B2 (ja) | 撮影支援システム | |
| JP2003264821A (ja) | モニターシステム | |
| JP2009111571A (ja) | 撮像装置、画像インデックス付与方法、画像インデックス付与システム、情報処理装置 | |
| US20030210904A1 (en) | Information acquisition system, information acquisition method, and image taking device | |
| KR20150114589A (ko) | 피사체 재구성을 위한 장치 및 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050121 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050329 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20050414 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050506 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050509 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090520 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100520 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110520 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |