JP6003135B2 - 画像処理装置、画像処理方法及び撮像装置 - Google Patents

Description

本発明は、全天球（全方位）画像や３６０度画像を処理する画像処理装置及び画像処理方法、並びに撮像装置に関する。

従来から、全天球（全方位）を撮影する全天球撮像装置として様々なものが知られている。この全天球撮像装置によれば、ほぼ死角なく全天球（全方位）を撮影することが可能である。

一方、近年、撮像装置で撮影した画像を、例えばインターネット上で任意の不特定多数の人に公開することが広く行われるようになってきた。この場合、個人情報の秘密保護等の観点から、撮影者を公開したくないことがある。

しかしながら、全天球撮像装置では、ほぼ死角がないため、撮影者が写りたくない場合にも、撮影した全天球（全方位）画像の中には撮影者が写り込まれてしまう。このような全天球画像をインターネット上で公開した場合、インターネットを使用する不特定多数の人に、該画像の撮影者を特定されてしまい、撮影者が意図しないにもかかわらず、個人情報が流出する問題が生じる。

これに対し、例えば、特許文献１には、撮影者が持ち上げ可能な脚体の上部に全方位撮像系を取り付けて、撮影者を写り込まないで３６０度全方位撮影を可能にした全方位撮像装置が開示されている。しかし、これは、全方位と云っても周囲３６０度が撮影されるにすぎず、上方向や下方向は撮影されない。すなわち、下方向が死角となることを利用して、撮影者が写らないようにしている。したがって、上下方向も含む全天球を撮影することが可能な全天球撮像装置において、撮影者が写りたくない場合にも、撮影者が画像中に写り込まれる問題を解決できない。

また、例えば特許文献２では、発光素子を内蔵したセンサを使用して、被写体上の撮影されたくない場所を特定パターンで照らし、撮像装置で撮影された該被写体の撮像画像中の特定パターンを含む領域にモザイク等を掛けることで、撮影されたくない領域を隠した画像を作成する技術が開示されている。しかし、これは、発光素子を内蔵したセンサを必要とする問題がある。

また、例えば、特許文献３には、撮影された画像を公開する際に肖像権等の侵害を防止するために、被写体を撮影して取得した画像から顔等の特定の対象物を検出し、該対象物が有効対象物か無効対象物か判断して、無効対象物に対してモザイク等をかける技術が開示されている。しかしながら、これには、全天球画像の中に写り込まれている撮影者を特定して、該撮影者の画像に対してモザイク等を掛けて識別不能とすることは考慮されていない。

本発明は、全天球（全方位）や３６０度のような撮影画像には撮影者本人が写り込まれてしまうことにより、このような撮影画像を公開した場合、該撮影画像から撮影者が特定されるのを防止することにある。

本発明は、全天球画像データを処理する画像処理装置において、前記全天球画像データの中から撮影者領域を検出する撮影者検出手段と、前記全天球画像データの前記撮影者領域に対して、人物特定不可能な秘匿処理を施す撮影者秘匿手段と、を有し、前記撮影者検出手段は、前記全天球画像データ中の特定領域を撮影者探索領域に設定して、前記撮影者探索領域内で顔画像を検出し、該検出された顔画像の領域を前記撮影者領域とすることを主要な特徴とする。

本発明によれば、撮影者本人が写り込まれている撮影画像から撮影者が特定されるのを防止することができる。

全天球撮像装置の一実施形態の概略構成図である。 全天球撮像装置の一実施形態のハードウェア構成図である。 本発明の一実施形態に係る画像処理装置の機能ブロック図である。 図３の全体的な処理フローチャートである。 魚眼カメラの射影関係を説明する図である。 全天球画像のフォーマットを説明する図である。 撮影者検出の実施例１に係る処理フローチャートである。 全天球撮像装置の撮影者探索方向を説明する図である。 全天球画像データの撮影者探索領域を説明する図である。 撮影者検出の実施例２に係る処理フローチャートである。 撮影者検出の実施例３に係る処理フローチャートである。

以下、本発明の実施形態について図面に基づいて説明する。

図１に、本発明の一実施形態に係る全天球撮像装置の概略構成図を示す。本天球撮像装置は、互々半球画像を結像するための１８０度以上の画角を有する２つの魚眼レンズ１１，１２と、各魚眼レンズ１１，１２による半球画像の結像位置に設けられた２つのＣＭＯＳセンサなどの撮像素子２１，２２を備えている。筐体１００の側面には射影スイッチ１３０を備えている。また、図１には示されていないが、種々の操作ボタンや電源スイッチ、タッチパネル等も備えている。

図２に、本発明の一実施形態に係る全天球撮像装置のハードウェア構成図を示す。本全天球撮像装置は、画像処理ブロック１１０、ＣＰＵ１２０、ＲＯＭ１３０、ＲＡＭ１４０、操作部１５０、外部記憶Ｉ／Ｆ１６０、外部Ｉ／Ｆ１７０などで構成され、これら各部はバス１００で接続される。

画像処理ユニット１１０は、２つの撮像素子２１，２２が出力する２つの半球画像（魚眼画像）データに対してそれぞれ所定の処理（例えば黒レベル補正、色補正、欠陥画素補正等）を施した後、これら２つの半球画像データを合成処理して全天球画像データを作成する。この全天球画像データがＲＡＭ１４０に記憶されて、ＣＰＵ１２０での以後の処理に使用される。

ＣＰＵ１２０は、当該全天球撮像装置の全体の動作を制御すると共に必要な処理を実行する。ここでは、後述するように、ＣＰＵ１２０は、全天球画像データから撮影者の画像領域を検出し、該撮影者の画像領域に対して人物特定不可能な処理を実施する。

ＲＯＭ１３０は、ＣＰＵ１２０の制御や処理ための種々のプログラムを記憶している。ＲＡＭ１４０はワークメモリであり、ＣＰＵ１２０で実行するプログラムや処理途中のデータ、画像データ等を記憶する。

操作部１５０は、種々の操作ボタンや電源スイッチ、撮影スイッチ、表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは操作ボタンを操作することで、種々の撮影モードや撮影条件などを入力する。

外部メモリＩ／Ｆ１６０は、外部メモリのインターフェース回路で、ＳＤカードやフラッシュメモリ等の外部（外付け）メモリ１８０を接続するのに利用される。ネットワークＩ／Ｆ１７０は通信回線１９０とのインターフェース回路である。通信回線１９０にはパソコンなどが接続される。なお、通信回線１９０は無線、有線を問わない。

図３に、本実施形態に係る画像処理装置の機能ブロック図を示す。本画像処理装置２００は、画像入力部２１０、撮影者検出部２２０、撮影者秘匿部２３０、及び画像出力部２4０で構成される。実際には、この画像処理装置２００の各部は、図２のＣＰＵ１２０とＲＯＭ１３０に記憶されているプログラムとの協働により実現される。換言すれば、図２のＣＰＵ１２０とＲＯＭ１３０内の所定のプログラムが、図２の画像処理装置２００の各部として機能することになる。

図４に、本画像処理装置の全体的処理フローチャートを示す。

画像入力部２１０は全天球画像データを入力する（ステップ１００１）。具体的には、ＣＰＵ１２０がＲＡＭ１４０から全天球画像データを読み出すことで入力する。全天球（全方位）画像データは画像処理ユニット１１０で作成されてＲＡＭ１４０に記憶されている。

ここで、全天球画像データのフォーマットについて説明する。図５は魚眼カメラの射影関係を説明する図、図６は全天球画像データのフォーマットを説明する図である。

１８０度を超える画角を持つ魚眼カメラで撮影された画像は、射影位置から、半球分のシーンの撮影画像となる。ただし、図５（ａ）のように、入射角度θに対応する像高ｈで画像が生成される。入射角度θと像高ｈの関係は、図５（ｂ）のように、射影関数ｆで決められている。射影関数ｆは魚眼レンズの性質によって異なる。

全天球画像は、図６（ａ）に示すように、水平角度θが０〜３６０度、垂直角度φが０〜１８０度の、各角度座標に対応した画像データからなる。各角度座標は、球面上の各点（座標点）と対応づいており、図６（ｂ）の地球儀の緯度経度座標のようなものとなっている。ただし、緯度は−９０度から＋９０度の範囲で角度を割り付けているが、全天球画像データでは、０度から１８０度の範囲で角度を割り付ける。同様に、経度は−１８０度から＋１８０度の範囲で角度を割りつけているが、全天球画像データでは、０度から３６０度の範囲で角度を割り付ける。

魚眼画像の平面座標と、全天球画像の球面上の座標との関係は、図５で説明したような射影関数を用いることで対応付けることができる。したがって、２つの魚眼画像（半球画像）を変換して合成することで、全天球画像を作成することができる。一般に２つの魚眼画像は、互いにオーバーラップ領域を有している。このオーバーラップ領域をもとに、２つの魚眼画像を合成することで、全天球画像（全天球画像データ）を作成することができる。

ここでは、全天球画像データの各座標に対応する画像データは、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の各色信号の強さを８ビット（０〜２５５階調）の値として持つとする。例えば、緯度方向は１８０１画素、経度方向は３６００画素とすると、緯度経度（垂直水平角度）ともに０．１度刻みで画像データ（画素データ）を持つ。なお、緯度方向が１８００画素ではなく１８０１画素であるのは、０度から１８０度の領域を１８００分割した際に端点があるためである。一方、経度方向は、０度から３６０度の領域を分割しているが、端点である０度の点と３６０度の点が球面上では一周して同じ点を示すため、どちらか一方のみを持てば十分であるためである。

撮影者検出部２２０は、全天球画像データの中から撮影者の画像領域（撮影者領域）を検出する（ステップ１００２）。全天球画像には必ず撮影者が写り込まれている。この全天球画像の特性を利用して、全天球画像データ中から撮影者の領域を特定することができる。以下、３つの方法について説明する。それらを実施例１、実施例２、実施例３とする。

図７に、撮影者検出部２２０の実施例１に係る処理フローチャートを示す。

撮影者検出部２２０は、まず、全天球画像データ中の特定領域を撮影者探索領域として設定する（ステップ２００１）。撮影者が全天球撮像装置を正しく操作した場合、全天球画像データ中の撮影者探索領域は一義的に定まる。図８及び図９はこれを説明する図である。

全天球撮像装置は、図１のような構成となっているとする。この場合、撮影者が撮影スイッチ１３を親指で押すと想定すると、図８に示すように、左の魚眼レンズ１１が向く方向が正面方向となり、その反対側に撮影者が位置する可能性が高い。すなわち、正面方向の反対側に撮影者が存在する。よって、正面方向の反対側を撮影者探索方向とし、全天球画像データ中で、対応する画像領域（魚眼レンズ１２で撮影された画像のほぼ中央領域）を撮影者探索領域とする。例えば、図９に示すように、正面方向が全天球画像データの左半分の中央に対応する想定すると、撮影者探索領域は、右半分の中央に対応する。すなわち、全天球画像データ中の右半分の中央領域を撮影者探索領域として指定する。なお、全天球画像データ中の、どの領域を撮影者探索領域とするかは、魚眼レンズ１１，１２と射影スイッチ１３の位置関係から一義的に定まる。

次に、撮影者検出部２２０は、全天球画像データ中の撮影者探索領域において、顔画像を検出する（ステップ２００２）。顔画像の検出には、従来から公知・周知のどのような方法を用いてもよい（例えば、特許文献３等）。

最後に、撮影者検出部２２０は、検出された顔画像の領域を撮影者領域と認識する（ステップ２００３）。すなわち、例えば、図９において、全天球画像データ中の右半分の中央を撮影者探索領域とした場合、該領域内に撮影者が大きく写り込まれているはずである。したがって、撮影者探索領域内で検出された顔画像は、すなわち、撮影者本人と云うことになる。

本実施例によれば、全天球画像データ中の一部の領域を対象に顔画像検出処理を行うことで、撮影者領域を特定することができるため、処理時間を短縮することができる。

図８に、撮影者検出部２２０の実施例２に係る処理フローチャートを示す。

撮影者検出部２２０は、全天球画像データの全領域について、顔画像の検出処理を実施する（ステップ３００１）。本実施例においても、顔画像の検出には、従来から公知・周知のどのような方法を用いてもよい。次に、撮影者検出部２２０は、顔画像が複数検出されたか否か判定する（ステップ３００２）。複数の顔画像が検出された場合、最も大きい顔画像の領域を撮影者領域と認識する（ステップ３００３）。すなわち、撮影者が全天球撮像装置の撮影スイッチ１３を押すため（図１，図３参照）、当該装置の最も近くに、撮影者は位置するはずである。したがって、複数の顔画像が検出された場合、その中の最も大きな顔画像が撮影者本人であると見做すことができる。一方、１つしか顔画像が検出されなかった場合は、検出された顔画像の領域を撮影者領域と認識する（ステップ３００４）。すなわち、全天球画像には、必ず撮影者が写し込まれているはずであり、顔画像が１つの場合、それが撮影者本人であると見做すことができる。

先の実施例１では、例えば、撮影者が撮像装置を左右上下等に傾けて撮影したような際には、全天球画像データ中の、設定した撮影者探索領域内に撮影者がまったく写り込まれなかったり、撮影者の一部しか写り込まれなかったりする場合が発生する。このような場合には、全天球画像データ中の撮影者画像を正しく検出することができない。これに対して、本実施例２では、全天球画像データの全領域を撮影者探索領域とするため、撮影者が撮像装置を左右上下等に傾けて撮影した場合でも、全天球画像データ中の撮影者画像を確実に検出することができる。

図１１に、撮影者検出部２２０の実施例３に係る処理フローチャートを示す。この実施例３は実施例１と実施例２を一緒にしたものである。

図１１において、ステップ２００１，２００２の処理は図７と同じである。ステップ２０５０で、撮影者探索領域内で顔画像が検出されたか判定する。撮影者探索領域内で顔画像が検出された場合には、該検出された顔画像の領域を撮影者領域と認識する（ステップ２００３）。一方、撮影者探索領域内で顔画像が検出されなかった場合には、ステップ３００１〜３００４を実施する。このステップ３００１〜３００４の処理は、図１０と同じである。

なお、ステップ２０５０の判定条件として、（ｉ）顔画像が検出されたか否かの他に、（ii）顔画像が検出された場合、該顔画像の大きさが所定の閾値以上か否かの条件を加えることでもよい。すなわち、撮影者が撮像装置を左右上下等に傾けて撮影した場合、撮影者探索領内に遠方等の撮影者以外の人物が写し込まれることが考えられる。（ii）の判定条件により、このような撮影者以外の人物を撮影者と誤認識されることを防ぐことができる。

実施例１は、全体の処理時間を軽減することができるが、撮影者が撮像装置を正しく操作しなかったような場合には、撮影者画像を正しく検出されないケースが発生する。一方、実施例２は、撮影者が撮像装置を正しく操作しなかったような場合でも、撮影者画像を正しく検出することができるが、実施例１に比べて処理時間が長くなる。実施例３によれば、実施例１，２の長所をいかしつつ、両者の欠点を補うことが可能になる。

撮影者秘匿部２３０は、撮影者検出部２２０で検出された、全天球画像データ中の撮影者領域に対して、撮影者を特定できないように秘匿処理を実施する（ステップ１００３）。すなわち、撮影者領域に対して、人物特定不可能な処理を施す。具体的には、例えば、撮影者領域を黒塗りする。すなわち、撮影者の顔画像等をＲ＝Ｇ＝Ｂ＝０の黒画像に置き換えることで、撮影者を特定できないようにする。あるいは、撮影者領域をぼかし処理する。すなわち、撮影者の顔画像等にローパスフィルタを掛けて処理することで、ぼけた画像にする。なお、人物特定不可能な処理は、要は全天球画像中の撮影者が特定できなければよく、処理の仕方は問わない。

画像出力部２４０は、撮影者秘匿部２３０で撮影者領域を秘匿処理された全天球画像データを出力する（ステップ１００４）。具体的には、ＣＰＵ１２０が撮影者秘匿済みの全天球画像データをＲＡＭ１４０に書き込むことで出力する。このＲＡＭ１４０に書き込まれた撮影者の秘匿された全天球画像データは、ＣＰＵ１２０の制御下で、外部メモリＩ／Ｆ１６０を通して外部メモリ（ＳＤカード、フラッシュメモリ等）１８０に保存されたり、ネットワークＩ／Ｆ１７０を通してパソコン、その他の機器に送られる。

以上、本発明の実施形態について説明したが、本発明は図示の構成や動作に限定されるものではない。例えば、全天球撮像装置は、２つの魚眼レンズと２つの撮像素子を備えるとしたが、３つ以上の魚眼レンズと、これらに対応する３つ以上の撮像素子を使用することでもよい。

また、実施形態では、本発明の画像処理装置の機能を撮像装置に含めたが、本発明の画像処理装置の機能は、例えば、パソコン上に持たせることでもよい。すなわち、パソコンも、図２から撮像素子や画像処理ユニットを除けば、基本的に図２と同様の構成となっている。したがって、パソコンのＣＰＵとＲＯＭ内のプログラムとの協働により、図３の画像処理装置の各部の機能を実現することが可能である。

また、実施形態では、全天球撮像装置で撮影された全天球画像を対象としたが、周囲３６０度が撮影されているパノラマ画像でも、撮像装置の構成によっては、撮影者が写り込まれてしまうことがありうる。本発明は、このような３６０度パノラマ画像にも適用可能である。

１１，１２ 魚眼レンズ
１３ 撮影スイッチ
２１，２２ 撮像素子
１２０ ＣＰＵ
１３０ ＲＯＭ
１４０ ＲＡＭ
２００ 画像処理装置
２１０ 画像入力部
２２０ 撮影者検出部
２３０ 撮影者秘匿部
２４０ 画像出力部

特開２００３−２４４５１１号公報 特開２００５− ２６９１７号公報 特開２００９− ９４９４６号公報

Claims (7)

1. 全天球画像データを処理する画像処理装置であって、
   前記全天球画像データの中から撮影者領域を検出する撮影者検出手段と、
   前記全天球画像データの前記撮影者領域に対して、人物特定不可能な秘匿処理を施す撮影者秘匿手段と、を有し、
   前記撮影者検出手段は、前記全天球画像データ中の特定領域を撮影者探索領域に設定して、前記撮影者探索領域内で顔画像を検出し、該検出された顔画像の領域を前記撮影者領域とすることを特徴とする画像処理装置。
2. 前記撮影者検出手段は、
   前記撮影者探索領域内で顔画像が検出された場合には、当該顔画像の領域を前記撮影者領域とし、
   前記撮影者探索領域内で顔画像が検出されない場合には、前記全天球画像データの全領域において顔画像を検出し、最も大きい顔画像の領域を前記撮影者領域とする、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 全天球画像データを処理する画像処理装置であって、
   前記全天球画像データの中から撮影者領域を検出する撮影者検出手段と、
   前記全天球画像データの前記撮影者領域に対して、人物特定不可能な秘匿処理を施す撮影者秘匿手段と、を有し、
   前記撮影者検出手段は、前記全天球画像データの全領域において顔画像を検出し、最も大きい顔画像の領域を前記撮影者領域とすることを特徴とする画像処理装置。
4. ３６０度画像データを処理する画像処理装置であって、
   前記３６０度画像データの中から撮影者領域を検出する撮影者検出手段と、
   前記３６０度画像データの前記撮影者領域に対して、人物特定不可能な秘匿処理を施す撮影者秘匿手段と、を有し、
   前記撮影者検出手段は、前記３６０度画像データ中の特定領域を撮影者探索領域に設定して、前記撮影者探索領域内で顔画像を検出し、該検出された顔画像の領域を前記撮影者領域とすることを特徴とする画像処理装置。
5. 全天球画像データを処理する画像処理方法であって、
   前記全天球画像データの中から撮影者領域を検出する撮影者検出工程と、
   前記全天球画像データの前記撮影者領域に対して、人物特定不可能な秘匿処理を施す撮影者秘匿工程と、を有し、
   前記撮影者検出工程は、前記全天球画像データ中の特定領域を撮影者探索領域に設定して、前記撮影者探索領域内で顔画像を検出し、該検出された顔画像の領域を前記撮影者領域とすることを特徴とする画像処理方法。
6. ３６０度画像データを処理する画像処理方法であって、
   前記３６０度画像データの中から撮影者領域を検出する撮影者検出工程と、
   前記３６０度画像データの前記撮影者領域に対して、人物特定不可能な秘匿処理を施す撮影者秘匿工程と、を有し、
   前記撮影者検出工程は、前記３６０度画像データ中の特定領域を撮影者探索領域に設定して、前記撮影者探索領域内で顔画像を検出し、該検出された顔画像の領域を前記撮影者領域とすることを特徴とする画像処理方法。
7. 全天球を撮像するための複数の魚眼レンズと、
   前記複数の魚眼レンズで撮像されたそれぞれの光学魚眼像を電気信号に変換して魚眼画像データとして出力する複数の撮像素子と、
   前記複数の撮像素子から出力される複数の魚眼画像データを座標変換し合成して全天球画像データを作成する画像処理ユニットと、
   前記請求項１〜３いずれか１項に記載の画像処理装置と、
   を有することを特徴とする撮像装置。

Images