JP2009277001A - 画像処理装置 - Google Patents

Abstract

【課題】自動的にモザイク粒度の変更を行い、プライバシー保護や成人向画像等に対するマスクが適切になるようにモザイク粒度制御を行う。
【解決手段】モザイク処理が施された画像中のモザイク処理が施されたエリアに対し、所定粒度へのモザイク処理を行い、新たな画像を自動作成する処理部２を備える。
【選択図】図１

Description

この発明は、モザイク処理が施された画像を扱う画像処理装置に関し、特にプライバシー保護や成人向画像等を目的とする場合に適用すると好適な画像処理装置に関するものである。

従来、プライバシー保護や成人向画像等に対するマスクを行う必要から、画像にモザイク処理を行い、個人へ配信するなどが行われている。

従来のモザイク処理においては、画像のサイズを変更して新たな画像サイズに変更する場合に、モザイクの部分も他の部分と同様にサイズ変更して新たな画像を得ている。従って、小サイズの画像へサイズ変更すると、モザイクを構成する格子の大きさも細かくなる（特許文献１参照）。このため、モザイクが施されているにも拘らずモザイクの効果が不十分な画像が作成されて、これが配信されるなどの問題があった。また、元のサイズよりも大サイズの画像とする場合にも、同様に不具合が生じる可能性がある。
特開２０００−３５４２３３号公報

本発明は、上記のような画像処理装置におけるモザイク処理に関する問題点を解決せんとしてなされたもので、その目的は、現画像におけるモザイク処理が施された部分に、自動的にモザイク粒度の変更を行い、プライバシー保護や成人向画像等に対するマスクが適切になるようにモザイク粒度を制御して目的に応じた画像を得ることが可能な画像処理装置を提供することである。

本発明に係る画像処理装置は、モザイク処理が施された画像中のモザイク処理が施されたエリアに対し、所定粒度へのモザイク処理を行い、新たな画像を自動作成する処理部を備えることを特徴とする。

本発明に係る画像処理装置は、画像中のモザイク処理が施されたエリアを検出するモザイクエリア検出部を備え、前記処理部は、前記モザイクエリア検出部により検出されたエリアに対し、新たに所定粒度のモザイク処理を行うことを特徴とする。

本発明に係る画像処理装置は、画像サイズを小さく変更する場合に、前記処理部による新たな所定粒度のモザイク処理を行うことを特徴とする。

本発明に係る画像処理装置では、モザイクエリア検出部には、現画像について少なくとも輪郭検出を含む線縁追跡により画像中に存在するモザイクを構成する線分を抽出する前処理部と、前記前処理部により抽出された線分の情報に基づき、画像中に存在するモザイクを構成する格子を認識し、認識された格子が隣接する領域を求める領域特定部とを具備することを特徴とする。

本発明に係る画像処理装置は、モザイク処理が施された画像中のモザイク処理が施されたエリアに対し、所定粒度へのモザイク処理を行い、新たな画像を自動作成するので、プライバシー保護や成人向画像等に対するマスクが適切になるようにモザイク粒度制御を行うことが可能である。
上記の装置において、画像を小さくするサイズ変更を行う場合にはモザイク粒度が大きくされた所定粒度とすることができるので、また、画像を大きくするサイズ変更を行う場合にはモザイク粒度が小さくされた所定粒度とすることができるので、画像サイズに応じて適切にモザイクが機能する程度のモザイク粒度に制御でき、プライバシー保護や成人向画像等に対するマスクを適切に行うことが可能となる。

以下、添付図面を参照して本発明に係る画像処理装置の実施例を説明する。各図において、同一の構成要素には同一の符号を付して重複する説明を省略する。図１に、本発明に係る画像処理装置の実施例の構成図を示す。この画像処理装置は、モザイクエリア検出部１と処理部２とにより構成され、モザイクエリア検出部１は、前処理部１０と領域特定部３０とにより構成されている。この画像処理装置は、コンピュータにより構成される。

上記前処理部１０は、現画像について少なくとも輪郭検出を含む線縁追跡により画像中に存在するモザイクを構成する縦横線を抽出するもので、ここでは図２に示すように、輪郭検出部１１と縦横線抽出部１２とを含む。輪郭検出部１１へ入力される現画像は、グレースケールの動画像或いは静止画像である。カラー画像が入力画像である場合には、カラー／グレースケール変換部が備えられる。また、入力画像がテープやＤＶＤ等に記録などされたインタレース形式の画像である場合には、Comb-effectが輪郭として検出されぬようにLine-doubling方式によりインタレース画像をプログレッシブ画像とするデインタレース部がカラー／グレースケール変換部に前置される。輪郭検出部１１では、例えばCanny edge detectorにより輪郭検出を行い、２値画像を得る。この輪郭検出部１１により、例えば図３（ａ）に示されるグレースケールの画像が、図３（ｂ）に示されるような輪郭画素を識別できる２値の画像へ変換される。なお、図３（ａ）に示す現画像は、本来図３（ｂ）に対応の顔の画像であるが、プライバシー等の関係から手書きしたものを添付している。

輪郭検出部１１により輪郭検出された画像情報は縦横線抽出部１２に送られ、縦横線抽出部１２においては、縦方向に所定数連続する画素のみを残す縦線抽出と、横方向に所定数連続する画素のみを残す横線抽出とが行われる。ここで、縦線抽出では、輪郭画素について横方向へスキャンを行い、横方向に連続する輪郭画素の排除（消去）という第１の処理と、輪郭画素について縦方向へスキャンを行い、縦方向に連続しない輪郭画素の排除（消去）という第２の処理とを含む。縦線抽出における第２の処理では、図４（ａ）に示すように注目画素から見て複数列（ここでは２列）×所定数（ｎ）に輪郭画素が隣接して存在する場合を許容する。即ち、不連続な隣接画素は排除するが、列方向へつながる場合には１行に限ってズレを認める。

また、横線抽出では、輪郭画素について縦方向へスキャンを行い、縦方向に連続する輪郭画素の排除（消去）という第１の処理と、輪郭画素について横方向へスキャンを行い、横方向に連続しない輪郭画素の排除（消去）という第２の処理とを含む。横線抽出における第２の処理では、例えば、図４（ｂ）に示すように注目画素から見て複数行（ここでは２行）×所定数（ｎ）に輪郭画素が隣接して存在する場合を許容する。即ち、不連続な隣接画素は排除するが、行方向へつながる場合には１列に限ってズレを認める。

以上の処理により、縦線と横線の画像が縦横線抽出部１２により得られているものであるが、前処理部２０においては、上記に続けてフレーム間移動平均処理を行うことによって、動画像に含まれるランダムノイズを減少させると共に、移動する物体による輪郭を消去するようにすると好適である。上記の輪郭検出部１１により輪郭検出された画像の例を図５（ａ）に示し、縦横線抽出部１２により得られる画像の例を図５（ｂ）に示す。縦横線抽出部１２の出力は、縦線抽出と横線抽出による二種が得られている。モザイクのエリアは、画像の左隅付近に存在している。

領域特定部３０は、前処理部１０により抽出された縦横線の情報に基づき、画像中に存在するモザイクを構成する格子を認識し、認識された格子が縦横斜めに隣接する領域を求めるものである。領域特定部３０では、１フレーム画像を図６に示すように等間隔に区切った領域（ここでは、タイルと称する）に分割し、各タイル毎にモザイクを構成する格子を認識する。

上記のようにタイルに分割して検出することにより、Ｓ／Ｎ比の低下した画像が得られている場合や、複数位置にモザイクが存在する画像が得られている場合に、誤検出する不具合を防止する。この場合、タイルの大きさは、原画像において想定される最小モザイクエリアの領域に対し同程度以下であることが必要である。これは、タイルのセルサイズがモザイクエリアに対して大きい場合、タイルに含まれるモザイクの面積割合が小さすぎ、背景ノイズに埋もれてしまう危険があり、これを防ぐための基準である。また、原画像のモザイクにおいて想定される最大格子サイズの縦横に対しそれぞれ３〜４倍程度の大きさが、タイルの大きさであることが望ましい。これは、タイル中に十分な数の縦横線が含まれない場合は連子が認識できない(後に説明するハフ変換が機能しない)ため、縦横線が複数含まれるよう、モザイクセルサイズの数倍以上のタイルサイズを確保するための基準である。

領域特定部３０では、タイル毎において、互いに平行で等間隔に並んだ一連の直線群である「連子」をテンプレートマッチングやハフ変換を用いて認識し、「連子」が認識されたタイルにフラグをセットするなどして、格子が存在するタイルに関するマップ（格子マップと称す）を作成する。

上記「連子」を認識するハフ変換の処理では、縦線と横線の画像が縦横線抽出部１２により抽出された縦線と横線の画像に係る画素の座標を（ｘ，ｙ）とするとき、縦の「連子」を認識する処理では、Ｏ＝ｘ ｍｏｄ ｃ の演算を、横の「連子」を認識する処理では、Ｏ＝ｙ ｍｏｄ ｃ の演算を、それぞれ行って、（ｏ，ｃ）平面へ変換して連続した線の存在検出により「連子」を認識する。なお、ｍｏｄは、余剰演算子を示す。

例えば、図７（ａ）において、丸印により示される輪郭画素が構成する連子が縦線により示されるようであり、図７（ａ）の黒丸により示す注目画素が構成している可能性のある縦の連子が図７（ｂ）のように存在するとき、上記ハフ変換により（ｏ，ｃ）平面へ変換してプロットすると、図７（ｃ）のようにプロット位置が描かれる。同様のプロットを他の白丸についても重ねて実行したものである。図７（ｃ）では、線分が描かれているが、幾つかの孤立点が描かれる場合もある。そして、描かれた点または点の集合の各点はそれぞれプロット度数を有している。即ち、図７（ｃ）は、その紙面に垂直な方向に度数の高さがある図を、平面的に示したものと考えることができる。（ｏ，ｃ）平面における上記度数を、所定の閾値により区分して、「連子あり」と「連子なし」とし、これにより、縦方向に連続する線分である縦の「連子」を認識することができる。横の「連子」についても同様に認識することができる。このような処理の結果、図８（ａ）に示される画像の各タイル毎に連子が認識されて、図８（ｂ）において丸印により示すタイルに「連子あり」が示される。図８（ａ）と図８（ｂ）の上側は縦線の連子に対する処理に関する図であり、図８（ａ）と図８（ｂ）の下側は横線の連子に対する処理に関する図である。最終的に、縦線の連子に対する処理に関する結果と横線の連子に対する処理に関する結果の論理和が作成されて、図８（ｃ）に示される格子マップの情報が得られる。

ここで、画像が動画像の場合について考察すると、図８を用いて説明した格子マップは時系列のフレームに対応して図９（ａ）のように遷移するので、格子が存在するタイルグループを「ラベリング」して図９（ｂ）のように幾つかのグループにまとめる格子グルーピング処理をする。図９の例では、２グループの格子群が存在するタイルグループが存在している。

上記のタイルグループに対応するエリアをモザイクエリアとすることもできるが、画像が動画像の場合にモザイクエリアを時系列に平滑に移動等させるため、格子凸包計算と称する境界検出を行う。格子が存在するタイルグループに対して、Ｙ軸からの投影映像をフレーム系列にて得ると、例えば図１０（ａ）のように変化するものが得られる。

本実施例では、注目フレームから所定フレーム前後の間のフレーム群（例えば２〜３秒程度）について、時系列において最古のフレームにおける最左格子から、それ以降のフレームにおける最左格子へ延び、更に時系列において最新のフレームにおける最左格子までをつなぐ線分を求める（図１０（ｂ）の左線分）。

同様に、時系列において最古のフレームにおける最右格子から、それ以降のフレームにおける最右格子へ延び、更に時系列において最新のフレームにおける最右格子までをつなぐ線分を求める（図１０（ｂ）の右線分）。

上記図１０（ｂ）と同じ図１１（ａ）の左線分と右線分が注目フレームを通過する画素の座標（Ｘ座標である）を求め（図１１（ｂ））、これをモザイク領域のＸ座標の範囲とする。更に、格子が存在するタイルグループに対して、Ｘ軸からの投影映像をフレーム系列にて得て同様に処理を行うことにより、二つのＹ座標が得られるので、これをモザイク領域のＹ座標の範囲とする。なお、静止画像では、格子凸包計算と称する境界の線分は水平及び垂直な直線になる。

以上のモザイクエリア検出処理により、図１２（ａ）に示すようなモザイクエリアが得られる。処理部２は、エリアに対し、画像サイズ変更に抗する大きさの所定粒度へのモザイク処理を行う。ここでは、画像サイズを例えばパーソナルコンピュータなどに表示するサイズから携帯電話機において表示するサイズへ変更を行った場合には、サイズの縮小に抗してモザイクの粒度を所定の大きさに拡大してモザイク処理し、新たな画像を作成する（図１２（ｂ））。なお、図１２（ｂ）に示す新たな画像は、本来図１２（ａ）に対応の顔の画像であるが、プライバシー等の関係から手書きしたものを添付している。

上記の処理により、画像サイズ変更に抗する大きさの所定粒度とされるので、画像サイズに応じて適切にモザイクが機能するモザイク粒度となり、プライバシー保護や成人向画像等に対するマスクを適切に行うことが保証される。なお、本実施例は画像サイズを変更しない場合にも適用でき、ＣＳ放送の成人番組など、解像度はそのままでモザイクのメッシュサイズを所望に制御可能である。モザイク粒度についてはユーザやオペレータが指定(絶対値、あるいは元モザイクからの倍率、あるいは画像サイズに対する比率等による)することが可能である。

以上説明した画像処理装置の各部は、コンピュータが図１３により示されるようなフローチャートに対応するプログラムを実行することにより、実現される。以下、図１３により示されるフローチャートに基づき画像処理装置の動作を説明する。画像処理装置が起動されて処理の開始となり、現画像の取り込みが行われ、この現画像がテープやＤＶＤ等に記録などされたインタレース形式の画像である場合には、既に説明の通り、例えばLine-doubling方式によりインタレース画像をプログレッシブ画像とするデインタレースが行われる（Ｓ１１）。また、現画像がカラー画像である場合に備えて、画像情報の構成（ＲＧＢ等の要素）を検出してカラー画像であるかを判定し（Ｓ１２）、グレースケールの画像でない場合にグレースケール化を行う（Ｓ１３）。以上の、破線により示すステップの処理は必要に応じて行われるものである。

グレースケール画像に対しては、例えばCanny edge detectorにより輪郭検出を行い、２値画像が得られる（Ｓ１４）。輪郭検出により得られた２値画像に対しては、縦方向に所定数連続する画素のみを残す縦線抽出と、横方向に所定数連続する画素のみを残す横線抽出とが行われる（Ｓ１５）。

ステップＳ１５に続いて、動画像に含まれるランダムノイズを減少させると共に、移動する物体による輪郭を消去する目的により、動画であるか否かの検出を行い（Ｓ１６）、動画である場合にはフレーム間移動平均処理を行う（Ｓ１７）。なお、動画であるか否かの検出には、例えばフレーム数が１であれば静止画、２以上であれば動画という基準を採用することができる。また、予めオペレータにより設定された動画／静止画を指示する情報を用いることができる。

ステップＳ１７の次に、或いはステップＳ１６においてＮＯへ分岐した場合において、１フレーム画像を図６に示すように等間隔に区切ったタイルに分割し（Ｓ１８）、各タイル毎にモザイクを構成する格子を認識する（Ｓ１９）。更に、図９を用いて説明した格子グルーピングを行い（Ｓ２０）、次に図１０を用いて説明した格子凸包計算を行って（Ｓ２１）、図１１を用いて説明したようなモザイクエリア検出処理により、図１２（ａ）に示すようなモザイクエリアを得る（Ｓ２２）。

ステップＳ２２により得られたモザイクエリアに対し、画像サイズ変更に抗する大きさの所定粒度へのモザイク処理を行うことにより、原画像とは異なるモザイク粒度（ここでは、現画像より大きな粒度）を有する図１２（ｂ）に示されるような新たな画像を得る。

なお、以上の説明では、モザイクの格子線分を縦横線抽出部１２において縦線抽出と横線抽出により抽出したが、モザイクの格子線分が画像の水平及び垂直方向にない場合には、モザイクの格子線分の方向に連続する輪郭画素の抽出を行うことになる。このような場合を含めて、モザイクの格子線分を抽出する処理では、輪郭検出処理を行った場合に、各輪郭点について輝度勾配を検出する処理を含むことが多いので、この輝度勾配の方向の情報を用いて、モザイクの格子線分の方向に連続する輪郭画素の抽出を行うようにすると、より高精度な抽出が可能となる。

また、「連子」の認識によって、モザイクを構成する格子が存在するタイルの検出を行ったが、モザイクの格子線分が画像の水平及び垂直方向にない場合には、この「連子」の認識においても、モザイクの格子線分の方向に連続する互いに平行で当間隔に並んだ一連の直線群を「連子」として、認識処理することになる。

更に、タイルを用いた処理においては、隣接タイルは重なっていないものであったが、隣接タイルの重なりを生じさせるようにして、「連子」の認識を行うことにより、実施例では境界に跨がるような格子をノイズではなく格子であると認識する確度が高くなり、高精度な認識処理が可能となる。

また、格子凸包計算では、フレーム毎に計算を行うと計算量が多くなるので、数フレームを単位に一度の格子凸包計算を行い、この数フレームについては、当該一度の格子凸包計算結果を用いて計算量を減少させることが可能である。

本発明の実施例に係る画像処理装置の構成を示すブロック図。 本発明の実施例に係る画像処理装置の要部の詳細構成を示すブロック図。 本発明の実施例に係る画像処理装置による輪郭検出の処理前後を説明する図。 本発明の実施例に係る画像処理装置による縦横線抽出の手法を説明する図。 本発明の実施例に係る画像処理装置による縦横線抽出の処理前後を説明する図。 本発明の実施例に係る画像処理装置による「連子」認識のために設定されるタイルを説明する図。 本発明の実施例に係る画像処理装置による「連子」認識の手法を説明する図。 本発明の実施例に係る画像処理装置による縦タイル毎格子認識の処理前後を説明する図。 本発明の実施例に係る画像処理装置による格子グルーピングの処理前後を説明する図。 本発明の実施例に係る画像処理装置による格子凸包計算の処理前後を説明する図。 本発明の実施例に係る画像処理装置によるモザイクエリア範囲計算の処理前後を説明する図。 本発明の実施例に係る画像処理装置の処理部によるモザイク適用の処理前後を説明する図。 本発明の実施例に係る画像処理装置の動作を説明するためのフローチャート。

符号の説明

１ モザイクエリア検出部
２ 処理部
１０ 前処理部
１１ 輪郭検出部
１２ 縦横線抽出部
３０ 領域特定部

Claims (4)

1. モザイク処理が施された画像中のモザイク処理が施されたエリアに対し、所定粒度へのモザイク処理を行い、新たな画像を自動作成する処理部を備えることを特徴とする画像処理装置。
2. 画像中のモザイク処理が施されたエリアを検出するモザイクエリア検出部を備え、
   前記処理部は、前記モザイクエリア検出部により検出されたエリアに対し、新たに所定粒度のモザイク処理を行うことを特徴とする請求項１に記載の画像処理装置。
3. 画像サイズを小さく変更する場合に、前記処理部による新たな所定粒度のモザイク処理を行うことを特徴とする請求項１または２に記載の画像処理装置。
4. モザイクエリア検出部には、
   現画像について少なくとも輪郭検出を含む線縁追跡により画像中に存在するモザイクを構成する線分を抽出する前処理部と、
   前記前処理部により抽出された線分の情報に基づき、画像中に存在するモザイクを構成する格子を認識し、認識された格子が隣接する領域を求める領域特定部と
   を具備することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。