JP2005293367A - 画像処理方法及び装置 - Google Patents
画像処理方法及び装置 Download PDFInfo
- Publication number
- JP2005293367A JP2005293367A JP2004109230A JP2004109230A JP2005293367A JP 2005293367 A JP2005293367 A JP 2005293367A JP 2004109230 A JP2004109230 A JP 2004109230A JP 2004109230 A JP2004109230 A JP 2004109230A JP 2005293367 A JP2005293367 A JP 2005293367A
- Authority
- JP
- Japan
- Prior art keywords
- area
- region
- candidate
- relevance
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】簡単な操作で所望の領域の抽出をすることができる画像処理方法を提供する。
【解決手段】画像からユーザーが所望する領域を抽出する画像処理方法であって、画像を
領域分割するステップS11と、ユーザーの指示に応じて画像中の1点を指定するステッ
プS12と、指定点を含む領域と他の領域の関連度を解析する関連度計算ステップS13
と、指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出す
るステップS14と、複数の候補領域をユーザーに提示するステップS15と、ユーザー
の指示に応じて表示した候補領域を選択するステップS16とを含んでいる。
【選択図】 図1
【解決手段】画像からユーザーが所望する領域を抽出する画像処理方法であって、画像を
領域分割するステップS11と、ユーザーの指示に応じて画像中の1点を指定するステッ
プS12と、指定点を含む領域と他の領域の関連度を解析する関連度計算ステップS13
と、指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出す
るステップS14と、複数の候補領域をユーザーに提示するステップS15と、ユーザー
の指示に応じて表示した候補領域を選択するステップS16とを含んでいる。
【選択図】 図1
Description
本発明は、ユーザーが画像中の任意の点を指定した後、その点を含む所望の領域を抽出
する際に用いて好適な画像処理方法及び装置に関する。
する際に用いて好適な画像処理方法及び装置に関する。
デジタルカメラとPC(パーソナルコンピュータ)などの普及によって、デジタルカメ
ラで撮影した画像データをPC上で簡単に編集できるようになってきた。さらに、撮影後
すぐに画像データを編集したいという要求がでてきている。例えば、デジタルカメラや携
帯電話などの撮影した機器内で、(簡易的な)編集を行いたいという要求や、撮影した画
像のチェックを簡単に行いたいという要求がある。
ラで撮影した画像データをPC上で簡単に編集できるようになってきた。さらに、撮影後
すぐに画像データを編集したいという要求がでてきている。例えば、デジタルカメラや携
帯電話などの撮影した機器内で、(簡易的な)編集を行いたいという要求や、撮影した画
像のチェックを簡単に行いたいという要求がある。
しかし、デジタルカメラや携帯電話といった携帯機器では、マウスなどのインターフェ
ースが使えないため、例えば、画像のある部分を拡大したいといった場合、所望の領域の
左上と右下を十字キーを何度も押して指定する必要があるなど、煩雑な操作を強いられて
いた。
ースが使えないため、例えば、画像のある部分を拡大したいといった場合、所望の領域の
左上と右下を十字キーを何度も押して指定する必要があるなど、煩雑な操作を強いられて
いた。
別の技術的な背景としては、画像処理技術において、画像をいくつかの領域に分割する
手法、あるいは、画像中からある領域を抽出する手法はいくつか提案されている。しかし
、例えば、誘目度として人が注目する領域を推定する手法などはあるものの、抽出した領
域それぞれの関係や重要度を計算する手法は少ない。したがって、いくつかの領域に分割
された画像から、複数の領域を含めて指定したい場合は、その分割数分の領域を指定する
ための複数回の操作が必要となる。具体的には、複数の人物写真(団体写真)などの場合
、各人毎に領域抽出できるが、両隣1人ずつを含めて拡大するといったことは、複数回の
指定操作が必要である。
手法、あるいは、画像中からある領域を抽出する手法はいくつか提案されている。しかし
、例えば、誘目度として人が注目する領域を推定する手法などはあるものの、抽出した領
域それぞれの関係や重要度を計算する手法は少ない。したがって、いくつかの領域に分割
された画像から、複数の領域を含めて指定したい場合は、その分割数分の領域を指定する
ための複数回の操作が必要となる。具体的には、複数の人物写真(団体写真)などの場合
、各人毎に領域抽出できるが、両隣1人ずつを含めて拡大するといったことは、複数回の
指定操作が必要である。
画像中のある点を指定して拡大する処理において、最も簡単な手法は、特許文献1に記
載されているように、所定の倍率で画像中心/所定の点を中心に領域を確定する方法が考
えられる。しかし、この場合、最適な倍率というものは存在しないため、例えば、1.1
倍ずつ拡大させていくというような操作を繰り返しユーザーに強いることになる。
載されているように、所定の倍率で画像中心/所定の点を中心に領域を確定する方法が考
えられる。しかし、この場合、最適な倍率というものは存在しないため、例えば、1.1
倍ずつ拡大させていくというような操作を繰り返しユーザーに強いることになる。
また、特許文献2に記載されているように倍率を指定することなく、複写物から有効画
像領域を検出し、出力する用紙に合わせて拡大する手法も提案されている。しかし、有効
画像領域とは、画像やテキストなどの無い空白領域以外のことであり、本発明が対象とし
ているような、画像内の有効領域を検出する手法とは異なる。
像領域を検出し、出力する用紙に合わせて拡大する手法も提案されている。しかし、有効
画像領域とは、画像やテキストなどの無い空白領域以外のことであり、本発明が対象とし
ているような、画像内の有効領域を検出する手法とは異なる。
次に、ユーザーに指定させた1点から、ある特徴を計算し領域を抽出する手法がある。
例えば、特許文献3では、輪郭抽出を行い画像から領域を抽出する。しかし、この方法で
は、1つの領域しか特定できず、背景などを同時に選択したいなど、複数の領域に渡る抽
出はすることはできない。
特開2000−75416号公報
特開平7−327129号公報
特開2000−125119号公報
例えば、特許文献3では、輪郭抽出を行い画像から領域を抽出する。しかし、この方法で
は、1つの領域しか特定できず、背景などを同時に選択したいなど、複数の領域に渡る抽
出はすることはできない。
上記のような方法では、予め定められた手法で正当な結果を得られた場合であっても、
ユーザーが所望する領域にならない場合がある。例えば、同じ画像であってもユーザーが
所望する領域は、隣の人物を含めた領域であったり、上半身までの領域であったりする場
合が考えられる。このような場合、上記のような方法では、簡単な操作で、ユーザーの希
望を正確に反映した領域を抽出することはできないという課題があった。
ユーザーが所望する領域にならない場合がある。例えば、同じ画像であってもユーザーが
所望する領域は、隣の人物を含めた領域であったり、上半身までの領域であったりする場
合が考えられる。このような場合、上記のような方法では、簡単な操作で、ユーザーの希
望を正確に反映した領域を抽出することはできないという課題があった。
例えば近似色領域を抽出する方法では、例えば顔領域の1点から、顔領域以外を抽出で
きないという課題がある。また、形状を用いる場合では、様々な形状を検索可能にするた
めには、複数の形状を記憶しておく必要があるが、現実的にはその種類の多さから困難と
言える。
きないという課題がある。また、形状を用いる場合では、様々な形状を検索可能にするた
めには、複数の形状を記憶しておく必要があるが、現実的にはその種類の多さから困難と
言える。
本発明は、上記の事情に鑑みてなされたものであり、簡単な操作で所望の領域を抽出す
ることができる画像処理方法及び装置を提供することを目的とする。
ることができる画像処理方法及び装置を提供することを目的とする。
上記課題を解決するため、本発明は、画像からユーザーが所望する領域を抽出する画像
処理方法であって、画像を領域分割するステップと、ユーザーの指示に応じて画像中の1
点を指定するステップと、指定点を含む領域と他の領域の関連度を解析する関連度解析ス
テップと、指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を
抽出するステップと、複数の候補領域をユーザーに提示するステップと、ユーザーの指示
に応じて表示した候補領域を選択するステップとを含んでいることを特徴とする。
処理方法であって、画像を領域分割するステップと、ユーザーの指示に応じて画像中の1
点を指定するステップと、指定点を含む領域と他の領域の関連度を解析する関連度解析ス
テップと、指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を
抽出するステップと、複数の候補領域をユーザーに提示するステップと、ユーザーの指示
に応じて表示した候補領域を選択するステップとを含んでいることを特徴とする。
本発明では、画像をあらかじめ領域分割を行っておき、ユーザーが画像中の任意の点を
指定した際に、その点を含む領域と、その領域に関連する領域を解析し、関連度合いによ
って複数の領域をユーザーに提示する。これにより、ユーザーが画像中の任意の点を指定
するだけで、複数の領域が自動的に提示される。これらのなかから所望の領域を選択すれ
ば、所望の領域を簡単に抽出することが可能となる。
指定した際に、その点を含む領域と、その領域に関連する領域を解析し、関連度合いによ
って複数の領域をユーザーに提示する。これにより、ユーザーが画像中の任意の点を指定
するだけで、複数の領域が自動的に提示される。これらのなかから所望の領域を選択すれ
ば、所望の領域を簡単に抽出することが可能となる。
他の発明は、前記関連度解析ステップにおいて、指定点との距離を指標として、距離が
近いものを関連度が高い領域とすることを特徴とする。これによれば、指定点との距離を
指標として関連度が求められるので、ユーザーが指定した領域と近い領域を選択して抽出
したいという希望を持っている場合に対応することができる。
近いものを関連度が高い領域とすることを特徴とする。これによれば、指定点との距離を
指標として関連度が求められるので、ユーザーが指定した領域と近い領域を選択して抽出
したいという希望を持っている場合に対応することができる。
他の発明は、前記関連度解析ステップにおいて、指定点を含む領域と隣接するものを関
連度が高い領域とすることを特徴とする。これによれば、ユーザーが指定した領域と隣接
した領域を選択して抽出したいという希望を持っている場合に対応することができる。
連度が高い領域とすることを特徴とする。これによれば、ユーザーが指定した領域と隣接
した領域を選択して抽出したいという希望を持っている場合に対応することができる。
他の発明は、前記関連度解析ステップにおいて、指定点を含む領域を抱合しているもの
を関連度が高い領域とすることを特徴とする。これによれば、抱合関係(各領域の状態を
変化させずに結合している関係)にあれば、候補領域として提示されるので、ユーザーが
指定した領域と抱合している領域を選択して抽出したいという希望を持っている場合に対
応することができる。
を関連度が高い領域とすることを特徴とする。これによれば、抱合関係(各領域の状態を
変化させずに結合している関係)にあれば、候補領域として提示されるので、ユーザーが
指定した領域と抱合している領域を選択して抽出したいという希望を持っている場合に対
応することができる。
他の発明は、前記関連度解析ステップにおいて、指定点を含む領域に対する形状又は色
の少なくとも一方に係る相似度を指標として、相似度が高いものを関連度が高い領域とす
ることを特徴とする。これによれば、ユーザーが指定した領域と形状や色の相似度が高い
領域を選択して抽出したいという希望を持っている場合に対応することができる。
の少なくとも一方に係る相似度を指標として、相似度が高いものを関連度が高い領域とす
ることを特徴とする。これによれば、ユーザーが指定した領域と形状や色の相似度が高い
領域を選択して抽出したいという希望を持っている場合に対応することができる。
他の発明は、前記前記関連度解析ステップにおいて、特定の色や形状間の関連性をあら
かじめ記憶しておき、その関連性を指標として用いることを特徴とする。これによれば、
関連度を簡単な処理で求めることが可能になる。
かじめ記憶しておき、その関連性を指標として用いることを特徴とする。これによれば、
関連度を簡単な処理で求めることが可能になる。
他の発明は、前記関連度解析ステップにおいて、面積を指標として、比較的大きな面積
を持つものを関連度が低い領域とすることを特徴とする。これによれば、ユーザーが指定
した領域と比較的小さい領域とを選択して抽出したいという希望を持っている場合に対応
することができる。
を持つものを関連度が低い領域とすることを特徴とする。これによれば、ユーザーが指定
した領域と比較的小さい領域とを選択して抽出したいという希望を持っている場合に対応
することができる。
他の発明は、前記複数の領域候補を抽出するステップにおいて、所定の値以上の関連度
である領域を関連性の高い領域として、関連性の高い領域と指定点を含む領域の合成領域
を候補領域として抽出することを特徴とする。これによれば、指定領域と関連度がより高
い領域とをユーザーが容易に選択して抽出することができるようになる。
である領域を関連性の高い領域として、関連性の高い領域と指定点を含む領域の合成領域
を候補領域として抽出することを特徴とする。これによれば、指定領域と関連度がより高
い領域とをユーザーが容易に選択して抽出することができるようになる。
他の発明は、前記複数の領域候補を抽出するステップにおいて、複数の関連性のある領
域と指定点を含む領域の合成領域を候補領域として抽出することを特徴とする。これによ
れば、指定領域と関連度がより高い複数の領域とをユーザーが容易に選択して抽出するこ
とができるようになる。
域と指定点を含む領域の合成領域を候補領域として抽出することを特徴とする。これによ
れば、指定領域と関連度がより高い複数の領域とをユーザーが容易に選択して抽出するこ
とができるようになる。
他の発明は、前記複数の領域候補を抽出するステップにおいて、候補領域Aが、別の候
補領域Bに所定の割合で含まれていて、候補領域Aと候補領域Bを合成した領域Cが、候
補領域Bに対して所定の割合の増加に収まる場合に、領域Cを候補領域とすることを特徴
とする。これによれば、候補領域の数を適切に減少させることができるので、ユーザーが
所望の領域を容易に選択して抽出することができるようになる。
補領域Bに所定の割合で含まれていて、候補領域Aと候補領域Bを合成した領域Cが、候
補領域Bに対して所定の割合の増加に収まる場合に、領域Cを候補領域とすることを特徴
とする。これによれば、候補領域の数を適切に減少させることができるので、ユーザーが
所望の領域を容易に選択して抽出することができるようになる。
また、本発明の他の態様は、画像からユーザーが所望する領域を抽出する画像処理装置
であって、画像を領域分割する手段と、ユーザーの指示に応じて画像中の1点を指定する
手段と、指定点を含む領域と他の領域の関連度を解析する関連度解析手段と、指定点を含
む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出する手段と、複数
の候補領域をユーザーに提示する手段と、ユーザーの指示に応じて表示した候補領域を選
択する手段とを備えていることを特徴とする。
であって、画像を領域分割する手段と、ユーザーの指示に応じて画像中の1点を指定する
手段と、指定点を含む領域と他の領域の関連度を解析する関連度解析手段と、指定点を含
む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出する手段と、複数
の候補領域をユーザーに提示する手段と、ユーザーの指示に応じて表示した候補領域を選
択する手段とを備えていることを特徴とする。
また、本発明のさらに他の態様は、画像からユーザーが所望する領域を抽出する画像処
理プログラムであって、画像を領域分割するステップと、ユーザーの指示に応じて画像中
の1点を指定するステップと、指定点を含む領域と他の領域の関連度を解析する関連度解
析ステップと、指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領
域を抽出するステップと、複数の候補領域をユーザーに提示するステップと、
ユーザーの指示に応じて表示した候補領域を選択するステップとをコンピュータによっ
て実行するための記述を含んでいることを特徴とする。
理プログラムであって、画像を領域分割するステップと、ユーザーの指示に応じて画像中
の1点を指定するステップと、指定点を含む領域と他の領域の関連度を解析する関連度解
析ステップと、指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領
域を抽出するステップと、複数の候補領域をユーザーに提示するステップと、
ユーザーの指示に応じて表示した候補領域を選択するステップとをコンピュータによっ
て実行するための記述を含んでいることを特徴とする。
以下、図面を参照して本発明の画像処理装置の実施の形態について説明する。本実施の
形態は、携帯電話端末、デジタルカメラ、個人情報端末、パーソナルコンピュータ等の情
報機器において、それを構成するコンピュータおよびその周辺装置と、そのコンピュータ
で実行されるプログラムとによって実現される。本実施形態では、その情報機器が、少な
くとも液晶表示装置等の画像表示装置と、十字カーソル等の表示画像中の任意の点を指定
可能な操作子とを備えているものとする。本実施の形態は、そのような構成を用いて、ユ
ーザーが画像中の任意の点を指定した際に、その点を含む領域に関連する領域を解析し、
関連度合いによってその点を含む領域と関連性を有する複数の領域をユーザーに提示する
。そして、ユーザーが複数の領域のいずれかを選択することで、画像中の所望の領域を抽
出できるようになっている。抽出した画像は、所定の記憶媒体に記憶したり、電子メール
に添付して送信したり、あるいは所定の記憶装置に記憶して他の画像と合成したりするこ
とができるようになる。
形態は、携帯電話端末、デジタルカメラ、個人情報端末、パーソナルコンピュータ等の情
報機器において、それを構成するコンピュータおよびその周辺装置と、そのコンピュータ
で実行されるプログラムとによって実現される。本実施形態では、その情報機器が、少な
くとも液晶表示装置等の画像表示装置と、十字カーソル等の表示画像中の任意の点を指定
可能な操作子とを備えているものとする。本実施の形態は、そのような構成を用いて、ユ
ーザーが画像中の任意の点を指定した際に、その点を含む領域に関連する領域を解析し、
関連度合いによってその点を含む領域と関連性を有する複数の領域をユーザーに提示する
。そして、ユーザーが複数の領域のいずれかを選択することで、画像中の所望の領域を抽
出できるようになっている。抽出した画像は、所定の記憶媒体に記憶したり、電子メール
に添付して送信したり、あるいは所定の記憶装置に記憶して他の画像と合成したりするこ
とができるようになる。
図1を参照して本実施形態による画像処理の流れについて説明する。本実施の形態では
、ユーザーが処理対象となる画像を選択した際に、あらかじめ領域分割処理を行う(ステ
ップS11)。
、ユーザーが処理対象となる画像を選択した際に、あらかじめ領域分割処理を行う(ステ
ップS11)。
領域分割処理は、簡単な例では、与えられた画像の色情報がRGB(Red(赤) Green
(緑) Blue(青))で表現されていることとする。これに対して、まず、このRGB色
情報をHSV(Hue(色相) Saturation(彩度) Value(明度))情報に変換する。H
(色相)は、環状に表現されその角度によって色相が分類できる。例えば24色に分類す
る場合は、15度ずつに分類する。これにより、与えられた画像を、24色の近似色領域
に分けて分類することができる。そして同一色に分類された連続する近似領域毎に分割領
域を形成する。
(緑) Blue(青))で表現されていることとする。これに対して、まず、このRGB色
情報をHSV(Hue(色相) Saturation(彩度) Value(明度))情報に変換する。H
(色相)は、環状に表現されその角度によって色相が分類できる。例えば24色に分類す
る場合は、15度ずつに分類する。これにより、与えられた画像を、24色の近似色領域
に分けて分類することができる。そして同一色に分類された連続する近似領域毎に分割領
域を形成する。
ここでは、HSV手法を用いたが、Lab(ラブ・カラー;色情報を数値化するカラー
モデル)など色相情報をもつ手法で行っても良い。また、24色といった色相を固定した
分類手法ではなく、k−means法のような分類手法を用いても良い。
モデル)など色相情報をもつ手法で行っても良い。また、24色といった色相を固定した
分類手法ではなく、k−means法のような分類手法を用いても良い。
次に、分割した領域を、本実施形態を構成する情報機器の表示装置に表示し、操作子を
用いたユーザーの指示に応じて画像中の1点を指定する(ステップS12)。例えば図2
に示すように、画像1が複数の領域10〜18に分割されて表示され、ユーザーの指示に
応じて指定点20が指定される。
用いたユーザーの指示に応じて画像中の1点を指定する(ステップS12)。例えば図2
に示すように、画像1が複数の領域10〜18に分割されて表示され、ユーザーの指示に
応じて指定点20が指定される。
なお、以下では、図2に示した各領域11〜18を、図3に示すように領域A〜領域H
として説明する。
として説明する。
次に、指定点20を含む領域10(以下、指定領域10)と、他の領域A〜H(領域1
1〜18)との関連度を解析する(ステップS13)。ステップS13の関連度の解析で
は、まず、各領域A〜Hの領域の色、形状等の各領域に関する情報を計算する。例えば、
図4に示すように、指定領域10と各領域A〜H間の距離と、各領域A〜Hの面積を求め
る。この例では、図5に示すように、各領域の距離と面積が求められたとする。ただし、
この場合、各領域の面積として、図4に示す、破線で示した領域の外接矩形面積を用いて
いる。また、各領域間の距離は、領域の重心同士の距離とし、重心は外接矩形の中心とし
ている。
1〜18)との関連度を解析する(ステップS13)。ステップS13の関連度の解析で
は、まず、各領域A〜Hの領域の色、形状等の各領域に関する情報を計算する。例えば、
図4に示すように、指定領域10と各領域A〜H間の距離と、各領域A〜Hの面積を求め
る。この例では、図5に示すように、各領域の距離と面積が求められたとする。ただし、
この場合、各領域の面積として、図4に示す、破線で示した領域の外接矩形面積を用いて
いる。また、各領域間の距離は、領域の重心同士の距離とし、重心は外接矩形の中心とし
ている。
次に関連度を求める対象とするかどうかを判定する。すなわち、関連度を求める対象と
して適当であるか否かを判定する。例えば、この判定では、図4に示すように、領域Hが
、画像1全体となるため(すなわち領域抽出したときの外形が画像1と一致するため)、
対象から外される。また、領域F、Gは、指定領域10の外接矩形10a内に収まるため
、対象から外される。
して適当であるか否かを判定する。例えば、この判定では、図4に示すように、領域Hが
、画像1全体となるため(すなわち領域抽出したときの外形が画像1と一致するため)、
対象から外される。また、領域F、Gは、指定領域10の外接矩形10a内に収まるため
、対象から外される。
次に、領域F〜Hを除いた各領域A〜Eにおいて、図6に示すように、指定領域10と
の相似性、隣接の有無といった関連性を表す指標が求められる。例えば、領域A〜Eと指
定領域10の距離を、それらの距離のうち最大のもので正規化した値を、距離に係る関連
性を表す指標としている。
の相似性、隣接の有無といった関連性を表す指標が求められる。例えば、領域A〜Eと指
定領域10の距離を、それらの距離のうち最大のもので正規化した値を、距離に係る関連
性を表す指標としている。
面積に係る関連性を表す指標は、領域A〜Eの面積をそれらのうちで最大の面積によっ
て正規化した数値で表している。
て正規化した数値で表している。
相似度(相似性に係る指標)は、例えば、色の近似性と外接矩形の形(アスペクト比)
を用いて表すことができる。この場合、例えば(相似性に係る指標)=(非相似度)=0
.5*(色の指標)+0.5*(形状の指標)、として相似性の指標を求めることができ
る。この相似性に係る指標は、値が大きいほど相似性が低いことを示す(すなわち非相似
度を表す)。
を用いて表すことができる。この場合、例えば(相似性に係る指標)=(非相似度)=0
.5*(色の指標)+0.5*(形状の指標)、として相似性の指標を求めることができ
る。この相似性に係る指標は、値が大きいほど相似性が低いことを示す(すなわち非相似
度を表す)。
ここで、色の指標は、指定領域10の平均色と各領域の平均色の色距離を計算し、最大
値で正規化した値を用いる。 形状の指標は、アスペクト比を用いて計算する。すなわち
、指定領域10のアスペクト比が(x0:y0)で、ある領域のアスペクト比が(x1:
y1)の時、アスペクト比の差P
値で正規化した値を用いる。 形状の指標は、アスペクト比を用いて計算する。すなわち
、指定領域10のアスペクト比が(x0:y0)で、ある領域のアスペクト比が(x1:
y1)の時、アスペクト比の差P
P=|(x0/y0)−(x1/y1)|
各領域において求め、Pの最大値で正規化した値を形状の指標として用いる。
例えば、図3において、領域Dの色が、指定領域10と同一色であり、かつ、形状も等
しいとすると、色の指標は0、形状の指標も0となるので、相似性に係る指標の計算結果
(非相似度)は0となる。あるいは、例えば領域Aの色が、指定領域10とは異なるが、
形状(アスペクト比)が等しいとした場合、相似性に係る指標(非相似度)は、例えば、
0より大きく、0.5以下の値となる。
しいとすると、色の指標は0、形状の指標も0となるので、相似性に係る指標の計算結果
(非相似度)は0となる。あるいは、例えば領域Aの色が、指定領域10とは異なるが、
形状(アスペクト比)が等しいとした場合、相似性に係る指標(非相似度)は、例えば、
0より大きく、0.5以下の値となる。
隣接に係る指標は、指定領域10の境界と接する領域を0、それ以外の領域を1として
求めている。つまり、隣接に係る指標が小さいほど関連性が高くなる。
求めている。つまり、隣接に係る指標が小さいほど関連性が高くなる。
図6に示す全ての指標を領域毎に加算することで、各領域の非関連度が求められる。図
6に示す例では、各指標が大きいほど関連性が低く、小さいほど高い。すなわち、各指標
を足したものは、値が大きいときに関連度が小さく、値が小さいときに関連度が大きくな
る。つまり、各指標の加算値が、非関連度を表す数値となる。
6に示す例では、各指標が大きいほど関連性が低く、小さいほど高い。すなわち、各指標
を足したものは、値が大きいときに関連度が小さく、値が小さいときに関連度が大きくな
る。つまり、各指標の加算値が、非関連度を表す数値となる。
図6に示す例では、領域Aの非関連度の値が最も小さく、領域Cの非関連度の値が最も
大きくなっている。つまり、関連度の順位は、高いものから、領域A、B、D、E、Cと
なっている。
大きくなっている。つまり、関連度の順位は、高いものから、領域A、B、D、E、Cと
なっている。
次に、図1のステップS13で求めた関連度(あるいは非関連度)に基づいて、ユーザ
ーに提示する候補領域を選択する(ステップS14)。基本的には、非関連度が低い領域
と指定領域10を合成した領域が、候補領域として選択される。ただし、あらかじめ所定
のしきい値以上の非関連度となる領域は候補としないようにすることができる。そして、
選択された候補領域は、ユーザーに対して提示され(ステップS15)、ユーザーの指示
に応じてそれが選択される(ステップS16)。例えばユーザーがカーソルキーを動かす
ことで、異なる候補領域が順次選択されるようにして、所望の領域を選択した状態でユー
ザーがエンターキーを押すことで領域を選択できるようにする。
また別の方法として、数字キーなどによって直接、領域候補番号を選択できるようにし
ても良い。
ーに提示する候補領域を選択する(ステップS14)。基本的には、非関連度が低い領域
と指定領域10を合成した領域が、候補領域として選択される。ただし、あらかじめ所定
のしきい値以上の非関連度となる領域は候補としないようにすることができる。そして、
選択された候補領域は、ユーザーに対して提示され(ステップS15)、ユーザーの指示
に応じてそれが選択される(ステップS16)。例えばユーザーがカーソルキーを動かす
ことで、異なる候補領域が順次選択されるようにして、所望の領域を選択した状態でユー
ザーがエンターキーを押すことで領域を選択できるようにする。
また別の方法として、数字キーなどによって直接、領域候補番号を選択できるようにし
ても良い。
ステップS15では例えば候補領域を選択する際に、図6のように指標として0〜1の
値を持つ4つの指標を用いている場合、非関連度の最高値は4であるため、例えばその半
分の2をしきい値として選択を行う。しきい値を2とした場合、領域A、Bが選択される
。図7の例では、候補領域3までがユーザーに提示する対象となる。
値を持つ4つの指標を用いている場合、非関連度の最高値は4であるため、例えばその半
分の2をしきい値として選択を行う。しきい値を2とした場合、領域A、Bが選択される
。図7の例では、候補領域3までがユーザーに提示する対象となる。
図7において、破線で示す矩形の右上または左上端に四角で囲って示した番号が、候補
領域の順位番号(小さいほど関連性が高い番号)である。候補領域1は、指定領域10そ
のものである。候補領域2は、指定領域10と領域Aの合成領域の外接矩形で決まる領域
である。候補領域3は、指定領域10と領域Bの合成領域の外接矩形で決まる領域である
。なお、候補領域4が指定領域10と領域D、候補領域5が指定領域10と領域Eからそ
れぞれ形成される領域である。
領域の順位番号(小さいほど関連性が高い番号)である。候補領域1は、指定領域10そ
のものである。候補領域2は、指定領域10と領域Aの合成領域の外接矩形で決まる領域
である。候補領域3は、指定領域10と領域Bの合成領域の外接矩形で決まる領域である
。なお、候補領域4が指定領域10と領域D、候補領域5が指定領域10と領域Eからそ
れぞれ形成される領域である。
また、候補領域を提示する数に上限を決めておく方法も有効である。あらかじめ、ユー
ザーが表示させる最大候補数を設定しておく。例えば、ユーザーが5つを設定した場合、
指定領域10を第1の候補領域とするため、残り4つの領域A、B、D、Eが選択される
。この場合の、候補領域は、図7のようになる。しきい値で決定する例に代えて、最大候
補数を決めてこのようにユーザーに提示することも可能である。
ザーが表示させる最大候補数を設定しておく。例えば、ユーザーが5つを設定した場合、
指定領域10を第1の候補領域とするため、残り4つの領域A、B、D、Eが選択される
。この場合の、候補領域は、図7のようになる。しきい値で決定する例に代えて、最大候
補数を決めてこのようにユーザーに提示することも可能である。
さらに、抽出した候補領域に対して、重複する領域が大きい領域を検出し、候補領域と
して合成することで、候補領域の数を削減したり、あるいは、新たな候補領域を追加する
ようにしてもよい。
して合成することで、候補領域の数を削減したり、あるいは、新たな候補領域を追加する
ようにしてもよい。
図7の場合に、候補領域2の面積をS2、候補領域3の面積をS3としたとき、それら
の重複領域が、面積S2の所定の割合(例:0.8)以上であるときで、候補領域2と候
補領域3を合成した領域が、面積S3の所定の割合(例:1.2)に収まるとき、候補領
域2と候補領域3を合成した候補領域(図8の候補領域2)を生成する。候補領域1は指
定点20の領域である。この指定領域10は、候補領域2に対して重複しているが、指定
点の領域10は合成しない。この場合の最終的な候補領域は、図8のようになる。図8で
は、図7の候補領域2と候補領域3を合成し、図7の候補領域4と候補領域5の候補番号
を1ずつ繰り上げている。
の重複領域が、面積S2の所定の割合(例:0.8)以上であるときで、候補領域2と候
補領域3を合成した領域が、面積S3の所定の割合(例:1.2)に収まるとき、候補領
域2と候補領域3を合成した候補領域(図8の候補領域2)を生成する。候補領域1は指
定点20の領域である。この指定領域10は、候補領域2に対して重複しているが、指定
点の領域10は合成しない。この場合の最終的な候補領域は、図8のようになる。図8で
は、図7の候補領域2と候補領域3を合成し、図7の候補領域4と候補領域5の候補番号
を1ずつ繰り上げている。
さらに、3つ以上の領域の組み合わせにおいても、候補領域を面積比によって統廃合を
行うこともできる(図9参照)。図9では、指定点の領域10と図7の候補領域1、2、
4、5が含まれた候補5が追加されているとともに、候補領域3が、領域1と領域2を併
合した候補に変更されている。
行うこともできる(図9参照)。図9では、指定点の領域10と図7の候補領域1、2、
4、5が含まれた候補5が追加されているとともに、候補領域3が、領域1と領域2を併
合した候補に変更されている。
なお、上記の構成では、関連度を、図6に示す距離、面積、非相似度、および隣接の各
指標から求めることとしたが、色や形状のみを指標とすることも可能である。
指標から求めることとしたが、色や形状のみを指標とすることも可能である。
また相似性を表す指標として、相関関数を用いても良い。基準点は、左下などとなり、
相関度の高いものを0、最も相関度が低いものを1として計算を行う。相関関数を用いた
相似度の計算方法は例えば、次のように行う。
相関度の高いものを0、最も相関度が低いものを1として計算を行う。相関関数を用いた
相似度の計算方法は例えば、次のように行う。
(1)指定領域の重心(外接矩形中心)点と、その領域境界線上の各点の距離をサンプリ
ングする。サンプリング開始点は、例えば、最も左上にある境界画素点とする。
ングする。サンプリング開始点は、例えば、最も左上にある境界画素点とする。
(2)領域分割した各領域についても、同様に重心と境界線上の点の距離をサンプリング
する。
する。
(3)指定領域のサンプル数に、各領域のサンプル数を合わせる。指定領域のサンプル数
をMx、比較領域のサンプル数をMy、サンプル番号 Nのサンプル値のうち、変更前サ
ンプル値をY1(N)、変更後サンプル値をY2(N)、倍率s=Mx/My、d=N
/s、n=整数部(d),k=小数部(d)とすると、変更後サンプル値をY2(N)は
、以下の式で求められる。
をMx、比較領域のサンプル数をMy、サンプル番号 Nのサンプル値のうち、変更前サ
ンプル値をY1(N)、変更後サンプル値をY2(N)、倍率s=Mx/My、d=N
/s、n=整数部(d),k=小数部(d)とすると、変更後サンプル値をY2(N)は
、以下の式で求められる。
例えば、サンプル値計算例は次のようになる。ここでは、M1=200,M2=150
として、比較領域のN(=10)番目の値を求める。
として、比較領域のN(=10)番目の値を求める。
(4)相関関数にて相関係数を求める
平均と分散:
平均と分散:
(5)非相似度を次式で求める。
以上のように、本実施の形態によれば、画像中の特定の画素(点)を指定する操作とし
ては、ユーザーが画像中の任意の点を指定するだけで、所望の領域を選択することが可能
となる。これにより、ユーザーは所望の領域を簡単に拡大して印刷することや、画像編集
することが可能となる。
ては、ユーザーが画像中の任意の点を指定するだけで、所望の領域を選択することが可能
となる。これにより、ユーザーは所望の領域を簡単に拡大して印刷することや、画像編集
することが可能となる。
なお、本発明の実施の形態は、上記のものに限定されず、各処理過程を統合したり、分
散したり、各処理過程を実行するためのハードウェアを統合、分割あるいは分散したりす
ることができる。また、本発明の実施の形態を構成するプログラムは、コンピュータ読み
取り可能な記録媒体または通信回線を介して頒布することができる。
散したり、各処理過程を実行するためのハードウェアを統合、分割あるいは分散したりす
ることができる。また、本発明の実施の形態を構成するプログラムは、コンピュータ読み
取り可能な記録媒体または通信回線を介して頒布することができる。
なお、関連度の計算処理(図1のステップS13〜S14)においては、次の(1)〜
(6)ような構成を用いることができる。(1)指定点を含む領域を抱合しているものを
関連度が高い領域とする。(2)指定点を含む領域に対する形状または色の少なくとも一
方に係る相似度を指標として、相似度が高いものを関連度が高い領域とする。(3)特定
の色や形状間の関連性をあらかじめ記憶しておき、その関連性を指標として用いる。(4
)面積を指標として、比較的大きな面積を持つものを関連度が低い領域とする。(5)所
定の値以上の関連度である領域を関連性の高い領域として、関連性の高い領域と指定点を
含む領域の合成領域を候補領域として抽出する。(6)複数の関連性のある領域と指定点
を含む領域の合成領域を候補領域として抽出する。
(6)ような構成を用いることができる。(1)指定点を含む領域を抱合しているものを
関連度が高い領域とする。(2)指定点を含む領域に対する形状または色の少なくとも一
方に係る相似度を指標として、相似度が高いものを関連度が高い領域とする。(3)特定
の色や形状間の関連性をあらかじめ記憶しておき、その関連性を指標として用いる。(4
)面積を指標として、比較的大きな面積を持つものを関連度が低い領域とする。(5)所
定の値以上の関連度である領域を関連性の高い領域として、関連性の高い領域と指定点を
含む領域の合成領域を候補領域として抽出する。(6)複数の関連性のある領域と指定点
を含む領域の合成領域を候補領域として抽出する。
1 画像、10 指定領域、20 指定点
Claims (12)
- 画像からユーザーが所望する領域を抽出する画像処理方法であって、
画像を領域分割するステップと、
ユーザーの指示に応じて画像中の1点を指定するステップと、
指定点を含む領域と他の領域の関連度を解析する関連度解析ステップと、
指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出する
ステップと、
複数の候補領域をユーザーに提示するステップと、
ユーザーの指示に応じて表示した候補領域を選択するステップと
を含んでいることを特徴とする画像処理方法。 - 前記関連度解析ステップにおいて、指定点との距離を指標として、距離が近いものを関
連度が高い領域とすることを特徴とする請求項1記載の画像処理方法。 - 前記関連度解析ステップにおいて、指定点を含む領域と隣接するものを関連度が高い領
域とすることを特徴とする請求項1記載の画像処理方法。 - 前記関連度解析ステップにおいて、指定点を含む領域を抱合しているものを関連度が高
い領域とすることを特徴とする請求項1記載の画像処理方法。 - 前記関連度解析ステップにおいて、指定点を含む領域に対する形状又は色の少なくとも
一方に係る相似度を指標として、相似度が高いものを関連度が高い領域とすることを特徴
とする請求項1記載の画像処理方法。 - 前記前記関連度解析ステップにおいて、特定の色や形状間の関連性をあらかじめ記憶し
ておき、その関連性を指標として用いることを特徴とする請求項5記載の画像処理方法。 - 前記関連度解析ステップにおいて、面積を指標として、比較的大きな面積を持つものを
関連度が低い領域とすることを特徴とする請求項1〜6のいずれか1項に記載の画像処理
方法。 - 前記複数の領域候補を抽出するステップにおいて、所定の値以上の関連度である領域を
関連性の高い領域として、関連性の高い領域と指定点を含む領域の合成領域を候補領域と
して抽出することを特徴とする請求項1〜7のいずれか1項に記載の画像処理方法。 - 前記複数の領域候補を抽出するステップにおいて、複数の関連性のある領域と指定点を
含む領域の合成領域を候補領域として抽出することを特徴とする請求項8記載の画像処理
方法。 - 前記複数の領域候補を抽出するステップにおいて、候補領域Aが、別の候補領域Bに所
定の割合で含まれていて、候補領域Aと候補領域Bを合成した領域Cが、候補領域Bに対
して所定の割合の増加に収まる場合に、領域Cを候補領域とすることを特徴とする請求項
1〜9のいずれか1項に記載の画像処理方法。 - 画像からユーザーが所望する領域を抽出する画像処理装置であって、
画像を領域分割する手段と、
ユーザーの指示に応じて画像中の1点を指定する手段と、
指定点を含む領域と他の領域の関連度を解析する関連度解析手段と、
指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出する
手段と、
複数の候補領域をユーザーに提示する手段と、
ユーザーの指示に応じて表示した候補領域を選択する手段と
を備えていることを特徴とする画像処理装置。 - 画像からユーザーが所望する領域を抽出する画像処理プログラムであって、
画像を領域分割するステップと、
ユーザーの指示に応じて画像中の1点を指定するステップと、
指定点を含む領域と他の領域の関連度を解析する関連度解析ステップと、
指定点を含む領域と複数の関連度の高い領域を組み合わせて複数の候補領域を抽出する
ステップと、
複数の候補領域をユーザーに提示するステップと、
ユーザーの指示に応じて表示した候補領域を選択するステップと
をコンピュータによって実行するための記述を含んでいることを特徴とする画像処理プ
ログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004109230A JP2005293367A (ja) | 2004-04-01 | 2004-04-01 | 画像処理方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004109230A JP2005293367A (ja) | 2004-04-01 | 2004-04-01 | 画像処理方法及び装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005293367A true JP2005293367A (ja) | 2005-10-20 |
Family
ID=35326206
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004109230A Withdrawn JP2005293367A (ja) | 2004-04-01 | 2004-04-01 | 画像処理方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005293367A (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011509451A (ja) * | 2007-12-20 | 2011-03-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データのセグメント化 |
JP2012049628A (ja) * | 2010-08-24 | 2012-03-08 | Nikon Corp | 画像処理装置、撮像装置、及び画像処理プログラム |
JP2013048405A (ja) * | 2011-07-22 | 2013-03-07 | Nikon Corp | 領域抽出装置、撮像装置、及び領域抽出プログラム |
JPWO2011061905A1 (ja) * | 2009-11-20 | 2013-04-04 | 日本電気株式会社 | 物体領域抽出装置、物体領域抽出方法、及びプログラム |
WO2013088665A1 (ja) * | 2011-12-16 | 2013-06-20 | パナソニック株式会社 | 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム |
WO2015041177A1 (ja) * | 2013-09-18 | 2015-03-26 | 株式会社ニコン | 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置 |
JP2019091352A (ja) * | 2017-11-16 | 2019-06-13 | 株式会社Preferred Networks | 物体検出装置、物体検出方法及びプログラム |
JP2021047841A (ja) * | 2019-09-19 | 2021-03-25 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 関心点をラベル付けする方法、装置、コンピュータ機器及び記憶媒体 |
-
2004
- 2004-04-01 JP JP2004109230A patent/JP2005293367A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011509451A (ja) * | 2007-12-20 | 2011-03-24 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像データのセグメント化 |
US8515172B2 (en) | 2007-12-20 | 2013-08-20 | Koninklijke Philips N.V. | Segmentation of image data |
JPWO2011061905A1 (ja) * | 2009-11-20 | 2013-04-04 | 日本電気株式会社 | 物体領域抽出装置、物体領域抽出方法、及びプログラム |
JP2012049628A (ja) * | 2010-08-24 | 2012-03-08 | Nikon Corp | 画像処理装置、撮像装置、及び画像処理プログラム |
JP2013048405A (ja) * | 2011-07-22 | 2013-03-07 | Nikon Corp | 領域抽出装置、撮像装置、及び領域抽出プログラム |
WO2013088665A1 (ja) * | 2011-12-16 | 2013-06-20 | パナソニック株式会社 | 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム |
JP2013125529A (ja) * | 2011-12-16 | 2013-06-24 | Panasonic Corp | 画像領域抽出装置、画像領域抽出方法、および画像領域抽出プログラム |
US9292929B2 (en) | 2011-12-16 | 2016-03-22 | Panasonic Intellectual Property Corporation Of America | Image region extraction device, image region extraction method, and image region extraction program |
WO2015041177A1 (ja) * | 2013-09-18 | 2015-03-26 | 株式会社ニコン | 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置 |
JPWO2015041177A1 (ja) * | 2013-09-18 | 2017-03-02 | 株式会社ニコン | 画像解析装置、画像解析方法、画像解析プログラム、細胞の製造方法、細胞の培養方法、および細胞の製造装置 |
US10163218B2 (en) | 2013-09-18 | 2018-12-25 | Nikon Corporation | Image analysis device, image analysis method, image analysis program, cell manufacturing method, cell culturing method, and cell manufacturing device |
JP2019091352A (ja) * | 2017-11-16 | 2019-06-13 | 株式会社Preferred Networks | 物体検出装置、物体検出方法及びプログラム |
JP7118622B2 (ja) | 2017-11-16 | 2022-08-16 | 株式会社Preferred Networks | 物体検出装置、物体検出方法及びプログラム |
JP2021047841A (ja) * | 2019-09-19 | 2021-03-25 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 関心点をラベル付けする方法、装置、コンピュータ機器及び記憶媒体 |
US11403766B2 (en) | 2019-09-19 | 2022-08-02 | Beijing Baidu Netcom Science And Technology Co., Ltd. | Method and device for labeling point of interest |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8094935B2 (en) | Representative color extracting method and apparatus based on human color sense and data histogram distributions | |
KR101346539B1 (ko) | 얼굴들을 상관시킴으로써 디지털 이미지들을 구조화하기 | |
JP5062819B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
JP2008521133A (ja) | 分散ベースのイベント・クラスタリング | |
TWI526982B (zh) | 區域分割方法、電腦程式產品及檢查裝置 | |
JP2004234228A (ja) | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム | |
JP2005202469A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
US20210141826A1 (en) | Shape-based graphics search | |
JP2007226536A (ja) | 画像検索装置、画像検索方法、および、画像検索用プログラム | |
JP5294818B2 (ja) | 情報処理装置及び情報処理方法 | |
JP2005524362A (ja) | 無線ハンドヘルド装置用の画像案内モデルベースト・ポイント&クリック・インターフェイス | |
US10331953B2 (en) | Image processing apparatus | |
US7869633B2 (en) | Person image retrieval apparatus | |
CN109408652B (zh) | 一种图片搜索方法、装置及设备 | |
US9626747B2 (en) | Image enhancement and repair using sample data from other images | |
JP2005293367A (ja) | 画像処理方法及び装置 | |
JP2007041866A (ja) | 情報処理装置及び情報処理方法並びにプログラム | |
JP2004021430A (ja) | 画像検索装置、画像検索方法及び画像検索プログラム | |
JP2006013722A (ja) | 画像処理装置および画像処理方法 | |
US20170206580A1 (en) | Merchandise retrieval device and merchandise retrieval method | |
JP2000123173A (ja) | 画像特徴抽出方法及び類似画像検索システム、記録媒体 | |
US9767579B2 (en) | Information processing apparatus, information processing method, and non-transitory computer readable medium | |
US11283945B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP2007241370A (ja) | 携帯装置及び撮像装置 | |
JP2002208013A (ja) | 画像領域抽出装置及び画像領域抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070605 |
|
A072 | Dismissal of procedure |
Free format text: JAPANESE INTERMEDIATE CODE: A072 Effective date: 20070731 |