JP2005215763A - 画像処理方法、画像処理装置及びプログラム - Google Patents

Abstract

【課題】画像変形の目的に応じた特徴点の設定を容易に行うことが出来る画像処理方法、画像処理装置及びプログラムを提供する。
【解決手段】本発明に係る撮影画像処理システム１００によれば、指示入力部４０から変形目的情報が設定されると、特徴点リストから、設定された変形目的情報と合致する変形目標情報に対応する特徴点の位置を説明する特徴点設定情報が順次抽出され、抽出された特徴点設定情報に基づいて、画像変形処理を施すために必要な特徴点の位置を含む特徴点の抽出指示メッセージが表示される。指示入力部４０のマウス等の操作により、表示画面上の入力画像情報から特徴点が抽出されると、抽出された特徴点が、画像変形処理に用いる特徴点として設定されてＲＡＭ等に保存され、保存された特徴点を用いて、画像変形部５４により入力画像情報に対して画像変形処理が施される。
【選択図】図１

Description

本発明は、入力画像情報における対象被写体の特徴点を抽出し、抽出された特徴点を用いて画像変形処理を施す画像処理方法、画像処理装置及びプログラムに関する。

近年の写真プリントサービスは、例えば、ネガフィルムや画像記録メディアに保存された画像情報を、デジタル画像情報として取得し、これに画像加工処理を施して、写真プリントや画像記録メディアに記録された出力画像（以下、特に明記しない限り、これらをあわせて出力画像と表記する）を得る作業が日常的、かつ頻繁に行われている。

前述の画像加工処理としては、従来の写真プリントで日常的に行われていた色調や階調の調整のほか、鮮鋭性の調整や色彩の鮮やかさの調整、さらには、デジタル画像加工の特長である、画像の切り取り合成や、画像変形による特殊効果処理も頻繁に実施されている。なかでも、画像変形処理は、高度なデジタル画像処理サービスとして注目されており、特に、特許文献１に示されるような、顔画像の、目、口、眉等のパーツを変形させて、表情を変更する手法が良く研究されている。

画像変形処理の応用範囲は、上記顔の表情変更にとどまるものではもちろん無く、例えば、証明写真に用いる顔画像の、顔の傾きを矯正するものや、全身ポートレートの腕や足の乱れを矯正するものであっても良い。
特開２００１−１５５１７４

いずれの場合であっても、これらの画像変形処理は、対象被写体の形状変形の特徴点となる箇所を画像上に設定し、複数の前記特徴点を３角形をはじめとする多角形で結び、この領域を、多角形の形態や目的に応じ、アフィン変換、射影変換等を施して、目的とする形状に変形する手法が用いられることが多い。この場合、特徴点の設定法、特に、どの程度の大きさの多角形を作るかによって、変形画像の自然さや変形の自由度、画像処理時間に変化が生じるため、重要な調整ポイントである。

しかしながら、従来、特徴点の設定は画像処理オペレータの経験により個別事象毎に設定されている場合が多く、技術習得に時間がかかる困難な処理であった。

本発明はこのような状況に鑑みてなされたものであり、画像変形の目的に応じた特徴点の設定を容易に行うことが出来る画像処理方法、画像処理装置及びプログラムを提供することを目的とする。

上記課題を解決するため、請求項１に記載の発明は、
入力画像情報に特徴点を設定し、設定された特徴点を用いて画像変形処理を行う画像処理方法において、
前記画像変形処理の目的に関する情報を設定する工程と、
複数の特徴点の各々の位置を説明する特徴点設定情報と前記特徴点の各々を適用すべき前記画像変形処理の変形目標を示す変形目標情報とを対応付けて特徴点リストとして予め記憶しておき、前記設定された画像変形処理の目的に関する情報及び前記特徴点リストに基づいて、前記入力画像情報に前記画像変形処理で用いる特徴点を設定する工程と、
を含むことを特徴としている。

請求項２に記載の発明は、請求項１に記載の発明において、
前記特徴点を設定する工程は、前記特徴点リストにおいて前記画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定するものであることを特徴としている。

請求項３に記載の発明は、請求項２に記載の発明において、
前記特徴点を設定する工程は、表示画面に前記入力画像情報を表示し、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点設定情報を抽出し、前記抽出された特徴点設定情報に基づいて、オペレータに対して抽出すべき特徴点を指示するメッセージを表示画面に表示する工程を含むことを特徴としている。

請求項４に記載の発明は、請求項１に記載の発明において、
前記特徴点を設定する工程は、前記入力画像情報から前記特徴点リストに記憶された全ての特徴点を抽出し、前記画像変形処理の目的に関する情報の設定後、前記抽出された特徴点のうち、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定するものであることを特徴としている。

請求項５に記載の発明は、
入力画像情報に特徴点を設定し、設定された特徴点を用いて画像変形処理を行う画像処理装置において、
前記画像変形処理の目的に関する情報を設定する変形目的情報設定手段と、
複数の特徴点の各々の位置を説明する特徴点設定情報と前記特徴点の各々を用いることが好ましい変形目標を示す変形目標情報とを対応付けて特徴点リストとして記憶する記憶手段と、
前記変形目的情報設定手段により設定された画像変形処理の目的に関する情報及び特徴点リストに基づいて、前記入力画像情報に前記画像変形処理で用いる特徴点を設定する特徴点設定手段と、
を備えたことを特徴としている。

請求項６に記載の発明は、請求項５に記載の発明において、
前記特徴点設定手段は、前記特徴点リストにおいて前記画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴としている。

請求項７に記載の発明は、請求項６に記載の発明において、
各種情報を表示する表示手段を備え、
前記特徴点設定手段は、前記表示手段に前記入力画像情報を表示し、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点設定情報を抽出し、前記抽出された特徴点設定情報に基づいて、前記表示手段にオペレータに対して抽出すべき特徴点を指示するメッセージを表示することを特徴としている。

請求項８に記載の発明は、請求項５に記載の発明において、
前記特徴点設定手段は、前記入力画像情報から前記特徴点リストに記憶された全ての特徴点を抽出し、前記画像変形処理の目的に関する情報の設定後、前記抽出された特徴点のうち、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴としている。

請求項９に記載の発明は、
入力画像情報に特徴点を設定し、設定された特徴点を用いて画像変形処理を実現するためのコンピュータに、
前記画像変形処理の目的に関する情報を設定する変形目的設定機能と、
前記設定された画像変形処理の目的に関する情報及び複数の特徴点の各々の位置を説明する特徴点設定情報と前記特徴点の各々を用いることが好ましい変形目標を示す変形目標情報とを対応付けて記憶する特徴点リストに基づいて、前記入力画像情報に前記画像変形処理で用いる特徴点を設定する特徴点設定機能と、
を実現させるためのプログラムであることを特徴としている。

請求項１０に記載の発明は、請求項９に記載の発明において、
前記特徴点設定機能は、前記特徴点リストにおいて前記画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴としている。

請求項１１に記載の発明は、請求項１０に記載の発明において、
前記特徴点設定機能は、表示画面に前記入力画像情報を表示し、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点設定情報を抽出し、前記抽出された特徴点設定情報に基づいて、前記表示画面上にオペレータに対して抽出すべき特徴点を指示するメッセージを表示することを特徴としている。

請求項１２に記載の発明は、請求項９に記載の発明において、
前記特徴点設定機能は、前記入力画像情報から前記特徴点リストに記憶された全ての特徴点を抽出し、前記画像変形処理の目的に関する情報の設定後、前記抽出された特徴点のうち、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴としている。

請求項１、５、９に記載の発明によれば、複数の特徴点の各々の位置を説明する特徴点設定情報と特徴点の各々を適用すべき画像変形処理の変形目標を示す変形目標情報とを対応付けて特徴点リストとして予め記憶しておき、設定された画像変形処理の目的に関する情報が設定されると、設定された画像変形処理の目的に関する情報及び特徴点リストに基づいて、入力画像情報の画像変形処理に用いる特徴点を設定する。従って、画像変形処理の目的に合った特徴点を容易に設定することが可能となる。

請求項２、６、１０に記載の発明によれば、特徴点リストにおいて画像変形処理の目的に関する情報と合致する変形目標情報に対応付けられた特徴点を入力画像情報から抽出し、抽出された特徴点を画像変形処理に用いる特徴点として設定する。従って、特徴点リストの内容から画像変形処理の目的に合った必要な特徴点を容易に見つけ出し、入力画像情報から抽出することができるので、効率的に作業を実施することが可能となる。

請求項３、７、１１に記載の発明によれば、表示画面に入力画像情報を表示し、特徴点リストにおいて設定された画像変形処理の目的に関する情報と合致する変形目標情報に対応付けられた特徴点設定情報を抽出し、抽出された特徴点設定情報に基づいて、オペレータに対して抽出すべき特徴点を指示するメッセージを表示画面に表示する。従って、画像変形処理の目的に合った抽出すべき特徴点の位置を容易に見つけ出し、オペレータに確実に抽出すべき点を指示することができるので、効率的に作業を実施することが可能となる。

請求項４、８、１２に記載の発明によれば、入力画像情報から特徴点リストに記憶された全ての特徴点を抽出し、画像変形処理の目的に関する情報の設定後、抽出された特徴点のうち、特徴点リストにおいて、設定された画像変形処理の目的に関する情報と合致する変形目標情報に対応付けられた特徴点を入力画像情報から抽出し、抽出された特徴点を画像変形処理に用いる特徴点として設定する。従って、画像変形処理の目的に合った特徴点を容易に抽出することが可能となる。また、予め全ての特徴点を抽出しておくので、画面上でいろいろな目的の画像変形処理を試してみたい場合等に、非常に高速に画像変形処理を実現することが可能となる。

〔第１の実施の形態〕
以下、図を参照して本発明の第１の実施の形態を詳細に説明する。
まず、構成を説明する。
図１に、本実施の形態における撮影画像処理システム１００の全体構成例を示す。図１に示すように、撮影画像処理システム１００は、ＦＢ（flat bed)スキャナ１１、フィルムスキャナ１２、メモリドライバ１３、画像入力部１４、撮影部２０、画像表示部３０、指示入力部４０、画像処理部５０、画像出力部６０等を備えて構成されている。

ＦＢスキャナ１１は、写真プリント７１等の反射原稿上の画像を読み取ってデジタル画像情報を取得する。
フィルムスキャナ１２は、アナログカメラにより撮像された現像済みの写真フィルム７２等の透過原稿に記録された駒画像を読み取ってデジタル画像情報を取得する。
メモリドライバ１３は、ＭＯ（Magnet-Optic）、ＣＤ−Ｒ（CD Recordable）、スマートメディアカードを始めとする各種記録メディア７３に記録されたデジタル画像情報を読み出して取得する。

画像入力部１４は、ＦＢスキャナ１１、フィルムスキャナ１２、メモリドライバ１３及び画像処理部５０に接続され、ＦＢスキャナ１１、フィルムスキャナ１２、メモリドライバ１３により取得されたデジタル画像情報を画像処理部５０に入力する。また、画像入力部１４は、撮影部２０の撮影制御部２１に接続されており、撮影部２０により撮影された画像情報を画像処理部５０に入力する。更に、画像入力部１４は、画像処理部５０を介して指示入力部４０から入力された撮影に関する指示情報を撮影部２０の撮影制御部２１に出力する。

撮影部２０は、図１に示すように、撮影制御部２１、被写体照明部２２、ＤＳＣ（デジタルスチルカメラ）２３、通信回線２４等により構成されている。

撮影制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えて構成され、画像入力部１４を介して入力された、指示入力部４０からの指示情報等に基づいて被写体照明部２２のＯＮ／ＯＦＦや光量を制御して被写体Ａを照明するとともに、通信回線２４を介してＤＳＣ２３を制御して被写体Ａを撮影し、得られたデジタル画像情報を画像入力部１４に出力する。

被写体照明部２２は、撮影制御部２１に接続され、撮影制御部２１の制御に基づいて被写体Ａを照明する。ＤＳＣ２３は、フォーカシングレンズ、ズームレンズ、シャッター及び絞り等を含む撮像用の光学レンズユニット、ＣＣＤ（Charge Coupled Device ）等の撮像素子を含む光電変換ユニット等により構成されている。ＤＳＣ２３は、通信回線２４を介して撮影制御部２１に接続され、撮影制御部２１からの制御に基づいて被写体Ａを撮像し、その撮像画像を光電変換してデジタル画像情報として通信回線２４を介して撮影制御部２１に出力する。なお、通信回線２４は、無線であっても有線であってもよい。

画像表示部３０は、表示手段であり、画像処理部５０に接続されており、ＣＲＴ（Cathode Ray Tube）やＬＣＤ（Liquid Crystal Display）等によってなる表示画面を備え、画像処理部５０から入力される表示信号の指示に従って画像情報を画面上に表示する。

指示入力部４０は、画像処理部５０に接続されており、文字／英数字入力キー、カーソルキー、及び各種機能キー等を備えたキーボードと、ポインティングデバイスであるマウスと、を備えて構成され、キーボードで押下操作されたキーの押下信号とマウスによる操作信号とを入力信号として画像処理部５０に出力する。

画像処理部５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等により構成され、ＣＰＵは、ＲＯＭに記憶されているプログラムとの協働によるソフトウエア処理により、図１に示す前処理部５１、領域抽出処理部５２、特徴点設定部５３、画像変形部５４としての機能を実現し、画像入力部１４から入力された入力画像情報に対して各種画像処理を施す。

前処理部５１は、画像入力部１４から入力されるデジタル画像情報（入力画像情報）を、以降の信号処理がしやすい画像情報に変換する。例えば、入力画像情報が透過光量を指し示す信号値からなる場合は、光学濃度を指し示す信号値に変換する処理を施す。また、入力画像情報に対し、階調、色調、彩度、鮮鋭性、粒状性等の各調整処理等を施す。

領域抽出処理部５２は、前処理の施された入力画像情報から画像変形処理の対象被写体領域及びその構成パーツ領域を抽出する。対象被写体領域の抽出は、各種の公知の手法を用いて行う。例えば、人物を対象被写体とした場合には、以下の手順で抽出を行う。
（１）入力画像情報から肌色領域を抽出
（２）肌色領域の形態から顔領域を抽出
（３）顔領域周辺の画像情報からエッジ情報を抽出し、複数の部分領域を得る
（４）得られた各部分領域に対して、人物のパーツ（例えば、上腕、下腕、手、大腿、足など）の代表的形態を表したテンプレートを用いたテンプレートマッチング処理を行い、人物を構成するパーツ候補領域を抽出
（５）抽出されたパーツ候補領域及び顔領域の配置、大小関係から、正しく人物及びその構成パーツの領域の抽出がなされているかを確認し、必要に応じて（２）以降の処理を繰り返す。

特徴点設定部５３は、画像表示部３０に入力画像情報を表示させ、指示入力部４０から設定された画像変形処理の目的に関する情報（以下、変形目的情報と称する）及びＲＯＭ等の記憶手段に予め記憶されている特徴点リスト５３１（図２参照）に基づいて、変形目的情報に応じた画像変形処理を施すために必要となる特徴点の位置の情報（特徴点設定情報）を取得して、特徴点設定情報に基づいて、オペレータに特徴点の抽出指示メッセージを表示する。画像表示部３０に表示された入力画像の抽出箇所をマウスでクリックする、等により特徴点が抽出されると、抽出された特徴点を画像変形処理に用いる特徴点として設定する。画像変形処理の目的としては、種々の目的が考えられるが、ここでは、一例として、下記の変形目的を設定可能とする。
ａ；表情変更、ｂ；顔相変更、ｃ；体型変更、ｄ；姿勢変更
なお、領域抽出処理部５２の抽出結果に基づいて、マウスのクリック等により抽出された点が、特徴点を設定すべき位置であるか否かを判断し、特徴点を設定すべき位置でない場合は、エラー表示等を表示することが好ましい。

図２に、特徴点リスト５３１の一例を示す。図２に示すように、特徴点リスト５３１は、リスト番号、特徴点設定情報、変形目標情報とが対応付けて格納されている。リスト番号は、特徴点を一意的に識別するための情報（例えば、１、２、３、・・・）であり、特徴点設定情報は、特徴点の位置を説明する情報（例えば、頭部左右対称線の上端、左眉の左端、左眉の右端、・・・）であり、変形目標情報は、対応する特徴点を適用すべき変形目標（例えば、ｄ、ａ，ｂ、ａ，ｂ、・・・）を示す情報である。ここで、例えば、変形目標情報のａは表情変更を示し、ｂは顔相変更を示し、ｃは体型変更を示し、ｄは姿勢変更を示す。

画像変形部５４は、特徴点設定部５３により設定された特徴点を用いて、入力画像情報に対し、アフィン変換、射影変換等の各種画像変形処理を施す。

画像処理部５０は、入力画像情報に対して画像変形処理を含む画像処理を施すことにより出力画像情報を生成し、画像出力部６０の画像出力制御部６１に出力する。このとき、出力画像情報に対して出力先に応じた色変換を行った後、出力する。

画像出力部６０は、図１に示すように、画像出力制御部６１、画像プリント部６２、メディア書き込み部６３等により構成されている。

画像出力制御部６１は、画像処理部５０に接続され、画像処理部５０から入力された出力画像情報を画像プリント部６２又はメディア書き込み部６３に出力する。
画像プリント部６２は、画像出力制御部６１から入力された出力画像情報に基づいて感光材料に露光し、露光された感光材料を現像処理して乾燥し、写真プリント８１を作成する。メディア書き込み部６３は、記録メディアスロット等を備え、画像出力制御部６１から入力された出力画像情報をＭＯ、ＣＤ−Ｒ、スマートメディアカードを始めとする各種記録メディア８２に書き込む。

次に、第１の実施の形態の動作について説明する。
図３に、画像処理部５０により実行される画像処理のフローチャートを示す。この画像処理は、画像処理部５０に設けられたＣＰＵと、ＲＯＭに記憶されているプログラムとの協働によるソフトウエア処理によって実現されるものである。

まず、画像入力部４０からデジタル画像情報が入力されることにより入力画像情報が取得されると（ステップＳ１）、前処理部５１により、入力画像情報に対して、以降の信号処理がしやすい画像情報に変換する処理（例えば、輝度信号から光学濃度信号への変換処理）、階調、色調、彩度、鮮鋭性、粒状性、の各調整処理等の前処理が施される（ステップＳ２）。次いで、画像表示部３０に、画像変形処理の目的の一覧及びこの一覧からの画像変形処理の目的の選択を促すメッセージが表示され、指示入力部４０により画像変形処理の目的が選択されることにより変形目的情報が設定されると（ステップＳ３）、領域抽出処理部５２により、前処理の施された入力画像情報から画像変形処理の対象被写体領域及び被写体の構成パーツ領域が抽出され（ステップＳ４）、特徴点設定部５３により、画像変形処理で用いる特徴点の設定（図４の特徴点設定処理）が行われる（ステップＳ５）。

図４に、ステップＳ５で特徴点設定部５３により実行される特徴点設定処理のフローチャートを示す。
まず、ステップＳ３において設定された変形目的情報が取得されるとともに（ステップＳ１０１）、ＲＯＭ等の記憶手段に記憶された特徴点リスト５３１（図２参照）が取得される（ステップＳ１０２）。

次いで、画像表示部３０に入力画像情報が表示されるとともに、取得された変形目的情報及び特徴点リスト５３１に基づいて、オペレータに対して特徴点抽出を指示するメッセージが画像表示部３０に表示される（ステップＳ１０３）。具体的には、特徴点リスト５３１から変形目的情報と合致する変形目標情報を有する特徴点の位置等を説明する特徴点設定情報が順次抽出され、抽出された特徴点設定情報に基づいて、変形目的情報に応じた画像変形処理を施すために必要な特徴点の位置等を含む特徴点抽出指示メッセージが画像表示部３０に表示される。

画像表示部３０に表示された入力画像の抽出箇所が指示入力部４０のマウスでクリックされる等により特徴点が抽出されると（ステップＳ１０４）、抽出された特徴点が、画像変形処理に用いる特徴点として設定されてＲＡＭ等に保存され、変形目的情報に合致する変形目標情報を有する全ての特徴点が抽出され、特徴点の抽出が終了したか否かが判断される（ステップＳ１０５）。全ての特徴点が抽出されていない場合は（ステップＳ１０５；ＮＯ）、処理はステップＳ１０３に戻り、ステップＳ１０３〜Ｓ１０４が繰り返し実行される。全ての特徴点が抽出され、抽出が終了した場合は（ステップＳ１０５；ＹＥＳ）、処理は図３のステップＳ６に移行する。

図３のステップＳ６においては、画像変形部５４により、設定された特徴点各々の変形量（各特徴点の移動方向、大きさ等）が設定される（ステップＳ６）。特徴点各々の変形量の設定は、以下のようにして行われる。例えば、変形目的別に画像変形処理により実施可能な変更の種類（例えば、変形目的が表情変更である場合、喜び、怒り、驚き、悲しみ、嫌悪、恐怖の６つ）を予め設定しておき、変更の種類毎に、特徴点各々に対して、予め定義された標準的な被写体の状態（例えば、変形目的が表情変更である場合は、平静な表情を定義しておく）からの変形量を予め定義してＲＯＭ等の記憶手段に記憶しておく。そして、オペレータにより画像変形処理により実施する変更の種類が選択入力されると、画像変形部５４において、設定された各特徴点に対し、選択された変更の種類に定義づけられた変形量が読み出されることにより設定される。そして、設定された各特徴点の変形量に基づいて、前処理の施された画像情報に画像変形処理が施され（ステップＳ７）、本処理は終了する。なお、画像変形処理そのものは、本発明の対象ではなく、アフィン変換、射影変換等各種変形処理に対して本発明を適用することが可能である。

図５に、画像変形処理の目的として表情変更が選択された場合に設定される特徴点の一例を示す。一般的に、表情変更は、例えば、口元、瞼等の顔領域内部の微細な変化によって表現されるため、図５に示すように、顔領域内部に細かな特徴点が設定され、設定された各々の特徴点に対して、指示入力部４０から選択入力された表情変更の種類（例えば、喜び、怒り、驚き、悲しみ、嫌悪、恐怖、の６つのうちの一つ）に応じて定義された変形量（平静時の表情として予め定義されている表情に対してもつ変移量を、特徴点の移動方向、大きさで示したもの）が設定され、設定された変形量に相当する分の画像変形処理が入力画像情報に施される。

図６に、画像変形目的として顔相変更が選択された場合に設定される特徴点の一例を示す。一般的に、顔相変更は、目、鼻、口等、顔領域内部のパーツの構成という、表情変更よりは一回り大きな構成を扱うため、特徴点は、各パーツの関係を特徴付ける、例えば、頬骨の頂部等の大きな骨格に基づいて設定され、設定された各々の特徴点に対して、指示入力部４０から選択入力された顔相変更の種類（例えば、吉相／凶相、或いは、縄文顔／弥生顔等）に応じて定義された変形量（予め定義した平均的な顔モデルに対して各顔相変更の種類がもつ変移量を、特徴点の移動方向、大きさで示したもの）が設定され、設定された変形量に相当する分の画像変形処理が入力画像情報に施される。

図７に、画像変形目的として体型変更が選択された場合に設定される特徴点の一例を示す。図７に示すように、体型変更は主に、骨格構成パーツの中間部、輪郭に対して重点的に特徴点が設定され、設定された各々の特徴点に対して、指示入力部４０から入力された体型変更の種類（例えば、平均体型→肥満体型変更、肥満体型→平均体型等）に応じて定義された変形量（予め定義された平均体型と肥満体型との間での変移量を、特徴点の移動方向、大きさで示したもの）が設定され、設定された変形量に相当する分の画像変形処理が入力画像情報に施される。

図８に、画像変形目的として姿勢変更が選択された場合に設定される特徴点の一例を示す。図８に示すように、姿勢変更は、各々の構成パーツに存在する骨格が重要な要素となり、例えば、上腕部の、各々のパーツの芯線が交わる箇所、生体の骨格では、関節に対応する箇所が主な特徴点として設定され、設定された各々の特徴点に対して、指示入力部４０から入力された姿勢変更の種類に応じて定義された変形量が設定され、設定された変形量に相当する分の画像変形処理が入力画像情報に施される。姿勢変更の種類は、例えば脇を締める（肘関節に相当する特徴点を胴体側に寄せる）や、首の傾きを矯正する（頭頂部の特徴点と、顎下の特徴点を通る線が、体線を表す特徴点で形成される線上に合致するように変形）、等がある。

以上説明したように、撮影画像処理システム１００によれば、指示入力部４０から変形目的情報が設定されると、特徴点リスト５３１から、設定された変形目的情報と合致する変形目標情報に対応する特徴点の位置を説明する特徴点設定情報が順次抽出され、抽出された特徴点設定情報に基づいて、設定された変形目的情報に応じた画像変形処理を施すために必要な特徴点の位置を含む特徴点抽出指示メッセージが画像表示部３０に表示される。指示入力部４０のマウス等の操作により入力画像情報から特徴点が抽出されると、抽出された特徴点が、画像変形処理に用いる特徴点として設定されてＲＡＭ等に保存され、保存された特徴点を用いて、画像変形部５４により入力画像情報に対して画像変形処理が施される。

従って、特徴点リストを用いることで、画像変形処理の変形目的に合った、必要な特徴点の位置を容易に見つけ出し、オペレータに、確実に、画像変形処理の変形目的に合った抽出すべき特徴点を指示することができるので、入力画像情報への画像変形処理のための特徴点設定を容易に実施することが可能となり、作業を効率化できる。

〔第２の実施の形態〕
次に、本発明の第２の実施の形態について説明する。
まず、構成を説明する。なお、本実施の形態における構成は、第１の実施の形態で説明したのとほぼ同様であるので、相違点のみを下記に説明する。

本実施の形態において、図１の特徴点設定部５３は、領域抽出処理部５２により抽出された対象被写体領域から特徴点を抽出し、ＲＯＭ等の記憶手段に記憶されている特徴点リスト５３１（図２参照）を参照し、各々の特徴点に対し変形目標情報を付与してＲＡＭに記憶する。対象被写体領域における特徴点の抽出方法としては、公知公用の手法を用いることができる。例えば、領域抽出処理部５２により抽出された対象被写体領域の各構成パーツの境界上や、濃度変化が顕著な（所定以上の）部分にほぼ一定の間隔で点を付して特徴点として抽出する。指示入力部４０から変形目的情報が設定されると、特徴点設定部５３は、設定された変形目的情報に合致した変形目標情報を有する特徴点を、画像変形処理に用いる特徴点として抽出する。変換目的は、種々の目的が考えられるが、ここでは、一例として、下記の変形目的情報を設定可能とする。
ａ；表情変更、ｂ；顔相変更、ｃ；体型変更、ｄ；姿勢変更

次に、本実施の形態における動作について説明する。
図９に、画像処理部５０により実行される画像処理のフローチャートを示す。この画像処理は、画像処理部５０に設けられたＣＰＵと、ＲＯＭに記憶されているプログラムとの協働によるソフトウエア処理によって実現されるものである。

まず、画像入力部４０からデジタル画像情報が入力されることにより入力画像情報が取得されると（ステップＳ１１）、前処理部５１により、入力画像情報に対して、以降の信号処理がしやすい画像情報に変換する処理（例えば、輝度信号から光学濃度信号への変換処理）、階調、色調、彩度、鮮鋭性、粒状性等の各調整処理等の前処理が施される（ステップＳ１２）。次いで、領域抽出処理部５２により、前処理の施された入力画像情報から画像変形処理の対象被写体領域及びその被写体を構成するパーツ領域が抽出され（ステップＳ１３）、特徴点設定部５３により、抽出された被写体領域から特徴点が抽出され（ステップＳ１４）、特徴点リスト５３１（図２参照）の参照により、抽出された各々の特徴点に対し変形目標情報が付与されＲＡＭに記憶される（ステップＳ１５）。図１０に、画像変形処理の対象被写体領域において抽出された特徴点の各々に対し変形目標情報が付与された例を示す。

次いで、画像表示部３０に、画像変形処理の目的の一覧及び一覧からの目的の選択を促すメッセージが表示され、指示入力部４０により画像変形処理の目的が選択されることにより変形目的情報が設定されると（ステップＳ１６）、特徴点設定部５３により、ステップＳ１５でＲＡＭに記憶された対象被写体領域における特徴点のうち設定された変形目的情報に合致した変形目標情報を有する特徴点が抽出され、抽出された特徴点が画像変形処理に用いる特徴点として設定され、ＲＡＭに保存される（ステップＳ１７）。

画像変形処理に用いる特徴点が設定されると、画像変形部５４により、設定された特徴点各々の変形量（各特徴点の移動方向、大きさ等）が設定される（ステップＳ１８）。特徴点各々の変形量の設定は、以下のようにして行われる。例えば、変形目的別に画像変形処理により実施可能な変更の種類（例えば、変形目的が表情変更である場合、喜び、怒り、驚き、悲しみ、嫌悪、恐怖の６つ）を予め設定しておき、変更の種類毎に、特徴点各々に対して、予め定義された標準的な被写体の状態（例えば、変形目的が表情変更である場合は、平静な表情を定義しておく）からの変形量を予め定義してＲＯＭ等の記憶手段に記憶しておく。そして、オペレータにより画像変形処理により実施する変更の種類が選択入力されると、画像変形部５４において、設定された各特徴点に対し、選択された変更の種類に定義づけられた変形量が読み出されることにより設定される。そして、設定された各特徴点の変形量に基づいて、前処理の施された画像情報に画像変形処理が施され（ステップＳ１９）、本処理は終了する。なお、画像変形処理そのものは、本発明の対象ではなく、アフィン変換、射影変換等各種変形処理に対して本発明を適用することが可能である。

以上説明したように、撮影画像処理システム１００によれば、領域抽出処理部５２により、入力画像情報から画像変形処理の対象となる被写体領域が抽出され、特徴点設定部５３により対象被写体領域における特徴点が抽出され、ＲＯＭ等の記憶手段に予め記憶されている特徴点リスト５３１の参照により前記抽出された各々の特徴点に対し変形目標情報が付与されてＲＡＭに記憶される。指示入力部４０から画像変形処理の目的が選択され、変形目的情報が設定されると、特徴点設定部５３により、入力された変形目的情報に合致した変形目標情報を有する特徴点が抽出され、この抽出された特徴点が画像変形処理に用いる特徴点として設定され、この設定された特徴点を用いて、画像変形部５４により入力画像情報に対して画像変形処理が施される。

従って、画像変形処理の変形目的に合った特徴点を入力画像情報に容易に設定することが可能となり、作業を効率化できる。また、予め被写体領域全域に対する特徴点を抽出しておくので、画面上でいろいろな目的の画像変形処理を試してみたい場合等に、非常に高速な画像変形処理を実現することが可能となる。

なお、上記実施の形態における記述内容は、本発明に係る撮影画像処理システム１００の好適な一例であり、これに限定されるものではない。
例えば、上記第１及び第２の実施の形態においては、撮影画像処理システム１００は、ＦＢスキャナ、フィルムスキャナ、記録メディア、撮影制御部から入力されたデジタル画像情報に画像処理を施すこととしたが、有線或いは無線の通信回線を介して画像情報を入力可能とする構成としてもよい。

その他、撮影画像処理システム１００の細部構成及び細部動作に関しても、本発明の趣旨を逸脱することのない範囲で適宜変更可能である。

本発明に係る撮影画像処理システム１００の機能的構成を示すブロック図である。 特徴点リスト５３１のデータ格納例を示す図である。 本発明に係る第１の実施の形態において図１の画像処理部５０により実行される画像処理のフローチャートである。 図３のステップＳ５において実行される特徴点設定処理を示すフローチャートである。 画像変形処理の目的として表情変更が選択された場合に設定される特徴点の一例を示す図である。 画像変形処理の目的として顔相変更が選択された場合に設定される特徴点の一例を示す図である。 画像変形処理の目的として体型変更が選択された場合に設定される特徴点の一例を示す図である。 画像変形処理の目的として姿勢変更が選択された場合に設定される特徴点の一例を示す図である。 本発明に係る第２の実施の形態において図１の画像処理部５０により実行される画像処理のフローチャートである。 画像変形処理の対象被写体領域において抽出された特徴点の各々に対し変形目標情報が付与された例を示す図である。

符号の説明

１００ 撮影画像処理システム
１１ ＦＢスキャナ
１２ フィルムスキャナ
１３ メモリドライバ
１４ 画像入力部
２０ 撮影部
２１ 撮影制御部
２２ 被写体照明部
２３ ＤＳＣ
２４ 通信回線
３０ 画像表示部
４０ 指示入力部
５０ 画像処理部
５１ 前処理部
５２ 領域抽出処理部
５３ 特徴点設定部
５４ 画像変形部
６０ 画像出力部
６１ 画像出力制御部
６２ 画像プリント部
６３ メディア書き込み部

Claims (12)

1. 入力画像情報に特徴点を設定し、設定された特徴点を用いて画像変形処理を行う画像処理方法において、
   前記画像変形処理の目的に関する情報を設定する工程と、
   複数の特徴点の各々の位置を説明する特徴点設定情報と前記特徴点の各々を適用すべき前記画像変形処理の変形目標を示す変形目標情報とを対応付けて特徴点リストとして予め記憶しておき、前記設定された画像変形処理の目的に関する情報及び前記特徴点リストに基づいて、前記入力画像情報に前記画像変形処理で用いる特徴点を設定する工程と、
   を含むことを特徴とする画像処理方法。
2. 前記特徴点を設定する工程は、前記特徴点リストにおいて前記画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定するものであることを特徴とする請求項１に記載の画像処理方法。
3. 前記特徴点を設定する工程は、表示画面に前記入力画像情報を表示し、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点設定情報を抽出し、前記抽出された特徴点設定情報に基づいて、オペレータに対して抽出すべき特徴点を指示するメッセージを表示画面に表示する工程を含むことを特徴とする請求項２に記載の画像処理方法。
4. 前記特徴点を設定する工程は、前記入力画像情報から前記特徴点リストに記憶された全ての特徴点を抽出し、前記画像変形処理の目的に関する情報の設定後、前記抽出された特徴点のうち、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定するものであることを特徴とする請求項１に記載の画像処理方法。
5. 入力画像情報に特徴点を設定し、設定された特徴点を用いて画像変形処理を行う画像処理装置において、
   前記画像変形処理の目的に関する情報を設定する変形目的情報設定手段と、
   複数の特徴点の各々の位置を説明する特徴点設定情報と前記特徴点の各々を用いることが好ましい変形目標を示す変形目標情報とを対応付けて特徴点リストとして記憶する記憶手段と、
   前記変形目的情報設定手段により設定された画像変形処理の目的に関する情報及び特徴点リストに基づいて、前記入力画像情報に前記画像変形処理で用いる特徴点を設定する特徴点設定手段と、
   を備えたことを特徴とする画像処理装置。
6. 前記特徴点設定手段は、前記特徴点リストにおいて前記画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴とする請求項５に記載の画像処理装置。
7. 各種情報を表示する表示手段を備え、
   前記特徴点設定手段は、前記表示手段に前記入力画像情報を表示し、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点設定情報を抽出し、前記抽出された特徴点設定情報に基づいて、前記表示手段にオペレータに対して抽出すべき特徴点を指示するメッセージを表示することを特徴とする請求項６に記載の画像処理装置。
8. 前記特徴点設定手段は、前記入力画像情報から前記特徴点リストに記憶された全ての特徴点を抽出し、前記画像変形処理の目的に関する情報の設定後、前記抽出された特徴点のうち、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴とする請求項５に記載の画像処理装置。
9. 入力画像情報に特徴点を設定し、設定された特徴点を用いて画像変形処理を実現するためのコンピュータに、
   前記画像変形処理の目的に関する情報を設定する変形目的設定機能と、
   前記設定された画像変形処理の目的に関する情報及び複数の特徴点の各々の位置を説明する特徴点設定情報と前記特徴点の各々を用いることが好ましい変形目標を示す変形目標情報とを対応付けて記憶する特徴点リストに基づいて、前記入力画像情報に前記画像変形処理で用いる特徴点を設定する特徴点設定機能と、
   を実現させるためのプログラム。
10. 前記特徴点設定機能は、前記特徴点リストにおいて前記画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴とする請求項９に記載のプログラム。
11. 前記特徴点設定機能は、表示画面に前記入力画像情報を表示し、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点設定情報を抽出し、前記抽出された特徴点設定情報に基づいて、前記表示画面上にオペレータに対して抽出すべき特徴点を指示するメッセージを表示することを特徴とする請求項１０に記載のプログラム。
12. 前記特徴点設定機能は、前記入力画像情報から前記特徴点リストに記憶された全ての特徴点を抽出し、前記画像変形処理の目的に関する情報の設定後、前記抽出された特徴点のうち、前記特徴点リストにおいて前記設定された画像変形処理の目的に関する情報と合致する前記変形目標情報に対応付けられた特徴点を前記入力画像情報から抽出し、前記抽出された特徴点を前記画像変形処理に用いる特徴点として設定することを特徴とする請求項９に記載のプログラム。