JP2006285475A - デジタルカメラ機能を利用した多次元的デジタル画像複合処理インターフェイス技術 - Google Patents

Abstract

【目的】 機器の装備されたデジタルカメラ機能によって得られる被写体画像の動きを利用して複数の画像等の各種デジタルデータを任意に操作しながら移動や重ね合わせや加工・修正等の複合的な処理を多次元的に実行する新規なインターフェイス技術を提案する。
【構成】 デジタルカメラ７で捉えている被写体３画像の相対的な動きをモニター４、４ａ上の表示中データに重ね合わせて表示する矢印ポインターアイコン５その他の別の画像データの動きに反映させることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術である。
【選択図】 図１

Description

本発明は、デジタルカメラ機能によって得られる被写体画像の動きを利用して複数の画像等の各種デジタルデータを任意に操作しながら移動や重ね合わせや加工・修正等の複合的な処理を多次元的に実行する新規なインターフェイス技術を提案するものである。

コンピュータ技術を用いて複数の画像データを適宜に加工等しながら重ね合わせて新たな画像データを合成する技術等は多種多様なものが提案されている。
また、モニター上で表示している画像データの位置を任意に移動等させるためにマウス等の入力装置を利用することも常識的な技術である。
さらにポインティングディバイスとして用いられる入力装置はコンピュータマウスに代表されるように一般にはモニター上に表示された二次元平面上の任意の位置を指示すのみであり、奥行き方向における位置情報をも併せて３次元的に適切に示すことができるものは殆んど提案されていない。
携帯電話に備付けられたデジタルカメラで取得した画像を切り抜く技術に関しては以下のような文献が見出される。
特開２００４−３２８３１８号公報

複数の画像データ同士をコンピュータ技術によって合成する場合には相互の画像データが合成可能な形式でファイルデータ化されている必要があり、例えばデジタルカメラで撮影している画像をそのまま或いは若干の加工を施し、所望の位置決めを行った状態で別の画像データに重ね合わせて合成表示するようなことは行われていない。

マウスの矢印アイコンのようなポインター画像を任意に動かす手段として撮影能力を持ったデジタルカメラ機能を利用し、撮影に際してモニター上に表れる被写体の動きを反映させて所望のポインター移動操作を行おうという発想は従来技術には存在していない。

特に、デジタルカメラ機能で捕捉される被写体の動きの変化は奥行き方向の動きを含めた３次元的（立体的）なものとして認識可能であり、これをモニター上に表現される仮想の３次元（立体）空間内の任意の位置表示を示す３次元ポインター（３次元マウス）の操作手法に応用可能であるが、このような発想は従来まったくなされていない。
上記文献は切り抜きポイントを指定してサーバー上で処理してデータをダウンロードするもので、デジタルカメラによる画像処理特性を利用して新たなポインティングデバイスを提案するといった技術とは関連が薄い。

本発明は上記したような従来技術における課題を解消すべく検討を重ねて創案されたものであって、デジタルカメラ機能によって得られる被写体画像の動きの変化を利用し更に必要に応じて撮影映像をも使用しながら多様な用途に応用可能なデジタルデータの複合技術を開発したものであって、具体的には以下のとおりである。

（１） 取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（２） デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（３） デジタルカメラで捉えている被写体画像の相対的な動きを２次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に２次元的に移動させ得ることを特徴とする前記（２）項に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（４） モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことを特徴とする前記（２）項または（３）項に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（５）モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことを特徴とする前記（１）項〜（４）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（６） デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することを特徴とする前記（２）項〜（５）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（７） 別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことを特徴とする前記（２）項〜（６）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（８） 別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することを特徴とする前記（２）項〜（７）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（９） デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることを特徴とする前記（２）項〜（８）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１０） デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることを特徴とする前記（２）項〜（９）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１１） デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることを特徴とする前記（２）項〜（１０）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１２） デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする前記（２）項〜（１１）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１３） デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする前記（２）項〜（１２）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１４） デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることを特徴とする前記（２）項〜（１３）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１５） 携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることを特徴とする前記（２）項〜（１４）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１６） デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することを特徴とする前記（２）項〜（１５）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１７） 取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることを特徴とする前記（２）項〜（１６）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

（１８） 取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことを特徴とする前記（２）項〜（１７）項の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。

取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることで、デジタルカメラの撮影機能を活用した画像データを含む多様なデジタルデータの多次元的な複合的処理のインターフェイスとしての利用が可能となる。

デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることで、通常のデジタルカメラが当然に有している被写体の撮影能力を利用しながらモニター上に表示した各種データの移動その他の処理に活用して多次元的な複合的処理を行うインターフェイス端末とすることが可能となる。
ここで「多次元的複合処理」とは、任意に２次元的・３次元的処理を複合的に行ったり、さらに相互関連性を維持したままでの各種処理が可能な各種パラメーターを適宜に組合せながら実行する複合的なデータ処理のことであり、このような意味において既に実現されている各種の複合処理技術を当然に含んだものである。
また、本発明で言う「画像データ」とは、コンピュータのモニター上に表示し得るデジタルデータのことであり、所謂画像ファイルだけではなく、例えば、各種の文書ファイルであってもそれがモニター上に表示されて複合的処理の対象となり得るものであれば、本発明の「画像データ」に含まれるものである。

デジタルカメラで捉えている被写体画像の相対的な動きを２次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に２次元的に移動させ得ることで、特にモニター平面上の任意の位置に移動処理しながら様々な多次元的複合処理を実行するインターフェイス装置としてデジタルカメラその物やデジタルカメラ機能を備えた各種機器を利用することができるようになる。

モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことで、デジタルカメラ機能を備えた各種機器をパソコン用マウスと同等の役割を果たすものとして活用することが可能となる。

モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことで、デジタルカメラ機能そのもので取得した画像データを活用した各種の多次元的複合処理が可能なものとなる。

デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することで、取得している画像データの所望部分を自由に切り出して多様な多次元的複合的処理の素材として利用することができるようになる。

別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことで、利用者の必要性や好みに応じた様々な変形処理を施した上で画像データ素材となし多次元的複合的処理を加えることが可能となる。

別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することで、デジタルカメラにより取得中の画像データにダイレクトの所望の加工等を含んだ複合的処理を行い、その結果を即座に反映させながら各種モニター上に表示する従来にない新しい表現形式を実現することが可能となる。

デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることで、被写体の部分的な動きの変化に影響されず所望の処理が実行できるようにすることができる。例えば、意図しない小さな動きに反応してしまうと利用者が望んでいる操作を実現できないが、所定の割合以上の大きな動きのみに反応するように制限をすることで意図に沿った操作が実現可能となるのである。

デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることで、デジタルカメラの上下左右の２次元的動きをそのままモニター上の矢印アイコンなどの動きに移し変えてパソコン用マウスとまったく同様の操作感を持った機器として使用することが可能となる。

デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることにより、モニター上に表現される立体的映像データなどの３次元的な位置情報を明確に指示することができる３次元マウスの如き従来にない新規なポインティングディバイスを操作感に優れたインターフェイス装置として実現することができるようになる。
すなわち、上下左右の２次元的方向（XY軸方向）の位置表示は既存のパソコン用マウスと同等の操作で行うことができ、前後奥行きの３次元的方向（Z軸方向）の位置表示は本発明の機器を被写体に対して近づけたり遠ざけたりする操作で行うことができるので、人間の自然な感覚にマッチした操作性を実現できるものである。

デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることで、同様に人間の感性に適合した操作手法による３次元マウスの如きポインティングデバイスを実現することが可能となる。被写体に対してデジタルカメラのズーム機能によって寄ったり離れたりすることを矢印アイコンの如きのZ軸方向の位置表示操作に当てはめることも自然な人間の感性にマッチした処理手法となっているのである。

デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることでも人間の感性にマッチした３次元マウスの如き装置を実現することができる。カメラのピント合わせ操作もある意味で被写体とカメラレンズとの距離を適合化しているものと解釈することができ、これをZ軸方向の位置表示に反映させることも自然な操作性実現に結びつけることができるのである。

デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることで、本発明用機器とは別のコンピュータ装置やその他の表示装置に採用されているモニター上においても本発明用機器を操作用端末としながら適宜なデジタルデータの複合処理やコンピュータ用マウス的操作を実現することが可能となる。
本発明用機器として用いるデジタルカメラ等は通常それ自体としてモニターを備えており、したがってこの備付モニター上において上記してきたようなデータの複合処理やマウスとしてのポインティング操作を行うことができるのであるが、本発明用機器に備えられた有線・無線による通信手段を利用することで別機器のモニター上でも同様の利用が可能となるのである。

携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることで、原理的には既に市場に普及しているカメラ付携帯電話であれば本発明を実施することができるものとなし得る。すなわち、本発明はデジタルカメラ機能を使って取得しているデジタルデータに対する所望の操作処理を行うものであるから、その殆んどをプログラム処理によって実行することが可能なのである。

デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することで、立体的な被写体についてその立体的な位置情報を付与しながら画像データとして取込み作業を行うことが可能となる。

取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることで、画像データの特定箇所についての意見を述べるなどといった、携帯電話等を端末機器として使用する場合に、従来は容易に行うことができなかった手法のアンケート調査などであっても適切に実施することが可能となる。

取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことで、複数画像を重ね合わせて合成する所謂プリクラのようなサービスを携帯端末であっても実施することが可能となり、需要者に人気のあるサービス展開として本発明を実施することが可能となる。

本発明においては、カメラ付携帯電話やデジタルカメラ機器そのものを利用してそのデジタルカメラ機能により把握される被写体画像の動きを解析し、これをデジタル画像の複合的処理を行う際の各種操作に反映させることで適宜なインターフェイス装置となし得ることを見出したものである。

すなわち、所定の機器に付属したデジタルカメラ機能によって被写体を撮影する際に、例えば、該機器を被写体に対して右から左に移動すると機器のモニターに表示された画像は左から右に流れるように移動し、機器を下から上に移動するとモニター上の画像は上から下に移動するというように、デジタルカメラ機能によって機器と被写体との相対的の位置変化を連続的に把握することが可能である。

このような両者間の相対的位置変化は機器を所持した者が自在に操作可能なものであり、これを利用してデジタル画像データの複合的処理を行うインターフェイス端末の操作手法とすることができるのである。

つまり、例えば、上記したような機器と被写体との相対的な上下左右の移動変化をモニター上に表示したポインターアイコンなどの上下左右の移動として反映させるものとすると、既存のコンピュータ用マウスと同等の機能を持った新たなインターフェイス装置が容易に実現できるのである。

ここで、機器と被写体との相対的な位置変化をＸＹ平面状の座標データとして厳密に把握させる必要性はそれほど存在しない。モニター上のポインターアイコンの移動はおおよその向きを定めて連続移動的に行うものであり、所望のポイントに着いたことをモニター表示上で確認した上で確定操作等を行うことができれば良いものであるから、厳密な座標データを入手して移動処理を行うといったものではないのである。
したがって、ポインターを移動したいおおよその方向に機器を移動すると設定された速度で該方向にポインターを移動することができるといった程度で十分にコンピュータマウス同等の機能を実現することができるのである。

このようにコンピュータマウスと同等の機能が実現することで、コンピュータマウスを使用して従来行ってきている各種のデジタル画像データの複合処理はすべて本発明機器をインターフェイス装置として用いても実現することが可能なものとなる。

このような本発明を実際に応用した具体的な実施例のいくつかを以下において添付図面等を利用しながら説明する。

（実施例１）
ここでは、携帯電話１ａを用いて３次元マウスのインターフェイス端末装置１とする技術について説明する。
図１は、本発明のインターフェイス装置１としてデジタルカメラ機能を備えた携帯電話１ａを用いる場合に関しての概括的な説明図面である。
すなわち、携帯電話１ａのデジタルカメラレンズ２により被写体３（ここでは立方体３ａ）を撮影すると、携帯電話１ａのモニター４に被写体３（立方体３ａ）が写し出される。この状態で携帯電話１ａを被写体３に対して上下左右前後に移動すると両者間の相対的な位置関係の変化がモニター４に写し出される画像情報に反映することは容易に理解されるところである。

つまり、図示するように、例えば、携帯電話１ａを立方体３ａを写しながら右方向に移動するとモニター４に表示されている立方体３ａの画像はモニター４中を左方向に移動する。同様に携帯電話１ａを左方向や上方向、下方向に移動することがモニター４に表示されている立方体３ａをそれぞれ右方向、下方向、上方向に移動させることは明らかである。

さらに、携帯電話１ａを奥方向に移動して立方体３ａに近づけるとモニター４に写された立方体３ａの画像は次第に拡大されることとなり、反対に携帯電話１ａを手前方向に移動するとモニター４に写し出される立方体３ａの画像は次第に縮小されることが理解できる。

つまり、デジタルカメラ機能により被写体３を捉えながら携帯電話１ａを上下左右および前後に移動させることは、モニター４に写し出されている被写体３画像の連続的な動きとして把握することが可能なのである。すなわち、被写体３を捉えながら携帯電話１ａを動かすことにより得られる画像変化を解析することで逆に携帯電話１ａが被写体３に対して上下左右前後どのように動いたかを把握することができるのである。

このようにして把握された上下左右前後の動きをモニター４上に表示した矢印状のポインターアイコン５の動きとして表現し直すことで、上下左右といった平面的位置情報だけではなく前後奥行き方向の立体的位置情報をも適切に指示することができる３次元マウスが実現されるのであり、その作動手法も人間の自然な動作をそのまま反映させたものとなるので感覚的にも違和感がなく優れたインターフェイス装置１を実現することが可能となるものである。

また、図２に示すように有線・無線等の適当な手段によって携帯電話１ａと他のコンピュータ装置６とを接続してやることで、コンピュータ装置６のモニター４ａ上で矢印状のポインターアイコン５を操作してやることも当然に可能である。すなわち、携帯電話１ａをコンピュータ装置６に付属した３次元マウス機能を果たすインターフェイス装置１として取扱うことができるのである。

ここで、３次元マウス機能を実現するために必要なのはデジタルカメラ機能そのものであることから、コンピュータ装置６に接続可能なデジタルカメラ自体を本発明のインターフェイス装置１となし得ることも理解されるべきである。また、３次元マウス機能には当然に通常のマウス機能（２次元マウス機能）も含まれているものであり、例えば、前後奥行き方向の動きをポインターアイコン５に反映させないようにすることで従来一般のマウスと同様の機能は容易に実現できるものである。

３次元ポインタ５のモニター４、４ａ上における動き、特に前後奥行き方向の動きを判り易く表現するためには適宜に斜め方向からなどの視点変更を可能なものとし、立体的な位置情報の把握を行い易いものとするように配慮することも必要である。

（実施例２）
次いで、本発明のインターフェイス装置１、特にコンピュータ操作用マウスとしては、図３のようにコンピュータ装置６に固定的に取付けたデジタルカメラ７を用いることも可能である。
この場合、図示のように小型のデジタルカメラ７をモニター４ａ上端部などに取付けた上でコンピュータ装置６との接続設定を行っておく。すなわち、カメラ７のレンズ２を介して得られる撮影画像の動きを実施例１の場合と同様に矢印のポインターアイコン５の動作に反映させて任意なコンピュータ操作に利用することができるのである。

例えば、操作者がカメラ７の前に手をかざして撮影されながら右方向に手を動かすとモニター４ａ上のポインターアイコン５も右方向に動き、同様に左方向や上下方向に手を動かすとポインターアイコン５も同じ方向に移動するように処理できる。
もちろん、カメラ７に手を近づけると奥方向へ、遠ざけると手前方向へポインターアイコン５を動かすようにすることで上記のような３次元マウス的に使用することも可能である。

ここで、デジタルカメラ機能を持った端末機器自体を被写体に対して動かす場合（実施例１）と端末機器自体は固定しておいて被写体（手のひらなど）の方を動かす場合（実施例２）とではモニター４ａ上で動かすポインターアイコン５の動作関係が異なることになるが、これは端末機器と被写体との相対的な位置関係の変化を抽出して利用することに基因しているものである。
ただし、相対的にどちらを動かしてどちらを固定しているかが明らかであれば、モード切換えといった手段によって適切に利用可能なインターフェイス端末装置１とすることができるものである。

また、ポインターアイコン５の動きに反映させるべき被写体の画像変化としては、カメラ７を介して取得される画像の動作をすべて拾っているとかえって操作者の意思を適切に実行することができない可能性が高い。つまり操作者の意思とは無関係な背景物体等の動きまで反映したアイコン５の動作となると、パソコン操作用マウスとして使うことができなくなるのである。

そこで、カメラ７が捉えている画像中の所定サイズを越える被写体が同一方向に移動する動きのみを抽出してポインターアイコン５の動きに反映させることが必要である。例えば、捕捉されている画像中の３０％を越える面積を占めている被写体が上下左右前後など一定方向に動いている場合のみこれをアイコン５の動きに変換するものである。図３に示す場合には、操作者がカメラ７の２０〜３０ｃｍ前に手をかざして上下左右に動かすことでアイコン５を意のままに操作するといったことが可能となるものである。

また、前後奥行き方向の動きを反映させたポインターアイコン５の動作は必ずしも実際にカメラ７と被写体３との相対的位置関係を変化させなくても実現可能である。
すなわち、奥行き方向へアイコン５を移動させるのは被写体画像が次第に大きくなっていくという画像変化を利用するもので、逆に手前方向にアイコン５を移動させるのは被写体画像が次第に小さくなっていく画像変化を利用するものである。
とすれば、このような被写体画像の変化が実現すればそれをアイコン５の動作に反映せしめることが可能となるので、例えば、デジタルカメラ機能に付随するズーム機能やピント合わせ機能を働かせることで取得される被写体画像に関する拡大・縮小変化を利用してアイコン５の前後奥行き方向への移動に応用させることは容易なことである。

このようなズーム機能やピント合わせ機能を利用して前後奥行き方向へのアイコン５の移動を制御する技術は、インターフェイス端末装置１として携帯電話１ａを用いる場合にもデジタルカメラ7を用いる場合にも共通して応用可能なものである。
また、何れにしても携帯電話１ａやデジタルカメラ７をコンピュータマウスとして利用するために用いているのはその標準的なカメラ機能により取得される被写体画像の連続的な画像変化だけであるから、既存の標準的な携帯電話１ａやデジタルカメラ７に加えて新たなハードウェアが必要となるわけではなく、プログラム的処理を行うことだけで原理的には実現可能なものである。

（実施例３）
本発明のインターフェイス端末装置１は備えられたデジタルカメラ機能を用いて被写体３の画像撮影を行いその中から所望部分を切取りし、他のデジタルデータ上に合成するといった複合的処理に用いることもできるものである。
すなわち、図４に撮影した画像データから適宜な部分を抽出するための代表的な手法に関する処理手順をフローチャートとして示す。

つまり、カメラ機能により取得した画像データを画素毎に解析しその画素の色データが所定の閾値と比較して区分し、以後同様に隣接する画素毎に閾値との比較による区分けを繰り返すことで切出そうとする画像とその背景とを分けるものである。例えば、明度に関する閾値として所定の数値を指定することでこれを基準とした画像データのみを抽出することが可能となるのである。明度以外にも適当な色情報その他に関する所定数値を閾値として利用させることが可能で、適切な選択を行うことで所望の画像データ部分のみを抽出できるものである。

取得した画像データ中の所望部分のみを切出す手段としては、上記以外にも既存の様々な技術を利用して構わない。登録された所定形状の枠組みによって任意な切出しを行っても良いし、特に本発明の端末装置１がポインティングデバイスとしての機能を備えていることから、カーソルアイコン５などを切出し作業用に用いるものとして任意部分の抽出を行うことも可能である。

本発明のインターフェイス端末装置１のデジタルカメラ機能によって取得された画像データやそこから切出された所望の部分的画像データは何れもデジタルデータであることから、これらを自在に移動させたり、拡大縮小、色変換や形状変換その他の加工修正することは適宜なソフトウェアを利用して当然に可能なことである。また、これらの作業にはマウス等のインターフェイス装置のカーソルアイコン５を利用して行うが、本発明の端末装置１は画像データの取得と加工等の上記各作業をそれのみで実行することができるのである。取得して加工等した画像データをカーソルアイコン５の代用とするようなこともできるのである。

また、破線のように非連続の線によって表現された画像データの所望箇所を自動的に切出すには図４のような処理では足りない。このような場合には例えば図５に示すような手順で処理を行うことで破線等により表現された部分画像であっても適切に切出して取得することが可能である。つまり、色等のデータ有りとされた画素を適当に太らせた上で加算して破線表現であっても連続的なものと把握処理し、その後さらに太らせた画素をやせさせてすべて加算し直すことで破線表現を復元して蓄積等させるのである。

さらに、線画による連続的表現をされた画像データを適宜な形状のパターンが連続する画像データに置換するような処理も可能である。つまり図６に示すような手順の処理を施せば連続的な線画表現が適当な間隔を採って連続する所定のパターン形状に置き換えられるのである。例えば、線画表現された三角形がハート型や星型のパターン形状の連続する三角形に変換されるといった加工もソフトウェアによる処理で簡単に実現できるのである。

（その他）
このように本発明のインターフェイス装置１はポインティングデバイスとして機能すると同時にカメラ機能により画像を取得し該画像やその任意の部分を適宜に加工等し、さらにこれらの画像データ同士を複合的に合成したり、他のデジタルデータとの複合処理などを自在に行わせることが可能である。つまり、モニター４、４ａ上に表示されるものであれば複数の画像データその他のデジタルデータ同士を可能な手法によって複合的に処理することができるのである。

また、上記してきたように前後奥行き方向における位置情報をも処理させることができる３次元マウスとしても機能することから、取得してモニター４上に表示されている立体的な被写体３についての画像データに適切に３次元的位置情報を付与しながら取り込むことも可能である。
すなわち、ある立体的な被写体３について、実際には平面的なデータとして撮影されている過ぎない該被写体３についての複数の画像データにそれぞれ適切な３次元的位置情報を付与した上で取得し、これらを適切に合成処理することで、相対的に正確な３次元的位置情報を含んだ実質的な立体画像データを取得することが可能となるものである。

また、前後奥行き方向の位置関係に即した操作ができることから、例えば、多層構造化されたデータを人間の感覚に合致した手法で処理したい場合に本発明のインターフェイス装置１を利用することは望ましいことであると理解される。

以上説明してきたように、本発明によればデジタルカメラ機能を有する携帯電話やデジタルカメラそのものがそのカメラ機能を利用して通常のコンピュータ操作用マウスと同等のインターフェイス装置になると共に更に前後奥行き方向の位置情報をも処理して立体的処理を行う３次元マウスとしても活用することが可能となる。

さらにそのカメラ機能により取得される撮影画像データの複合的加工処理等にも同時に付属するモニターを使って実行できることは勿論、適宜に接続された他のコンピュータ装置等を利用して行うことも可能となるものである。

さらに適宜なインターフェイス装置としてデジタルデータ相互の複合処理を行うための端末機器として利用したり、３次元的位置情報を付与しながら画像データを取得することで立体的な位置情報を含んだ従来にない新規な画像データを合成して得ることが可能となるものである。

したがって、本発明は、デジタル画像データに新たな意義を与えて従来にはない新規な用途や応用分野を開拓するものであって、関連分野において多くの需要を産み出す可能性を秘めたものと理解されるので、その産業上の利用可能性において高い評価を受けるべき発明である。

本発明のインターフェイス装置としてデジタルカメラ機能を備えた携帯電話を用いる場合に関しての概括的な説明図面である。 有線・無線等の適当な接続手段によって携帯電話と他のコンピュータ装置とを連結して用いる場合を概括的に表現した説明図面である。 コンピュータ装置に固定的に取付けたデジタルカメラを本発明のインターフェイス装置として用いる場合の一例を示した説明図である。 適宜な閾値を利用して所望の画像データを抽出するための手順を示したフローチャート図面である。 非連続な破線などにより表現された画像部分を抽出するための手順を示したフローチャート図面である。 線画表現された図形等の画像データを所定のパターン形状を複数個並べた画像表現に置換するための手順を示したフローチャート図面である。

符号の説明

１ 本発明のインターフェイス装置
１ａ インターフェイス装置としての携帯電話
２ デジタルカメラレンズ
３ 被写体
３ａ 立方体（被写体）
４ 携帯電話モニター
４ａ コンピュータ装置モニター
５ 矢印ポインターアイコン
６ コンピュータ装置
７ デジタルカメラ

Claims (18)

1. 取得画像を複数枚重ね合わせて一枚の画像を作る上で、従来のブルーバックではなく白紙を含めて自由な色の背景色を採用可能とし、余計な背景部分を排除し透明にしたり、単純な実線を星型や他の形状の集合的実線に変えるような線や点の補完など、様々な画像処理・変換を行い、鉛筆画のような微細で淡い描画においても画像取り込み、マーキングポイント認識が可能になることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
2. デジタルカメラで捉えている被写体画像の相対的な動きをモニター上の表示中データに重ね合わせて表示する別の画像データの動きに反映させることを特徴とするデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
3. デジタルカメラで捉えている被写体画像の相対的な動きを２次元的なものとして処理することで重ね合わせて表示する別の画像データをモニター上の任意の位置に２次元的に移動させ得ることを特徴とする請求項２に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
4. モニター上に重ね合わせて表示する別の画像データとして予め準備した矢印アイコンのようなモニター上の所定位置指示に相応しい形状およびサイズのものを使うことでポインティングディバイスとしての機能を持たせたことを特徴とする請求項２または請求項３に記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
5. モニター上に重ね合わせて表示する別の画像データとしてデジタルカメラで捉えている被写体画像またはその一部を抽出して使うことを特徴とする請求項１〜請求項４の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
6. デジタルカメラで捉えている被写体画像の一部を抽出するためにその一部と残部との境界を分ける所定数値以上の明暗度差その他の閾値を利用することを特徴とする請求項２〜請求項５の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
7. 別の画像データとして利用するデジタルカメラで捉えている被写体画像に対して適宜に修正、装飾、加工、置換などを施すことを特徴とする請求項２〜請求項６の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
8. 別の画像データとして利用するデジタルカメラでリアルタイムに捉えている被写体画像に対して施す修正、装飾、加工、置換などの結果をリアルタイムに完成してモニター上に表示することを特徴とする請求項２〜請求項７の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
9. デジタルカメラで捉えている被写体画像の相対的な動きが捕捉している画像データの所定の割合以上の領域において共通している場合にのみ別の画像データの動きに反映させることを特徴とする請求項２〜請求項８の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
10. デジタルカメラが被写体に対して相対的に上下左右に移動することで捉えられる被写体画像の動きをモニター上に重ね合わせて表示する別の画像データの上下左右の動きとして反映させることを特徴とする請求項２〜請求項９の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
11. デジタルカメラが被写体に対して近づき又は遠ざかることで捉えられる被写体画像の動きをも組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの平面的な動きに前後奥行きの動きを加えて立体的な動きとして反映させることを特徴とする請求項２〜請求項１０の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
12. デジタルカメラのズーム機能による被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする請求項２〜請求項１１の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
13. デジタルカメラのピント合わせ処理に基づく被写体画像の動きを組合わせて合成処理することで、モニター上に重ね合わせて表示する別の画像データの立体的な動きとして反映させることを特徴とする請求項１〜請求項１２の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
14. デジタルカメラに有線又は無線の通信手段を持たせることで、別機器のモニター上において重ね合わせて表示する別の画像データの動きとして反映させることを特徴とする請求項２〜請求項１３の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
15. 携帯電話のようなモバイル通信情報端末機器に備付けられたデジタルカメラを用いることを特徴とする請求項２〜請求項１４の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
16. デジタルカメラ機能を利用して立体的位置情報を付与しながら立体的な被写体の画像データを取込んで複合処理することを特徴とする請求項２〜請求項１５の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
17. 取得している画像データの特定箇所をポイントしながら該箇所に対しての記述データを入力し、該特定箇所の位置情報と関連付ける複合処理を行うことで商品サンプル画像に対する意見情報などを結びつけたアンケート用ツールとして用いることを特徴とする請求項２〜請求項１６の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
18. 取得している複数の画像データを所望の位置関係を持たせて重ね合わせ処理することでプリクラ機能を持たせたことを特徴とする請求項２〜請求項１７の何れか１つに記載のデジタルカメラ機能を利用した多次元的デジタル画像複合処理用インターフェイス技術。
    

Images