JP2014032589A - Electronic device - Google Patents
Electronic device Download PDFInfo
- Publication number
- JP2014032589A JP2014032589A JP2012173849A JP2012173849A JP2014032589A JP 2014032589 A JP2014032589 A JP 2014032589A JP 2012173849 A JP2012173849 A JP 2012173849A JP 2012173849 A JP2012173849 A JP 2012173849A JP 2014032589 A JP2014032589 A JP 2014032589A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- information
- product
- current product
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、電子機器に関する。 The present invention relates to an electronic device.
特許文献1には、物体の配置状態のシミュレーションを行う配置シミュレーションシステムが記載されている。
[先行技術文献]
[特許文献]
[特許文献1] 特開2008−191751号公報
Patent Document 1 describes an arrangement simulation system for simulating an object arrangement state.
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2008-191751
しかし、上記の従来技術においては、例えばカタログ、チラシ等に掲載されているコードを撮影し、特別なスケールを実空間に配置しなければならず、コード又はスケールがない場合には、物体の配置状態のシミュレーションを行うことができなかった。 However, in the above prior art, for example, a code posted in a catalog, a flyer, etc. must be photographed and a special scale must be placed in the real space. State simulation could not be performed.
本発明の態様においては、第1物体を撮像する撮像部と、前記第1物体の大きさに関する第1情報と、前記第1物体に代えて、または前記第1物体と共に用いられる第2物体の大きさに関する第2情報とを入力する入力部と、前記撮像部が撮像した前記第1物体を表示するとともに、前記第1、第2情報に基づいて、前記第2情報に関する表示を行う表示部と、を備えたことを特徴とする電子機器を提供する。 In an aspect of the present invention, an imaging unit that captures an image of the first object, first information about the size of the first object, and a second object used in place of the first object or together with the first object. An input unit that inputs second information about the size, and a display unit that displays the first object imaged by the imaging unit and displays the second information based on the first and second information And an electronic apparatus characterized by comprising:
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、本実施形態に係る電子機器10の構成を示す。電子機器10は、一例としてスマートフォン、カメラ、又は、携帯電話等の機器であり、例えば電気製品等の第1物体を含む撮像画像に対して、第1物体の買い替え製品等である第2物体の大きさ等に関する情報、すなわち、例えば第2物体の占める範囲を示す画像等を付加して表示する。これにより、電子機器10は、使用者の部屋等に第2物体を配置した場合のシミュレーションを可能とする。
FIG. 1 shows a configuration of an
電子機器10は、撮像部100と、CPU200と、フレームメモリ300と、無線通信部400と、姿勢センサ500と、画像合成部600と、表示部700と、操作部800と、リサイズ部900と、メモリ部1000と、を備える。
The
撮像部100は、使用者の操作に応じて第1物体を含む部屋の配置等を撮像するために用いられ、レンズ部110および撮像素子120(例えばCCDまたはCMOS)を有する。レンズ部110は、CPU200に接続されて撮像制御部202により駆動され、被写体からの光を入射して撮像素子120上に結像させる。レンズ部110は、撮像部100に対して固定式又は着脱可能であってよい。レンズ部110は、AFレンズ112および絞り114を含む。
The
AFレンズ112は、撮像制御部202からの駆動制御信号によって駆動され、ピントを合わせる被写体距離を変更する。絞り114は、撮像制御部202からの駆動制御信号によって駆動され、撮像素子120に入射する被写体光の光量を調整する。
The
撮像素子120は、AFレンズ112および絞り114を介して受光した被写体光を撮像する。フレームメモリ300は、撮像素子120に接続されたバッファメモリであり、撮像素子120により撮像された撮像画像のデータを順次受け取って一時的に格納し、画像処理及び画像表示のための一時記憶として機能する。
The
無線通信部400は、第1物体の大きさに関する第1情報と、第1物体に代えて、または第1物体と共に用いられる第2物体の大きさに関する第2情報とを入力する。具体的には、無線通信部400は、CPU200の指示に応じて、第1物体の大きさ等に関する第1情報(例えば第1物体の外形寸法情報、第1物体の型番、及び第1物体の外観特徴情報[輪郭、色、及び/又は画像]等を含んでよい)をネットワーク上のサーバ等から取得してCPU200に入力する。
The
また、無線通信部400は、第1物体(例えば現在使用しているテレビ)に代えて用いられる第2物体(買替テレビ)または第1物体(例えばテレビ台)と共に用いられる第2物体(例えば新しく購入するテレビ)の大きさ等に関する第2情報(例えば第2物体の外形寸法情報、第2物体の型番、及び第2物体の外観特徴情報[輪郭、色、及び/又は画像]等を含んでよい)を、ネットワーク上のサーバ等から取得してCPU200に供給する。
In addition, the
姿勢センサ500は、電子機器10の姿勢を検出する。姿勢センサ500は、一例として加速度センサであり、撮影時の電子機器10の傾きから電子機器10の姿勢を検出する。姿勢センサ500は、検出した電子機器10の姿勢を姿勢データとしてCPU200に出力する。
The
姿勢センサ500は、電子機器10の左右を中心軸とした上下方向の傾き、電子機器10の上下を中心軸とした左右方向の傾き、及び、撮像素子120の光軸を中心とした上下左右の傾きの少なくとも1つを検出してもよい。
The
CPU200は、電子機器10内部の各種のハードウェア構成要素に接続され、これらの構成要素を制御する。CPU200は、ハードウェア及びソフトウェアの協働により撮像部100による被写体の撮像を制御する撮像制御部202を有する。撮像制御部202は、撮像素子120から入力される被写体の撮像画像のデータに基づいてAFレンズ112および絞り114を制御して撮像部100から被写体となる第1物体までの距離を検出し、ピントを合わせる。撮像制御部202は、撮像部100が撮像した画像のコントラストの変化に基づいて(コントラストAF方式)撮像部100から第1物体までの距離を検出してもよく、これに代えて位相差AF方式により第1物体までの距離を検出してもよい。
The
具体的には、コントラストAF方式の場合、撮像制御部202は、AFレンズ112のピントを合わせる距離を変化させながら第1物体を撮像させて、コントラストが最も高くなった距離を第1物体の被写体距離として検出する。また、位相差AF方式の場合、撮像制御部202は、AFセンサに結像した2つの画像の間隔に基づいて、撮像部100から第1物体までの被写体距離を検出する。
Specifically, in the case of the contrast AF method, the
またCPU200は、撮像画像中で第1物体が占める大きさ、撮像部100から第1物体までの距離情報、及び/又はAFレンズ112の焦点距離もしくはズーム量等に基づいて、第1物体の大きさの推定値に関する情報を含む推定第1情報を生成する。CPU200は、推定第1情報を元に無線通信部400を介してネットワーク上のサーバ等にアクセスして、推定第1情報にマッチングされるべき第1物体の少なくとも1つの候補を検索させ、マッチングされた少なくとも1つの第1物体のそれぞれに対応する第1情報を含む第1物体候補データを当該サーバから入力する。
Further, the
さらにCPU200は、第1物体候補データの中から選択された第1物体の第1情報に基づいて、無線通信部400を介してネットワーク上のサーバ等にアクセスして、選択された第1物体に対応する第2物体の少なくとも1つの候補を検索させ、マッチングされた少なくとも1つの第2物体のそれぞれに対応する第2情報を含む第2物体候補データを入力する。
Further, the
一例としてCPU200は、第1物体(例えば現在使用しているテレビ)の製品の種類、大きさ、及び/又は色等の属性等を用いてサーバに検索を要求し、新しく購入する製品として好適な買替製品である第2物体(例えば新しく購入するテレビ)の外形寸法情報、型番、及び外形特徴情報等を含む第2情報を無線通信部400及びネットワークを介して取得する。CPU200は、第2物体候補データの中から選択された第2物体の第2情報に関する表示を画像合成部600に指示する。
As an example, the
画像合成部600は、CPU200から第2情報に関する表示の指示を受け取って、フレームメモリ300に格納された撮像画像に第2情報に関する表示を合成して表示部700に供給する。一例として、画像合成部600は、CPU200から第2情報に関する表示の指示を受け取ると、フレームメモリ300に格納された撮像画像に、買替製品である第2物体の画像を合成して表示部700に供給する。
The
表示部700は、一例として液晶表示画面であり、画像合成部600から入力された合成画像データに基づいて、合成画像を表示する。これにより、表示部700は、撮像部100が撮像した第1物体を表示するとともに、第1、第2情報に基づいて、第2情報に関する表示を行う。
The
一例として、撮像部100が第1物体としてテレビを撮像している間、表示部700は、テレビの撮像画像のデータに、第2情報として買替製品であるテレビの画像を合成した合成画像を表示する。このような構成により、電子機器10は、第1物体を撮像すると、買替製品となる第2物体の配置シミュレーションを可能とする。
As an example, while the
操作部800は、一例として、表示部700の表面に設けられたタッチパネルを有し、使用者の操作を受け付けてCPU200に入力する。操作部800は、このような操作の一例として、撮像画像中に撮影された第1物体を指定又は変更する指示、第1物体の複数の候補の中から一の第1物体を指定する指示、第2物体の希望の大きさ等を指定する指示、及び、第1物体と共に又は第1物体に代えて用いる第2物体の複数の候補の中から一の第2物体を指定する指示等を入力してCPU200に供給する。
As an example, the
リサイズ部900は、撮像画像中から検出した第1物体の範囲をマニュアルで変更する指示を受けた場合に、当該指示に応じて撮像画像中における第1物体の範囲等を変更する。
When receiving an instruction to manually change the range of the first object detected from the captured image, the resizing
メモリ部1000は、CPU200が操作部800を通じて画像の撮像指示を受けた場合に、第1物体を撮像した第1の撮像画像をフレームメモリ300から受け取って記憶する。なお、メモリ部1000は、電子機器10に内蔵された記憶媒体であってもよいし、リムーバブル式の記憶媒体であってもよい。
When the
図2〜4は、本実施形態に係る電子機器10の動作フローを示す。本動作フローにおいて、電子機器10は、使用者の指示に応じて第1物体として現在使用している製品(「現製品」)を撮像したことに応じて現製品を特定し、第2物体として現製品に代えて用いる予定の新製品の大きさに関する情報を、現製品を撮像した画像データに合成して表示する。
2 to 4 show an operation flow of the
ステップS1において、撮像部100は、使用者の撮像操作に応じて、第1物体として例えば使用者が所有する現製品を含む対象空間を撮像する。撮像部100は、現製品を含む空間を撮像した撮像画像データを、フレームメモリ300を介してCPU200に送る。
In step S <b> 1, the
撮像制御部202は、フレームメモリ300に格納された撮像画像データから、撮像画像に含まれる現製品等の各被写体の被写体距離を、一例としてコントラストAF方式により検出する。コントラストAF方式による距離測定精度を高めることを目的として、撮像制御部202は、電子機器10から被写体までの距離を検出するための画像の撮像において、絞り114をより開けることにより被写界深度をより浅くする制御をしてもよい。
The
そして、撮像制御部202は、ピントの合う被写体距離を変化させながら撮像した画像データから被写体距離を検出する。このような制御により、撮像制御部202は、電子機器10から被写体までのより正確な距離の検出を可能とする。姿勢センサ500は、撮像時に検出した電子機器10の姿勢データをCPU200に送る。
Then, the
ステップS2において、CPU200は、撮像画像のデータに対してホワイトバランス等の画像処理を施すと共に、撮像画像の中から現製品となる物体を検出して現製品の検出データを作成する。現製品の検出データは、一例として、撮像画像中における現製品の推定範囲、現製品の推定カテゴリー、及び、現製品の特徴情報等を含む。
In step S <b> 2, the
CPU200は、例えば、輪郭検出技術を用いて撮像画像のデータから現製品の特徴情報を抽出する。一例として、CPU200は、撮像画像のデータ内の色及び距離等の分布から現製品の輪郭を検出し、色および輪郭の形状を現製品の特徴情報として抽出する。
The
CPU200は、現製品の特徴情報を元に現製品の推定カテゴリーおよび現製品の推定範囲を検出する。例えばCPU200は、抽出した現製品の特徴情報が例えば黒色および矩形状の輪郭であった場合、現製品の推定カテゴリーをテレビと検出し、抽出した現製品の特徴情報が例えば茶色および矩形状の輪郭であった場合、現製品の推定カテゴリーをタンスと検出する。CPU200は、現製品の推定カテゴリーと検出した撮像画像のデータ領域を現製品の推定範囲と検出する。
The
また、CPU200は、撮像時の電子機器10の傾きを示した姿勢データから撮像方向を特定し、色、輪郭の形状、及び撮像方向の情報に基づいて、現製品の推定カテゴリーを決定してもよい。例えば、CPU200は、白色、円状の輪郭、撮像方向が上方向である旨の情報を検出した場合、現製品の推定カテゴリーを照明装置と検出する。
Further, the
ステップS3において、CPU200は、ステップS2で作成した現製品の検出データに基づいて、現製品の推定範囲と判断した領域を示す枠を表示部700に表示させる。CPU200は、一例として図5に示すように、画像合成部600により当該枠702を撮像画像のデータの上に重ねさせ、撮像画像のデータに枠702を重ねた画像を表示部700に表示させる。
In step S3, the
ステップS4において、CPU200は、枠702で示した現製品の推定範囲が正しいか否かを使用者に問い合わせる。CPU200は、枠702の変更指示を操作部800から入力しない限り枠702が正しいとして処理を進めてもよく、これに代えて、CPU200は、確認入力のポップアップを表示部700に表示させて当該問い合わせをし、又は、枠702の表示態様(例えば点滅表示)を制御することにより当該問い合わせをしてもよい。
In step S4, the
CPU200は、当該問い合わせに対してNoの回答が入力された場合、すなわち枠702が現製品の推定範囲を正しく表示していない場合(ステップS4のNo)、処理をステップS5に進め、使用者から枠702の位置及び/または範囲の変更指示を操作部800を介して入力して現製品の推定範囲を修正する。
When the answer to No is input in response to the inquiry, that is, when the
ステップS5において、リサイズ部900は、CPU200が現製品の推定範囲を変更する変更指示を受けたことに応じて702として表示された現製品の推定範囲を修正する。リサイズ部900は、例えば、枠702の頂点を指定された位置に移動させることにより枠702の大きさを変え、現製品の推定範囲を修正する。
In step S5, the resizing
その後、CPU200は、ステップS4の処理を再度実行し、枠702が現製品の推定範囲を正しく表示しているか否かを使用者に問い合わせる。CPU200は、当該問い合わせに対してNoの回答が入力された場合、すなわち枠702が現製品の推定範囲を正しく表示していない場合(ステップS4のNo)、リサイズ部900にステップS5の処理を再度実行させる。
Thereafter, the
一方、CPU200は、枠702が現製品の推定範囲を正しく表示している場合(ステップS4のYes)、処理をステップS6に進める。ステップS6において、CPU200は、使用者による確認を経て現製品の推定範囲を現製品指定範囲と決定する。
On the other hand, when the
CPU200は、決定した現製品指定範囲を元に現製品の検出データに含まれる現製品の特徴情報および現製品の推定カテゴリーを修正する。一例として、CPU200は、現製品指定範囲に含まれるものが黒色および矩形状の輪郭のものから茶色および矩形状の輪郭のものとなった場合、現製品の推定カテゴリーをテレビからタンスに修正し、現製品の推定カテゴリーを現製品のカテゴリーとする。さらに、CPU200は、現製品の特徴情報を黒色から茶色に修正する。
The
なお、CPU200は、表示部700が現製品を表示しているときに、操作部800からの現製品の範囲を指定する入力に応じて、当該指定された範囲を現製品と指定してもよい。例えば、使用者がタッチパネルをタッチして現製品の範囲を囲う等による現製品の指定又は変更の指示を操作部800から入力すると、CPU200は、操作に応じた範囲を現製品指定範囲としてよい。
When the
また、操作部800は、例えば操作ボタンを有し、使用者が移動ボタンを押下操作したことに応じて現製品を示す枠を表示部700上で移動させ、決定ボタンを押下操作したことに応じて、枠内の領域に表示されている範囲を現製品指定範囲として入力してもよい。これを受けて、CPU200は、指定された現製品指定範囲から現製品の検出データに含まれる現製品の特徴情報および現製品のカテゴリーを決定してもよい。
The
ステップS7において、CPU200は、姿勢センサ500が検出した姿勢データから撮像時における電子機器10の傾きを検出し、撮像画像のデータが縦向きで撮像されたものか、横向きで撮像されたものかを検出する。CPU200は、検出した撮像画像のデータの向きを元に、現製品指定範囲の縦方向および横方向を特定する。
In step S <b> 7, the
ステップS8において、CPU200は、姿勢データ、現製品指定範囲すなわち撮像画像中で現製品の占める大きさ、撮像部100から現製品までの距離、及び/又はAFレンズ112の焦点距離もしくはズーム量等に基づいて、推定第1情報を算出する。推定第1情報には、例えば、現製品の推定大きさ(例えば高さ、幅等)、現製品のカテゴリー、及び現製品の特徴情報等が含まれる。
In step S8, the
ステップS9(図3参照)において、CPU200は、一例として、無線通信部400を介してネットワーク上のサーバ等に推定第1情報に含まれる現製品の推定大きさを送信し、サーバ等により大きさが近似する現製品候補データを検索させて、現製品に該当すると推定される現製品候補データを受信する。なお、CPU200は、推定第1情報として、現製品の推定大きさだけでなく、現製品の推定カテゴリー及び現製品の特徴情報に含まれる色等を含めて送信し、推定大きさのみでなく外観上の特徴も含めて現製品候補データを検索させてもよい。
In step S9 (see FIG. 3), for example, the
ステップS9において電子機器10から推定第1情報を受けたサーバは、例えば、複数の製品について第1情報を保持する製品データベースの中から、カテゴリーが電子機器10から受けた推定カテゴリーと一致すること、大きさが推定大きさと近似すること、外観特徴情報が電子機器10から受けた外観特徴情報と一致又は類似することの少なくとも1つの条件を元に評価し、評価値が基準以上高い少なくとも1つの第1情報を現製品候補データに含める処理を行う。この際、サーバは、推定大きさに対し所定の比率(例えば95%〜105%)の範囲内の大きさを有する製品を推定大きさに近似する大きさを有する製品として特定してもよく、電子機器10から受けた外観特徴情報に対し所定の範囲の色度を有する製品を色が近似する製品として特定してもよい。
The server that has received the estimated first information from the
これに代えて、CPU200は、無線通信部400を介してネットワーク上のサーバ等が保持する複数の現製品の大きさ等に関する第1情報を一旦受信し、電子機器10側で受信した全データの中から現製品候補データを検出してもよい。以上において、電子機器10が受信する現製品候補データは、少なくとも1つの現製品の候補について現製品候補の製品名、現製品候補の型番、現製品候補の製品画像、及び、現製品候補の大きさ等に関する第1情報(例えば現製品候補の外形寸法情報、及び現製品候補の外観特徴情報[輪郭、色、及び/又は画像]等)の少なくとも1つを含んでよい。
Instead, the
ステップS10において、CPU200は、受信した現製品候補データの一覧(例えば現製品候補の製品名、型番、製品画像、及び、大きさ等に関する第1情報の少なくとも1つ)を表示部700に表示させる。
In step S10, the
ステップS11において、CPU200は、表示部700に表示した現製品候補データの一覧に目的とする現製品に該当するものがあるか否かを使用者に問い合わせる。CPU200は、確認入力のポップアップを表示部700に表示させて当該問い合わせをしてもよく、現製品候補データの一覧の表示態様(例えば点滅表示)を制御することにより当該問い合わせをしてもよい。当該問い合わせに対して現製品に該当するものが現製品候補の一覧にないと入力された場合(ステップS11のNo)、CPU200は、処理をステップS12に進め、使用者に現製品名及び/又は現製品の型番を入力させる。
In step S <b> 11, the
一方、ステップS11の問い合わせに対して現製品に該当するものが現製品候補データの一覧にあると入力された場合(ステップS11のYes)、または、現製品名及び/又は現製品の型番が入力された場合(ステップS12)、CPU200は、処理をステップS13に進め、操作部800により、現製品候補データの一覧から現製品を使用者に選択させる。これにより、CPU200は、表示部700が現製品を表示しているときに使用者の指示を受けて、現製品と現製品の大きさ等に関する第1情報との対応付けをする。
On the other hand, when it is input that there is an item corresponding to the current product in the list of current product candidate data in response to the inquiry in step S11 (Yes in step S11), or the current product name and / or the model number of the current product is input. When it is determined (step S12), the
また、CPU200は、現製品候補データとして、サーバ等から無線通信部400を介して現製品候補の製品画像が入力された場合、現製品候補の製品画像と撮像部100が撮像した画像とに基づいて、対象物体の一致度が基準以上に高い場合に現製品候補の製品画像を現製品の製品画像と合致すると特定してもよい。
Further, when a product image of the current product candidate is input from the server or the like as the current product candidate data via the
例えば、CPU200は、輪郭検出技術により、無線通信部400を介して入力された現製品候補の製品画像のデータと撮像画像のデータとを比較し、色および輪郭が最も共通する現製品候補の製品画像のデータを現製品データと特定する。このような処理によれば、使用者が多数の現製品候補データの中から現製品データを特定する手間を省くことが可能となる。
For example, the
また、CPU200は、現製品データを決定したことに応じて、現製品の端部から表示部700の表示端までの距離情報を表示部700に表示させてもよい。一例として、CPU200は、表示部700の大きさと現製品の大きさとの比率により現製品の端部から表示端までの距離情報を算出して画像合成部600に出力し、画像合成部600に当該距離情報を撮像画像のデータの上に重ねさせ、撮像画像のデータに当該距離情報を重ねた画像を表示部700に表示させる。
Further, the
ステップS14において、CPU200は、操作部800を通して撮像画像上で買い替えたい新製品の大きさを使用者により指定させる。一例として、操作部800は、使用者がタッチパネルをタッチして撮像画像上で囲った領域を、新製品を配置すべき範囲の指示として入力する。CPU200は、操作部800から新製品の範囲の指示を受けて、操作に応じた範囲を使用者が希望する新製品指定範囲とする。
In step S <b> 14, the
CPU200は、例えば図6に示すように、画像合成部600及び表示部700により当該指定された新製品指定範囲を示す枠704を撮像画像上に重ねて表示させる。なお、CPU200は、枠704を現製品の大きさを示す枠702と区別するために、枠704の表示態様、例えば線色・線幅・破線の間隔の少なくとも1つを枠702と異ならせて表示部700に表示させてもよい。
For example, as illustrated in FIG. 6, the
ステップS15において、CPU200は、現製品データに含まれる現製品の大きさ等に関する第1情報および新製品指定範囲に基づいて、新製品に期待される大きさを算出する。例えば、CPU200は、第1情報に含まれる現製品の外形寸法情報から、現製品の大きさと新製品指定範囲との比率に基づき新製品に期待される大きさを算出する。
In step S15, the
CPU200は、無線通信部400を介してネットワーク上のサーバ等に、新製品に期待される大きさと現製品データとを送信し、現製品データに示されたカテゴリー及び/又は外観特徴情報にマッチし、かつ新製品に期待される大きさを含む予め定められた大きさの範囲に属する少なくとも1つの新製品の候補を検索させる。無線通信部400は、サーバ等により検索された新製品候補データを受信する。ここで、新製品候補データは、少なくとも1つの新製品の候補について新製品候補の製品名、新製品候補の型番、新製品候補の製品画像、及び、新製品候補の大きさ等に関する第2情報(例えば新製品候補の外形寸法情報、及び新製品候補の外観特徴情報[輪郭、色、及び/又は画像]等)の少なくとも1つを含んでよい。
The
ステップS16(図4参照)において、CPU200は、受信した新製品候補データの一覧(例えば新製品候補の製品名、型番、及び、画像の少なくとも1つを含む一覧)を表示部700に表示させる。なお、CPU200は、新製品候補データが検出されなかった場合には、新製品に該当する候補が見つからなかった旨のポップアップを表示部700に表示させてもよい。
In step S16 (see FIG. 4), the
ステップS17において、CPU200は、表示部700に表示した新製品候補データの一覧に新製品に該当するものがあるか否かを使用者に問い合わせる。CPU200は、確認入力のポップアップを表示部700に表示させて当該問い合わせをしてもよいし、新製品候補データの一覧の表示態様(例えば点滅表示)を制御することにより当該問い合わせをしてもよい。当該問い合わせに対して新製品に該当するものが新製品候補の一覧にない旨の指示が使用者から入力された場合(ステップS17のNo)、CPU200は、処理をステップS18に進め、使用者に新製品名及び/又は新製品の型番を入力させる。
In step S <b> 17, the
一方、ステップS17の問い合わせに対して新製品に該当するものが新製品候補データの一覧にあると入力された場合(ステップS17のYes)、または、新製品名及び/又は新製品の型番が入力された場合(ステップS18)、CPU200は、処理をステップS19に進め、操作部800により、新製品候補データの一覧から希望する新製品を使用者に選択させる。
On the other hand, when it is input that the item corresponding to the new product is in the list of new product candidate data in response to the inquiry in step S17 (Yes in step S17), the new product name and / or the new product model number are input. When it is determined (step S18), the
ステップS20において、CPU200は、撮像画像のデータ、姿勢データ、撮像部100から現製品までの距離、現製品データ、及び、新製品データ等を用いて合成用の新製品の画像データを作成する。一例として、CPU200は、撮像画像のデータから抽出した現製品の特徴情報として示される輪郭および色、現製品データの第1情報に含まれる外形寸法情報、及び姿勢データを元に、現製品の特徴情報と外形寸法情報とを比較して撮像画像のデータにおける現製品の撮像面に対する傾き(すなわち撮像部100を視点として見た場合の現製品の傾き)を検出する。
In step S20, the
CPU200は、検出した現製品の傾きに応じて新製品の画像の向きを変換し、新製品を現製品と同じ角度から見た画像を生成する。CPU200は、第2情報に関する表示を画像合成部600に指示すると共に、生成した新製品の画像を画像合成部600に供給する。
The
画像合成部600は、CPU200から第2情報に関する表示として、ステップS20で生成した新製品の画像表示の指示を受けると、フレームメモリ300に格納された撮像画像の上に新製品の画像を重ねて合成し、表示部700に供給する。ステップS21において、表示部700は、画像合成部600から供給された合成画像を表示する。すなわち、表示部700は、姿勢センサ500の検出結果に応じて、第2情報に関する表示を行う。
When the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
上記実施の形態に変更を加えた形態の一例として、電子機器10は、現製品の大きさと新製品の大きさとの違いに応じて、合成表示を異ならせてもよい。これを実現するために、CPU200は、ステップS20において、現製品に代えて用いられる新製品が現製品よりも大きい場合に、撮像部100で撮像した画像中における現製品の画像の上に新製品の外観を示す画像を重ねて表示する新製品の画像を作成し、現製品に代えて用いられる新製品が現製品よりも小さい場合に、撮像部100で撮像した画像中における現製品の画像と共に新製品が占める範囲を示す枠を作成してもよい。
As an example of a form in which the above embodiment is modified, the
この場合、ステップS21において、表示部700は、新製品が現製品よりも大きい場合には、現製品の画像の上に新製品の画像を重ねて表示し、新製品が現製品よりも小さい場合には、現製品の画像の上に新製品の大きさを示す枠を重ねて表示する。これにより、電子機器10は、買替製品となる新製品の大きさと、現製品の大きさとを見比べながらの配置シミュレーションを可能とする。
In this case, in step S21, when the new product is larger than the current product, the
また、電子機器10は、使用者の自宅等において撮像された現製品を含む空間の撮像画像を一旦メモリ部1000に格納し、後に店舗等において使用者が新製品を撮像した際に以前に撮像した現製品を含む空間の撮像画像に現在撮像している新製品の画像を重ねて表示してもよい。これを実現するために、例えば、CPU200は、撮像部100が新製品の画像を撮像すると、メモリ部1000から現製品を含む空間の撮像画像を読み出す。
In addition, the
CPU200は、輪郭検出技術により、読み出した撮像画像内から新製品の画像と同じカテゴリーの現製品を検出し、さらにステップS20と同様に現製品の撮像面に対する傾きを検出する。CPU200は、検出した現製品の傾きに応じて新製品の画像の向きを変換し、新製品を現製品と同じ角度から見た画像を生成する。CPU200は、生成した新製品の画像および現製品を含む空間の撮像画像と共に、これらを合成する指示を画像合成部600に供給する。
The
表示部700は、画像合成部600から供給された合成画像を表示する。これにより、電子機器10は、画像合成部600が、予め撮像しておいた現製品を含む第1の撮像画像を用いて、第2の撮像データと合成データを生成するので、使用者の部屋以外の場所、例えば店先等の外出先でも新製品の配置シミュレーションを可能とする。
The
また、電子機器10は、現製品を含む撮像画像から、現製品の大きさ等に関する第1情報に基づいて、現製品と隣接する第3物体を認識し、第3物体の大きさ等に応じて決定した新製品の候補を使用者に提示してもよい。例えば、ここで、第3物体とは、現製品を設置若しくは収納するための製品、又は現製品の機能を補う製品等の現製品と隣接して配置されるものであり、例えば現製品であるテレビを載せているテレビ台である。
Further, the
これを実現するために、一例として、電子機器10は、図2〜3のステップS1〜S13と同様にして現製品を含む撮像画像から、現製品を検出する。そして、CPU200は、現製品の大きさ等に関する第1情報の外観特徴情報に含まれる輪郭および色に基づいて現製品のカテゴリーがテレビであると検出すると、当該テレビの下に隣接する第3物体をテレビ台として認識する。
In order to realize this, as an example, the
更に、CPU200は、現製品の大きさ等に関する第1情報に基づいて、撮像画像中において現製品と隣接して配置される第3物体の大きさ等を検出する。例えば、現製品がテレビである場合、CPU200は、現製品の大きさ等に関する第1情報に含まれるテレビの外形寸法情報から、テレビの大きさとテレビ台の大きさとの比率によりテレビ台の大きさを検出する。電子機器10は、第3物体の大きさ等の検出も、図2〜3のステップS1〜S13と同様に行ってもよい。
Further, the
次に、電子機器10は、現製品の大きさ等に関する第1情報等を含む現製品データと、第3物体の大きさ等に関する情報とに基づいて、現製品からの買い替えに適しており、かつ第3物体と共に用いるのに適した新製品の候補をサーバ等から取得する。具体的には、電子機器10は、現製品データに加えて第3物体の大きさ等に関する情報を無線通信部400を介してサーバ等に送信し、現製品のカテゴリー、大きさ、及び/又は外観特徴情報にマッチし、かつ第3物体の大きさに適合する大きさを有する少なくとも1つの新製品候補を検索させる。そして、電子機器10は、第1物体及び第3物体が撮像された撮像画像に、第2物体に関する画像を重ねて表示する。
Next, the
更に電子機器10は、第1物体である現製品を第2物体である新製品に買い替える場合の配置シミュレーションに加え、第1物体と共に用いる新製品である第2物体を購入する場合の配置シミュレーションに用いられてもよい。ここで、第1物体及び第2物体は、ある製品と、その製品の設置を補助し、又はその製品の機能を補う製品等のように、互いに近傍に配置される2以上の製品である。一例として、使用者が第1物体の一例としてテレビ台を所有している場合に、第2物体の一例として新たに購入する予定のテレビの配置をシミュレーションする場合が挙げられる。
Furthermore, the
これを実現するために、一例として、電子機器10は、図2〜3のステップS1〜S13と同様にして現製品を含む撮像画像から、現製品を検出する。そして、CPU200は、現製品の大きさ等に関する第1情報の外観特徴情報に含まれる輪郭および色に基づいて現製品のカテゴリー(例えばテレビ台)を検出する。
In order to realize this, as an example, the
次に、電子機器10は、現製品の大きさ等に関する第1情報等を含む現製品データをサーバへと送信し、現製品と共に用いるのに適した新製品(関連製品)の候補をサーバから取得する。ここでサーバは、現製品データを受けて、現製品のカテゴリー(例えばテレビ台)に応じて現製品と共に用いられるべき製品のカテゴリー(例えばテレビ)を特定し、現製品の大きさ及び/又は外観特徴情報にマッチする少なくとも1つの新製品候補を検索する。そして、電子機器10は、第1物体が撮像された撮像画像に、第2物体に関する画像を重ねて表示する。
Next, the
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that the output can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first”, “next”, etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
10 電子機器、100 撮像部、110 レンズ部、112 AFレンズ、114 絞り、120 撮像素子、200 CPU、202 撮像制御部、300 フレームメモリ、400 無線通信部、500 姿勢センサ、600 画像合成部、700 表示部、702 枠、704 枠、800 操作部、900 リサイズ部、1000 メモリ部
DESCRIPTION OF
Claims (12)
前記第1物体の大きさに関する第1情報と、前記第1物体に代えて、または前記第1物体と共に用いられる第2物体の大きさに関する第2情報とを入力する入力部と、
前記撮像部が撮像した前記第1物体を表示するとともに、前記第1、第2情報に基づいて、前記第2情報に関する表示を行う表示部と、を備えたことを特徴とする電子機器。 An imaging unit for imaging the first object;
An input unit for inputting first information related to the size of the first object, and second information related to the size of the second object used in place of or in conjunction with the first object;
An electronic apparatus comprising: a display unit that displays the first object imaged by the imaging unit and performs display related to the second information based on the first and second information.
前記表示部は、前記姿勢検出センサの検出結果に応じて、前記第2情報に関する表示を行うことを特徴とする請求項1記載の電子機器。 An attitude detection sensor for detecting the attitude of the electronic device;
The electronic device according to claim 1, wherein the display unit displays the second information according to a detection result of the posture detection sensor.
前記第1物体の画像データと、前記撮像部が撮像した画像とに基づいて、前記第1物体の画像を特定する特定部を備えたことを特徴とする請求項1から3のいずれか一項に記載の電子機器。 The input unit inputs image data of the first object,
The specific part which specifies the image of the said 1st object based on the image data of the said 1st object and the image which the said imaging part imaged is provided, The any one of Claim 1 to 3 characterized by the above-mentioned. The electronic device as described in.
前記表示部は、前記距離検出部が検出した距離に基づいて、前記第2物体に関する情報を表示する請求項1から8のいずれか一項に記載の電子機器。 A distance detection unit for detecting a distance from the imaging unit to the first object;
The electronic device according to claim 1, wherein the display unit displays information on the second object based on the distance detected by the distance detection unit.
前記距離検出部は、前記撮像部が撮像した画像のコントラストの変化に基づいて前記第1物体までの距離を検出し、
前記距離検出部の距離検出のための画像の撮像において、前記絞りをより開ける調節部を備えた請求項9に記載の電子機器。 The imaging unit includes a diaphragm that adjusts the amount of light incident on the imaging device,
The distance detection unit detects a distance to the first object based on a change in contrast of an image captured by the imaging unit,
The electronic apparatus according to claim 9, further comprising an adjustment unit that opens the diaphragm more when capturing an image for distance detection by the distance detection unit.
前記第1物体に代えて用いられる前記第2物体が前記第1物体より大きい場合に、前記撮像部が撮像した画像中における前記第1物体の画像を前記第2物体の外観を示す画像により上書きして表示し、
前記第2物体が前記第1物体より小さい場合に、前記撮像部が撮像した画像中における前記第1物体の画像と共に前記第2物体が占める範囲を表示する
請求項1から10のいずれか一項に記載の電子機器。 The display unit
When the second object used in place of the first object is larger than the first object, the image of the first object in the image captured by the imaging unit is overwritten with an image showing the appearance of the second object And display
The range occupied by the second object is displayed together with the image of the first object in the image captured by the imaging unit when the second object is smaller than the first object. The electronic device as described in.
前記撮像部が前記第2物体を含む第2の撮像画像を撮像した場合に、前記表示部は、前記第2の撮像画像中に撮像された前記第2物体の画像を前記第1の撮像画像に重ねて表示する
請求項1から11のいずれか一項に記載の電子機器。 A storage unit for storing a first captured image obtained by imaging the first object;
When the imaging unit captures a second captured image including the second object, the display unit displays an image of the second object captured in the second captured image as the first captured image. The electronic apparatus according to any one of claims 1 to 11, wherein the electronic apparatus is displayed in an overlapping manner.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012173849A JP2014032589A (en) | 2012-08-06 | 2012-08-06 | Electronic device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012173849A JP2014032589A (en) | 2012-08-06 | 2012-08-06 | Electronic device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014032589A true JP2014032589A (en) | 2014-02-20 |
Family
ID=50282355
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012173849A Pending JP2014032589A (en) | 2012-08-06 | 2012-08-06 | Electronic device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014032589A (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10200840A (en) * | 1997-01-07 | 1998-07-31 | Sony Corp | Image signal recording device, recording and reproducing device, and recording method |
JP2006244329A (en) * | 2005-03-07 | 2006-09-14 | Hitachi Ltd | Portable terminal, information processor, and system |
US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
JP2010244398A (en) * | 2009-04-08 | 2010-10-28 | Nikon Corp | Image processing apparatus and image processing program |
-
2012
- 2012-08-06 JP JP2012173849A patent/JP2014032589A/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10200840A (en) * | 1997-01-07 | 1998-07-31 | Sony Corp | Image signal recording device, recording and reproducing device, and recording method |
JP2006244329A (en) * | 2005-03-07 | 2006-09-14 | Hitachi Ltd | Portable terminal, information processor, and system |
US20080071559A1 (en) * | 2006-09-19 | 2008-03-20 | Juha Arrasvuori | Augmented reality assisted shopping |
JP2010244398A (en) * | 2009-04-08 | 2010-10-28 | Nikon Corp | Image processing apparatus and image processing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6678122B2 (en) | Image processing apparatus, image processing method, and image processing program | |
KR101977703B1 (en) | Method for controlling photographing in terminal and terminal thereof | |
US9491370B2 (en) | Methods and apparatuses for providing guide information for a camera | |
EP2477152B1 (en) | Image processing device, image processing method, image processing program, and recording medium | |
CN109934931B (en) | Method and device for collecting image and establishing target object recognition model | |
JP5281972B2 (en) | Imaging device | |
CN107209943B (en) | Distance measuring device for film camera focusing applications | |
JP5791577B2 (en) | Image processing apparatus, image display method, and program | |
KR20140086463A (en) | Image transformation apparatus and the method | |
WO2015159775A1 (en) | Image processing apparatus, communication system, communication method, and image-capturing device | |
KR20160125715A (en) | 3d scanner and 3d scanning method | |
KR20160096966A (en) | Method for notifying environmental context information, electronic apparatus and storage medium | |
KR101082545B1 (en) | Mobile communication terminal had a function of transformation for a picture | |
KR101135525B1 (en) | Method for updating panoramic image and location search service using the same | |
JP5586071B2 (en) | Imaging support apparatus, imaging support method, and program | |
WO2015141185A1 (en) | Imaging control device, imaging control method, and storage medium | |
JP2014032589A (en) | Electronic device | |
JP2010066959A (en) | Image retrieval device, image retrieval system, image retrieval method, and program | |
JP5764969B2 (en) | Image composition method | |
KR102614026B1 (en) | Electronic device having a plurality of lens and controlling method thereof | |
JP2022126127A (en) | Display method, information processing apparatus, and program | |
CN103900713A (en) | Device and method for detecting thermal image | |
JP7243748B2 (en) | Setting method and program | |
JP6573101B2 (en) | INTERACTION EXECUTION METHOD, DEVICE USING THE METHOD, AND PROGRAM | |
KR20130067845A (en) | Method for providing gallery information in smart terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150514 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160216 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160621 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161220 |