[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6801263B2 - 表示制御プログラム、表示制御方法および表示制御装置 - Google Patents

表示制御プログラム、表示制御方法および表示制御装置 Download PDF

Info

Publication number
JP6801263B2
JP6801263B2 JP2016130209A JP2016130209A JP6801263B2 JP 6801263 B2 JP6801263 B2 JP 6801263B2 JP 2016130209 A JP2016130209 A JP 2016130209A JP 2016130209 A JP2016130209 A JP 2016130209A JP 6801263 B2 JP6801263 B2 JP 6801263B2
Authority
JP
Japan
Prior art keywords
image
display control
content
identification information
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016130209A
Other languages
English (en)
Other versions
JP2018005477A (ja
Inventor
厚一郎 新沼
厚一郎 新沼
吉武 敏幸
敏幸 吉武
鉄也 山岡
鉄也 山岡
昌史 多田
昌史 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016130209A priority Critical patent/JP6801263B2/ja
Priority to US15/596,410 priority patent/US20180005424A1/en
Publication of JP2018005477A publication Critical patent/JP2018005477A/ja
Application granted granted Critical
Publication of JP6801263B2 publication Critical patent/JP6801263B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00Payment architectures, schemes or protocols
    • G06Q20/08Payment architectures
    • G06Q20/10Payment architectures specially adapted for electronic funds transfer [EFT] systems; specially adapted for home banking systems
    • G06Q20/108Remote banking, e.g. home banking
    • G06Q20/1085Remote banking, e.g. home banking involving automatic teller machines [ATMs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、表示制御プログラム、表示制御方法および表示制御装置に関する。
従来、プロダクトデザインでは、デザイン対象の製品と同様のモックアップを作成してデザインの評価を行っている。モックアップとは、外観を製品と同様に似せて作った模型である。しかし、モックアップの作成には、時間とコストがかかる。
特開2007−272575号公報 特開2006−126936号公報 特開2009−104249号公報
しかしながら、モックアップは実感がわくものの、デザインが固定されてしまうため、デザインを改良する場合、モックアップの作り直しとなり、時間がかかってしまう。
一つの側面では、本発明は、リアルな部品の配置に応じて、変わり得るデザインの変更を表現可能な表示制御プログラム、表示制御方法および表示制御装置を提供することにある。
一つの態様では、表示制御プログラムは、コンピュータに、第1の部品に設けられた第1の識別情報と、第2の部品に設けられた第2の識別情報とを撮像する処理を実行させる。表示制御プログラムは、コンピュータに、複数の識別情報と該複数の識別情報の相対的な位置関係に応じた画像を記憶する記憶部を参照して、撮像した第1の識別情報と第2の識別情報の相対的な位置関係に応じた画像を特定する処理を実行させる。表示制御プログラムは、コンピュータに、特定した画像を出力する処理を実行させる。
一つの側面では、リアルな部品の配置に応じて、変わり得るデザインの変更を表現可能な表示制御プログラム、表示制御方法および表示制御装置を提供できる。
図1は、評価システムの構成の一例を説明する図である。 図2は、HMDの機能的な構成の一例を示す図である。 図3は、表示制御装置の機能的な構成の一例を示す図である。 図4は、コンテンツ情報テーブルのデータ構成の一例を示す図である。 図5は、コンテンツ関連情報のデータ構成の一例を示す図である。 図6は、重畳対象の認識の一例を示す図である。 図7は、タッチ操作対象の部品の画像の重畳の一例を示す図である。 図8は、ARコンテンツの表示の一例を示す図である。 図9は、ARコンテンツの表示の一例を示す図である。 図10は、ARコンテンツの表示の一例を示す図である。 図11は、ARコンテンツの表示の一例を示す図である。 図12は、デザインのユーザビリティを評価する流れの一例を示す図である。 図13は、デザインのユーザビリティを評価する流れの一例を示す図である。 図14は、デザインのユーザビリティを評価する流れの一例を示す図である。 図15は、表示制御処理の手順の一例を示すフローチャートである。 図16は、表示制御プログラムを実行するコンピュータを示す図である。
以下に、本発明にかかる表示制御プログラム、表示制御方法および表示制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成]
最初に、AR(Augmented Reality:拡張現実)技術を用いてプロダクトデザインの評価を行う評価システムの一例を説明する。AR技術では、カメラにより撮像される撮像画像に仮想的なARコンテンツを重畳する画像処理を行う。このようにARコンテンツを重畳した画像を表示させることにより、画像に様々な情報を付加して表示できる。図1は、評価システムの構成の一例を説明する図である。評価システム10は、拡張現実を提供するARシステムである。評価システム10は、ヘッドマウントディスプレイ(以下、HMD(Head Mounted Display)ともいう。)11と、表示制御装置12とを有する。HMD11と表示制御装置12とは、例えば1対1で無線により接続される。すなわち、HMD11は、表示制御装置12の表示部の一例として機能する。なお、図1では、HMD11と表示制御装置12との組について、1組を一例として示したが、HMD11と表示制御装置12との組の数は限定されず、任意の数のHMD11と表示制御装置12との組を有してもよい。
HMD11と表示制御装置12は、例えば、Wi−Fi Direct(登録商標)等の無線LAN(Local Area Network)により相互に通信可能に接続される。なお、HMD11と表示制御装置12は、有線で接続してもよい。
HMD11は、ユーザが表示制御装置12とともに装着し、表示制御装置12から送信される表示画面を表示する。HMD11は、例えば、単眼の透過型のHMDを用いることができる。なお、HMD11は、例えば、両眼用や没入型等の各種のHMDを用いるようにしてもよい。また、HMD11は、撮像装置の一例であるカメラを有する。HMD11は、カメラによる撮像により撮像画像を取得する。HMD11は、取得した撮像画像の画像データを表示制御装置12に対して送信する。また、HMD11は、表示制御装置12から受信した画像データの画像を表示部に表示する。
表示制御装置12は、ユーザが装着して操作する情報処理装置であり、例えば、タブレット端末やスマートフォン等の携帯型の情報処理装置やコンピュータを用いることができる。表示制御装置12は、各種のARコンテンツのデータを記憶する。ARコンテンツのデータは、サーバからダウンロードして表示制御装置12に格納してもよく、記憶媒体等を介して表示制御装置12に格納してもよい。表示制御装置12は、HMD11から受信して受け付けた撮像画像から基準物の検出を行う。基準物は、例えば、ARマーカやQR(Quick Response)コード(登録商標)など、ARコンテンツを表示する位置を指定するための基準となる標識であってもよい。また、基準物は、例えば、特定の色の物体や特定パターンなど撮像画像内での物体であってもよい。本実施例では、基準物をARマーカとする。表示制御装置12は、撮像画像にARマーカが含まれる場合に、当該ARマーカに対応するARコンテンツを撮像画像に重畳(合成)する。表示制御装置12は、撮像画像にARコンテンツを重畳した画像をHMD11へ送信する。
[HMD(ヘッドマウントディスプレイ)の構成]
次に、各機器の構成について説明する。最初にHMD11の構成について説明する。図2は、HMDの機能的な構成の一例を示す図である。HMD11は、通信I/F(インタフェース)部20と、表示部21と、カメラ22と、記憶部23と、制御部24とを有する。なお、HMD11は、上記の機器以外の他の機器を有してもよい。
通信I/F部20は、他の装置との間で通信制御を行うインタフェースである。通信I/F部20は、無線通信により他の装置と各種情報を送受信する。例えば、通信I/F部20は、カメラ22により撮像された撮像画像の画像データを表示制御装置12に送信する。また、通信I/F部20は、撮像を指示する指示情報や表示用の画像データを表示制御装置12から受信する。
表示部21は、各種情報を表示するデバイスである。表示部21は、ユーザがHMD11を装着した際に、ユーザの目に対向するようにHMD11に設けられている。表示部21は、制御部24からの制御により、各種情報を表示する。例えば、表示部21は、表示制御装置12から送信された画像を表示する。なお、表示部21は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性を有するものとしてもよい。
カメラ22は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を用いて、画像を撮像するデバイスである。カメラ22は、HMD11をユーザが装着した際に、装着したユーザの正面方向を向くようにHMD11に設けられ、装着したユーザの正面方向の画像の撮像が可能とされている。カメラ22は、制御部24からの制御により、画像を撮像し、撮像された撮像画像の画像データを出力する。
記憶部23は、各種の情報を記憶する記憶デバイスである。例えば、記憶部23は、RAM(Random Access Memory)、フラッシュメモリ、NVSRAM(Non Volatile Static Random Access Memory)などのデータを書き換え可能な半導体メモリである。なお、記憶部23は、ハードディスク、SSD(Solid State Drive)、光ディスクなどの記憶装置であってもよい。
記憶部23は、制御部24で実行される制御プログラムや各種プログラムを記憶する。さらに、記憶部23は、制御部24で実行されるプログラムで用いられる各種データを記憶する。
制御部24は、HMD11を制御するデバイスである。制御部24としては、CPU(Central Processing Unit)、MPU(Micro Processing Unit)等の電子回路や、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等の集積回路を採用できる。制御部24は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。
制御部24は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部24は、カメラ制御部30と、通信制御部31と、表示制御部32とを有する。
カメラ制御部30は、カメラ22を制御して画像の撮像を行う。例えば、カメラ制御部30は、表示制御装置12から受信した撮像を指示する指示情報に応じてカメラ22により所定のフレームレートで画像の撮像を行う。
通信制御部31は、各種の情報の送受信を制御する。例えば、通信制御部31は、カメラ22により撮像される撮像画像の画像データを表示制御装置12へ送信する。また、通信制御部31は、表示制御装置12から表示用の画像データを受信する。
表示制御部32は、表示部21への各種の情報の表示を制御する。例えば、表示制御部32は、表示制御装置12から受信した画像データの画像を表示部21に表示する制御を行う。
[表示制御装置の構成]
次に、表示制御装置12の構成について説明する。図3は、表示制御装置の機能的な構成の一例を示す図である。図3に示すように、表示制御装置12は、通信I/F部50と、記憶部51と、制御部52とを有する。なお、表示制御装置12は、上記の機器以外に携帯型の情報処理装置やコンピュータが有する他の機器を有してもよい。
通信I/F部50は、他の装置との間で通信制御を行うインタフェースである。例えば、通信I/F部50は、無線通信によりHMD11と各種情報を送受信する。例えば、通信I/F部50は、HMD11からカメラ22により撮像された撮像画像の画像データを受信する。また、通信I/F部50は、表示用の画像データをHMD11へ送信する。
記憶部51は、ハードディスク、SSD、光ディスクなどの記憶装置である。なお、記憶部51は、RAM、フラッシュメモリ、NVSRAMなどのデータを書き換え可能な半導体メモリであってもよい。
記憶部51は、制御部52で実行されるOS(Operating System)や各種プログラムを記憶する。例えば、記憶部51は、後述する表示制御処理を含む各種の処理を実行するプログラムを記憶する。さらに、記憶部51は、制御部52で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部51は、コンテンツデータ60と、コンテンツ情報テーブル61と、コンテンツ関連情報62とを記憶する。
コンテンツデータ60は、ARコンテンツのデータを記憶したデータである。例えば、コンテンツデータ60には、デザイン対象とされた製品を構成する筐体の画像と、当該製品を構成する各種の部品の画像データがそれぞれ記憶されている。例えば、コンテンツデータ60には、製品を構成する筐体の画像と、製品に搭載される操作部、表示部など、ユーザとのインタフェースとなる機能を構成するユニットの部品の画像データがそれぞれ記憶されている。なお、コンテンツデータ60は、製品の筐体や部品をデザインした際の3Dデータであってもよい。また、コンテンツデータ60は、3Dデータを基に、筐体や部品の表面の形状を示したデータであってもよい。例えば、コンテンツデータ60は、筐体や部品の表面の形状を示したポリゴンのデータであってもよい。
コンテンツ情報テーブル61は、コンテンツデータ60のARコンテンツに関する情報を記憶したデータである。例えば、コンテンツ情報テーブル61には、コンテンツデータ60のARコンテンツの識別情報や、種別、表示形態に関する情報が登録されている。図4は、コンテンツ情報テーブルのデータ構成の一例を示す図である。図4に示すように、コンテンツ情報テーブル61は、コンテンツID、部品種別、表示位置、表示サイズ、操作などの項目を有する。なお、図4に示したコンテンツ情報テーブル61の各項目は、一例であり、その他の項目を有してもよい。
コンテンツIDの項目は、コンテンツデータ60のARコンテンツを識別する識別情報を記憶する領域である。コンテンツデータ60のARコンテンツには、識別情報として、コンテンツIDが付与される。コンテンツIDの項目には、コンテンツデータ60のARコンテンツのコンテンツIDが記憶される。部品種別の項目は、コンテンツIDのARコンテンツがデザイン対象とされた製品でどのような部品であるかを示す種別を記憶する領域である。本実施例では、種別を、ARコンテンツが製品を構成する筺体と、筺体上に配置される部品としている。部品種別の項目には、ARコンテンツが製品を構成する筺体であるか、筺体上に配置される部品であるかが記憶される。表示位置の項目は、基準物を基準としたARコンテンツの表示位置を記憶したデータである。表示位置の項目には、基準物の位置を基準としてARコンテンツの所定の位置を表示するxyz方向の座標が記憶されている。表示サイズの項目は、基準物を基準としたARコンテンツの表示サイズを記憶したデータである。表示サイズの項目には、基準物のサイズを基準としてARコンテンツを表示するxyz方向の倍率が記憶されている。操作の項目は、コンテンツIDのARコンテンツが受け付けることが可能な操作の種類を記憶する領域である。本実施例では、筺体上に配置される一部の部品のARコンテンツについてタッチ操作を受け付け可能としている。操作の項目には、タッチ操作が可能なARコンテンツについては「タッチ操作」が記憶され、操作ができないARコンテンツについては「なし」が記憶されている。図4の例では、コンテンツID「101」のARコンテンツは、筺体であり、表示位置が(Xp1,Yp1,Zp1)であり、表示サイズが(Xs1,Ys1,Zs1)であり、操作ができないことを示す。コンテンツID「301」のARコンテンツは、部品であり、表示位置が(Xp3,Yp3,Zp3)であり、表示サイズが(Xs3,Ys3,Zs3)であり、タッチ操作が可能であることを示す。
コンテンツ関連情報62は、基準物に関連して表示するARコンテンツに関する情報を記憶したデータである。例えば、コンテンツ関連情報62は、基準物であるARマーカに関連して表示するARコンテンツを指定する情報が登録されている。図5は、コンテンツ関連情報のデータ構成の一例を示す図である。図5に示すように、コンテンツ関連情報62は、マーカID、表示順序、コンテンツIDなどの項目を有する。なお、図5に示したコンテンツ関連情報62の各項目は、一例であり、その他の項目を有してもよい。
マーカIDの項目は、ARマーカの識別情報を記憶する領域である。ARマーカには、識別情報として、マーカIDが付与される。マーカIDの項目には、ARコンテンツを関連付けるARマーカのマーカIDが記憶される。表示順序の項目は、ARマーカに関連してARコンテンツを表示させる順番を記憶する領域である。コンテンツIDの項目は、ARマーカに関連して表示させるARコンテンツのコンテンツIDを記憶する領域である。図5の例では、マーカID「0001」のARマーカは、表示順序「1」が、コンテンツID「101」のARコンテンツであることを示す。マーカID「0003」のARマーカは、表示順序「1」が、コンテンツID「301」のARコンテンツであり、表示順序「2」が、コンテンツID「302」のARコンテンツであることを示す。
制御部52は、表示制御装置12を制御するデバイスである。制御部52としては、CPU、MPU等の電子回路や、ASIC、FPGA等の集積回路を採用できる。制御部52は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部52は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部52は、撮像制御部70と、認識部71と、特定部72と、変更部73と、出力部74と、検出部75とを有する。
撮像制御部70は、通信I/F部50を介してHMD11のカメラ22を制御して画像の撮像を行う。例えば、撮像制御部70は、所定のフレームレートでの撮像を指示する指示情報をHMD11へ指示して、カメラ22により所定のフレームレートで画像の撮像を行う。これにより、HMD11から撮像された画像の画像データが順次送信され、通信I/F部50で受信される。
認識部71は、各種の認識を行う。例えば、認識部71は、撮像された画像からARコンテンツの重畳対象を認識する。例えば、認識部71は、通信I/F部50で受信された画像データの撮像画像から基準物の検出処理を実行する。例えば、認識部71は、画像データが示す撮像画像に対して、ARマーカの検出を行う。認識部71は、ARマーカが検出された場合、ARマーカが検出された物体を重畳対象と認識する。
図6は、重畳対象の認識の一例を示す図である。図6には、ユーザがHMD11を装着し、カメラ22によりARマーカがそれぞれ設けられた物体100A〜100Cを撮像している状態を示している。物体100A〜100Cは、例えば、ARマーカ101がそれぞれ設けられた紙であり、位置や角度がそれぞれ個別に変更可能とされている。特定部72は、画像データが示す撮像画像に対して、ARマーカ101の検出を行い、ARマーカ101が検出された物体100A〜100Cを重畳対象と認識する。例えば、特定部72は、ARマーカ101が検出された場合、検出されたARマーカ101と同一平面の物体100A〜100Cを重畳対象と認識する。なお、特定部72は、撮像された画像から、検出されたARマーカ101の周囲のエッジを検出し、ARマーカ101の周囲のエッジで囲まれた範囲を重畳対象と認識してもよい。また、ARコンテンツを重畳する対象の物体の境界となる複数の位置に同一のARマーカ101を設け、特定部72は、同一のARマーカ101が検出された範囲を重畳対象と認識してもよい。また、ARコンテンツを重畳する対象の物体の全体をそれぞれ異なる特定の色や特定パターンとし、特定部72は、特定の色や特定パターンが検出された範囲を重畳対象と認識してもよい。
特定部72は、各種の特定を行う。例えば、特定部72は、ARマーカが検出された場合、ARマーカに対応するARコンテンツを特定する。例えば、特定部72は、ARマーカが検出された場合、ARマーカのパターン画像をデコードしてマーカIDを特定する。また、特定部72は、撮像画像内での検出されたARマーカのサイズを特定する。そして、特定部72は、特定したマーカIDについて、表示するARコンテンツを特定する。例えば、特定部72は、コンテンツ関連情報62から、特定したマーカIDについて、表示順序が「1」とされたコンテンツIDを特定する。そして、特定部72は、特定したコンテンツIDのコンテンツデータ60を記憶部51から読み出す。
また、特定部72は、コンテンツIDのARコンテンツの製品での相対的な位置関係を特定する。例えば、特定部72は、コンテンツ情報テーブル61の種別の項目から、コンテンツIDのARコンテンツが製品を構成する筺体のARコンテンツであるか、筺体上に配置される部品のARコンテンツであるかを特定する。また、特定部72は、コンテンツIDのARコンテンツの表示形態を特定する。例えば、特定部72は、コンテンツ情報テーブル61の表示位置および表示サイズの項目から、ARマーカを基準としたARコンテンツの表示位置、表示サイズを特定する。また、特定部72は、コンテンツIDのARコンテンツが受け付けることが可能な操作を特定する。例えば、特定部72は、コンテンツ情報テーブル61の操作の項目から、タッチ操作が可能なARコンテンツであるかを特定する。
変更部73は、各種の変更を行う。例えば、変更部73は、読み出したコンテンツデータ60のARコンテンツの画像をARマーカの位置、向き、および、サイズに応じた表示形態に変更する。例えば、変更部73は、ARマーカの位置、向きに応じてARコンテンツの画像の形状を変形する画像処理を行う。また、変更部73は、ARマーカのサイズに応じてARコンテンツの画像の表示サイズを変更する。
また、変更部73は、ARコンテンツの画像が重なって表示される場合、予め規定された順序に基づいて、優先度の高い画像が優先して表示されるように優先度の低い画像の形状を変更する。例えば、変更部73は、部品のARコンテンツの画像に筺体のARコンテンツの画像が重なって表示される場合、部品のARコンテンツの画像が優先して表示されるように、筐体のARコンテンツの画像の形状を変更する。例えば、変更部73は、筐体のARコンテンツの画像の上に部品のARコンテンツの画像が表示されるよう、筐体のARコンテンツの画像の形状を変更する。
また、変更部73は、ARコンテンツの画像が重なって表示される場合、画像が重ならないように、一方または両方の画像の表示サイズおよび表示位置を変更する。例えば、変更部73は、部品のARコンテンツの画像が重なって表示される場合、部品のARコンテンツの画像が重ならないよう、ARコンテンツの画像の形状を変更する。例えば、変更部73は、各部品のARコンテンツの画像が同程度表示されるように、ARコンテンツの画像の表示位置、表示サイズを変更する。
また、変更部73は、各ARコンテンツの画像が一体として表示されるように各ARコンテンツの画像の形状を変更する。例えば、変更部73は、筺体のARコンテンツの画像と、部品のARコンテンツの画像の間に隙間がある場合、隙間を埋めるように筺体のARコンテンツの画像を変更する。例えば、変更部73は、部品のARコンテンツの画像の境界まで、筺体のARコンテンツの全体または境界部分の画像を延長する。また、変更部73は、予め規定された順序に基づいて、優先度の高い画像の表示形態に合わせて優先度の低い画像の表示形態を変更する。例えば、変更部73は、部品のARコンテンツの形状に合わせて、筐体のARコンテンツの形状を変更する。例えば、変更部73は、部品のARコンテンツが傾いている場合、筐体のARコンテンツの当該部品が設けられる部分も傾いた形状に変更する。
出力部74は、各種の出力を行う。例えば、出力部74は、特定部72により特定され、変更部73により変更されたARコンテンツの画像をHMD11へ出力する。例えば、出力部74は、撮像された画像に、当該画像から検出されたARマーカのARコンテンツの画像を重畳した表示用の画像を生成する。また、出力部74は、重畳するARコンテンツの画像がタッチ操作対象の部品の画像である場合、画像の出力対象とされた重畳対象の物体に、タッチ操作対象の部品の画像を当該物体よりも小さく重畳した表示用の画像を生成する。
図7は、タッチ操作対象の部品の画像の重畳の一例を示す図である。図7の例では、ARマーカ101が設けられた紙などの物体100が示されている。物体100は、タッチ操作対象とされたARコンテンツの画像110の出力対象とされている。出力部74は、ARコンテンツの画像110をARコンテンツの画像110よりも小さく重畳する。これにより、タッチ操作対象とされたARコンテンツの画像110は、物体100上に重畳されるため、ユーザが実際に接触してタッチ操作を行うことができる。
出力部74は、生成した表示用の画像の画像データを、通信I/F部50を介してHMD11に送信して表示させる。なお、HMD11の表示部21が、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性を有する場合、出力部74は、ARコンテンツの画像をそのまま、HMD11へ出力して表示部21に表示させ、表示部21でARコンテンツの画像と透過される像を重畳してもよい。
検出部75は、各種の検出を行う。例えば、検出部75は、出力した画像に対するユーザの操作を検出する。例えば、検出部75は、出力した画像内のタッチ操作が可能なARコンテンツの範囲に手が検出された場合、タッチ操作が行われたと検出する。なお、検出部75は、タッチ操作が可能なARコンテンツが表示される重畳対象と、手との距離に基づいて、タッチ操作が行われたかを検出してもよい。例えば、HMD11に距離センサを設けてカメラ22の撮像範囲について距離を測定し、撮像画像と共に、距離データを表示制御装置12へ送信させる。検出部75は、タッチ操作が可能なARコンテンツ内に手が存在し、かつ、タッチ操作が可能なARコンテンツが表示される重畳対象と、手との距離が所定距離(例えば、10cm)以内である場合、タッチ操作が行われたと検出してもよい。
変更部73は、検出した操作内容に応じて、出力する画像を変更する。例えば、変更部73は、タッチ操作が可能なARコンテンツにタッチ操作が行われたと検出した場合、タッチ操作が行われたARコンテンツに対応するARマーカについて、表示するARコンテンツの画像を表示順序が次のARコンテンツの画像に変更する。
ここで、ARコンテンツの表示の一例を説明する。図8は、ARコンテンツの表示の一例を示す図である。図8の例では、撮像された撮像画像にARマーカ101A〜101Cが含まれている。ARマーカ101Aには、製品の筐体120AのARコンテンツが対応付けられている。ARマーカ101Bには、製品を構成する部品120BのARコンテンツが対応付けられている。ARマーカ101Cには、製品を構成する部品120CのARコンテンツが対応付けられている。例えば、表示制御装置12は、撮像画像のARマーカ101A〜101Cの相対的な位置関係に応じて筐体120A、部品120B、部品120CのARコンテンツを重畳した画像を表示させる。例えば、表示制御装置12は、ARマーカ101A〜101Cをそれぞれ基準とした筐体120A、部品120B、部品120Cの表示位置、表示サイズを特定し、部品120B、部品120Cを筐体120Aに配置した画像を表示させる。例えば、ARマーカ101Bが左側に配置され、ARマーカ101Cが右側に配置された場合、表示制御装置12は、筐体120Aの左側に部品120Bが配置され、右側に部品120Cが配置された画像を表示させる。また、ARマーカ101Cが左側に配置され、ARマーカ101Bが右側に配置された場合、表示制御装置12は、筐体120Aの左側に部品120Cが配置され、右側に部品120Bが配置された画像を表示させる。これにより、ユーザは、部品が対応付けられたARマーカの位置を変えることで、部品の配置を変えた場合に、製品のデザインやユーザビリティがどのようになるかを簡易に確認できる。
図9は、ARコンテンツの表示の一例を示す図である。図9の例では、撮像された撮像画像にARマーカ101A〜101Cが含まれている。ARマーカ101Aには、製品の筐体120AのARコンテンツが対応付けられている。ARマーカ101Bには、製品を構成する部品120BのARコンテンツが対応付けられている。ARマーカ101Cには、製品を構成する部品120CのARコンテンツが対応付けられている。例えば、表示制御装置12は、撮像画像のARマーカ101A〜101Cの相対的な位置関係に応じて筐体120A、部品120B、部品120CのARコンテンツを重畳した画像を表示させる。また、表示制御装置12は、ARコンテンツの画像が重なって表示される場合、画像が重ならないように、一方または両方の画像の表示サイズおよび表示位置を変更する。例えば、ARマーカ101BとARマーカ101Cが近くに配置されて部品120B、部品120CのARコンテンツが重なる場合、表示制御装置12は、部品120B、部品120CのARコンテンツの画像が同程度表示されるように、部品120B、部品120CのARコンテンツの表示サイズを小さく変更する。また、表示制御装置12は、各ARコンテンツの画像が一体として表示されるように各ARコンテンツの画像の形状を変更する。例えば、変更部73は、部品120B、部品120CのARコンテンツの表示サイズが小さくなったことで、筐体120AのARコンテンツの画像と、部品120B、部品120CのARコンテンツの画像の間に隙間がある場合、隙間を埋めるように筐体120AのARコンテンツの画像を変更する。
図10は、ARコンテンツの表示の一例を示す図である。図10の例では、撮像された撮像画像にARマーカ101A、101Bが含まれている。ARマーカ101Aには、製品の筐体120AのARコンテンツが対応付けられている。ARマーカ101Bには、製品を構成する部品120BのARコンテンツが対応付けられている。例えば、表示制御装置12は、撮像画像のARマーカ101A、101Bの相対的な位置関係に応じて筐体120A、部品120BのARコンテンツを重畳した画像を表示させる。また、表示制御装置12は、各ARコンテンツの画像が一体として表示されるように各ARコンテンツの画像の形状を変更する。例えば、表示制御装置12は、部品120BのARコンテンツの形状に合わせて、筐体120AのARコンテンツの形状を変更する。例えば、ARマーカ101A、101Bが共に傾いていない場合、表示制御装置12は、部品120Bと筐体120Aを共に傾けずに表示する。ARマーカ101Bの向きが傾いているため、部品120BのARコンテンツを傾けて表示する場合、表示制御装置12は、筐体120AのARコンテンツを同様に傾けて表示する。
図11は、ARコンテンツの表示の一例を示す図である。図11の例では、撮像された撮像画像にARマーカ101A、101Cが含まれている。ARマーカ101Aには、製品の筐体120AのARコンテンツが対応付けられている。ARマーカ101Cには、製品を構成する部品120CのARコンテンツが対応付けられている。部品120Cは、タッチ操作が可能なARコンテンツであるものとする。例えば、表示制御装置12は、撮像画像のARマーカ101A、101Cの相対的な位置関係に応じて筐体120A、部品120CのARコンテンツを重畳した画像を表示させる。また、表示制御装置12は、検出した操作内容に応じて、出力する画像を変更する。例えば、表示制御装置12は、部品120CのARコンテンツにタッチ操作が行われたと検出された場合、ARマーカ101Cについて、表示順序が次のARコンテンツの画像に変更する。
次に、具体例を用いて、デザインのユーザビリティを評価する一例を説明する。ここでは、銀行のATM(現金自動預け払い機)のデザインのユーザビリティを評価する場合を例に説明する。図12〜図14は、デザインのユーザビリティを評価する流れの一例を示す図である。図12の例では、撮像された撮像画像にARマーカ101A〜101Dが含まれている。ARマーカ101Aには、ATMの筐体130AのARコンテンツが対応付けられている。ARマーカ101Bには、通話ユニット130BのARコンテンツが対応付けられている。ARマーカ101Cには、操作パネル130CのARコンテンツが対応付けられている。操作パネル130Cは、タッチ操作が可能なARコンテンツであるものとする。ARマーカ101Dには、手のひらの静脈を読み取る読取ユニット130DのARコンテンツが対応付けられている。例えば、ARマーカ101B、101D、101Cが順に横に並んで配置された場合、表示制御装置12は、撮像画像のARマーカ101B、101D、101Cの相対的な位置関係に応じて、通話ユニット130B、読取ユニット130D、操作パネル130CをATMの筐体130Aに横に並べて配置したARコンテンツを重畳した画像を表示させる。
例えば、ユーザは、読取ユニット130D、操作パネル130Cを入れ替えた場合のユーザビリティを確認するため、ARマーカ101C、101Dを入れ替える。図13の例では、ARマーカ101B、101C、101Dが順に横に並んで配置されている。この場合、表示制御装置12は、通話ユニット130B、操作パネル130C、読取ユニット130DをATMの筐体130Aに横に並べて配置したARコンテンツを重畳した画像を表示させる。
例えば、ユーザは、操作パネル130Cを操作した場合のユーザビリティを確認するため、操作パネル130Cにタッチ操作を行う。図14の例では、ARマーカ101Cに対応する操作パネル130CのARコンテンツにタッチ操作が行われている。表示制御装置12は、操作パネル130CのARコンテンツにタッチ操作が行われたと検出された場合、操作パネル130CのARコンテンツの画像を変更する。このように、表示制御装置12は、リアルな部品の配置に応じて、変わり得るデザインの変更を表現できる。
[処理の流れ]
次に、本実施例に係る表示制御装置12が実行する表示制御処理の流れについて説明する。図15は、表示制御処理の手順の一例を示すフローチャートである。この表示制御処理は、所定のタイミング、例えば、HMD11から撮像された画像の画像データを受信するごとに実行される。
図15に示すように、認識部71は、画像データが示す撮像画像に対して、ARマーカの検出を行う(S10)。認識部71は、ARマーカが検出されたか否かを判定する(S11)。ARマーカが検出されない場合(S11否定)、出力部74は、撮像画像の画像データをHMD11に出力し(S12)、処理を終了する。
一方、ARマーカが検出された場合(S11肯定)、認識部71は、ARマーカが検出された物体を重畳対象と認識する(S13)。特定部72は、ARマーカに対応するARコンテンツを特定する(S14)。変更部73は、ARコンテンツの画像をARマーカの位置、向き、および、サイズに応じた表示形態に変更する(S15)。
変更部73は、部品のARコンテンツの画像が重なって表示されるか否かを判定する(S16)。重なって表示されない場合(S16否定)、後述するS18へ移行する。
一方、重なって表示される場合(S16肯定)、変更部73は、部品のARコンテンツの画像が重ならないよう、ARコンテンツの画像の形状を変更する(S17)。
変更部73は、部品のARコンテンツの画像に筺体のARコンテンツの画像が重なって表示されるか否かを判定する(S18)。重なって表示されない場合(S18否定)、後述するS20へ移行する。
一方、重なって表示される場合(S18肯定)、変更部73は、筐体のARコンテンツの画像の上に部品のARコンテンツの画像が表示されるよう、筐体のARコンテンツの画像の形状を変更する(S19)。
変更部73は、各ARコンテンツの画像が一体として表示されるように各ARコンテンツの画像の形状を変更する(S20)。出力部74は、変更されたARコンテンツの画像を撮像画像に重畳した表示用の画像を生成し、表示用の画像の画像データをHMD11に出力し(S21)、処理を終了する。
[効果]
上述してきたように、表示制御装置12は、第1の部品に設けられた第1の識別情報(例えば、ARマーカ)と、第2の部品に設けられた第2の識別情報(例えば、ARマーカ)とを撮像する。表示制御装置12は、複数の識別情報と該複数の識別情報の相対的な位置関係に応じた画像を記憶する記憶部23を参照して、撮像した第1の識別情報と第2の識別情報の相対的な位置関係に応じた画像を特定する。表示制御装置12は、特定した画像を出力する。これにより、表示制御装置12は、リアルな部品の配置に応じて、変わり得るデザインの変更を表現できる。これにより、表示制御装置12は、モックアップを作成することなく、ユーザがデザインのユーザビリティを評価できる。
また、表示制御装置12は、第1の識別情報に応じた第1の画像と第2の識別情報に応じた第2の画像を特定する。表示制御装置12は、第1の画像と第2の画像が重なって表示される場合、第1の画像と第2の画像が重ならないように、第1の画像および第2の画像の何れか一方または両方の表示サイズおよび表示位置を変更する。表示制御装置12は、変更された第1の画像と第2の画像を出力する。これにより、表示制御装置12は、例えば、第1の識別情報と第2の識別情報が移動されたことにより、第1の画像と第2の画像が重なって表示される場合でも、第1の画像と第2の画像を見やすく表示させることができる。
また、表示制御装置12は、第1の識別情報に応じた第1の画像と第2の識別情報に応じた第2の画像を特定する。表示制御装置12は、第1の画像と第2の画像が重なって表示される場合、予め規定された順序に基づいて、第1の画像と第2の画像のうち、優先度の高い画像が表示されるように優先度の低い画像の形状を変更する。表示制御装置12は、変更された第1の画像と第2の画像を出力する。これにより、表示制御装置12は、第1の画像と第2の画像が重なって表示される場合でも、優先度の高い画像を見やすく表示させることができる。
また、表示制御装置12は、出力した画像に対するユーザの操作を検出する。表示制御装置12は、検出した操作内容に応じて、出力する画像を変更する。これにより、表示制御装置12は、擬似的な操作が可能となるため、ユーザが実際に接触しながらデザインのユーザビリティを評価できる。
また、表示制御装置12は、出力する画像がタッチ操作対象の部品の画像である場合、画像の出力対象に対応する物体に、タッチ操作対象の部品の画像を当該物体よりも小さく重畳して出力する。これにより、表示制御装置12は、タッチ操作対象の部品をユーザが実際に接触してタッチ操作を行うことができる。
また、表示制御装置12は、第1の識別情報および第2の識別情報にそれぞれ対応付けて、製品を構成する筐体の画像と、当該製品を構成する部品の画像を記憶部51に記憶する。表示制御装置12は、第1の識別情報と第2の識別情報の相対的な位置関係に応じて、製品の筐体と当該製品を構成する部品が一体となるように重畳した画像を出力する。これにより、表示制御装置12は、出力された画像で製品を構成する筐体と部品を一体として認識できる。
さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
例えば、上記の実施例では、ARコンテンツごとに、操作を受け付けることが可能、不可能を設定した場合を例に説明したが、これに限定されない。例えば、ARコンテンツごとに、ARコンテンツ上で操作を受け付けることが可能な範囲を定めてもよい。例えば、テンキーや操作ボタンなどの複数のボタンをARコンテンツとして表示する場合、ボタンの範囲を、操作を受け付けることが可能な範囲と定めて、操作を受け付けることが可能な範囲ごとに次に表示するARコンテンツを設定してもよい。テンキーの場合、表示制御装置12は、テンキーのボタンごとに操作を受け付けることが可能な範囲と定め、操作を受け付けた範囲に対応するテンキーの数値を、製品の表示部が設けられたARコンテンツの表示部に表示させてもよい。
また、上記の実施例では、表示制御装置12においてARマーカを検出してARコンテンツの重畳を行う場合を例に説明したが、これに限定されない。例えば、HMD11においてARマーカを検出してARコンテンツの重畳を行ってもよい。また、例えば、スマートフォンを収容し、表示部として利用するヘッドマウントアダプタによりHMD11の機能を実現してもよい。
また、上記の実施例では、部品種別により表示する優先順序を定めた場合を例に説明したが、これに限定されない。例えば、筐体や部品のARコンテンツの画像に対して優先度を定め、優先度の高いARコンテンツの画像が優先して表示されるように優先度の低い画像の形状を変更してもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。即ち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部又は一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。例えば、撮像制御部70、認識部71、特定部72、変更部73、出力部74および検出部75の各処理部が適宜統合又は分割されてもよい。また、各処理部にて行われる各処理機能は、その全部又は任意の一部が、CPU及び該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[表示制御プログラム]
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図16は、表示制御プログラムを実行するコンピュータを示す図である。
図16に示すように、コンピュータ300は、CPU310、HDD(Hard Disk Drive)320、RAM(Random Access Memory)340を有する。これら310〜340の各部は、バス400を介して接続される。
HDD320には上記実施例の各処理部と同様の機能を発揮する表示制御プログラム320Aがあらかじめ記憶される。例えば、上記実施例の撮像制御部70、認識部71、特定部72、変更部73、出力部74および検出部75と同様の機能を発揮する表示制御プログラム320Aを記憶させる。なお、表示制御プログラム320Aについては、適宜分離しても良い。
また、HDD320は、各種データを記憶する。例えば、HDD320は、OSや各種データを記憶する。
そして、CPU310が、表示制御プログラム320AをHDD320から読み出して実行することで、実施例の撮像制御部70、認識部71、特定部72、変更部73、出力部74および検出部75と同様の動作を実行する。即ち、表示制御プログラム320aは、実施例の撮像制御部70、認識部71、特定部72、変更部73、出力部74および検出部75と同様の動作を実行する。
なお、上記した表示制御プログラム320Aについては、必ずしも最初からHDD320に記憶させることを要しない。例えば、コンピュータ300に挿入されるフレキシブルディスク(FD)、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、光磁気ディスク、ICカードなどの「可搬用の物理媒体」にプログラムを記憶させておく。そして、コンピュータ300がこれらからプログラムを読み出して実行するようにしてもよい。
さらには、公衆回線、インターネット、LAN、WANなどを介してコンピュータ300に接続される「他のコンピュータ(又はサーバ)」などにプログラムを記憶させておく。そして、コンピュータ300がこれらからプログラムを読み出して実行するようにしてもよい。
10 評価システム
11 HMD
12 表示制御装置
50 通信I/F部
51 記憶部
52 制御部
60 コンテンツデータ
61 コンテンツ情報テーブル
62 コンテンツ関連情報
70 撮像制御部
71 認識部
72 特定部
73 変更部
74 出力部
75 検出部

Claims (8)

  1. 第1の部品に設けられた第1の識別情報と、第2の部品に設けられた第2の識別情報とを撮像し、
    複数の識別情報と該複数の識別情報に応じた画像を記憶する記憶部を参照して、撮像した前記第1の識別情報に応じた第1の画像と前記第2の識別情報に応じた第2の画像を特定し、
    予め規定された順序に基づいて、前記第1の画像と前記第2の画像のうち、優先度の低い画像上に優先度の高い画像を重ねると共に、画像の間に隙間がある場合、隙間を埋めるように優先度の低い画像を変更し、
    変更された前記第1の画像と前記第2の画像を出力する、
    ことをコンピュータに実行させることを特徴とする表示制御プログラム。
  2. 前記変更する処理は、前記第1の画像と前記第2の画像が重なって表示される場合、前記第1の画像と前記第2の画像が重ならないように、前記第1の画像および前記第2の画像の何れか一方または両方の表示サイズおよび表示位置を変更し、
    前記出力する処理は、変更された前記第1の画像と前記第2の画像を出力する
    ことを特徴とする請求項1に記載の表示制御プログラム。
  3. 前記変更する処理は、前記第1の画像と前記第2の画像が重なって表示される場合、前記予め規定された順序に基づいて、前記第1の画像と前記第2の画像のうち、優先度の高い画像が表示されるように優先度の低い画像の形状を変更し、
    前記出力する処理は、変更された前記第1の画像と前記第2の画像を出力する
    ことを特徴とする請求項1または2に記載の表示制御プログラム。
  4. 出力した画像に対するユーザの操作を検出し、
    検出した操作内容に応じて、出力する画像を変更する
    処理をコンピュータにさらに実行させることを特徴とする請求項1〜3の何れか1つに記載の表示制御プログラム。
  5. 前記出力する処理は、出力する画像がタッチ操作対象の部品の画像である場合、画像の出力対象に対応する物体に、タッチ操作対象の部品の画像を当該物体よりも小さく重畳して出力する
    ことを特徴とする請求項1〜4の何れか1つに記載の表示制御プログラム。
  6. 前記記憶部は、前記第1の識別情報および前記第2の識別情報にそれぞれ対応付けて、製品を構成する筐体の画像と、当該製品を構成する部品の画像が記憶され、
    出力する処理は、前記第1の識別情報と前記第2の識別情報の相対的な位置関係に応じて、前記製品の筐体と当該製品を構成する部品が一体となるように重畳した画像を出力する
    ことを特徴とする請求項1〜5の何れか1つに記載の表示制御プログラム。
  7. 第1の部品に設けられた第1の識別情報と、第2の部品に設けられた第2の識別情報とを撮像し、
    複数の識別情報と該複数の識別情報に応じた画像を記憶する記憶部を参照して、撮像した前記第1の識別情報に応じた第1の画像と前記第2の識別情報に応じた第2の画像を特定し、
    予め規定された順序に基づいて、前記第1の画像と前記第2の画像のうち、優先度の低い画像上に優先度の高い画像を重ねると共に、画像の間に隙間がある場合、隙間を埋めるように優先度の低い画像を変更し、
    変更された前記第1の画像と前記第2の画像を出力する、
    ことをコンピュータが実行することを特徴とする表示制御方法。
  8. 第1の部品に設けられた第1の識別情報と、第2の部品に設けられた第2の識別情報とを撮像する撮像制御部と、
    複数の識別情報と該複数の識別情報に応じた画像を記憶する記憶部を参照して、撮像した前記第1の識別情報に応じた第1の画像と前記第2の識別情報に応じた第2の画像を特定する特定部と、
    予め規定された順序に基づいて、前記特定部により特定された前記第1の画像と前記第2の画像のうち、優先度の低い画像上に優先度の高い画像を重ねると共に、画像の間に隙間がある場合、隙間を埋めるように優先度の低い画像を変更する変更部と、
    前記変更部により変更された前記第1の画像と前記第2の画像を出力する出力部と、
    を有することを特徴とする表示制御装置。
JP2016130209A 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置 Active JP6801263B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016130209A JP6801263B2 (ja) 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置
US15/596,410 US20180005424A1 (en) 2016-06-30 2017-05-16 Display control method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016130209A JP6801263B2 (ja) 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置

Publications (2)

Publication Number Publication Date
JP2018005477A JP2018005477A (ja) 2018-01-11
JP6801263B2 true JP6801263B2 (ja) 2020-12-16

Family

ID=60807797

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016130209A Active JP6801263B2 (ja) 2016-06-30 2016-06-30 表示制御プログラム、表示制御方法および表示制御装置

Country Status (2)

Country Link
US (1) US20180005424A1 (ja)
JP (1) JP6801263B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP2018005091A (ja) * 2016-07-06 2018-01-11 富士通株式会社 表示制御プログラム、表示制御方法および表示制御装置
WO2018156809A1 (en) * 2017-02-24 2018-08-30 Masimo Corporation Augmented reality system for displaying patient data
KR102567007B1 (ko) 2017-02-24 2023-08-16 마시모 코오퍼레이션 의료 모니터링 데이터 표시 시스템
US10932705B2 (en) 2017-05-08 2021-03-02 Masimo Corporation System for displaying and controlling medical monitoring data
US10068403B1 (en) * 2017-09-21 2018-09-04 Universal City Studios Llc Locker management techniques
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
WO2019172678A1 (en) * 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
JP2020071543A (ja) * 2018-10-29 2020-05-07 大豊精機株式会社 複合現実感システム及び検査方法
JP7419003B2 (ja) * 2019-09-12 2024-01-22 株式会社日立システムズ 情報表示装置、情報表示方法及び情報表示システム
JP7549496B2 (ja) * 2020-09-17 2024-09-11 サトーホールディングス株式会社 特典表示システム、特典表示方法、及びプログラム
US11625787B1 (en) * 2022-05-03 2023-04-11 Capital One Services, Llc Augmented reality vehicle display systems

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002093491A1 (en) * 2001-05-17 2002-11-21 The Trustees Of Columbia University In The City Of New York System and method for view management in three dimensional space
JP4133976B2 (ja) * 2004-09-01 2008-08-13 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、ゲーム装置および画像処理方法
JP3844482B2 (ja) * 2004-09-01 2006-11-15 株式会社ソニー・コンピュータエンタテインメント 画像処理装置
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
JP6025522B2 (ja) * 2012-11-27 2016-11-16 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム及びプログラム
US9766715B2 (en) * 2014-05-01 2017-09-19 Seiko Epson Corporation Head-mount type display device, control system, method of controlling head-mount type display device, and computer program
JP6573755B2 (ja) * 2014-07-10 2019-09-11 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
JP5963325B2 (ja) * 2014-08-14 2016-08-03 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation マーカに基づいて特定される情報を提示する装置、方法およびプログラム
JP6491574B2 (ja) * 2015-08-31 2019-03-27 Kddi株式会社 Ar情報表示装置

Also Published As

Publication number Publication date
US20180005424A1 (en) 2018-01-04
JP2018005477A (ja) 2018-01-11

Similar Documents

Publication Publication Date Title
JP6801263B2 (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP6393367B2 (ja) 追従表示システム、追従表示プログラム、および追従表示方法、ならびにそれらを用いたウェアラブル機器、ウェアラブル機器用の追従表示プログラム、およびウェアラブル機器の操作方法
US20220100265A1 (en) Dynamic configuration of user interface layouts and inputs for extended reality systems
US10665206B2 (en) Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance
US10591729B2 (en) Wearable device
US10032297B2 (en) Simulation system, simulation device, and product explanation assistance method
CN110716645A (zh) 一种增强现实数据呈现方法、装置、电子设备及存储介质
KR20200035103A (ko) 시선-기반 사용자 상호작용
JP2015153046A (ja) 画像処理装置、画像処理方法およびプログラム
CN110488969A (zh) 相对于实际物理对象定位虚拟对象的技术
JP7005161B2 (ja) 電子機器及びその制御方法
JPWO2020080107A1 (ja) 情報処理装置、情報処理方法、及びプログラム
CN106569671A (zh) 基于ar技术的消费品使用说明信息显示方法及装置
WO2014128751A1 (ja) ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法
KR20160014601A (ko) 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치
CN118435151A (zh) 用于在三维环境中移动对象的方法
US20180218631A1 (en) Interactive vehicle control system
US11302285B1 (en) Application programming interface for setting the prominence of user interface elements
CN111399630B (zh) 虚拟内容交互方法、装置、终端设备及存储介质
JP2017032870A (ja) 画像投影装置及び画像表示システム
GB2525304A (en) Interactive information display
JP6999822B2 (ja) 端末装置および端末装置の制御方法
CN115543138A (zh) 显示控制方法和装置、增强现实头戴设备及介质
KR102591582B1 (ko) 컨텐츠를 표시하는 방법 및 전자 장치
JP6079418B2 (ja) 入力装置および入力プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201027

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201109

R150 Certificate of patent or registration of utility model

Ref document number: 6801263

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150