[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5739874B2 - 向きに基づいた検索システム及び方法 - Google Patents

向きに基づいた検索システム及び方法 Download PDF

Info

Publication number
JP5739874B2
JP5739874B2 JP2012511006A JP2012511006A JP5739874B2 JP 5739874 B2 JP5739874 B2 JP 5739874B2 JP 2012511006 A JP2012511006 A JP 2012511006A JP 2012511006 A JP2012511006 A JP 2012511006A JP 5739874 B2 JP5739874 B2 JP 5739874B2
Authority
JP
Japan
Prior art keywords
image
search term
angle
location
advertisement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012511006A
Other languages
English (en)
Other versions
JP2012527053A (ja
Inventor
チャピン,チャールズ
ラフォン,ステファン
ロマン,オーガスト
タン,シンユー
アガーワル,シャリニ
ナナヴァティ,ヴィボール
ヴィンセント,リュック
チャウ,スティーヴン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2012527053A publication Critical patent/JP2012527053A/ja
Application granted granted Critical
Publication of JP5739874B2 publication Critical patent/JP5739874B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9537Spatial or temporal dependent retrieval, e.g. spatiotemporal queries

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

[関連出願の相互参照]
本発明は、「System And Method Of Searching Based On Orientation」という名称で、2009年5月13日に出願された米国特許出願第12/454,172号に対する利点及び優先権を主張する。その全開示内容を引用することによって本明細書の一部をなすものとする。
グーグル・マップ(Google Maps)は、マップの検索に関する種々のサービスを提供している。例えば、ユーザは住所又は緯度/経度位置を入力して、要求した位置のマップを見ることができる。ジオコーダは、1つの基準システムに基づいて識別された位置を別の基準システムによって識別される位置に変換するためのルーチンである。例えば、コンピュータは、「1600 Amphitheatre Parkway, Mountain View, CA」を「(緯度37.423021°、経度−122.083939°)」に変換するように、住所を緯度/経度位置に変換でき、その逆も可能である。
位置の検索に加えて、ユーザは、マップを見ている間に、別の検索語を入力することもできる。例えば、ユーザはマップを見ている間に、「pizza」を検索することができる。これに応じて、マップに最も近くまたピザ・レストランの範疇にあるもののリストといった検索結果を提供するサービスが行われる(又は、別の方法では、その要求を、会社名に「pizza」といった語を有するものに一致させる)。このサービスは、ユーザが、表示されているマップには関係なく、1つ以上の用語を問い合わせるとき、広告を見せるために代金を支払った会社からの広告など、検索語と別の関連を有するエンティティを返すこともできる。
ある環境では、このサービスは、検索語と第1のユーザが見るマップの部分との間の関連性も記憶する。またある環境では、用語が単独で又は前のユーザが検索した別の用語と組み合わせて使用されて、次のユーザが前の部分と重なったマップの部分を見るときに問合せ及び表示を行う。
グーグル・マップは、地理的位置の街路レベルの画像を表示することもできる。これらのマップは、グーグル・マップの中で「街路図(Street Views)」として識別され、一般に、ビルや他の地理的特徴を含み、またユーザが地理的位置を、トップダウン・マップの視野ではなく、人の視野から見ることを可能にする。
街路レベルの画像が撮られるとき、その画像は一般に、カメラの緯度/経度の位置などの位置に関係付けられる。この街路レベルの画像は、360°のパノラマから構成されるため、ユーザは種々の角度からこのパノラマ−及びその中に取り込まれた目的物−を見ることができる。このサービスはまた、画像が撮影されたときのカメラの位置に最も近い住所に近付こうとするユーザに住所を表示する。
1つの態様では、表示するための広告を提供する方法が、ユーザからの要求を受け入れるステップと、この要求に呼応して、このユーザに関連した電子ディスプレイ機器上で表示される、カメラ位置でカメラによって取り込まれた地理上の目的物の画像を提供するステップとを含む。この方法は、ユーザが画像を見る向きに基づいて、複数の検索語の中からプロセッサを用いて1つの検索語を選択するステップをさらに含む。この方法はまた、選択された検索語に基づいて広告を選択する。そして、この広告は、電子ディスプレイ機器上に表示するために提供される。
別の態様では、ネットワークの第1のノードに接続された第1のコンピュータを備えるシステムを提供する。ここで、このコンピュータは、プロセッサ及び、このプロセッサが動作できる命令を備えている。この第1のコンピュータは、複数の街路レベルの画像にアクセスすることができる。ここで、各街路レベルの画像は、この街路レベルの画像を撮影したカメラの地理的位置に関連付けられている。第1のコンピュータは、それぞれが地理的位置に関連した複数のキーワードにアクセスすることもできる。このシステムは、ネットワークの第2のノードにクライアント装置も備えている。ここで、このクライアント装置は、ユーザ入力装置、電子ディスプレイ、プロセッサ及びこのプロセッサが実行可能な命令を備えている。第1のコンピュータの命令は、街路レベルの画像とキーワードに基づいて選択された広告とを、ネットワークを介してクライアント装置に送信するステップを含む。これらのキーワードは、それらの位置が街路レベルの画像を見るために第2のノードにおいてユーザが選択した視角に対応しているかどうかに基づいて選択される。第1のコンピュータの命令は、電子ディスプレイ上に第1のコンピュータによって送信された街路レベルの画像と広告とを表示するステップを含む。
さらに別の態様では、電子ディスプレイ上に視点(viewing perspective)からの地理上の目的物の画像を表示するステップと、プロセッサを用いて、各検索語に関連した位置情報に対して視点を比較することに基づいて、検索語の組の一部を選択するステップと、地理上の目的物の画像と一緒に説明を表示するステップとを含む方法を提供する。ここで、視点は、目的物がディスプレイ内に示される位置及び角度の両方を識別し、選択された説明は、選択された検索語に基づいて複数の説明の中から選択され、各説明が少なくとも1つの検索語に関係付けられる。
さらに別の態様では、コンピュータに読み取り可能な記録媒体が、視点からの地理上の目的物の画像を電子ディスプレイ上に表示するコンピュータ・コードと、各検索語に関連した位置情報に対して視点を比較することに基づいて、検索語の組の一部を選択するコンピュータ・コードと、説明を地理上の目的物の画像と同時に表示するコンピュータ・コードとを有するプログラムを含み、視点は、目的物がディスプレイ内に示される位置及び角度の両方を識別し、選択された説明は、選択された検索語に基づいて複数の説明の中から選択され、かつ各説明は少なくとも1つの検索語に関係付けられる。
さらに別の態様では、コンピュータに読み取り可能な記録媒体が、ユーザからの要求を受け入れるコンピュータ・コードと、この要求に呼応して、このユーザに関連した電子ディスプレイ上で表示される画像を提供するコンピュータ・コードと、ユーザが画像を見る向きに基づいて、複数の検索語の中から1つの検索語を選択するコンピュータ・コードと、選択された検索語に基づいて広告を選択するコンピュータ・コードと、かつ電子ディスプレイ上に表示される広告を提供するコンピュータ・コードとを有するプログラムを含み、画像は、カメラ位置においてカメラによって取り込まれた地理上の目的物を含む。
本発明の態様によるシステムの機能図である。 本発明の態様によるシステムの絵図である。 本発明の態様に基づいて処理される地理上の目的物の相対的位置を示す図である。 本発明の態様による地理上の目的物に関連した検索語の割り当て図である。 本発明の態様による地理上の目的物に関連した検索語の割り当て図である。 本発明の態様によるスクリーン場面である。 本発明の態様によるスクリーン場面である。 本発明の態様による、視角の向きに基づいて検索語を選択する図である。 本発明の態様による、視角の向きに基づいて検索語を選択する図である。 本発明の態様によるスクリーン場面である。 本発明の態様に基づいて、地理上の目的物に関連した検索語を割り当てる図である。 本発明の態様によるスクリーン場面、及び地理上の目的物に関連した検索語を割り当てる図である。 本発明の態様による視角の向きに基づいて、検索語を選択する図である。 本発明の態様によるスクリーン場面である。 本発明の態様による視角の向きに基づいて、検索語を選択する図である。 本発明の態様による視角の向きに基づいて、検索語を選択する図である。 本発明の態様によるフローチャートである。 本発明の態様によるフローチャートである。 本発明の態様によるフローチャートである。
図1〜図2に示されているように、本発明の1つの態様によるシステム100は、コンピュータ110を具備しており、このコンピュータ110は、プロセッサ120と、メモリ130及び汎用コンピュータに一般に存在する他の構成部品を備えている。
メモリ130は、プロセッサ120が実行できる命令131を含む、プロセッサ120がアクセス可能な情報を記憶する。このメモリは、プロセッサが検索、操作、又は記憶できるデータ135も含んでいる。このメモリは、ハードディスク、メモリ・カード、ROM、RAM、DVD、又はCD−ROMや、書込み可能メモリや読出し専用メモリなどの、コンピュータが読出し可能な記録媒体を含む、プロセッサがアクセス可能な情報を記憶できる任意の種類のものでありうる。プロセッサ120は、Intel Corporation 又は AMDが販売しているプロセッサなど周知のプロセッサとすることができる。別の方法では、このプロセッサは、ASICなどの、専用のコントローラでありうる。
命令131は、プロセッサによって直接的に(マシン・コードなど)又は間接的に(スクリプトなど)実行される任意の命令の組とすることができる。例えば、これらの命令はコンピュータ・コードとしてコンピュータが読み取り可能な記録媒体上に記憶されうる。その点において、「命令」及び「プログラム」という用語は、本願では交換可能に使用できる。これらの命令は、プロセッサが直接処理するためのオブジェクト・コード形式で、又はオンデマンドで解釈される又は事前にコンパイルされる独立ソース・コード・モジュールのスクリプト又はコレクションを含む任意の他のコンピュータ言語で記憶されることができる。命令の機能、方法及びルーチンは、以下でより詳細に説明される。
データ135は、プロセッサ120によって、命令131に従って検索、記憶又は変更されることができる。例えば、このシステム及び方法は、特定のデータ構造によって限定されることはないが、データはコンピュータ・レジスタの中に、複数の様々なフィールド及びレコードを有するテーブル、XML文書、又はフラット・ファイルとしてリレーショナル・データベースの中に記憶されることができる。データは、これらに限定されることはないが、バイナリ値、ASCII又はユニコードなどのコンピュータが読取り可能な形式にフォーマットされうる。さらに、ほんの一例として、画像データは、圧縮された又は圧縮されない形式、可逆の(例えば、BMP)又は不可逆の形式(例えば、JPEG)、及びビットマップ又はベクタ・ベース・フォーマット(例えば、SVG)、並びにグラフィックを描画するコンピュータ命令に基づいて記憶されるピクセルから成るビットマップとして記憶されうる。このデータは、数、説明文、商標コード、ポインタ、他のメモリの中に記憶されたデータへの参照(他のネットワーク位置を含む)又は関連したデータを計算するための関数として使用される情報などの、関連した情報を識別するに十分な任意の情報を含みうる。
図1は、プロセッサ及びメモリを同じブロック内にあるように機能的に例示しているが、プロセッサ及びメモリは、実質的には、同じ物理的な筐体内に格納される又は格納されない複数のプロセッサ及びメモリを含みうることを当業者であれば理解するであろう。例えば、幾つかの命令やデータは着脱可能なCD−ROM上に記憶され、そして他の命令やデータは読取り専用のコンピュータ・チップの中に記憶されうる。幾つかの又は全ての命令やデータは、プロセッサから物理的に離れているが、プロセッサがアクセス可能な位置に記録されうる。同様に、プロセッサへの参照は、並列に動作できる又は動作できないプロセッサの集合への参照を含むものと理解される。
1つの態様では、コンピュータ110は、1つ以上のクライアント・コンピュータ150及び170と通信するサーバである。例えば、コンピュータ110はウェブ・サーバでありうる。
各クライアント装置は、プロセッサ、メモリ及び命令を有して、サーバ110と同様に構成される。各クライアント装置150及び170は、人190〜191が使用することを意図されたパーソナル・コンピュータとすることができ、中央処理装置(CPU)、ディスプレイ装置160(例えば、スクリーン、プロジェクタ、タッチ・スクリーン、小型LCDスクリーン、テレビ、又はプロセッサが処理した情報を表示するように動作できる電気装置などの他の装置を有するモニタ)、DVD装置、ハードディスク、ユーザ入力装置163(例えば、マウス165、キーボード164、タッチ・スクリーン又はマイクロフォン166)、スピーカ、モデム又はネットワーク・インターフェース装置(電話、ケーブル、無線など)及びこれらの構成要素を互いに接続するために使用される全ての構成部品など、パーソナル・コンピュータの中で通常見出される全ての内部構成要素を有している。さらに、本願で説明されるシステム及び方法によるコンピュータは、命令を処理し、人や他のコンピュータにデータを送信し人や他のコンピュータからデータを受信することができる任意の装置を含みうる。ここで、他のコンピュータは、汎用コンピュータ、PDA、局部記憶能力がないネットワーク・コンピュータ、及びテレビ用のセットトップ・ボックスを含む。
クライアント装置150及び170は、フルサイズのパーソナル・コンピュータを備えることができるが、このシステム及び方法は、インターネットなどのネットワークを介してサーバとデータを無線で交換できるモバイル装置と接続して使用されうる。例えば、クライアント・コンピュータ170は、ブラックベリー電話(Blackberry phone)又はインターネット可能な携帯電話などの無線可能形PDAでありうる。ユーザは、小型のキーボード(ブラックベリー電話の場合)、キーボード(一般的な携帯電話の場合)、タッチ・スクリーン(PDAの場合)、又は任意の他のユーザ入力装置でありうる。
サーバ110とクライアント装置150及び170とは、ネットワーク105を介して直接的又は間接的に通信することができる。例えば、サーバ110は、クライアント装置150などのクライアント装置から検索語を受け取ることができる。プロセッサ120は、検索命令を実行することができ、検索データを使用して検索結果を得ることができる。サーバ110は、ユーザ190に表示するために検索結果をクライアント装置に送ることができる。
サーバ110とクライアント装置150及び170とは、ネットワーク上の別のコンピュータと直接的及び間接的に通信を行うことができる。図1〜図2には、ほんのわずかな数のコンピュータしか示されていないが、一般的なシステムは、それぞれ別のコンピュータがネットワーク105の別個のノードに存在するように、多数の接続されたコンピュータを含みうることは理解されたい。
ネットワーク及び介在するノードは、インターネット、ワールド・ワイド・ウェブ、イントラネット、仮想プライベート・ネットワーク、ワイド・エリア・ネットワーク、ローカル・ネットワーク、1つ以上の会社に占有の通信プロトコルを使用するプライベート・ネットワーク、インターネット・リレー・チャット・チャネル(IRC)、インスタント・メッセージ、シンプル・メール転送プロフィール(SMTP)、イーサネット(登録商標)、WiFi及びHTTP、及び前述されたものの種々の組合せを含む様々な構成やプロトコル有することができる。
クライアント装置150及び170は、装置の地理的位置や装置の向きを決定するために、回路などの構成部品を備えることができる。例えば、クライアント装置170は、GPS受信機189を備えて、装置の緯度、経度及び高度位置を測定することができる。この構成部品は、クライアント装置が携帯電話の場合、1つ以上の携帯電話タワーから携帯電話のアンテナで受信された信号などの、クライアント装置170で受信された他の信号に基づいて装置の位置を決定するためのソフトウェアを含みうる。この構成部品は、加速度計188又はジャイロスコープを備えて、装置が向けられている方向を決定することもできる。ほんの一例として、この装置は、重力方向又はそれに対して垂直な面に対するピッチ、ヨー又はロール(すなわち、それに対する変化)を決定することができる。
そのことについては、クライアント装置の位置及び向きに関するデータを提供することは、そのような回路によって自動的に行われることが理解されるであろう。
サーバ110のマップ用データベース270はマップ関連情報を記憶し、その少なくとも一部はクライアント装置に送信される。例えば、マップ用データベース270は、マップ・タイル(図示せず)を記憶する。ここで、各タイルは、特定の地理上の区域のマップ画像である。解像度に基づいて(例えば、マップがズームイン又はズームアウトされる場合でも)、1つのタイルは比較的小さい細部の状態などの全区域をカバーすることができる。他のタイルは、幾つかの街路を高精細でカバーできる。このマップ情報は、特定のフォーマットに限定されない。例えば、画像は街路マップ、衛星画像、又はこれらの組合せを含むことができ、ベクトルとして(特に街路マップに関連して)又はビットマップとして(特に衛星画像に関連して)記憶されうる。種々のマップ・タイルは、それぞれ地理的位置に関連付けられるため、サーバ110は地理的位置を受け取ることに応答して、1つ以上のタイルを選択、検索及び送信することができる。
以下に記載するように、位置は緯度/経度位置、住所、マップ上の点(ユーザがマップ上でクリックするときなど)、ビルの名前、1つ以上の地理的位置を識別できる他のデータ、及び前述した範囲を含む種々の方法で表されるまた要求されることができるが、これらに限定されることはない。
サーバは、街路レベルの画像275も記憶することができる。この街路レベルの画像は、全体的に地面に平行な角度でカメラによって撮影された地理上の目的物の画像である。画像内の地理上の目的物とカメラの両方は、互いに関連した地理的位置を有している。このため、図10に示されているように、街路レベルの画像データは、ビル325、327、329、歩道1020及び街路1030などの種々の地理上の目的物を表すことができる。街路レベルの画像1010は、説明を容易にするために数個の物体しか示していない。しかしながら、代表的な街路レベルの画像は、カメラが取り込むことができたのと同じぐらい詳細に、地理的位置において多数の物体(外灯、山、木、水域、車両、人など)を含む。
街路レベルの画像内の地理的な物体は、種々の方法によって取り込まれる。例えば、街路レベルの画像は、車両の頂部に取り付けられたカメラによって取り込まれる。この場合、カメラ角度は地面にほぼ平行に向けられ、カメラ位置は車両の高さに対する法的限度以下(例えば、213.36〜426.72 cm(7〜14フィート))である。(街路レベルの画像は、地面の上の特定の高さに限定されない、すなわち、街路レベルの画像はビルの頂部から撮影されうる。)他の方法に加えて、パノラマ式の街路レベルの画像は、種々のカメラ角度から撮られた複数の写真をつなぎ合わせることによって作られる。
カメラは、フィルム・カメラ、ディジタル・スチール・カメラ、アナログ・ビデオ・カメラ、及びイメージ・センサ(一例として、CCD、CMOSなど)を含む、物体の視像を取り込むことができる任意の装置でありうる。
各街路レベルの画像は、カラー及び輝度値に関連したピクセルの組として記憶されうる。例えば、画像がJPEG形式で記憶される場合、この画像は行及び列のピクセルの組として表示される。この場合、各ピクセルは、ピクセルの位置における画像のカラー及び輝度を定義する値に関係付けられる。
街路レベルの画像275は、地理的位置に関係付けられることに加えて、一般に、画像の向きを示す情報に関連付けられる。例えば、街路レベルの画像が一般的な写真から構成される場合、向きは、真北の30°東で地表面から2°上向いている角度といった単純にカメラ角度である。街路レベルの画像が、画像に関連した地理的位置を中心とする360°のパノラマ画像などのパノラマ画像である場合、向きは、地面に直接平行な角度のカメラ位置から真北を見ることと同じ画像部分を示すことができる。どちらの場合でも、ユーザは、カメラ位置に配置された視野からまたカメラが目的物を取り入れた角度の1つに対応する角度から、画像内の目的物を見ることができる。
街路レベルの画像は、アナログのビデオ・カメラによって取り込まれたMPEGビデオを表示する、又はディジタル・スチール・カメラによって取り込まれた時系列の写真を連続して表示するような、ビデオ形式で記憶されることもできる。
以下でより詳細に説明されるように、街路レベルの画像は、向き指向の検索語を識別する情報221にも関連付けられる。
サーバは、リスト情報にアクセスして、特定の地理的位置に関連した地元商店又は他の目的物又は特徴を識別することもできる。例えば、各リスト210は、名前、カテゴリー(「ピザ」「イタリアン・レストラン」又は「野球場」など)、他の情報(営業時間及びメニュー上の食べ物など)及び位置に関係付けられる。この情報は、企業情報を自動的に集める(ウェブ・サイト又は電話帳から)ことによって編集される、又はユーザがリスト情報自体を、サーバ110が提供するウェブ・ページを介して入力又は編集することができる。位置は、住所と緯度/経度位置との両方で記憶される。両方の位置を記憶する代わりに、緯度/経度位置が、ジオコーダなどを使用することによって、住所に基づいてオンデマンドで計算されることができ、また逆の場合も同様であることが理解されるであろう。
多くの場合、単一のリスト210が、各異なる商店に対するマップ用データベース70の中に存在する。しかしながら、同じ商店が多くの異なるリストに関連付けられ、1つのリストが多くの異なる商店に関連付けられることは理解されるであろう。
リストは、商店に加えて又は商店の代わりに、他の地理的に離れた物体を含みうる。例えば、それらは個人の家、目印、道、土地や水域の本体(bodies of land or water)、車の現在位置、店内に配置された品目などを見分けることができる。その結果、下記の多くの実施例が商店のリストに言及するが、このシステム及び方法に関する多くの態様は、特定の種類のリストに限定されることはない。
このサーバは、広告の組220を記憶することもできる。この広告は、少なくとも部分的に、検索語を含む問合せに応答して返されたものかどうかに基づいて、ユーザに提供するために選択される。例えば、キーワード「ピザ」を検索するユーザに答えて、広告の内容がユーザによって表示される又は選択されるたびに、会社はサーバのオペレータに支払いを行う。検索語は一般にテキストをベースにしているが、画像や音響を表すデータを含む他の種類のデータを含みうる。
1つの実施例では、また図1に示されているように、広告220は直接的又は間接的に地理的位置に関連付けられる(広告が直接リストに関連付けられ、これが、次に、地理的位置に直接関連付けられるというように)。上記でより一般的に指摘されているように、このシステム及び方法は、特定のデータ構造に限定されることはない。このため、図1は、リストのデータの中に記憶されている広告を表示するが、広告を表すデータは、種々のデータベース内のテーブル間の関係を経由するような様々な方法でリストに関連付けられることができる。
図17〜図19に例示された動作に加えて、本発明の種々の態様による様々な動作がここで説明される。以下の動作は、以下で説明される正確な順序で実行される必要はないことは理解されたい。むしろ、各種のステップは、逆の順序で又は同時に操作されることができる。
このシステム及び方法の1つの態様では、サーバは検索語の種々の組を様々な向きに関連付ける。図3〜図5は、そのような組を決定する1つの態様を例示している。
図3は、301、303、305、及び街路350などの街路に沿った323〜333などのビルの相対位置を例示している。これらのビルは、緯度/経度位置や住所などの地理的位置に関連付けられている。例えば、ビル325の住所は、「25 Second Street, Springfield, USA.」とすることができる。
幾つかのビルの住所は、1つ以上のリストにさらに関連付けられる。
図4は、取り込まれたビル323〜333の街路レベルの画像の位置を例示している。特に、基準410の中心は、街路レベルの画像を取り込んだカメラの地理的位置を例示している。
1つの態様では、プロセッサは街路レベルの画像のカメラ位置とその位置に近いリストを用いて、その位置に関連した角度又は角度範囲に関連した検索語を作る。例えば、サーバはカメラ位置の(基準410の外側範囲で示された)ある範囲内に存在する全てのリストを、1つ以上の30度円弧1〜12に関連付けることができる。そのことについては、円弧1は0°の第1の角度と30°の第2の角度との間にあり、また円弧2は30°の第1の角度と60°の第2の角度との間に存在する。
検索語を決定するただ1つの可能な方法は、リスト210に問い合わせて、カメラ位置に関する緯度/経度の所定の範囲内にある全てのリストを見つけることである。次に、サーバは、アジマス角、すなわち、基準ベクトルから各リストの緯度/経度位置に向かって延長するベクトルまでの角度を決定する。次に、この角度は、リストに関連した用語を角度の範囲又は円弧の組の要素に割り当てるために使用される。例えば、ビルのアジマス角が15°の場合、このビルに関連したリストは、0°と30°との間にある円弧1に関する検索語を選択するために使用される。
図5は、2つの円弧及びそれらに関連した検索語をより詳細に示している。第1の円弧510は、北から第1の30°によって定義され、ビル325及び327に関連した全てのリストを含む。1つの態様では、そのようなリストの部類は検索語として使用され、また各ビルのリストの部類は図面の中に示されている。例えば、「Main Street Beauty Restaurant」と名付けられたリストは、ビル325内の「25 Second Street」に配置され、部類「Beauty Salon」に関連付けられる。そのことについては、サーバは、街路レベルの画像553の第1の円弧510について、「Beauty Salon」、「Dentist」、「Doctor」、及び「Restaurant (Thai)」などの部類の間にアソシエーション551を記憶する。
サーバは同様にアソシエーション552を決定し、そして街路レベルの画像の第2の30度円弧515とこの円弧の中に入るリスト部類(すなわち、ビル301、303、305、329及び331と結び付いたリスト)との間に、このアソシエーション552を記憶する。この工程は、他の円弧に対しても続けられる。
記憶された値は向きに特定的であるが、向き指向の検索語も地理的位置に関連付けられることは理解されるであろう。例えば、向き指向の検索語551〜552は、角度範囲(例えば、円弧1)及び位置(例えば、街路レベルの画像のカメラ位置)の両方に関連付けられる。
そして、以下で一層詳細に説明されるように、これらの用語が広告を検索するために使用される。また以下に記載されているように、検索語はリストの部類以外の用語に基づくことができる。
図6は、クライアント装置のディスプレイに表示されたスクリーン場面の実施例を提供する。例えば、このシステム及び方法は、マップ610及び他の情報を示すウェブ・ページを表示するグーグル・クロームなどのインターネット・ブラウザと接続して実行される。ブラウザ用プログラムに加えて、クライアント装置が実行する命令は、サーバ110が提供するジャバ・スクリプトなどの付加的な命令も含みうる。
このシステム及び方法は、街路レベルの図の中に示される位置を要求することに関して、ユーザに大きな柔軟性を与えることができる。例えば、ユーザは、宛名、ビルの名前、又は緯度及び経度などの位置を識別するテキストを、テキストボックス605の中に入力することができる。次に、ユーザは、検索ボタン615を押して、位置をサーバに送信する。さらに、ユーザはマウス又はキーボードを使用してマウス・カーソル660を移動し、特定の地理的位置をマップ上で確認することができる。さらに、プログラムは、ユーザが地理上の目的物の街路レベルの画像を提供された位置に要求できるようにする、ボタン670又は何らかの他の機構を提供する。
その点において、街路レベルの画像が、ユーザが要求した位置に基づいて検索される。1つの態様では、街路レベルの画像が個別の位置に関連付けられる場合、サーバは、ユーザによって提供された(又は、住所又はマップ上のピクセル位置などの他の基準システムで提供された位置に基づいて計算された)緯度/経度値に最も近い緯度/経度位置に関連した街路レベルの画像を選択するであろう。
街路レベルの画像を要求する場合、マップはカメラ位置を示し、その画像の向きは視点カーソル690で示される。向きは、ユーザ又は特定の向きへのデフォルトによって画定される。
街路レベルの画像を選択することに加えて、このシステム及び方法は、街路レベルの画像に関連した向き指向の検索語を選択することもできる。例えば、サーバは、表示される画像に関連した向き指向の検索語550の全てを、クライアント装置に送ることができる。データはテーブルとして構成されることができ、各行は別の円弧に対応し、1つの列は円弧の範囲を明確にし、また別の列はこの円弧に関連した検索語を識別する。
図7に示されているように、街路レベルの画像710がブラウザの中に示されており、ここでは、ユーザは視点の位置又は向きを変えるための制御部を選択できる。この制御部には、画像をズームイン及びズームアウトするための制御部720、及び見る向きを北東から北西に変えるような、画像の向きを変えるための制御部730が含まれる。街路レベルの画像が全360°パノラマとしてダウンロードされた場合、画像の方向を変えることは、サーバからより多くの情報を検索することなく、パノラマの別の部分を表示することしか必要としない。街路レベルの画像710は、北の方向に直面するビル323、325及び327の街路レベルの画像を例示している。
ユーザが、視点の位置を変えることもある。例えば、ユーザが制御部740を選択することによって、視点を現在見ている方向の前後に移動することがある。ダウンロードされた街路レベルの画像データに基づいて、位置又は向きを変化するには、クライアント装置がサーバからより多くの街路レベルの画像データを得る必要がある。このため、位置を変えることは、クライアント装置に別の街路レベルの画像及び関連データを検索させることになる。
視点を街路の上下に移動するために選択される、街路に沿って配置された矢印の形式の制御部などの、他のナビゲーション制御部も同様に含まれる。ユーザはキーボードの矢印制御部を操作して、ズームや視点の方向又は位置を変えることもできる。ユーザはさらに、コンピュータのマウスを移動及びクリックすることによって、又はタッチセンシティブ・スクリーンをタッピングすることなどによって画像の一部を選択し、画像内に表示された目的物を選択して、その近くに移動することができる。
このシステム及び方法の1つの態様では、検索語が、街路レベルの画像をユーザに対して表示するために使用される向きに基づいて選択される。例えば、図8は、図7に示された向き指向の検索語550に関する別の図を示している。円弧510内の検索語は、街路レベルの画像の位置から離れるように延長する第1の円弧に対応する。円弧810内の用語は、第12の円弧に対応する。(他の円弧が検索語を含む又は含まないことがあることは理解されたい。)街路レベルの画像を見るために使用される向きが、カーソル690で示されるように、真北であると仮定する場合、この画像は第1の円弧510と第12の円弧810との両方を含む。このため、第1及び第12の円弧の両方の中にある検索語の全て又は幾つかが、広告を選択するために使用される。前の実施例を続けると、選択された検索語850は、このように、「Beauty Salon; Dentist; Doctor; Restaurant (Thai)」及び「Music Store; Plumbing」を含む。
向きが分かると、クライアント装置は選択された向き指向の検索語をサーバに送信する。
この向き指向の検索語は、広告を選択するために使用されることができる。ほんの一例として、また1つの態様では、サーバは、両方とも(1)検索語850の1つに対応するキーワードを有する、また(2)街路レベルの画像位置の地理的範囲内のリスト210に対応する全ての広告220に関してリスト210に照会することができる。(広告を選択するために使用される範囲は、検索語を編集するために使用される範囲よりも大きいか、又はその範囲以下である。)そのことについては、「25 Second Street, Springfield」の「Main Street Beauty Salon」が最高順位の広告として選択され、また住所が隣接した町(「Nexton」)である「Emily's Hair Care」の広告が、2番目に高く格付けされた広告として選択される。
以下で言及されるように、広告を選択するために広告用データベースに問い合わせるというような他の方法も同様に使用されることができる。この場合、データベースの広告は、リストには関連付けられていないが、キーワードや特定の位置に関連付けられている。その点において、広告は、向き指向の検索語及びキーワードと広告の位置の街路レベルの画像位置との間に見られる対応点に基づいて問い合わせるが行われる。
広告はユーザに対して、街路レベルの画像と同時にかつそれに隣接して表示されるが、この方法に限定されることはない。例えば、図7に示されているように、サーバは最も高い順位の広告をクライアント装置のディスプレイに送って、ブラウザ・ウィンドウ内に1列のテキスト780として表示させる。この広告は、リスト名(「Main Street Beauty Salon」)及び他のコンテンツ(「Specials every day」)の両方を含みうる。同じ広告及び他の広告も、街路レベルの画像の左側のボックス790の中などでユーザに示される。テキストに加えて、広告のコンテンツには画像や音響などの他の種類のコンテンツも含まれることが理解されるであろう。
上述されたように、クライアント装置は、視点の位置又は向きを変えるための、ユーザが選択可能な制御部を備えることができる。街路レベルの画像の位置が変化しない場合でも、それと一緒に表示されている広告は、画像の向きが変化するにつれて変化することができる。例えば、図9に示されているように、向き(カーソル690で示されている)は、北よりも北東に近い方向に変化できる。このため、この視点は、少なくとも第1の円弧510及び第2の円弧520を含みうる。この図は、同様に、第3の円弧910も含みうる。
このため、広告を選択するために使用された可能な検索語は、向きが変化するにつれて変わりうる。北東の向きに関連した選択された検索語950は、「Beauty Salon; Dentist; Doctor; Restaurant (Thai)」などの幾つかの前と同じ用語を含む。しかしながら、それは「Accountant; Architect; Beauty Salon; Clothing; Grocery; Restaurant (American); Restaurant (Pizza); Toys; Travel Agent」などの新しい用語も含みうる。
新しい検索語を使用して広告を問い合わせると、新しい広告が戻される。図10は、ビル325及び327などの幾つかの前の図を含む新しい視野の実施例を提供する。「Main Street Beauty Salon」は検索語の1つに引き続き適合するが、より高い順位の広告が存在する。例えば、「Bob's American Restaurant」の広告は、検索語「Restaurant (American)」の採用及びレストランのウェブ・サイトの人気に基づいて、より高くランクされる。このため、図10に例示されているように、ブラウザが新しい向きから街路レベルの画像1010を示すとき、ボックス780内の広告は、美容院に代わってレストランの広告を表示する。ボックス790は、レストラン用の広告(それはその順位に照らしてトップに表示される)及び美容院用の敏感な広告を含む、全ての又は幾つかの敏感な広告を表示できる。
広告は、向きのそれぞれの変化と一緒に必ずしも変化することはない。例えば、検索語が何度も離れた方向に関連付けられ、向きが数度しか変化しない場合は、変化は検索語の異なる組に関係しない。
このシステム及び方法の利点の1つは、多くの可能な選択肢を含む能力である。
例えば、円弧の相対的な大きさは、上記に示されたものよりも大きく又は小さくすることができる。円弧は任意の大きさにすることができるが、45°と120°との間の円弧は、特定の視野の中で最も顕著な適合を見つけることに関して、特定の環境では特に好都合である。固定された寸法の円弧は処理を容易にすることができるが、街路レベルの画像に関連した区域の全てが、同じ大きさである必要はない。
換言すると、このシステム及び方法の別の態様では、検索語は2つ以上の円弧の中に含まれる(例えば、そのビルは2つの円弧の中に延びている)。さらに別の態様では、円弧は重なり合うことができる。例えば、クライアント装置に送られるテーブルは、円弧の2つのレベルを含みうる、すなわち、1つのレベルは90°の円弧を定義し他のレベルは45°の円弧を定義することができる。
検索語を固定された向きの角度範囲に事前に関連付けるステップは特定の利点を有するが、このシステム及び方法の他の態様は向きの範囲を事前に定義しない。図11は、街路レベルの画像のカメラ位置1155に関連したリストの地理的位置1121〜1127を例示している。テキスト値は、リストの範疇を示す。この図は、視野の向き1150、すなわち、図が完全に妨げられていない場合に、見ることができる地理上の区域の境界も例示している。
前述された態様では、クライアント装置は向きの角度及び幅をサーバに送信することができる。カメラ位置1155の緯度/経度が分かっているため、サーバは一定の距離内のまた視野の境界内に入るリスト210を問い合わせることができる。次に、1122〜1123及び1125〜1127などの戻されたリストに関連付けられた範疇が使用されて、検索語を選択する。この態様は、ユーザから向きの組を受け取る前の角度範囲に検索語を関連付ける前述された態様よりも、潜在的に大きな処理能力を有するが、特定の環境の組の中により多くの的を絞った広告を生じうる。
境界間の角度(すなわち、図が広いか又は狭いか)は、表示される街路レベルの画像のピクセルの高さ/幅の比率のような、ユーザが設定するパラメータに依存する。街路レベルの画像の高さ及び幅は、今度は、ブラウザの高さ及び幅によって決まる。
このシステム及び方法は、キーワードをリストの範疇以外のソースからも得ることができる。例えば、リストがキーワードのソースとして使用される場合、リストに関連付けられ任意の情報が使用される。このことは、名前や範疇のような、リストに直接関連した情報を含みうる。それは、リストを見つけるために使用された前の検索語のような、リストにより間接的に関連した情報も含みうる。例えば、以前のユーザが、位置1124において他の検索結果に勝って、「calzones」に対して以前に検索されて変わることなく選択されるレストランを有している可能性がある。もしそうであるならば、このシステム及び方法は、向きが位置1124の方向にある場合、キーワード「calzones」を使用して、広告を選択することもできる。
向き指向の検索語は、個別のリストに対して限定されていないソースから編集されうる。例えば、このソースは、前のユーザがマップの区域を見て選択した検索語を含みうる。図12は、ユーザに対して表示されたブラウザのスクリーン場面1210を例示している。スクリーン1210の例では、ユーザはマップ1250の北東部分のマップ1215を見ながら、「restaurants」を検索した(テキストボックス1211にその単語をタップすることによって)。同様に、スクリーン場面1220は第2の例を示している、すなわち、ユーザは、マップ1250の北西部分のマップ1225を見ながら、(テキストボックス1221にその単語をタップすることによって)「clothing」を検索した。
マップ1250は、マップに対して街路レベルの画像1280の中心位置を示している。マップ1250に示されているように、「restaurants」検索に結び付けられた地理上の区域1251は街路レベルの画像位置のほぼ北東にあり、「clothing」検索に関連した地理上の区域1252はその位置のほぼ南西にある。このため、サーバは検索語「restaurants」及び「clothing」が、街路レベルの画像位置から延長する北東の円弧1291と南西の円弧1292とにそれぞれ関連付けられると判断する。
全ての利用可能なキーワードを複数のソースから使用することに加えて、キーワードは種々の基準に基づいて選択されることができる。図13は、図9と同じリストの範疇を示す。前述されたように、この範疇は、街路レベルの画像を見るために使用された角度に一致することに基づいて選択される。しかしながら、可能な検索語のリスト1350の中に示されているように、各用語は、街路レベルの画像の地理的位置までの距離を反映する値にも関連付けられる。例えば、会計士の住所は、街路レベルの画像が取り込まれたときのカメラの位置から110メートルの住所を示している。
1つの態様では、このシステム及び方法は、街路レベルの画像位置に最も近いリストに基づいて、広告に問合せを行うだけである。例えば、このシステム及び方法は、「beauty salon」、「dentist」及び「doctor」などの3つの最も近い用語だけを選択することができる。(図13)
もう1つの方法として、距離又は他の基準に基づいた限定された数の検索語を選択するのではなく、検索語が重み付けされる。例えば、広告に問合せを行う場合、用語「Toys」には「Architect」の半分の重みが与えられる。その理由は、玩具店が建築士よりも2倍離れているからである。
用語には、円弧内の用語に関連したリストの数に基づいて、より大きい又はより小さい重みが与えられる。例えば、街路レベルの画像が多数のレストランがあるが衣料品店が1つしかない方向を向いていたことを向きが示した場合、用語「restaurant」には「clothing」よりも大きな重みが与えられる。
例えそうであっても、広告(キーワード「toys」に関連した広告など)は、地理的に近い(「architect」など)又はより多数ある(「restaurant」など)用語に関連した広告に対して、別の基準によってなおも選択される可能性がある。例えば、玩具広告の顧客は、ウェブ・サイトの知名度が高い建築士やレストランに関連した顧客よりも目立っている。
前述されたように、広告は、いかに良くそれらの検索語が向き指向の検索語に一致するかという基準を超えた基準に基づいて選択されることがある。例えば、広告は、下記のような多数のパラメータによって決まる方式に基づいて格付けされうる、すなわち、いかに良く広告のキーワードが向き指向の検索語に適合するか、いかに良く広告のキーワードがユーザによって入力された他の検索語に適合するか、広告に関連したウェブ・サイトの相対的な知名度(例えば、サイトへのバック・リンク及びビジターの数)、広告に支払う価格、広告がユーザによって選択される相対的な頻度などである。
さらになお、広告は様々な種類の問合せ可能な位置に関連付けられる。例えば、広告は地理的位置に関連付けられるが、必ずしも位置ベースのリストに関連付けられることはない。その点において、顧客は広告に関するコンテンツ及びキーワードを入力して、顧客がその区域に関連したリストを有しているかどうかに関係なく、広告に対応するマップの区域を示すことができる。そして、この広告は、データベースに記憶される。
データベースがユーザに表示するために問い合わせされると、向き指向の検索語、及びユーザが広告の区域に重なる街路レベルの画像又はマップを見ているかどうかの両方に基づいて、広告が選択される。
別の態様では、広告は位置に全く関連付けられていない。ユーザが現在見ている位置及び向きを使用して、広告を選択するために使用されるキーワードを選択することができるが、広告は位置にニュートラルでありうる。例えば、顧客は、任意の特定区域の広告に限定することなく、広告のコンテンツや「pizza(ピザ)」などのキーワード入力することができる。向き指向の検索語が「pizza(ピザ)」である場合、顧客の広告は、位置に関連付けられていないという事実に関係なく選択される。
さらに別の態様では、広告の位置に対する関連性は、その広告が選択されるかどうかの要因であるが、必ずしも方向を決定するものではない。例えば、4人の異なる顧客が全員、キーワード「pizza(ピザ)」に関連付けられた広告を有しているが、その他の点では、種々の位置の基準に関して異なっている。すなわち、顧客Aは、スプリングフィールド(Springfield)の町内のリストを有し、その広告をスプリングフィールドの町に限定しており、顧客Bは、その町内のリストは有していないが、その広告をその町に限定しており、顧客Cは、町内のリストを有しているが、その広告をその町に限定しておらず、そして、顧客Dは、その町内のリストを有していないか、その広告をその町に限定していなかった。
これにより、ユーザがスプリングフィールド内のピザ店の方向を直接向いて、選択された向き指向の検索語が「pizza(ピザ)」である場合、広告が現在見られている位置に関連付けられる方法で、広告は少なくとも一部は選択される。例えば、顧客Aの広告は、顧客Bのものよりも選択される確率が2倍高く、顧客Bの広告は顧客Cのものよりも選択される確率が2倍高く、他も同様である。(しかしながら、繰り返すが、顧客Aの広告は、価格や顧客の知名度などの他の要因にもよるが、他の3つに対して必ずしも選択されるとは限らない。)
広告を問い合わせるために使用される用語は、街路レベルの画像内の地理上の目的物を視認することにさらに基づいて決められる。街路レベルの画像の視野の中の地理上の目的物の表面の視認性は、種々の方法を用いて決定される。例えば、街路レベルの画像がカメラによって取り込まれるのと同時に、レーザ距離計は、カメラと様々な水平及び垂直方向の数百の点との間の距離を測定する。カメラの緯度/経度/高さの位置が知られている場合(例えば、GPSに基づいて)、また地理上の目的物の表面の点に対する距離、水平角度及び垂直角度が知られている場合(例えば、距離計や距離計の角度に基づいて)、その点の緯度/経度/高さの位置も測定される。ジオコーダは、見えている面の緯度/経度/高さの位置を住所に関係付けるために使用されうる。
次に、表面データを使用して、どの住所が街路レベルの画像の中で見えるビルに関連付けられているかを判断する。
カメラ位置から見えるビル内のリストから得られた検索語には、見えないビルに関連付けられたリストのものよりも大きい重みが与えられる。1つの態様では、広告を選択するためのキーワードは、それらが街路レベルの画像内の所定の向きで見ることができる商店又は他のリストに関連付けられる場合に限り選択される。別の態様では、広告はそれ自体、所定の向きで見ることができる商店又は他のリストとの関連性に基づいて選択される。
さらに別の態様では、特定の位置における地理上の目的物の視認性、及びその程度は、地理上の目的物から得られた検索語に与えられる重みに関係する1つの要因にすぎない。
例えば、距離及び視認性の両方は、広告の選択に寄与される。図10に示された視角によれば、ビル329の表面は、ほとんど完全にその後ろにあるビルを隠蔽する。しかしながら、図14に示すように、向きをもう少し東に変えると、遠方のビル1420が見えてくる。点線の想像線で示されているように、ビル1420の半分はビル329で隠されている(そして、街路レベルの画像1010の向きでは完全に隠された)が、街路レベルの画像1410では、少なくとも部分的に見ることができる。このため、遠いビル1420に関連したリストから得られる用語には、近くのビル329から得られる用語よりも軽い重みが与えられる。
例えば「Large Co.」のように、遠いビルに関連した会社の知名度が極めて高い場合、その会社に基づいた検索語(そのリストなど)には、より近い地理上の目的物に基づいて選択された検索語よりも大きな重みが与えられる。しかしながら、街路レベルの画像のカメラ位置までの距離が考慮される場合は、ビル329に関連した検索語には、より大きい重みが与えられる。
前述されたように、広告は、多数の重み付けされた要因に基づいて選択されることもできる。また上記のように、1つの要因は、物体を見る位置(例えば、カメラ位置)から物体までの距離とすることができる。
さらに別の要因は、検索語の地理的位置が、適用可能な向きで街路レベルの画像の中心までどの位近いかということである。図15は、街路レベルの画像1410の中で見えるビル、すなわち、ビル325、327、329、331、333及び遠いビル1420の相対位置(縮尺は一定ではない)を例示している。境界線1550は、視野の最も左と最も右との端部(例えば、幅)を定義している。向きベクトル1580は、ビルを見る角度を定義している。このベクトルは、ビルを見る位置1555から始まる。
所定の向きで見たときに、リストが街路レベルの画像の中心に近いかどうかは、向きベクトルに対するリストの地理的位置に基づいて判断される。この距離は、ベクトルのベース位置(例えば、街路レベルの画像を撮影したときの、カメラの緯度/経度の位置)、ベクトルの角度(例えば、カメラの角度)、及びリストの位置(例えば、リストの緯度/経度の位置)を含む種々の周知の量から計算される。
そのことについては、ビル1420と向きベクトル1580との間の距離1590は、ビル329と向きベルトの距離よりも大きい。このため、このシステム及び方法の1つの態様では、ビル1420から得られた検索語は、ビル329からの検索語よりも軽い重みが与えられる。
図16は、図14で使用されたものと同じ基準に、街路レベルの画像の中に中心が置かれた目に見える付加的な基準を加えた基準を用いて表示された広告を例示している。ビル1420の中に配置されたより知名度が高い商店から得られた検索語と比較すると、ビル329の中のあまり知られていない衣料品店に対するリストから選択された検索語には、そのビルがビル1420よりも中心に近くまたよく見える場合は、より大きな重みが与えられる。その結果、衣料品店の広告が、より知名度が高い商店の広告に代えて、ボックス780及び790に示される。図16は、街路レベルの画像上に直接広告1620を示しており、ポインタは、広告会社が入っているビルを指している付加的な特徴を例示している。
さらに別の態様では、画像内に含まれる情報も使用されうる。ほんの一例として、(例えば、OCRによって)街路レベルの画像のテキストをスキャンする。ビルが2つのリスト、一方は知名度が高いリスト(例えば、コングロマリットの本社)及び他方は無名のリスト(例えば、1階のレストラン)に関連している場合、街路レベルの画像が無名のリストのテキストに向けられている場合は(例えば、街路レベルの画像が、ビルの頂部のコングロマリットの名前ではなく、レストランのはっきり見える道路標識をズームインする場合)、より大きな重みが無名のリストに与えられる。
広告に対する検索語を選択する方式でないさらに別の態様では、このシステム及び方法は、広告を直接選択するためにも使用される。例えば、このシステム及び方法は、その位置の向きベクトルまでの距離及び街路レベルの画像のカメラ位置までの距離だけを基準に広告を選択する。
このシステム及び方法は、有料広告以外の製品及びサービスの説明、又は任意の他の項目の説明を選択するために使用されうる。例えば、幾つかの向き指向の検索語が音楽に関連している場合、このシステム及び方法は、地元のバンド、地元の音楽会場、又は歌の題名なの位置ニュートラルな音楽情報の記事を提供することができる。
別の態様では、前述された、サーバによって実行される機能は、クライアント装置によって実行されることができ、逆の場合も同様である。例えば、クライアント装置は向きを変える要求を送信し、そしてこれに応える広告を含むウェブ・ページを受け取る、広告の選択に関連する全ての判断はサーバによって実行される。別の方法では、サーバは、各行が検索語(又は実際の広告又は表示される他の情報)、距離及び角度を含むテーブルを備えることができる。次に、クライアント装置は、その検索語(又は広告又は他の情報)を選択するために必要な計算を実行する。さらに別の態様では、クライアント装置及びサーバは、種々の機能を実行及び共有する。
前述したように、クライアント装置は無線電話でありうる。1つの態様では、向き指向の検索語を選択するために使用される位置及び角度は、電話の地理的位置や向きに依存している。このため、ユーザが電話の位置又は向きを変えるにつれて、広告に対する問い合わせや表示を行うために、様々な検索語が使用される。その点について、電話は、電話が指している方向に対応し、そして電話の位置や向きが変わるにつれて変化する広告を表示することができる。電話の位置や角度を使用して、街路レベルの画像を選択しまた同時に表示することもできる。この街路レベルの画像は、近くの位置で取り込まれた360度のパノラマ画像の適当な部分を表示するような、対応する位置及び向きで取り込まれた画像である。さらに、この電話は、街路レベルの画像又はこの画像の表示された部分内に取り込まれた目的物に関連した他の情報を表示することができる。
たいていの前述した代わりとなる実施形態は互いに排他的ではないが、独特な利点を実現するために、様々な組合せによって実行されうる。前述された機能のこれらの及び他の変形例や組合せは、クレームによって定義されるように、本発明から逸脱せずに使用されることができる。実施形態に関する前述された説明は、クレームによって定義された本発明を限定するものではなく、例示するものと解釈すべきである。本発明の実施例を提供すること(及び「などの」や「含む」などと表された文節)は、本発明を特定の実施例に限定されると解釈してはならない、むしろ、実施例は、多数の可能な実施形態の1つだけを例示するように意図していることも理解されるであろう。
本発明は、検索語及び他の基準に基づいて、広告及び他のサービスをユーザに提供する電子商取引システムを含む広い産業上の利用可能性を有しているが、これに限定されるものではない。

Claims (36)

  1. 表示するための広告を提供する方法であって、
    ユーザから要求を受け入れるステップと、
    前記要求に応じて、前記ユーザに関連した電子ディスプレイ上で表示される、カメラ位置でカメラによって取り込まれた地理上の目的物を含む画像を提供するステップと、
    地理上の目的物の地理的位置に関連して、前記目的物を見る向きの角度に基づいて、複数の検索語の中からプロセッサを用いて1つの検索語を選択するステップと、
    前記選択された検索語に基づいて、プロセッサを使用して広告を選択するステップと、
    前記電子ディスプレイ上で表示される広告を提供するステップと
    を含んでなる方法。
  2. 前記画像は、街路レベルの画像である請求項1に記載の方法。
  3. 前記画像は前記地理上の目的物のパノラマ図であり、前記画像の一部のみが表示され、表示された前記画像の一部が前記向きの角度に一致するものである請求項2に記載の方法。
  4. 前記検索語は、前記カメラ位置に最も近いリストから選択されるものである請求項1に記載の方法。
  5. 前記リストは、前記カメラ位置に最も近い位置にある商店を含むものである請求項4に記載の方法。
  6. 前記複数の検索語のそれぞれが、ある角度範囲に関連付けられており、前記検索語を選択するステップが、前記向きの角度に対応する該角度範囲に関連付けられた検索語を選択することを含むものである請求項1に記載の方法。
  7. 前記複数の検索語のそれぞれが、複数の角度範囲の少なくとも1つに関連付けられており、前記検索語を選択するステップが、前記向きの角度に対応する該角度範囲に関連付けられた検索語を選択することを含むものである請求項1に記載の方法。
  8. 前記各角度範囲が、第1の角度から第2の角度まで延びており、向きの範囲が前記第1の角度以上であって前記第2の角度以下である場合には、該角度範囲に関連した検索語が選択されるものである請求項1に記載の方法。
  9. 前記各角度範囲の前記第1及び第2の角度間での度で測定された差が、複数の角度範囲における各角度範囲について等しいものである請求項8に記載の方法。
  10. 前記各角度範囲の前記第1及び第2の角度間での差が、45°と120°との間にあるものである請求項9に記載の方法。
  11. プロセッサ及び該プロセッサを動作させる命令を備え、ネットワークの第1のノードに接続された第1のコンピュータと、
    ユーザ入力装置、電子ディスプレイ、プロセッサ及び前記プロセッサが実行可能な命令を備え、前記ネットワークの第2のノードに接続されたクライアント装置と
    を備えてなり、
    前記第1のコンピュータの前記プロセッサは、複数の街路レベルの画像にアクセスすることができ、前記各街路レベルの画像は、位置に関連付けられており、前記プロセッサは、それぞれが地理的位置に関連付けられた複数のキーワードにもアクセスすることができ、
    前記第1のコンピュータの前記命令は、
    街路レベルの画像と、
    前記キーワードに基づいて選択された広告とを、前記ネットワークを介して前記クライアント装置に送信させることを含み、
    前記キーワードは、前記クライアント装置の位置が街路レベルの画像の位置に最も近いかどうか、及び前記クライアント装置の位置が街路レベルの画像を見るために前記第2のノードにおいてユーザが選択した視角に対応しているかどうかに基づいて選択され、
    前記第1のコンピュータの前記命令は、前記電子ディスプレイ上に、
    前記第1のコンピュータによって送信された前記街路レベルの画像と、
    前記第1のコンピュータによって送信された前記広告とを表示させることを含む、システム。
  12. 前記ネットワークはインターネットである請求項11に記載のシステム。
  13. 前記第1のコンピュータはウェブ・サーバである請求項11に記載のシステム。
  14. 前記クライアント装置は携帯電話である請求項11に記載のシステム。
  15. 前記クライアント装置はパーソナル・コンピュータである請求項11に記載のシステム。
  16. 前記第1のコンピュータの命令は、キーワードと向きのデータとの組を前記クライアント装置に送信させることをさらに含み、
    前記クライアント装置の命令は、キーワードを前記視角と向きのデータとの間の相関性に基づいて、前記プロセッサを用いて選択させ、前記選択されたキーワードを前記第1のコンピュータに送信させることをさらに含む、請求項11に記載のシステム。
  17. 前記向きのデータは、キーワードを角度に関連付けるテーブルを含むものである請求項16に記載のシステム。
  18. 前記向きのデータは、各キーワードを複数の角度範囲の1つに関連付けるものである請求項17に記載のシステム。
  19. 前記広告は位置に関連付けられており、前記広告は前記広告の位置から前記街路レベルの画像の位置までの距離が最も近いことに基づいてさらに選択されるものである請求項11に記載のシステム。
  20. ユーザに関連した電子ディスプレイ上で表示されるカメラ位置でカメラによって取り込まれた地理上の目的物の画像を電子ィスプレイ上に表示するステップと、
    プロセッサを用いて、前記地理上の目的物の位置と、前記カメラ位置から前記目的物を見る向きの角度とに基づいて、前記地理上の目的物に関連した検索語の組の一部を選択するステップと、
    前記地理上の目的物の画像と同時に説明を表示するステップと
    を含んでなり、 選択された前記説明は、選択された前記検索語に基づいて複数の説明の中から選択され、前記各説明は前記少なくとも1つの検索語に関係付けられるものである、方法。
  21. 前記角度は、ユーザの入力装置を経由してユーザによって選択されるものである請求項20に記載の方法。
  22. 携帯機器を方向付けることによって前記向きが選択されるものである請求項21に記載の方法。
  23. 前記携帯機器は無線電話である請求項22に記載の方法。
  24. 前記カメラ位置は、緯度座標/経度座標により示されている請求項20に記載の方法。
  25. 前記角度は、地理上の目的物の画像を取り込むために使用されるカメラの角度である請求項20に記載の方法。
  26. 前記選択された説明は広告である請求項20に記載の方法。
  27. 前記検索語が選択される組の少なくとも一部は、商店に関連した用語に基づいて選択され、その検索語の位置は、その商店の位置に対応している請求項20に記載の方法。
  28. 前記少なくとも1つの検索語は、前記商店の名前に基づくものである請求項27に記載の方法。
  29. 前記少なくとも1つの検索語は、前記商店の提供する製品又はサービスに基づくものである請求項27に記載の方法。
  30. 検索語の位置が表示された画像の視野の中に入ると前記検索語が選択されるものである請求項20に記載の方法。
  31. 検索語が表示された画像の中に見えるビルに関連付けられるかどうかに基づいて、前記検索語がさらに選択されるものである請求項20に記載の方法。
  32. 前記検索語の位置が視点の位置に対して最も近いことに基づいて前記検索語がさらに選択されるものである請求項20に記載の方法。
  33. 前記検索語は、前記検索語の位置から前記視点の位置及び角度によって定義されたベクトルまでの距離に基づいてさらに選択されるものである請求項20に記載の方法。
  34. 前記検索語はリストに関連付けられており、前記検索語は該リストの知名度に基づいてさらに選択されるものである請求項20に記載の方法。
  35. ユーザに関連した電子ディスプレイ上で表示される、カメラ位置でカメラによって取り込まれた地理上の目的物の画像を電子ディスプレイ上に表示させるための命令と、
    前記地理上の目的物の位置と、前記カメラ位置から前記目的物を見る向きの角度とに基づいて、前記地理上の目的物に関連した検索語の組の一部を選択させるための命令と、
    前記地理上の目的物の画像と共に説明を表示させるための命令と
    を含むプログラムを備える、コンピュータに読み取り可能な記録媒体であって、
    選択された前記説明は、選択された前記検索語に基づいて複数の説明の中から選択され、前記各説明は、少なくとも1つの検索語に関連付けられるものである、コンピュータに読み取り可能な記録媒体。
  36. ユーザからの要求を受け入れるための命令と、
    前記要求に応じて、前記ユーザに関連した電子ディスプレイ上に表示される画像を提供させるための命令であって、該画像は、カメラ位置でカメラによって取り込まれた地理上の目的物を含むものである、画像を提供させるための命令と、
    前記ユーザが画像を見る向きに基づいて、複数の検索語の中から1つの検索語を選択させるための命令と、
    前記選択された検索語に基づく広告を選択させる命令と、
    前記電子ディスプレイ上に表示される前記広告を提供させる命令と
    を含むプログラムを備える、コンピュータに読み取り可能な記録媒体。
JP2012511006A 2009-05-13 2010-05-13 向きに基づいた検索システム及び方法 Expired - Fee Related JP5739874B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/454,172 2009-05-13
US12/454,172 US20100293173A1 (en) 2009-05-13 2009-05-13 System and method of searching based on orientation
PCT/US2010/034692 WO2010132653A1 (en) 2009-05-13 2010-05-13 System and method of searching based on orientation

Publications (2)

Publication Number Publication Date
JP2012527053A JP2012527053A (ja) 2012-11-01
JP5739874B2 true JP5739874B2 (ja) 2015-06-24

Family

ID=43069349

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012511006A Expired - Fee Related JP5739874B2 (ja) 2009-05-13 2010-05-13 向きに基づいた検索システム及び方法

Country Status (7)

Country Link
US (1) US20100293173A1 (ja)
EP (1) EP2430609A4 (ja)
JP (1) JP5739874B2 (ja)
KR (1) KR20120027346A (ja)
AU (1) AU2010248997B2 (ja)
CA (1) CA2761797A1 (ja)
WO (1) WO2010132653A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100083163A1 (en) * 2008-09-29 2010-04-01 Yahoo! Inc. Methods and Systems for Optimizing Webpage Content Based on a Screen Orientation of a Device
US8385591B1 (en) 2009-04-28 2013-02-26 Google Inc. System and method of using images to determine correspondence between locations
US9870572B2 (en) 2009-06-29 2018-01-16 Google Llc System and method of providing information based on street address
US20120278171A1 (en) * 2009-06-29 2012-11-01 Google Inc. System and method of providing information based on street address
US8935095B2 (en) * 2009-09-16 2015-01-13 Utc Fire & Security Americas Corporation, Inc. Safety system and device and methods of operating
US9602776B2 (en) * 2010-02-02 2017-03-21 Verizon Patent And Licensing Inc. Accessing web-based cameras arranged by category
WO2011109751A1 (en) * 2010-03-05 2011-09-09 The Dun And Bradstreet Corporation Location-aware business data retrieval
US9280272B2 (en) * 2011-04-12 2016-03-08 Google Inc. Integrating maps and street views
US8818706B1 (en) 2011-05-17 2014-08-26 Google Inc. Indoor localization and mapping
US8164599B1 (en) 2011-06-01 2012-04-24 Google Inc. Systems and methods for collecting and providing map images
US20130006953A1 (en) * 2011-06-29 2013-01-03 Microsoft Corporation Spatially organized image collections on mobile devices
US20130262479A1 (en) * 2011-10-08 2013-10-03 Alohar Mobile Inc. Points of interest (poi) ranking based on mobile user related data
US9361283B2 (en) * 2011-11-30 2016-06-07 Google Inc. Method and system for projecting text onto surfaces in geographic imagery
US9170113B2 (en) 2012-02-24 2015-10-27 Google Inc. System and method for mapping an indoor environment
US8942921B1 (en) * 2012-04-24 2015-01-27 Google Inc. Displaying dynamic entertainment information on marquees in street-level imagery
US9501526B2 (en) * 2013-04-17 2016-11-22 Excalibur Ip, Llc Efficient database searching
US20150062287A1 (en) * 2013-08-27 2015-03-05 Google Inc. Integrating video with panorama
KR20150034997A (ko) * 2013-09-27 2015-04-06 네이버 주식회사 경로 안내에 따른 목적지를 명확히 인지시켜 주기 위한 방법 및 그 시스템
US9554060B2 (en) 2014-01-30 2017-01-24 Google Inc. Zoom images with panoramic image capture
US10474671B2 (en) 2014-05-12 2019-11-12 Google Llc Interpreting user queries based on nearby locations
TWI511088B (zh) * 2014-07-25 2015-12-01 Altek Autotronics Corp 產生方位影像的方法
CN106537381B (zh) * 2014-08-20 2019-08-20 谷歌有限责任公司 基于装置定向解释用户查询
US10157333B1 (en) 2015-09-15 2018-12-18 Snap Inc. Systems and methods for content tagging
US9766712B2 (en) * 2016-01-14 2017-09-19 Google Inc. Systems and methods for orienting a user in a map display
KR101859050B1 (ko) * 2016-06-02 2018-05-21 네이버 주식회사 내용 기반의 지도 이미지 탐색 방법 및 시스템
US10616551B2 (en) * 2017-01-27 2020-04-07 OrbViu Inc. Method and system for constructing view from multiple video streams
KR102347500B1 (ko) * 2020-03-13 2022-01-05 네이버 주식회사 거리뷰 제공 방법 및 장치

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737533A (en) * 1995-10-26 1998-04-07 Wegener Internet Projects Bv System for generating a virtual reality scene in response to a database search
US6308144B1 (en) * 1996-09-26 2001-10-23 Computervision Corporation Method and apparatus for providing three-dimensional model associativity
US6895126B2 (en) * 2000-10-06 2005-05-17 Enrico Di Bernardo System and method for creating, storing, and utilizing composite images of a geographic location
JP2002183150A (ja) * 2000-12-13 2002-06-28 Nec Corp 位置関連情報提示システム及び位置関連情報提示方法並びにその制御プログラムを記録した記録媒体
JP3893983B2 (ja) * 2002-01-17 2007-03-14 ソニー株式会社 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム
JP4260432B2 (ja) * 2002-07-08 2009-04-30 シャープ株式会社 情報提供方法、情報提供プログラム、情報提供プログラムを記録した記録媒体、および情報提供装置
US7570261B1 (en) * 2003-03-06 2009-08-04 Xdyne, Inc. Apparatus and method for creating a virtual three-dimensional environment, and method of generating revenue therefrom
US20050128212A1 (en) * 2003-03-06 2005-06-16 Edecker Ada M. System and method for minimizing the amount of data necessary to create a virtual three-dimensional environment
EP1668469A4 (en) * 2003-09-19 2007-11-21 Bae Systems Advanced Informati SYSTEMS AND METHODS OF TRACKING
US20050210008A1 (en) * 2004-03-18 2005-09-22 Bao Tran Systems and methods for analyzing documents over a network
US7746376B2 (en) * 2004-06-16 2010-06-29 Felipe Mendoza Method and apparatus for accessing multi-dimensional mapping and information
US7460953B2 (en) * 2004-06-30 2008-12-02 Navteq North America, Llc Method of operating a navigation system using images
US20070210937A1 (en) * 2005-04-21 2007-09-13 Microsoft Corporation Dynamic rendering of map information
US8103445B2 (en) * 2005-04-21 2012-01-24 Microsoft Corporation Dynamic map rendering as a function of a user parameter
US7373246B2 (en) * 2005-05-27 2008-05-13 Google Inc. Using boundaries associated with a map view for business location searching
US7353114B1 (en) * 2005-06-27 2008-04-01 Google Inc. Markup language for an interactive geographic information system
US7840032B2 (en) * 2005-10-04 2010-11-23 Microsoft Corporation Street-side maps and paths
US7933897B2 (en) * 2005-10-12 2011-04-26 Google Inc. Entity display priority in a distributed geographic information system
WO2007124513A2 (en) * 2006-04-25 2007-11-01 Google, Inc. Ranking and clustering of geo-located objects
US8098934B2 (en) * 2006-06-29 2012-01-17 Google Inc. Using extracted image text
US20080033641A1 (en) * 2006-07-25 2008-02-07 Medalia Michael J Method of generating a three-dimensional interactive tour of a geographic location
US7698336B2 (en) * 2006-10-26 2010-04-13 Microsoft Corporation Associating geographic-related information with objects
US20080147730A1 (en) * 2006-12-18 2008-06-19 Motorola, Inc. Method and system for providing location-specific image information
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US8947421B2 (en) * 2007-10-29 2015-02-03 Interman Corporation Method and server computer for generating map images for creating virtual spaces representing the real world
US20090132646A1 (en) * 2007-11-16 2009-05-21 Iac Search & Media, Inc. User interface and method in a local search system with static location markers
US8700301B2 (en) * 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
US7882286B1 (en) * 2008-09-26 2011-02-01 EMC (Benelux)B.V., S.A.R.L. Synchronizing volumes for replication
US20100250120A1 (en) * 2009-03-31 2010-09-30 Microsoft Corporation Managing storage and delivery of navigation images
US8306973B2 (en) * 2009-04-06 2012-11-06 Google Inc. Method for generating location targeted, keyword-triggered, ads and generating user recallable layer-based ads
US20100305855A1 (en) * 2009-05-27 2010-12-02 Geodelic, Inc. Location relevance processing system and method
US20110137561A1 (en) * 2009-12-04 2011-06-09 Nokia Corporation Method and apparatus for measuring geographic coordinates of a point of interest in an image
US20110270517A1 (en) * 2010-04-29 2011-11-03 Nokia Corporation Method and apparatus for providing personalized presentations based on navigation information
US9582166B2 (en) * 2010-05-16 2017-02-28 Nokia Technologies Oy Method and apparatus for rendering user interface for location-based service having main view portion and preview portion

Also Published As

Publication number Publication date
EP2430609A1 (en) 2012-03-21
EP2430609A4 (en) 2014-02-12
WO2010132653A1 (en) 2010-11-18
JP2012527053A (ja) 2012-11-01
AU2010248997B2 (en) 2014-09-18
KR20120027346A (ko) 2012-03-21
US20100293173A1 (en) 2010-11-18
CA2761797A1 (en) 2010-11-18
AU2010248997A1 (en) 2011-12-15

Similar Documents

Publication Publication Date Title
JP5739874B2 (ja) 向きに基づいた検索システム及び方法
US10509477B2 (en) Data services based on gesture and location information of device
US8264584B2 (en) Image capturing apparatus, additional information providing server, and additional information filtering system
KR101667345B1 (ko) 스트리트 레벨 이미지들 간의 전환을 나타내는 시스템 및 방법
US8935085B1 (en) Switching between best views of a place
US9361283B2 (en) Method and system for projecting text onto surfaces in geographic imagery
US8490025B2 (en) Displaying content associated with electronic mapping systems
US9766089B2 (en) Method and apparatus for correlating and navigating between a live image and a prerecorded panoramic image
US8700302B2 (en) Mobile computing devices, architecture and user interfaces based on dynamic direction information
US8504945B2 (en) Method and system for associating content with map zoom function
KR20090047487A (ko) 그래픽 사용자 인터페이스, 컴퓨터 판독가능 매체, 및 시선방향 제시 방법
CN102985901A (zh) 用于为移动设备上基于位置的服务渲染对象的立体图及与其相关的内容的方法和装置
CN103003786A (zh) 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置
US20120278171A1 (en) System and method of providing information based on street address
US20150261858A1 (en) System and method of providing information based on street address
JP7065455B2 (ja) スポット情報表示システム
KR20010111899A (ko) 인터넷을 통한 맞춤형 지리 정보 제공 방법
WO2021090715A1 (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置
JP2022132273A (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置
JP2022132273A6 (ja) 情報提供サービスプログラム及び情報提供サービス用情報配信装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130426

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141113

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150424

R150 Certificate of patent or registration of utility model

Ref document number: 5739874

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees