[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5300438B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP5300438B2
JP5300438B2 JP2008298654A JP2008298654A JP5300438B2 JP 5300438 B2 JP5300438 B2 JP 5300438B2 JP 2008298654 A JP2008298654 A JP 2008298654A JP 2008298654 A JP2008298654 A JP 2008298654A JP 5300438 B2 JP5300438 B2 JP 5300438B2
Authority
JP
Japan
Prior art keywords
display
content data
video content
decoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008298654A
Other languages
English (en)
Other versions
JP2010123081A (ja
Inventor
秀憲 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008298654A priority Critical patent/JP5300438B2/ja
Priority to US12/612,937 priority patent/US8713472B2/en
Publication of JP2010123081A publication Critical patent/JP2010123081A/ja
Application granted granted Critical
Publication of JP5300438B2 publication Critical patent/JP5300438B2/ja
Priority to US14/203,319 priority patent/US9621866B2/en
Priority to US15/452,550 priority patent/US10474343B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H04N21/4384—Accessing a communication channel involving operations to reduce the access time, e.g. fast-tuning for reducing channel switching latency
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本発明は、複数のコンテンツデータをスクロール表示する技術に関するものである。
近年、ネットワークの高速化、ハードディスク等の記憶装置の容量拡大に伴い、ネットワーク経由や、記憶装置に大量に保存された映像コンテンツの再生が一般的になりつつある。そして、そのような複数の映像コンテンツをスクロールさせながら同時にディスプレイ画面上に再生、表示させることが行われる。
従来、複数の映像コンテンツを同時にディスプレイ画面上に表示させる場合、ユーザからの入力等を受け付けた後、次に表示する映像コンテンツを決定し、復号処理を行い、画面上に表示させるといった手段がとられている。この方法では、表示する映像コンテンツを決定した後に復号処理を行うため、表示する映像コンテンツ決定から画面上への表示までの間に遅延が生じてしまうといった問題がある。
また、複数の映像コンテンツ又はそれらのサムネイル画像をマルチ画面表示する場合に予めキャッシュメモリ内に次に出力される可能性の高いデータを保持しておくという方法がある（例えば、特許文献１参照）。これは、ファイルの管理構造より、現在出力中のデータとその前後の所定の範囲内のデータをキャッシュメモリの容量が許す範囲内でできるだけ出力画像を作成し保持しておくという技術である。
特開２００６−６６９４４号公報
しかしながら、特許文献１に開示される技術では、ファイルの管理構造によらない任意の複数の映像コンテンツのマルチ画面表示時には、次に出力される可能性の高いデータを予測し準備することができない。また、マルチ画面表示時の画面の動作状況に応じて、次に出力される可能性の高いデータを予測し準備することができない。
そこで、本発明の目的は、スクロール表示制御の状況に応じて次に表示される可能性の高いコンテンツデータを予測し、表示に先立って復号処理を施すことにある。
本発明の画像処理装置は、複数のコンテンツデータをスクロールして表示させる表示制御手段と、前記表示制御手段による前記スクロールの表示制御の状況に応じて、前記複数のコンテンツデータのうち未表示領域から表示領域に移動するコンテンツデータを予測し、予測結果に応じて、当該コンテンツデータを復号処理するためのリソースの分配比率を決定する予測手段と、前記予測手段により予測された前記コンテンツデータを、前記予測手段により決定された前記リソースの分配比率で復号する復号手段とを有することを特徴とする。
本発明によれば、スクロール表示制御の状況に応じて次に表示される可能性の高いコンテンツデータを予測し、表示に先立って復号処理を施すことが可能となる。
以下、添付の図面を参照して、本発明を適用可能な好適な実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
図１は、本発明の実施形態に係る映像表示装置の主要部の構成を示すブロック図である。図１において、映像表示装置１は、表示位置制御部１０１において表示映像操作通知を受信し、また、復号処理部１０４において映像コンテンツを受信し、映像合成／表示部１０６より表示デバイスに対して映像コンテンツを出力する。なお、映像表示装置１は、本発明の画像処理装置の適用例となる構成であり、映像コンテンツは、本発明におけるコンテンツデータの適用例となる構成である。
表示位置制御部１０１は、リモコン、携帯端末等によるユーザからのコンテンツ表示位置操作入力や、映像表示装置１に入力される映像コンテンツ情報を受け取り、スクロール表示する映像コンテンツの配置、位置、移動速度等を制御する。また、表示位置制御部１０１は、蓄積部１０５に対して表示デバイスの表示画面に表示する映像コンテンツの出力指示を与え、映像合成／表示部１０６に対して表示画面上での映像コンテンツの配置情報等を与える。なお、表示位置制御部１０１は、本発明の表示制御手段の適用例となる構成である。
表示位置予測部１０２は、表示位置制御部１０１より円環状に配置された映像コンテンツの総数及びスクロール表示の回転速度、加速度を受け取る。また、表示位置予測部１０２は、復号部制御部１０３より余剰デコーダ量を受け取る。そして、表示位置予測部１０２は、未表示の映像コンテンツに対する復号処理部１０４のリソース分配比率を計算し、復号部制御部１０３に対して未表示の映像コンテンツに対する復号処理部１０４のリソース分配比率を与える。なお、表示位置予測部１０２は、本発明の予測手段の適用例となる構成である。
復号部制御部１０３は、表示位置制御部１０１より円環状に配置された映像コンテンツの配置位置情報と現在表示画面上に表示される映像コンテンツ情報とを受け取る。そして、復号部制御部１０３は、表示領域にある映像コンテンツに対して優先的に割り当てられる復号リソース量を計算し、表示位置予測部１０２に対して余剰デコーダ量を与える。次に、復号部制御部１０３は、表示位置予測部１０２より現在未表示の映像コンテンツに対する復号処理部１０４のリソース分配比率を受け取る。そして、復号部制御部１０３は、復号処理部１０４に対して、復号処理を行う映像コンテンツ情報及び復号処理部１０４の復号処理リソースの各映像コンテンツに対しての時間配分を与える。
復号処理部１０４は、ネットワークＩ／Ｆを介して映像コンテンツを受信する。ネットワークＩ／Ｆで接続される通信回線として、電話回線、公衆ネットワーク回線のＤＳＬ（Digital Subscribe Line）、ＣＡＴＶ（Cable Television）、光ファイバ等の広帯域ネットワークが挙げられる。また、ＨＤＤレコーダや内部記憶等の記憶装置から映像コンテンツを入力してもよい。復号処理部１０４は、復号部制御部１０３から受信した復号対象の映像コンテンツ情報及び復号処理リソースの時間配分に基づいて、各映像コンテンツに対して復号処理を実行し、復号処理を施した映像コンテンツを蓄積部１０５に蓄積する。復号処理部１０４は、本発明の復号手段の適用例となる構成である。
蓄積部１０５は、復号処理部１０４より受け取った復号処理済みの映像コンテンツを保持し、表示位置制御部１０１より受け取る出力指示により映像合成／表示部１０６に対して復号処理済みの映像コンテンツを出力する。
映像合成／表示部１０６は、蓄積部１０５より受け取った復号処理済みの映像コンテンツを、表示位置制御部１０１より受け取った表示画面上での映像コンテンツの配置情報を基に一画面に合成し、液晶ディスプレイ等の表示デバイスに対して出力する。
図２は、表示デバイスの表示画面２００に出力される映像コンテンツの一例を示した図である。
表示画面２００の中の１から８はそれぞれ別々の映像コンテンツを表示するウィンドウを示している。表示画面２００の中の手前に存在するウィンドウ（１から４）は、表側を向いており、映像コンテンツが表示されている。表示画面２００の中の奥に存在するウィンドウ（５から８）は、裏側を向いており、映像コンテンツは表示されていない。
これらの円環状に配置されたウィンドウは、ユーザからの入力操作等を契機に回転、回転の加速及び停止等の動作を行う。回転動作に伴い裏側から表側に変化する場合にはウィンドウ上に映像コンテンツが表示されるようになり、表側から裏側に変化する場合にはウィンドウ上に表示されていた映像コンテンツが表示されなくなる。このような映像コンテンツの配置及び動作は、図１の表示位置制御部１０１によって制御される。
図３は、図１に示した映像表示装置１の表示位置予測部１０２における動作を示したフローチャートである。以下、図３を参照しながら表示位置予測部１０２の動作について説明する。
ステップＳ３０１は、以降のステップＳ３０２、Ｓ３０３、Ｓ３０４の動作を単位時間毎に繰り返すことを示している。ここで単位時間とは、設計者が任意の値に設定することができる処理単位の区切り時間である。本実施形態では、１単位時間を１秒とする。
ステップＳ３０２では、表示位置予測部１０２は、表示位置制御部１０１よりスクロールの回転速度及び加速度を取得するとともに、復号部制御部１０３より余剰デコーダ量を取得する。
ステップＳ３０３では、表示位置予測部１０２は、ステップＳ３０２で得た回転速度、加速度より、評価式を計算する。評価式とは、回転速度及び加速度の関数であり、後のステップＳ３０４で求める復号リソースの分配比率を決定するための指標となる。本実施形態で用いる評価式を式１に示す。
Figure 0005300438
式１におけるｖはステップＳ３０２で得た回転速度、ａはステップＳ３０２で得た加速度、ｋは何単位時間後の速度で評価したいかにより決める正の定数であり、本実施形態ではｋ＝１としている。即ち、ｆ（ｖ，ａ）はｋ単位時間後の速度を表す式となっている。
ステップＳ３０４では、表示位置予測部１０２は、ステップＳ３０３で求めたｆを用いて非表示の映像コンテンツに対する復号リソースの分配比率を決定する。
本実施形態で用いた分配比率を決定するためのグラフを図４及び図５に示す。図４中のｎは円環状に並べた映像コンテンツの総数である。ｍは余剰デコーダ量（単位は処理単位時間）である。図４及び図５中のｗは円環状に並べた映像コンテンツが時計回り方向に回っているときに非表示領域から表示領域に入ってくる映像コンテンツの方向（図２の表示画面２００中のウィンドウ５の方向）にリソースを分配する比率である。図４、図５のどちらのグラフを用いるかは、式２により決定する。
Figure 0005300438
式２におけるｖはステップＳ３０２で得た回転速度、ａはステップＳ３０２で得た加速度である。式２のｇの値が０より小さい場合は、回転速度と加速度が逆方向であることを意味しており、その際は図４のグラフを選択する。図４のグラフは、回転速度と加速度とが逆方向である場合、現在の回転方向に続く非表示の映像コンテンツと逆方向の非表示の映像コンテンツがどちらも未来に表示領域に入ってくる可能性があることを予測していることを意味している。ｆの絶対値がｍ／ｎより小さい場合には、両方向の非表示の映像コンテンツに復号リソースを配分するものとなっている。また、式２のｇの値が０以上の場合は、回転速度と加速度とが同方向である、もしくは回転速度、加速度のどちらかまたは両方が０であることを意味しており、その際は図５のグラフを選択する。図５のグラフは、回転速度と加速度とが同方向である場合、現在の回転方向に続く非表示の映像コンテンツが未来に表示領域に入ってくる可能性が高いと予測するものとなっている。そして、ｆの符号（未来の回転方向）により、片方向の非表示の映像コンテンツに復号リソースを配分するものとなる。また、ｇが０以上且つｆ＝０の時は、ｖ、ａともに０であるので、そのときは両方向の非表示の映像コンテンツに対して等しく復号リソースを分配することを意味している。以上のように、表示位置予測部１０２は、未表示領域から表示領域に移動する映像コンテンツの予測結果に応じて、映像コンテンツに対する復号リソースの分配比率を決定している。
上記の動作により復号リソースの配分比率を決定すると、表示位置予測部１０２は復号部制御部１０３に対して配分比率を受け渡す。
以下、具体的な数値を用いて本実施形態における映像表示装置１の動作を説明する。ここでは、復号処理部１０４は１秒当たり４．２５秒分の映像コンテンツを復号する能力を持っているものとする。また、復号処理部１０４は非表示領域にある映像コンテンツをプリデコードし、蓄積部１０５に保存する復号処理済のデータ量の最大は単位時間（本実施形態では１秒）までとする。
図６は、本実施形態における表示画面６００の初期表示状態を示す図である。本実施形態では８つの映像コンテンツを円環状に並べて表示するケースを考え、それぞれのコンテンツに１から８の番号をふっている。
図７は、０秒後から５秒後において表示位置制御部１０１が決定した円環状に並んだ映像コンテンツの回転速度と加速度を示す図である。これらの値はユーザからの入力等による表示画面の動作指示により決定される。回転速度の単位は（回転数／秒）、加速度の単位は（回転数／（秒の２乗））である。なお、回転速度、加速度ともに時計回り方向（図６の映像コンテンツ２から映像コンテンツ１への方向）を正としている。
図８は、表示開始０秒後の表示画面８００における表示状態を示す図である。ここでは０秒後から１秒後までの映像表示装置１の動作を説明する。
先ず、復号処理部１０４のリソースは、現在表示されている画面（図８の映像コンテンツ１、映像コンテンツ２、映像コンテンツ３、映像コンテンツ４）に優先的に割り当てられる。これらの映像コンテンツを単位時間分復号するために、復号処理部１０４のリソースのうち、４秒分が割り当てられる。よって、このときの余剰デコーダ量は０．２５となる。
次に、図７より表示開始０秒後の回転速度は１／８、加速度は０であるので、式２により図５のグラフが選択され、式１及び図５より、ｗは１となる。よって余剰デコーダ量の０．２５は、図８の映像コンテンツ５に割り当てられ、０秒後から１秒後の間に映像コンテンツ５は０．２５秒分デコードされる。
表示領域にある映像コンテンツ１、映像コンテンツ２、映像コンテンツ３、映像コンテンツ４の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡されると直ちに蓄積部１０５から映像合成／表示部１０６に渡される。映像合成／表示部１０６では、復号処理済みのデータに対して映像合成処理が施され、映像合成／表示部１０６から表示デバイスへと出力される。一方、非表示領域にある映像コンテンツ５の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡され、映像コンテンツ５が表示領域に移動するまでの間、蓄積部１０５で保持される。
図９は、表示開始１秒後の表示画面９００における表示状態を示す図である。ここでは１秒後から２秒後までの映像表示装置１の動作を説明する。
先ず、復号処理部１０４のリソースは、現在表示されている画面（図９の映像コンテンツ２、映像コンテンツ３、映像コンテンツ４、映像コンテンツ５）に優先的に割り当てられる。映像コンテンツ５は０秒後から１秒後の間に０．２５秒分デコードされているので１秒後から２秒後の間の表示のためには０．７５秒分のデコードが必要となる。従って、映像コンテンツ２、映像コンテンツ３、映像コンテンツ４、映像コンテンツ５を単位時間分復号するために、復号処理部１０４のリソースのうち、３．７５秒分が割り当てられる。よって、このときの余剰デコーダ量は０．５となる。
次に、図７より表示開始１秒後の回転速度は１／８、加速度は０であるので、式２により図５のグラフが選択され、式１及び図５より、ｗは１となる。よって、余剰デコーダ量の０．５は、図９のコンテンツ６に割り当てられ、１秒後から２秒後の間にコンテンツ６は０．５秒分デコードされる。
表示領域にある映像コンテンツ２、映像コンテンツ３、映像コンテンツ４、映像コンテンツ５の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡されると直ちに蓄積部１０５から映像合成／表示部１０６に渡される。映像合成／表示部１０６では、復号処理済みのデータに対して映像合成処理が施され、映像合成／表示部１０６から表示デバイスへと出力される。一方、非表示領域にある映像コンテンツ６の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡され、映像コンテンツ６が表示領域に移動するまでの間、蓄積部１０５で保持される。
図１０は、表示開始２秒後の表示画面１０００における表示状態を示す図である。ここでは２秒後から３秒後までの映像表示装置１の動作を説明する。
先ず、復号処理部１０４のリソースは、現在表示されている画面（図１０の映像コンテンツ３、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６）に優先的に割り当てられる。映像コンテンツ６は１秒後から２秒後の間に０．５秒分デコードされているので２秒後から３秒後の間の表示のためには０．５秒分のデコードが必要となる。従って、映像コンテンツ３、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６を単位時間分復号するために、復号処理部１０４のリソースのうち、３．５秒分が割り当てられる。よって、このときの余剰デコーダ量は０．７５となる。
次に、図７より表示開始２秒後の回転速度は１／８、加速度は−１／８であるので、式２により図４のグラフが選択され、式１及び図４より、ｗは０．５となる。よって、余剰デコーダ量の０．７５は、図１０の映像コンテンツ２及び映像コンテンツ７にそれぞれ０．３７５ずつ割り当てられ、２秒後から３秒後の間に映像コンテンツ２及び映像コンテンツ７はそれぞれ０．３７５秒分ずつデコードされる。
表示領域にある映像コンテンツ３、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡されると直ちに蓄積部１０５から映像合成／表示部１０６に渡される。映像合成／表示部１０６では、復号処理済みのデータに対して映像合成処理が施され、映像合成／表示部１０６から表示デバイスへと出力される。一方、非表示領域にある映像コンテンツ２及び映像コンテンツ７の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡され、映像コンテンツ２及び映像コンテンツ７が表示領域に移動するまでの間、蓄積部１０５で保持される。
図１１は、表示開始３秒後の表示画面１１００における表示状態を示す図である。ここでは３秒後から４秒後までの映像表示装置１の動作を説明する。
先ず、復号処理部１０４のリソースは、現在表示されている画面（図１１の映像コンテンツ４、映像コンテンツ５、映像コンテンツ６、映像コンテンツ７）に優先的に割り当てられる。映像コンテンツ７は２秒後から３秒後の間に０．３７５秒分デコードされているので３秒後から４秒後の間の表示のためには０．６２５秒分のデコードが必要となる。従って、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６、映像コンテンツ７を単位時間分復号するために、復号処理部１０４のリソースのうち、３．６２５秒分が割り当てられる。よって、このときの余剰デコーダ量は０．６２５となる。
次に、図７より表示開始３秒後の回転速度は０、加速度は−１／８であるので、式２により図５のグラフが選択され、式１及び図５より、ｗは０となる。よって、余剰デコーダ量の０．６２５は、図１１の映像コンテンツ３に割り当てられ、３秒後から４秒後の間に映像コンテンツ３は０．６２５秒分デコードされる。
表示領域にある映像コンテンツ４、映像コンテンツ５、映像コンテンツ６、映像コンテンツ７の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡されると直ちに蓄積部１０５から映像合成／表示部１０６に渡される。映像合成／表示部１０６では、復号処理済みのデータに対して映像合成処理が施され、映像合成／表示部１０６から表示デバイスへと出力される。一方、非表示領域にある映像コンテンツ３の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡され、映像コンテンツ３が表示領域に移動するまでの間、蓄積部１０５で保持される。
図１２は、表示開始４秒後の表示画面１２００における表示状態を示す図である。ここでは４秒後から５秒後までの映像表示装置１の動作を説明する。
先ず、復号処理部１０４のリソースは、現在表示されている画面（図１２の映像コンテンツ４、映像コンテンツ５、映像コンテンツ６、映像コンテンツ７）に優先的に割り当てられる。これらの映像コンテンツを単位時間分復号するために、復号処理部１０４のリソースのうち、４秒分が割り当てられる。よって、このときの余剰デコーダ量は０．２５となる。
次に、図７より表示開始４秒後の回転速度は−１／８、加速度は０であるので、式２により図５のグラフが選択され、式１及び図５より、ｗは０となる。よって、余剰デコーダ量の０．２５は、図１１の映像コンテンツ３に割り当てられる。映像コンテンツ３は４秒後から５秒後の間に０．２５秒分デコードされる。映像コンテンツ３は３秒後から４秒後の間に既に０．６２５秒分デコードされているので、合計０．８７５秒分プリデコードされていることになる。
表示領域にある映像コンテンツ４、映像コンテンツ５、映像コンテンツ６、映像コンテンツ７の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡されると直ちに蓄積部１０５から映像合成／表示部１０６に渡される。映像合成／表示部１０６では、復号処理済みのデータに対して映像合成処理が施され、映像合成／表示部１０６から表示デバイスへと出力される。一方、非表示領域にある映像コンテンツ３の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡され、映像コンテンツ３が表示領域に移動するまでの間、蓄積部１０５で保持される。
図１３は、表示開始５秒後の表示画面１３００における表示状態を示す図である。ここでは５秒後から６秒後までの映像表示装置１の動作を説明する。
先ず、復号処理部１０４のリソースは、現在表示されている画面（図１３の映像コンテンツ３、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６）に優先的に割り当てられる。映像コンテンツ３は３秒後から４秒後の間及び４秒後から５秒後の間に計０．８７５秒分デコードされているので５秒後から６秒後の間の表示のためには０．１２５秒分のデコードが必要となる。従って、映像コンテンツ３、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６を単位時間分復号するために、復号処理部１０４のリソースのうち、３．１２５秒分が割り当てられる。よって、このときの余剰デコーダ量は１．１２５となる。
次に、図７より表示開始５秒後の回転速度は−１／８、加速度は０であるので、式２により図５のグラフが選択され、式１及び図５より、ｗは０となる。よって、余剰デコーダ量の１．１２５は、図１３の映像コンテンツ２及び映像コンテンツ１に割り当てられる。映像コンテンツ２は２秒後から３秒後の間に０．３７５秒分デコードされているので、映像コンテンツ２には余剰デコーダ量のうち０．６２５が割り当てられ、０．６２５秒分デコードされる。映像コンテンツ１には余剰デコーダ量の残りの０．５が割り当てられ、０．５秒分デコードされる。
表示領域にある映像コンテンツ３、映像コンテンツ４、映像コンテンツ５、映像コンテンツ６の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡されると直ちに蓄積部１０５から映像合成／表示部１０６に渡される。映像合成／表示部１０６では、復号処理済みのデータに対して映像合成処理が施され、映像合成／表示部１０６から表示デバイスへと出力される。一方、非表示領域にある映像コンテンツ２及び映像コンテンツ１の復号処理済みのデータは、復号処理部１０４から蓄積部１０５に渡され、映像コンテンツ２及び映像コンテンツ１が表示領域に移動するまでの間、蓄積部１０５に保持される。
以上、表示開始から６秒後までの各映像コンテンツに対するデコーダの割り当てについて説明した。０秒後から６秒後までの各映像コンテンツに対するデコーダの割り当てを図１４に示す。図１４の表中の白塗りの部分はその瞬間に表示されているコンテンツであることを、斜線部分はその瞬間に非表示のコンテンツであることを示している。
以上のように本実施形態では、複数の映像コンテンツのスクロール表示制御の状況に応じて、未表示領域から表示領域に移動する映像コンテンツを予測し、予測された映像コンテンツを当該映像コンテンツが表示領域に移動する前の復号するように構成している。従って、本実施形態によれば、スクロール表示制御の状況に応じて次に表示される可能性の高い映像コンテンツを予測し、表示に先立って復号処理を施すことが可能となる。よって、映像コンテンツが非表示領域から表示領域に移動してくる際に、復号処理による遅延を発生することなく表示することができる。
なお、本実施形態では、円環状に配置したコンテンツの表示についてのみ説明したが、本発明はスクロール動作を伴う任意の配置形状のコンテンツの表示に適用可能である。
＜その他の実施形態＞
本発明は、複数の機器から構成されるシステムの１部として適用しても、１つの機器からなる装置の１部に適用してもよい。
また、本発明は上記実施形態を実現するための装置及び方法のみに限定されるものではない。
例えば、上記システム又は装置内のコンピュータ（ＣＰＵ或いはＭＰＵ）に、上記実施形態を実現するためのソフトウェアのプログラムコードを供給するものも本発明の範疇に含まれる。また、このプログラムコードに従って上記システム或いは装置のコンピュータが上記各種デバイスを動作させることにより上記実施例を実現する場合も本発明の範疇に含まれる。
この場合、前記ソフトウェアのプログラムコード自体が上記実施形態の機能を実現することになる。即ち、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、具体的には上記プログラムコードを格納した記憶媒体も本発明の範疇に含まれる。
このようなプログラムコードを格納する記憶媒体としては、例えばフレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
また、本発明は上記プログラムコードのみに従って各種デバイスを制御することにより、上記実施形態の機能が実現される場合に限らない。例えば、上記プログラムコードがコンピュータ上で稼働しているＯＳ（オペレーティングシステム）、或いは他のアプリケーションソフト等と共同して上記実施形態が実現される場合も本発明の範疇に含まれる。
更に、コンピュータの機能拡張ボードに備わるメモリに格納された上記プログラムコードの指示に基づいて、その機能拡張ボードに備わるＣＰＵ等が実際の処理の一部または全部を行う場合なども本発明の範疇に含まれる。
本発明の実施形態に係る映像表示装置の主要部の構成を示すブロック図である。 表示デバイスの表示画面に出力される映像コンテンツの一例を示した図である。 図１に示した映像表示装置の表示位置予測部における動作を示したフローチャートである。 分配比率を決定するためのグラフを示す図である。 分配比率を決定するためのグラフを示す図である。 表示画面の初期表示状態を示す図である。 ０秒後から５秒後において表示位置制御部が決定した円環状に並んだ映像コンテンツの回転速度と加速度を示す図である。 表示開始０秒後の表示画面における表示状態を示す図である。 表示開始１秒後の表示画面における表示状態を示す図である。 表示開始２秒後の表示画面における表示状態を示す図である。 表示開始３秒後の表示画面における表示状態を示す図である。 表示開始４秒後の表示画面における表示状態を示す図である。 表示開始５秒後の表示画面における表示状態を示す図である。 ０秒後から６秒後までの各映像コンテンツに対するデコーダの割り当てを示す図である。
符号の説明
１ 映像表示装置
１０１ 表示位置制御部
１０２ 表示位置予測部
１０３ 復号部制御部
１０４ 復号処理部
１０５ 蓄積部
１０６ 映像合成／表示部

Claims (6)

  1. 複数のコンテンツデータをスクロールして表示させる表示制御手段と、
    前記表示制御手段による前記スクロールの表示制御の状況に応じて、前記複数のコンテンツデータのうち未表示領域から表示領域に移動するコンテンツデータを予測し、予測結果に応じて、当該コンテンツデータを復号処理するためのリソースの分配比率を決定する予測手段と、
    前記予測手段により予測された前記コンテンツデータを、前記予測手段により決定された前記リソースの分配比率で復号する復号手段と
    を有することを特徴とする画像処理装置。
  2. 前記予測手段は、前記スクロールの速度と加速度とが逆方向である場合に、前記速度と同方向の未表示領域のコンテンツデータと、前記速度と逆方向の未表示領域のコンテンツデータとに対して前記リソースを割り当て、前記スクロールの前記速度と前記加速度とが同方向である場合に、前記速度と逆方向の未表示領域のコンテンツデータには前記リソースを割り当てず、前記速度と同方向のみ表示領域のコンテンツデータに対して前記リソースを割り当てることを特徴とする請求項１に記載の画像処理装置。
  3. 前記予測手段は、前記スクロールの速度と加速度とがともに０である場合に、スクロールの両方向の非表示領域のコンテンツデータに対して等しく前記リソースを割り当てることを特徴とする請求項２に記載の画像処理装置。
  4. 前記予測手段は、前記複数のコンテンツデータのスクロール表示の速度及び加速度に基づいて、未表示領域から表示領域に移動する前記コンテンツデータを予測することを特徴とする請求項１に記載の画像処理装置。
  5. 複数のコンテンツデータをスクロール表示させる表示制御ステップと、
    前記表示制御ステップによる前記スクロールの表示制御の状況に応じて、前記複数のコンテンツデータのうち未表示領域から表示領域に移動するコンテンツデータを予測し、予測結果に応じて、当該コンテンツデータを復号処理するためのリソースの分配比率を決定する予測ステップと、
    前記予測ステップにより予測された前記コンテンツデータを、前記予測ステップにより決定された前記リソースの分配比率で復号する復号ステップと
    を含むことを特徴とする画像処理方法。
  6. 複数のコンテンツデータをスクロール表示させる表示制御ステップと、
    前記表示制御ステップによる前記スクロールの表示制御の状況に応じて、前記複数のコンテンツデータのうち未表示領域から表示領域に移動するコンテンツデータを予測し、予測結果に応じて、当該コンテンツデータを復号処理するためのリソースの分配比率を決定する予測ステップと、
    前記予測ステップにより予測された前記コンテンツデータを、前記予測ステップにより決定された前記リソースの分配比率で復号する復号ステップと
    をコンピュータに実行させるためのプログラム。
JP2008298654A 2008-11-21 2008-11-21 画像処理装置、画像処理方法及びプログラム Expired - Fee Related JP5300438B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008298654A JP5300438B2 (ja) 2008-11-21 2008-11-21 画像処理装置、画像処理方法及びプログラム
US12/612,937 US8713472B2 (en) 2008-11-21 2009-11-05 Display apparatus, a method for a display control, and program
US14/203,319 US9621866B2 (en) 2008-11-21 2014-03-10 Image processing apparatus, image processing method, and program
US15/452,550 US10474343B2 (en) 2008-11-21 2017-03-07 Image processing apparatus, image processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008298654A JP5300438B2 (ja) 2008-11-21 2008-11-21 画像処理装置、画像処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2010123081A JP2010123081A (ja) 2010-06-03
JP5300438B2 true JP5300438B2 (ja) 2013-09-25

Family

ID=42196363

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008298654A Expired - Fee Related JP5300438B2 (ja) 2008-11-21 2008-11-21 画像処理装置、画像処理方法及びプログラム

Country Status (2)

Country Link
US (3) US8713472B2 (ja)
JP (1) JP5300438B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5300438B2 (ja) * 2008-11-21 2013-09-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2011215915A (ja) * 2010-03-31 2011-10-27 Sony Corp 画像データ処理装置、画像データ処理方法およびプログラム
KR20140080257A (ko) * 2012-12-20 2014-06-30 엘지전자 주식회사 전자 장치 및 디스플레이 점등 제어 방법
US9377940B2 (en) * 2013-02-28 2016-06-28 Facebook, Inc. Predictive pre-decoding of encoded media item
US10264211B2 (en) * 2014-03-14 2019-04-16 Comcast Cable Communications, Llc Adaptive resolution in software applications based on dynamic eye tracking
US20190244276A1 (en) * 2014-05-09 2019-08-08 Happy Ray Co. Ltd. Method and System for Matching Graphics
TWI560627B (en) * 2014-05-09 2016-12-01 Happy Ray Co Ltd Method and system for matching graphics
US20170195736A1 (en) 2015-12-31 2017-07-06 Opentv, Inc. Systems and methods for enabling transitions between items of content
CN106020590B (zh) * 2016-05-09 2021-01-22 腾讯科技（深圳）有限公司 视图显示方法及装置
MX2019003349A (es) * 2016-09-26 2019-10-02 Wp Company Llc Metodo y sistema para entregar contenido en tiempo real.
JP6809323B2 (ja) 2017-03-21 2021-01-06 富士通株式会社 情報処理装置、情報処理システムおよび情報処理方法
CN107483940B (zh) * 2017-09-19 2019-06-11 武汉大学 一种基于屏幕变化检测的屏幕视频编码方法
CN108804634B (zh) * 2018-06-01 2021-10-29 深圳乐信软件技术有限公司 数据滚动方法、装置、前端设备、后台服务器和介质
AT525545B1 (de) 2021-10-27 2023-05-15 Breitenberger Georg Verfahren und vorrichtung zur herstellung von formbauteilen

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5196838A (en) * 1990-12-28 1993-03-23 Apple Computer, Inc. Intelligent scrolling
JPH05241563A (ja) * 1992-02-26 1993-09-21 Japan Radio Co Ltd 図形表示装置
JPH06259088A (ja) * 1993-03-03 1994-09-16 Hitachi Ltd 音声データ編集方法及び編集装置
JPH0736437A (ja) * 1993-06-29 1995-02-07 Toshiba Corp 画像データ処理装置
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US6154757A (en) * 1997-01-29 2000-11-28 Krause; Philip R. Electronic text reading environment enhancement method and apparatus
US6262724B1 (en) * 1999-04-15 2001-07-17 Apple Computer, Inc. User interface for presenting media information
JP4595228B2 (ja) * 2000-08-24 2010-12-08 ソニー株式会社 受信装置および方法、送信装置および方法、記録媒体、並びに通信システム
JP2002297514A (ja) * 2001-03-29 2002-10-11 Sony Corp 受信装置および方法、記録媒体、並びにプログラム
JP2002292145A (ja) * 2001-03-29 2002-10-08 Sony Corp 情報処理装置および方法、記録媒体、並びにプログラム
JP4018900B2 (ja) * 2001-11-22 2007-12-05 株式会社日立製作所 仮想計算機システム及びプログラム
JP2003256187A (ja) * 2001-12-25 2003-09-10 Canon Inc 画像表示装置及び画像表示方法
US20030196211A1 (en) * 2002-04-10 2003-10-16 Peter Chan Systems, methods and apparatuses for simulated rapid tuning of digital video channels
EP1510911A3 (en) * 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
JP4305745B2 (ja) * 2003-08-28 2009-07-29 ソニー株式会社 情報処理装置，情報処理方法，情報処理プログラム及び情報処理プログラムを記憶させた記憶媒体
US8087091B2 (en) * 2004-07-08 2011-12-27 Media Rights Technologies Method and system for preventing unauthorized reproduction of electronic media
JP4123382B2 (ja) * 2004-07-12 2008-07-23 ソニー株式会社 電子機器、電子機器における表示制御方法およびグラフィカル・ユーザ・インターフェース
JP2006054818A (ja) * 2004-08-16 2006-02-23 Sony Corp 情報処理システム、記録装置、通信装置、情報処理方法、およびプログラム
JP4239096B2 (ja) 2004-08-24 2009-03-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2006113801A (ja) * 2004-10-14 2006-04-27 Canon Inc 画像処理結果表示装置、画像処理結果表示方法およびプログラム
JPWO2006100820A1 (ja) * 2005-03-22 2008-08-28 三菱電機株式会社 画像符号化記録読出装置
JP4318047B2 (ja) * 2005-06-06 2009-08-19 ソニー株式会社 ３次元オブジェクト表示装置、３次元オブジェクト切替表示方法及び３次元オブジェクト表示プログラム
US20070132789A1 (en) 2005-12-08 2007-06-14 Bas Ording List scrolling in response to moving contact over list of index symbols
JP2007233797A (ja) * 2006-03-02 2007-09-13 Matsushita Electric Ind Co Ltd プレビュー再生方法、装置、プログラム、及び媒体
US7917667B2 (en) * 2006-09-22 2011-03-29 Sony Computer Entertainment Inc. Methods and apparatus for allocating DMA activity between a plurality of entities
US8279946B2 (en) * 2007-11-23 2012-10-02 Research In Motion Limited System and method for providing a variable frame rate and adaptive frame skipping on a mobile device
US9329744B2 (en) * 2008-05-12 2016-05-03 Adobe Systems Incorporated Segmented scroll bar
JP5300438B2 (ja) * 2008-11-21 2013-09-25 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US20100229088A1 (en) * 2009-03-04 2010-09-09 Apple Inc. Graphical representations of music using varying levels of detail

Also Published As

Publication number Publication date
US10474343B2 (en) 2019-11-12
JP2010123081A (ja) 2010-06-03
US20140193135A1 (en) 2014-07-10
US20170177188A1 (en) 2017-06-22
US8713472B2 (en) 2014-04-29
US9621866B2 (en) 2017-04-11
US20100129053A1 (en) 2010-05-27

Similar Documents

Publication Publication Date Title
JP5300438B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN109640188B (zh) 视频预览方法、装置、电子设备及计算机可读存储介质
JP5893046B2 (ja) 没入型環境のカスタマイズ
RU2702049C2 (ru) Совместное использование в реальном времени во время телефонного вызова
JP4519082B2 (ja) 情報処理方法、動画サムネイル表示方法、復号化装置、および情報処理装置
US20120005630A1 (en) Highly Responsive Screen Output Device, Screen Output System, and Screen Output Method
JP2014160469A (ja) グラフィックコンテンツの外部ディスプレイへのミラーリング
JP2009070261A (ja) 表示制御装置及び方法、並びにプログラム
JP5068440B2 (ja) ステップ画像を用いた画像ベースビデオの生成
CN110582012B (zh) 视频切换方法、视频处理方法、装置及存储介质
KR20100036256A (ko) 공유 메모리 풀을 사용한 디지털 데이터 관리
CN110740261A (zh) 视频录制方法、装置、终端及存储介质
US20240143649A1 (en) Multimedia information processing method, apparatus, electronic device, and medium
CN112035195A (zh) 应用界面的展示方法、装置、电子设备及存储介质
KR101630638B1 (ko) 화면 가상화 기반 어플리케이션 실행 시스템 및 방법
JP2002351438A (ja) 映像監視システム
JP5506250B2 (ja) ストリーム復号装置及びストリーム復号方法
CN117557701A (zh) 一种图像渲染方法和电子设备
KR20190032100A (ko) 전자 장치에서의 광고 영상 제공 방법 및 그 전자 장치
CN114401452A (zh) 一种视频预览方法、终端及存储介质
JP2008154075A (ja) 映像処理装置およびその制御方法およびプログラムおよび記憶媒体
CN115033330B (zh) 一种内容显示方法、装置、设备及存储介质
US20240048727A1 (en) Method and system of low latency video coding with interactive applications
KR100716841B1 (ko) 분할 처리를 이용한 월페이퍼 실시간 디스플레이 기능을 가지는 휴대용 단말기 및 그 방법
KR101722681B1 (ko) 동영상 처리 장치, 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120814

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130618

R151 Written notification of patent or utility model registration

Ref document number: 5300438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees