[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4618305B2 - 画像処理装置および画像処理方法、並びにプログラム - Google Patents

画像処理装置および画像処理方法、並びにプログラム Download PDF

Info

Publication number
JP4618305B2
JP4618305B2 JP2008037221A JP2008037221A JP4618305B2 JP 4618305 B2 JP4618305 B2 JP 4618305B2 JP 2008037221 A JP2008037221 A JP 2008037221A JP 2008037221 A JP2008037221 A JP 2008037221A JP 4618305 B2 JP4618305 B2 JP 4618305B2
Authority
JP
Japan
Prior art keywords
interpolation
signal
image
unit
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008037221A
Other languages
English (en)
Other versions
JP2009200576A (ja
Inventor
弘治 松浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008037221A priority Critical patent/JP4618305B2/ja
Priority to EP09153136A priority patent/EP2093711A3/en
Priority to US12/378,647 priority patent/US8228341B2/en
Priority to CN2009100082354A priority patent/CN101515432B/zh
Publication of JP2009200576A publication Critical patent/JP2009200576A/ja
Application granted granted Critical
Publication of JP4618305B2 publication Critical patent/JP4618305B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Circuits (AREA)

Description

本発明は、画像処理装置および画像処理方法、並びにプログラムに関し、特に、入力された複数の画像信号が合成された合成信号を補間する場合において、補間後の合成信号の画質を向上させることができるようにした画像処理装置および画像処理方法、並びにプログラムに関する。
一般的に、人間が動画像を滑らかに感じるためには、動画像のフレームレートは24フレーム/秒で充分であるといわれている。しかしながら、液晶パネルを備えた液晶テレビジョン受像機では、発光素子を常時発光させるホールド型発光が行われるため、インパルス型発光が行われるブラウン管やプラズマディスプレイを備えたテレビジョン受像機とは異なり、60フレーム/秒の動画像では、人間に充分な滑らかさを感じさせることはできない。
そこで、近年、液晶テレビジョン受像機において、倍速駆動といわれる、高フレームレート処理(以下、HFR処理という)を行うものが主流になってきている。なお、HFR処理とは、60フレーム/秒の動画像を120フレーム/秒の動画像へ変換するなどして、フレームレートを高速化する処理である。
HFR処理としては、例えばフレーム間の画像信号を補間する補間処理が用いられる。このような補間処理としては、入力された時系列の画像信号に含まれる動きベクトルを取得し、その動きベクトルを用いて、時系列の画像信号の間の任意の時刻における画像信号を補間する処理が考案されている（例えば、特許文献１参照）。
しかしながら、例えば、動画像上に半透明のGUI（Graphical User Interface）画像やOSD（On Screen Display）画像が重畳された重畳画像の画像信号(以下、重畳画像信号という)に対して補間処理が行われる場合、重畳画像内の動画像の動きが、静止画像であるGUI画像やOSD画像の動きベクトルに影響を与え、補間処理後の重畳画像においてGUI画像やOSD画像が乱れることがある。
そこで、GUI画像やOSD画像などの静止画像が重畳された重畳画像の重畳画像信号に対しては、動きベクトルを用いた補間を行わないことが考えられているが、この場合、GUI画像やOSD画像以外の背景の動画像の画像信号においても、動きベクトルを用いた補間が停止されるので、補間処理後の重畳画像信号の画質は良くない。
また、例えば、補間処理の対象となる動画像の画像信号において、GUI画像やOSD画像の画像信号の重畳のオンとオフが切り換えられると、補間処理において、対象となる画像信号がシーンチェンジ時の画像信号であると誤認識され、動きベクトルを用いた補間が行われない場合がある。この場合、重畳のオンとオフが切り換えられた瞬間の画像信号に対してだけ動きベクトルを用いた補間が行われなくなるため、動きベクトルを用いた補間が行われた画像と行われていない画像が補間処理後の画像として時間的に連続して出力されることになり、補間処理後の画像が乱れる。そこで、重畳のオンとオフが切り換えられた直後の一定期間は、動きベクトルを用いた補間を行わないようにすることが考えられている。
一方、近年、テレビジョン受像機において、テレビジョン放送だけでなく、インターネットのコンテンツなどを視聴することが可能になってきている。従って、補間処理において、テレビジョン放送の画像信号やインターネットのコンテンツの画像信号などの複数の入力された画像信号が合成された合成信号を対象とすることを考える必要がある。
特開２００１−４２８３１号公報
しかしながら、補間処理において、入力された複数の画像信号が合成された合成信号を対象とし、補間処理後の合成信号の画質を向上させることについては考えられていなかった。
本発明は、このような状況に鑑みてなされたものであり、入力された複数の画像信号が合成された合成信号を補間する場合において、補間後の合成信号の画質を向上させることができるようにするものである。
本発明の一側面の画像処理装置は、複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号に対して画像処理を行う画像処理装置において、複数の前記入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の前記入力画像信号を合成して合成信号を生成する合成手段と、前記合成信号の動きベクトルを検出する検出手段と、前記合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、前記合成信号における前記補間を行わない領域である合成補間除外領域を決定する決定手段と、前記合成補間除外領域以外の領域において、前記動きベクトルに基づいて、前記合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号を補間して出力する補間手段とを備え、前記決定手段は、前記合成補間除外領域の数が所定数より多い場合、または、前記合成補間除外領域の形状が所定の形状以外の形状である場合、前記入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて前記合成補間除外領域を再度決定し、前記補間手段は、前記決定手段により決定された前記合成補間除外領域の数が前記所定数以下であり、かつ、前記合成補間除外領域の形状が前記所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において前記合成信号間信号を補間して出力する。
本発明の一側面の画像処理装置は、前記入力画像信号に対応して入力される、その入力画像信号の内容を表す情報を用いて、前記補間制御情報を生成する生成手段をさらに設けることができる。
本発明の一側面の画像処理装置において、前記決定手段は、全ての前記入力補間除外領域を含む前記所定の形状の１つの領域を前記合成補間除外領域として再度決定することができる。
本発明の一側面の画像処理装置において、前記合成信号の全領域を前記合成補間除外領域として再度決定することができる。
本発明の一側面の画像処理方法は、複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号に対して画像処理を行う画像処理装置の画像処理方法において、複数の前記入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の前記入力画像信号を合成して合成信号を生成する生成ステップと、前記合成信号の動きベクトルを検出する検出ステップと、前記合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、前記合成信号における前記補間を行わない領域である合成補間除外領域を決定する決定ステップと、前記合成補間除外領域以外の領域において、前記動きベクトルに基づいて、前記合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号を補間して出力する補間ステップとを含み、前記決定ステップの処理は、前記合成補間除外領域の数が所定数より多い場合、または、前記合成補間除外領域の形状が所定の形状以外の形状である場合、前記入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて前記合成補間除外領域を再度決定し、前記補間ステップの処理は、前記決定手段により決定された前記合成補間除外領域の数が前記所定数以下であり、かつ、前記合成補間除外領域の形状が前記所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において前記合成信号間信号を補間して出力する。
本発明の一側面のプログラムは、複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号に対して画像処理を、コンピュータに行わせるプログラムにおいて、複数の前記入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の前記入力画像信号を合成して合成信号を生成する生成ステップと、前記合成信号の動きベクトルを検出する検出ステップと、前記合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、前記合成信号における前記補間を行わない領域である合成補間除外領域を決定する決定ステップと、前記合成補間除外領域以外の領域において、前記動きベクトルに基づいて、前記合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号を補間して出力する補間ステップとを含み、前記決定ステップの処理は、前記合成補間除外領域の数が所定数より多い場合、または、前記合成補間除外領域の形状が所定の形状以外の形状である場合、前記入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて前記合成補間除外領域を再度決定し、前記補間ステップの処理は、前記決定手段により決定された前記合成補間除外領域の数が前記所定数以下であり、かつ、前記合成補間除外領域の形状が前記所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において前記合成信号間信号を補間して出力する。
本発明の一側面においては、複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の入力画像信号を合成して合成信号が生成され、合成信号の動きベクトルが検出され、合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、合成信号における補間を行わない領域である合成補間除外領域が決定され、合成補間除外領域以外の領域において、動きベクトルに基づいて、合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号が補間されて出力される。合成補間除外領域の数が所定数より多い場合、または、合成補間除外領域の形状が所定の形状以外の形状である場合、入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて合成補間除外領域が再度決定され、決定された合成補間除外領域の数が所定数以下であり、かつ、合成補間除外領域の形状が所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において合成信号間信号が補間されて出力される。
以上のように、本発明の一側面によれば、入力された複数の画像信号が合成された合成信号を補間する場合において、補間後の合成信号の画質を向上させることができる。
図１は、テレビジョン放送の番組の画像を高フレームレートで表示する受信装置の構成例を示している。
図１の受信装置１１では、MPU（Micro Processing Unit）３１、チューナ３２、デコード処理部３３、表示部３５とスピーカ３６が接続された信号処理部３４、入力部３８、通信部３９、記録部４０、およびドライブ４１が、バス３７を介して互いに接続されており、受信装置１１は、テレビジョン放送の番組の時系列のフレーム単位の画像や音声のデジタル信号（以下、番組信号という）の電波を受信し、その番組の画像や音声を出力する。
MPU３１は、例えば、記録部４０にインストールされたプログラムを実行することにより、入力部３８から入力される指令などに対応して、各種の処理を実行する。例えば、MPU３１は、入力部３８から入力されるユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ３２、デコード処理部３３、および信号処理部３４を制御し、そのチャンネルの番組信号に対応する画像を、液晶パネルなどにより構成される表示部３５に表示させるとともに、音声をスピーカ３６から出力させる。
また、MPU３１は、入力部３８から入力される、OSD画像の表示を開始させるための指令であるOSD表示指令と、OSD画像の、番組の画像における表示位置に関する情報であるOSD情報の少なくとも１つとに基づいて、信号処理部３４を制御し、番組信号のうちの画像信号にOSD画像信号を重畳させる。なお、OSD情報とは、例えばOSD画像の表示開始位置、大きさ、形状などの情報である。
さらに、MPU３１は、通信部３９によりダウンロードされたプログラムや、ドライブ４１に装着された磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどのリムーバブルメディア４２に記録されたプログラムを必要に応じて、記録部４０にインストールする。
チューナ３２は、MPU３１の制御により、図示せぬ放送局から放射される番組信号の電波を受信して復調する。チューナ３２は、復調の結果得られる番組信号をデコード処理部３３に供給する。
デコード処理部３３は、MPU３１の制御により、チューナ３２から供給される番組信号（符号化されている番組信号）を、MPEG2(Moving Picture Experts Group phase 2)などの所定の方式でデコードし、その結果得られる番組信号を信号処理部３４に供給する。
信号処理部３４は、画像処理部５１と音声処理部５２により構成される。画像処理部５１は、デコード処理部３３から供給される番組信号のうちの画像信号に対して、OSD画像信号の重畳、連続する画像信号の中間の時刻における画像信号の補間、D/A（Digital/Analog）変換などの処理を施す。画像処理部５１は、その結果得られるアナログ信号である画像信号を、表示部３５に供給して、表示部３５に画像を表示させる。
音声処理部５２は、デコード処理部３３から供給される番組信号のうちの音声信号に対して、D/A変換などを行い、その結果得られるアナログ信号である音声信号を、スピーカ３６に供給して、外部に音声を出力させる。
入力部３８は、例えば、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、ボタン、キーボード、マウス、スイッチなどから構成され、ユーザからの指令を受け付ける。入力部３８は、ユーザからの指令に応じて、各種の指令を、バス３７を介してMPU３１に供給する。
例えば、入力部３８は、ユーザからの所望のチャンネルの番組の表示の指令に応じて、ユーザの所望のチャンネルの番組を表示させるための指令をMPU３１に供給する。また、入力部３８は、ユーザからのOSD画像の表示の開始の指令に応じて、そのOSD画像のOSD情報とOSD表示指令をMPU３１に供給する。
通信部３９は、図示せぬインターネットなどのネットワークを介して、各種のデータの送受信を行う。例えば、通信部３９は、図示せぬサーバからネットワークを介して所定のプログラムをダウンロードし、MPU３１に供給する。記録部４０は、必要に応じて、MPU３１が実行するプログラムおよび各種のデータを記録する。
ドライブ４１には、必要に応じて、リムーバブルメディア４２が装着される。ドライブ４１は、リムーバブルメディア４２を駆動して、そこに記録されているプログラムやデータなどを読み出し、バス３７を介してMPU３１に供給する。
次に、図２を参照して、図１の受信装置１１における補間について説明する。
図２に示すように、入力部３８は、ユーザからのOSD画像の表示の開始または終了の指令を受け付けると、OSD表示指令とOSD情報、または、OSD画像の表示を終了させるための指令であるOSD終了指令を、バス３７を介してMPU３１に供給する。
MPU３１は、バス３７を介して、I2C（Inter-Integrated Circuit）通信やUART（Universal Asynchronous Receiver Transmitter）通信などの通信を画像処理部５１と行う。例えば、MPU３１は、入力部３８から供給されるOSD表示指令とOSD情報に応じて、OSD情報と、補間の停止の指令である補間停止指令とを画像処理部５１に送信し、その後、OSD画像信号の重畳の開始の指令である重畳開始指令を画像処理部５１に送信する。
また、MPU３１は、入力部３８から供給されるOSD終了指令に対応して、補間の再開の指令である補間再開指令を画像処理部５１に送信し、その後、OSD画像信号の重畳の停止の指令である重畳停止指令を画像処理部５１に送信する。
図２に示すように、デコード処理部３３は、デコーダ６１により構成される。デコーダ６１は、図１のチューナ３２から入力される番組信号をデコードし、その結果得られる画像信号（以下、入力画像信号という）を画像処理部５１に供給する。なお、ここで得られるデコード後の音声信号は、図１の音声処理部５２に供給される。
画像処理部５１は、OSD重畳部７１、補間処理部７２、および表示処理部７３により構成される。OSD重畳部７１は、MPU３１からバス３７を介して供給される重畳開始指令に応じて、デコーダ６１から供給される入力画像信号の、MPU３１から供給されたOSD情報に基づく位置に、予め記憶しているOSD画像信号を重畳する。そして、OSD重畳部７１は、重畳後の入力画像信号を補間処理部７２に供給する。また、OSD重畳部７１は、MPU３１からバス３７を介して供給される重畳停止指令に応じて、デコーダ６１から供給される入力画像信号に対するOSD画像信号の重畳を停止し、デコーダ６１から供給される入力画像信号をそのまま補間処理部７２に供給する。
補間処理部７２は、MPU３１からバス３７を介して供給される補間停止指令に応じて、OSD重畳部７１から供給される入力画像信号を用いて、MPU３１から供給されるOSD情報に対応する領域以外の領域において、動きベクトルに基づく補間を行う。また、補間処理部７２は、MPU３１からバス３７を介して供給される補間再開指令に応じて、OSD重畳部７１から供給される入力画像信号を用いて、全領域において動きベクトルに基づく補間を行う。補間処理部７２は、補間後の画像信号を表示処理部７３に供給する。
表示処理部７３は、補間処理部７２から供給される補間後の画像信号に対してD/A変換を行い、その結果得られるアナログ信号である画像信号を表示部３５に供給して、表示部３５に画像を表示させる。
図３は、図２の補間処理部７２の詳細構成例を示している。
補間処理部７２は、フレームメモリ８１、検出部８２、移動部８３、指定部８４、混合部８５、および選択部８６により構成される。
図２のOSD重畳部７１から供給される入力画像信号は、フレームメモリ８１、検出部８２、混合部８５、および選択部８６に入力される。また、MPU３１からバス３７を介して供給される補間停止指令およびOSD情報、または、補間再開指令は、指定部８４に供給される。
フレームメモリ８１は、OSD重畳部７１から入力された入力画像信号をフレーム単位で記憶する。フレームメモリ８１は、前回記憶した入力画像信号、即ち、OSD重畳部７１から入力された入力画像信号の１フレーム前の入力画像信号（以下、前入力画像信号という）を読み出し、検出部８２、移動部８３、および混合部８５に供給する。
検出部８２は、OSD重畳部７１から入力される入力画像信号を、検出対象の入力画像信号(以下、対象入力画像信号という)として、対象入力画像信号と、フレームメモリ８１から供給される対象入力画像信号より１フレーム前の前入力画像信号とに基づいて、対象入力画像信号の動きベクトルを検出する。
例えば、検出部８２は、ブロックマッチング法にしたがって、対象入力画像信号に設定した基準ブロックと、前入力画像信号に設定した、基準ブロックと同一のサイズの参照ブロックとのマッチングを行うことにより、ブロック単位の動きベクトルを検出する。検出部８２は、検出したブロック単位の動きベクトルを、移動部８３に供給する。
移動部８３は、検出部８２から供給されるブロック単位の動きベクトルを用いて、フレームメモリ８１から供給される前入力画像信号をブロック単位で移動し、移動後の前入力画像信号を混合部８５に供給する。
指定部８４は、MPU３１から供給される補間停止指令とOSD情報に基づいて、後述する補間信号における、動きベクトルに基づく補間を行わない領域である補間停止領域を、少なくとも１つ指定する。また、指定部８４は、MPU３１から供給される補間再開指令に応じて、補間停止領域として、その領域がないことを表すゼロを指定する。指定部８４は、その補間停止領域を混合部８５に供給する。
混合部８５は、指定部８４から供給される補間停止領域に基づいて、OSD重畳部７１から供給される対象入力画像信号に、移動部８３から供給される前入力画像信号を混合することにより、対象入力画像信号と前入力画像信号の間の中間の時刻における画像信号を補間する補間信号を生成する。
具体的には、混合部８５は、補間信号における補間停止領域以外の領域においては、OSD重畳部７１から供給される対象入力画像信号に、移動部８３から供給される前入力画像信号を混合し、補間停止領域においては前入力画像信号をそのまま用いることにより、補間信号を生成する。即ち、混合部８５は、補間停止領域以外の領域においては、対象入力画像信号と、移動部８３により動きベクトルを用いて移動された前入力画像信号の混合による補間を行い、補間停止領域においては、その補間を行わない。
その結果、補間信号は、補間停止領域以外の領域では対象入力画像信号と前入力画像信号を混合した画像信号となり、補間停止領域では前入力画像信号そのものとなる。そして、混合部８５は、補間信号を選択部８６に供給する。
選択部８６は、OSD重畳部７１から入力される対象入力画像信号と、混合部８５から供給される補間信号のいずれか一方を選択し、所定のタイミングで、補間後の画像信号として出力する。具体的には、選択部８６は、対象入力画像信号と、その次の対象入力画像信号の間に、それらを用いて生成された補間信号を、補間後の画像信号として出力する。その結果、選択部８６から出力される、補間後の画像信号のフレームレートは、入力画像信号のフレームレートの２倍となる。
次に、図４を参照して、図１の受信装置１１におけるOSD重畳処理について説明する。
ステップＳ１１において、MPU３１は、入力部３８から供給される、OSD表示指令と、少なくとも１つのOSD画像のOSD情報を取得し、そのOSD情報のうちの１つを、バス３７を介して画像処理部５１の補間処理部７２に送信する。ステップＳ２１において、補間処理部７２は、MPU３１から送信されてくるOSD情報を受信し、ステップＳ２２において、MPU３１にOSD情報の通信の完了の通知を送信する。
ステップＳ１２において、MPU３１は、補間処理部７２から送信されてくる通信の完了の通知を受信する。以降も同様にして、入力部３８からMPU３１に供給されるOSD情報の数だけ、ステップＳ１１およびＳ１２、並びに、ステップＳ２１およびＳ２２の処理が繰り返される。
その後、ステップＳ１３において、MPU３１は、補間停止指令を補間処理部７２に送信し、ステップＳ２３において、補間処理部７２は、その補間停止指令を受信する。そして、補間処理部７２は、この補間停止指令に応じて、補間停止領域の動きベクトルを用いた補間の停止を開始する。
ステップＳ２４において、補間処理部７２は、補間停止指令の通信の完了の通知をMPU３１に送信し、ステップＳ１４において、MPU３１は、その通知を受信する。ステップＳ１５において、MPU３１は、バス３７を介して、画像処理部５１のOSD重畳部７１に、重畳開始指令と、入力部３８から取得した全てのOSD情報を送信する。
ステップＳ３１において、OSD重畳部７１は、MPU３１から送信されてくる重畳開始指令とOSD情報を受信し、その重畳開始指令に応じて、デコーダ６１から供給される入力画像信号のOSD情報に基づく位置に対する、OSD画像信号の重畳を開始する。その結果、表示部３５には、OSD画像が表示される。以降も同様にして、入力部３８からMPU３１にOSD終了指令が供給されるまで、OSD表示指令が入力部３８からMPU３１に供給されるたびに、ステップＳ１１乃至Ｓ１５、ステップＳ２１乃至Ｓ２４、およびステップＳ３１の処理が繰り返される。
ステップＳ１６において、MPU３１は、入力部３８からバス３７を介して供給されるOSD終了指令を取得し、そのOSD終了指令に応じて重畳停止指令をOSD重畳部７１に送信する。ステップＳ３２において、OSD重畳部７１は、MPU３１から送信されてくる重畳停止指令を受信し、その重畳停止指令に応じて、入力画像信号に対するOSD画像信号の重畳を終了する。その結果、表示部３５には、OSD重畳部７１によりステップＳ３１の処理が行われてから、ステップＳ３２の処理が行われるまでの間、OSD画像が表示される。
ステップＳ１７において、MPU３１は、補間再開指令を補間処理部７２に送信し、ステップＳ２５において、補間処理部７２は、その補間再開指令を受信する。そして、補間処理部７２は、この補間再開指令に応じて、補間停止領域の動きベクトルを用いた補間の停止を終了する。即ち、補間処理部７２は、全領域の動きベクトルを用いた補間を開始する。従って、ステップＳ２３の処理が行われてから、ステップＳ２５の処理が行われるまでの間、補間停止領域の動きベクトルを用いた補間が停止される。
なお、補間停止領域の動きベクトルを用いた補間が停止される期間は、OSD重畳部７１および補間処理部７２の処理速度、MPU３１と補間処理部７２との通信速度などによって異なる。
ステップＳ２６において、補間処理部７２は、補間再開指令の通信の完了の通知をMPU３１に送信し、ステップＳ１８において、MPU３１は、その通知を受信する。
以上のように、MPU３１は、重畳開始指令の前に、OSD情報と補間停止指令を送信して、OSD情報に基づく補間停止領域の、動きベクトルを用いた補間を停止させるので、補間後の画像信号の品質を向上させることができる。即ち、動きベクトルが検出される前に、OSD画像信号が重畳される場合、OSD画像信号が重畳された領域では、異常な動きベクトルが検出されてしまう可能性がある。従って、受信装置１１は、重畳開始指令の前、即ち、OSD画像信号が重畳される前に、OSD情報に基づく補間停止領域の、動きベクトルを用いた補間を停止することにより、OSD画像信号が重畳された領域において検出される、異常な動きベクトルを用いた補間によって発生する、画像乱れを防止する。その結果、補間後の画像信号の品質を向上させることができる。
また、補間停止領域以外の領域においては、動きベクトルを用いた補間が行われるので、全領域における補間が停止される場合に比べて、補間後の画像信号の品質を向上させることができる。さらに、MPU３１は、OSD情報、補間停止指令、および補間再開指令の通信の完了をそれぞれ確認した後、次の処理を行うので、補間処理を確実に制御することができる。
なお、図４では、MPU３１が、OSD情報と補間停止指令を補間処理部７２に送信した後に、重畳開始指令とOSD情報をOSD重畳部７１に送信したが、OSD重畳部７１が重畳開始指令に応じて重畳を開始する前に、OSD情報と補間停止指令を補間処理部７２に送信することができれば、図５に示すように、OSD情報と補間停止指令を補間処理部７２に送信する前に、重畳開始指令とOSD情報をOSD重畳部７１に送信してもよい。
即ち、図５では、ステップＳ５１において、MPU３１は、入力部３８からバス３７を介して供給される、OSD表示指令と、少なくとも１つのOSD画像のOSD情報を取得し、重畳開始指令とOSD情報を、OSD重畳部７１にバス３７を介して送信する。ステップＳ７１において、OSD重畳部７１は、MPU３１から送信されてくる重畳開始指令とOSD情報を受信し、所定の期間が経過するまで重畳の開始を遅延させる。
ステップＳ５２乃至Ｓ５５の処理は、図４のステップＳ１１乃至Ｓ１４の処理と同様であり、ステップＳ６１乃至Ｓ６４の処理は、図４のステップＳ２１乃至Ｓ２４の処理と同様であるので、説明は省略する。
そして、ステップＳ５５でMPU３１が、補間停止指令の通信の完了の通知を受信した後、上述した所定の期間が経過し、ステップＳ７２において、OSD重畳部７１は、デコーダ６１から供給される入力画像信号の、ステップＳ７１でMPU３１から受信したOSD情報に基づく位置に対する、OSD画像信号の重畳を開始する。
以降も同様にして、入力部３８からMPU３１にOSD終了指令が供給されるまで、OSD表示指令が入力部３８からMPU３１に供給されるたびに、ステップＳ５１乃至Ｓ５５、ステップＳ６１乃至Ｓ６４、並びに、ステップＳ７１およびＳ７２の処理が繰り返される。そして、OSD終了指令が入力部３８からMPU３１に供給されると、処理はステップＳ５６に進む。
なお、ステップＳ５６乃至Ｓ５８の処理は、図４のステップＳ１６乃至Ｓ１８の処理と、ステップＳ６５およびＳ６６の処理は、ステップＳ２５およびＳ２６の処理と、ステップＳ７３の処理はステップＳ３２の処理と、それぞれ同様であり、説明は繰り返しになるので省略する。
次に、図６を参照して、図３の補間処理部７２における補間処理について説明する。この補間処理は、例えば、補間処理部７２に入力画像信号が入力されたとき、開始される。
ステップＳ１５０において、補間処理部７２の選択部８６は、OSD重畳部７１から供給される入力画像信号を、補間後の画像信号として出力する。ステップＳ１５１において、フレームメモリ８１は、OSD重畳部７１から供給される入力画像信号を記憶する。ステップＳ１５２において、フレームメモリ８１は、既に記憶されている前入力画像信号を読み出し、検出部８２、移動部８３、および混合部８５に供給する。
ステップＳ１５３において、検出部８２は、OSD重畳部７１から供給される入力画像信号を対象入力画像信号として、対象入力画像信号と、フレームメモリ８１から供給される前入力画像信号に基づいて、対象入力画像信号のブロック単位の動きベクトルを検出する。そして、検出部８２は、その動きベクトルを移動部８３に供給する。
ステップＳ１５４において、移動部８３は、検出部８２から供給されるブロック単位の動きベクトルに基づいて、フレームメモリ８１から供給される前入力画像信号をブロック単位で移動し、移動後の前入力画像信号を混合部８５に供給する。ステップＳ１５５において、指定部８４は、補間を停止するかどうか、即ち、MPU３１から補間停止指令が送信されてから補間再開指令が送信されるまでの間であるかどうかを判定する。
ステップＳ１５５で補間を停止すると判定された場合、ステップＳ１５６において、指定部８４は、MPU３１から供給されるOSD情報に基づいて、補間停止領域を指定し、混合部８５に供給する。
一方、ステップＳ１５５で補間を停止しないと判定された場合、即ち、MPU３１からまだ１度も補間停止指令が送信されていないか、または、MPU３１から補間再開指令が送信されてから補間停止指令が送信されるまでの間である場合、ステップＳ１５７において、指定部８４は、補間停止領域として、その領域がないことを表すゼロを指定する。そして、指定部８４は、その補間停止領域を混合部８５に供給する。
ステップＳ１５８において、混合部８５は、指定部８４から供給される補間停止領域に基づいて、OSD重畳部７１から供給される対象入力画像信号に、移動部８３から供給される移動後の前入力画像信号を混合することにより、補間信号を生成する。そして、混合部８５は、補間信号を選択部８６に供給する。ステップＳ１５９において、選択部８６は、混合部８５から供給される補間信号を、補間後の画像信号として出力し、処理は終了する。
なお、図１の受信装置１１では、補間処理部７２は、OSD情報に基づいて補間停止領域を指定したが、補間停止領域だけでなく、入力画像信号における、検出部８２による動きベクトルの検出を行わないブロックの領域である検出停止領域も指定するようにしてもよい。
この場合、図２の補間処理部７２は、図７に示すように構成される。図７の補間処理部７２は、フレームメモリ８１、移動部８３、混合部８５、選択部８６、検出部９１、および指定部９２により構成される。なお、図３と同一のものには同一の符号を付してあり、説明は繰り返しになるので、省略する。
検出部９１は、OSD重畳部７１から入力される入力画像信号を、対象入力画像信号として、対象入力画像信号と、フレームメモリ８１から供給される対象入力画像信号より１フレーム前の前入力画像信号とに基づいて、対象入力画像信号の、指定部９２から供給される検出停止領域以外の領域の動きベクトルをブロック単位で検出する。そして、検出部９１は、検出した動きベクトルを移動部８３に供給する。
指定部９２は、MPU３１から供給される補間停止指令とOSD情報に基づいて、少なくとも１つの補間停止領域と検出停止領域を指定する。また、指定部８４は、MPU３１から供給される補間再開指令に応じて、補間停止領域と検出停止領域として、それぞれ、その領域がないことを表すゼロを指定する。指定部８４は、補間停止領域を混合部８５に供給し、検出停止領域を検出部９１に供給する。
以上のように、図７の補間処理部７２では、対象入力画像信号と前入力画像信号に基づいて、対象入力画像信号の、OSD情報に基づく検出停止領域以外の領域の動きベクトルがブロック単位で検出されるので、補間後の画像信号の品質を、さらに向上させることができる。
即ち、OSD画像の出画および消画の際、一方にOSD画像信号が重畳され、他方にOSD画像信号が重畳されない対象入力画像信号と前入力画像信号を用いて動きベクトルが検出されると、一般的に、OSD画像以外の背景画像とは無関係で、かつ、大きな動きの動きベクトルが検出されてしまう。従って、図７の補間処理部７２は、OSD情報に基づく検出停止領域以外の領域においてのみブロック単位で動きベクトルを検出することにより、OSD画像の出画および消画の際、OSD画像信号が重畳されたブロックにおいて、異常な動きベクトルが検出されることを防止する。その結果、その動きベクトルを用いて生成される補間後の画像信号の品質を向上させることができる。
図８は、テレビジョン放送の番組の画像を高フレームレートで表示する他の受信装置の構成例を示している。
図８の受信装置１０１では、チューナ３２、入力部３８、通信部３９、記録部４０、ドライブ４１、MPU１１１、デコード処理部１１２、表示部３５とスピーカ３６が接続された信号処理部１１３が、バス３７を介して互いに接続されており、デコード処理部１１２が重畳を行う。なお、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
MPU１１１のポートは、デコード処理部１１２のポートと接続され、MPU１１１は、ポートを制御することにより、デコード処理部１１２と通信を行う。MPU１１１は、例えば記録部４０にインストールされたプログラムを実行することにより、入力部３８から入力される指令などに対応して、各種の処理を実行する。例えば、MPU１１１は、デコード処理部１１２のポートの状態に応じて、OSD情報および補間停止指令、または、補間再開指令を、バス３７を介して信号処理部１１３の画像処理部１２１に供給する。
さらに、MPU１１１は、図１のMPU３１と同様に、入力部３８から入力されるユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ３２、デコード処理部１１２、および信号処理部１１３を制御し、そのチャンネルの番組信号に対応する画像を表示部３５に表示させるとともに、音声をスピーカ３６から出力させる。
また、MPU１１１は、MPU３１と同様に、通信部３９によりダウンロードされたプログラムや、ドライブ４１に装着されたリムーバブルメディア４２に記録されたプログラムを必要に応じて、記録部４０にインストールする。
デコード処理部１１２は、図１のデコード処理部３３と同様に、MPU１１１の制御により、チューナ３２から供給される番組信号を、MPEG2などの所定の方式でデコードする。また、デコード処理部１１２は、入力部３８から供給されるOSD表示指令とOSD情報またはOSD終了指令に対応して、ポートを制御することにより、ポートの状態を、OSD情報および補間停止指令を表す状態、または、補間再開指令を表す状態に変更する。その後、デコード処理部１１２は、デコード後の番組信号のうちの画像信号である入力画像信号の、OSD情報に基づく位置に、予め記憶しているOSD画像信号を重畳し、画像処理部１２１に供給する。
以上のように、デコード処理部１１２は、ポートの状態を変更することによりOSD情報および補間停止指令、または、補間再開指令を送信するので、送信の完了を確認する必要がない。従って、デコード処理部１１２は、送信の完了の確認が必要となるバス３７を介した送信を行う場合に比べて、OSD情報と補間停止指令を送信した後、即座にOSD画像信号の重畳を開始することができる。その結果、OSD画像の表示のレスポンスを速くすることができる。
信号処理部１１３は、音声処理部５２と画像処理部１２１により構成される。画像処理部１２１は、デコード処理部１１２から供給される入力画像信号に対して、連続する入力画像信号の中間の時刻における画像信号の補間、D/A変換などの処理を施す。画像処理部１２１は、その結果得られるアナログ信号である画像信号を、表示部３５に供給して、表示部３５に画像を表示させる。
次に、図９を参照して、図８の受信装置１０１における補間について説明する。
なお、図９において、図２と同一のものには同一の符号を付してあり、説明は繰り返しになるので、適宜省略する。
図９に示すように、入力部３８は、ユーザからOSD画像の表示の開始または終了の指令を受け付けると、OSD表示指令とOSD情報、または、OSD終了指令を、バス３７を介してデコード処理部１１２に供給する。
図９のデコード処理部１１２は、デコーダ６１、OSD重畳部１３１、およびCPU（Central Processing Unit）１３２により構成される。OSD重畳部１３１は、OSD画像信号を記憶している。OSD重畳部１３１は、CPU１３２から供給される重畳開始指令とOSD情報に基づいて、予め記憶しているOSD画像信号を、デコーダ６１から供給される入力画像信号に重畳し、重畳後の入力画像信号を、画像処理部１２１の補間処理部７２に供給する。また、OSD重畳部１３１は、CPU１３２から供給される重畳停止指令に応じて、デコーダ６１から供給される入力画像信号に対するOSD画像信号の重畳を停止し、デコーダ６１から供給される入力画像信号をそのまま補間処理部７２に供給する。
CPU１３２は、MPU１１１のｎ個のポート１４１Ａ−１乃至１４１Ａ−ｎ(後述する)のそれぞれと接続されるｎ個のポート１３２Ａ−１乃至１３２Ａ−ｎ（ｎは１以上の整数）を有している。このポート１３２Ａ−１は、補間停止指令を送信するためのポート、ポート１３２Ａ−２は、補間再開指令を送信するためのポート、ポート１３２Ａ−３乃至１３２Ａ−ｎは、OSD情報を送信するためのポートである。
CPU１３２は、入力部３８からバス３７を介して供給される、OSD表示指令とOSD情報に応じて、ポート１３２Ａ−１乃至１３２Ａ−ｎを制御し、ポート１３２Ａ−１の状態を、補間停止指令を表す状態にし、ポート１３２Ａ−３乃至１３２Ａ−ｎの状態を、OSD情報を表す状態にする。そして、CPU１３２は、重畳開始指令とOSD情報をOSD重畳部１３１に供給する。また、CPU１３２は、入力部３８から供給されるOSD終了指令に応じて、ポート１３２Ａ−２を制御し、ポート１３２Ａ−２の状態を、補間再開指令を表す状態に変更し、その後、重畳停止指令をOSD重畳部１３１に供給する。
図９のMPU１１１では、ポート１４１Ａ−１乃至１４１Ａ−ｎを有するポート部１４１、バスI/F（Interface）１４２、およびCPU１４３が、バスコンバータ１４４を介して接続されている。ポート部１４１は、CPU１４３の制御により、CPU１３２のポート１３２Ａ−１乃至１３２Ａ−ｎとそれぞれ接続されるポート１４１Ａ−１乃至１４１Ａ−ｎの状態を確認する。ポート部１４１は、そのポート１４１Ａ−１乃至１４１Ａ−ｎの状態を表す信号を、ポート１３２Ａ−１乃至１３２Ａ−ｎの状態を表す状態信号として、バスコンバータ１４４を介して、CPU１４３に供給する。
バスI/F１４２は、バス３７を介して画像処理部１２１と通信を行う。例えば、バスI/F１４２は、CPU１４３からバスコンバータ１４４を介して供給される、補間停止指令およびOSD情報、または、補間再開指令を、バス３７を介して画像処理部１２１の補間処理部７２に送信する。
CPU１４３は、所定のプログラムにしたがって、ポート部１４１とバスI/F１４２のそれぞれを制御する。例えば、CPU１４３は、所定の間隔で、ポート部１４１のポート１４１Ａ−１乃至１４１Ａ−ｎの状態を確認するための制御信号を、バスコンバータ１４４を介してポート部１４１に送信することにより、ポーリングを行う。また、CPU１４３は、ポーリングの結果、ポート部１４１からバスコンバータ１４４を介して送信されてくる状態信号に応じて、補間停止指令およびOSD情報、または、補間再開指令を、バスコンバータ１４４を介してバスI/F１４２に供給する。
バスコンバータ１４４は、ポート部１４１、バスI/F１４２、およびCPU１４３とバスを介して接続されており、それらの間でのバスを介した通信を制御する。
画像処理部１２１は、補間処理部７２と表示処理部７３により構成される。補間処理部７２は、MPU１１１のバスI/F１４２からバス３７を介して供給される、補間停止指令およびOSD情報、または補間再開指令に応じて、デコード処理部１１２のOSD重畳部１３１から供給される入力画像信号に対して補間を行う。補間処理部７２は、補間後の画像信号を表示処理部７３に供給する。表示処理部７３は、図２の場合と同様に、補間処理部７２から供給される補間後の画像信号に基づいて、表示部３５に画像を表示させる。
次に、図１０を参照して、補間停止指令と補間再開指令の通知タイミングについて説明する。なお、図１０において、横軸は時刻を表している。
また、図１０の例では、MPU１１１のCPU１４３によるポーリングの間隔が10msであるものとする。この場合、ポート１３２Ａ−１乃至１３２Ａ−ｎの状態をポート部１４１が確認するためには、少なくとも20msの間、ポート１３２Ａ−１乃至１３２Ａ−ｎの状態を維持する必要がある。そこで、図１０の例では、割り込み処理などの時間も考慮し、CPU１３２は、30msの間、ポート１３２Ａ−１乃至１３２Ａ−ｎの状態を維持するが、状態を維持する期間は、ポート１３２Ａ−１乃至１３２Ａ−ｎの状態をポート部１４１が確認可能な時間（図１０の例では20ms以上）であれば、30msに限定されない。
図１０の時刻ｔ11において、CPU１３２に入力部３８からOSD表示指令とOSD情報が供給されると、図１０Ｂに示すように、時刻ｔ11から30ms後の時刻ｔ12までの間、CPU１３２は、ポート１３２Ａ−１の状態を、補間停止指令を表す状態にする。また、この間、CPU１３２は、ポート１３２Ａ−３乃至１３２Ａ−ｎの状態を、OSD情報を表す状態にする。そして、MPU１１１は、10ms間隔でポーリングを行うことにより、この補間停止指令とOSD情報を認識し、補間処理部７２に供給する。その結果、OSD情報に基づいて指定される補間停止領域における、動きベクトルに基づく補間が停止される。
その後、時刻ｔ13において、CPU１３２は、重畳開始指令をOSD重畳部１３１に供給し、図１０Ａに示すように、OSD重畳部１３１は、その指令に応じて、OSD画像信号の重畳を開始する。その結果、OSD画像が表示部３５に表示される。なお、時刻ｔ11から時刻ｔ13までの時間Ｔ1は、MPU１１１がポーリングにより補間停止指令を認識し、その補間停止指令を補間処理部７２に供給するまでの時間以上の時間である。
以上のように、受信装置１０１では、重畳が開始される時刻ｔ13までの間に、MPU１１１により補間処理部７２に補間停止指令が供給されるので、補間処理部７２が、その補間停止指令に応じて、補間停止領域における動きベクトルに基づく補間を停止することにより、補間後の画像信号の品質を向上させることができる。
次に、時刻ｔ14において、CPU１３２に入力部３８からOSD終了指令が供給されると、図１０Ｂに示すように、時刻ｔ14から30ms後の時刻ｔ15までの間、CPU１３２は、ポート１３２Ａ−２の状態を、補間再開指令を表す状態にする。そして、MPU１１１は、10ms間隔でポーリングを行うことにより、この補間再開指令を認識し、補間処理部７２に供給する。その結果、全領域における動きベクトルに基づく補間が開始される。
その後、時刻ｔ16において、CPU１３２は、重畳停止指令をOSD重畳部１３１に供給し、図１０Ａに示すように、OSD重畳部１３１は、その指令に応じて、OSD画像信号の重畳を停止する。その結果、OSD画像が表示部３５に表示されなくなる。なお、時刻ｔ14から時刻ｔ16までの時間Ｔ2は、MPU１１１がポーリングにより補間再開指令を認識し、その補間再開指令を補間処理部７２に供給するまでの時間以上の時間である。
なお、図１０の例では、補間停止指令が補間処理部７２に供給された後、OSD画像信号の重畳が停止されたが、OSD画像信号の重畳が停止された後に、補間停止指令が補間処理部７２に供給されるようにしてもよい。
図１１は、テレビジョン放送の番組の画像を高フレームレートで表示する、さらに他の受信装置の構成例を示している。
図１１の受信装置２０１では、チューナ３２、デコード処理部３３、入力部３８、記録部４０、ドライブ４１、MPU２１１、表示部３５とスピーカ３６が接続された信号処理部２１２、および通信部２１３が、バス３７を介して互いに接続されており、受信装置２０１に接続ケーブル（図示せず）を介して接続された外部の記録再生装置２０２が重畳を行う。なお、図１や図８と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
MPU２１１は、例えば、記録部４０にインストールされたプログラムを実行することにより、入力部３８から入力される指令などに対応して、各種の処理を実行する。例えば、MPU２１１は、図１のMPU３１と同様に、ユーザの所望のチャンネルの番組を表示させるための指令に対応して、チューナ３２、デコード処理部３３、および信号処理部２１２を制御し、そのチャンネルの番組信号に対応する画像を表示部３５に表示させるとともに、音声をスピーカ３６から出力させる。
また、MPU２１１は、通信部２１３から供給されるOSD表示指令とOSD情報に基づいて、補間停止指令とOSD情報を画像処理部２２１に供給する。さらに、MPU２１１は、通信部２１３から供給される、OSD終了指令に対応して、画像処理部２２１に補間再開指令を供給する。また、MPU２１１は、図１のMPU３１と同様に、通信部２１３によりダウンロードされたプログラムや、ドライブ４１に装着されたリムーバブルメディア４２に記録されたプログラムを必要に応じて、記録部４０にインストールする。
信号処理部２１２は、画像処理部２２１と音声処理部２２２により構成される。画像処理部２２１は、デコード処理部３３から供給される入力画像信号、または、通信部２１３から供給される番組信号のうちの画像信号（以下、受信画像信号という）に対して、連続する入力画像信号または受信画像信号の中間の時刻における画像信号の補間、D/A変換などの処理を施す。画像処理部２２１は、その結果得られるアナログ信号である画像信号を、表示部３５に供給して、表示部３５に画像を表示させる。
音声処理部２２２は、デコード処理部３３または通信部２１３から供給される番組信号のうちの音声信号に対して、D/A変換などを行い、その結果得られるアナログ信号である音声信号を、スピーカ３６に供給して、外部に音声を出力する。
通信部２１３は、外部の記録再生装置２０２と接続ケーブル（図示せず）を介して接続され、記録再生装置２０２と通信を行う。例えば、通信部２１３は、記録再生装置２０２から、OSD表示指令およびOSD情報、またはOSD終了指令を受信し、そのOSD表示指令およびOSD情報、またはOSD終了指令を、バス３７を介してMPU２１１に供給する。また、通信部２１３は、記録再生装置２０２から番組信号を受信し、信号処理部２１２に供給する。さらに、通信部２１３は、図１や図８の通信部３９と同様に、図示せぬインターネットなどのネットワークを介して、各種のデータの送受信を行う。例えば、通信部２１３は、図示せぬサーバからネットワークを介して所定のプログラムをダウンロードし、MPU２１１に供給する。
記録再生装置２０２は、例えば、DVD(Digital Versatile Disc)レコーダやハードディスクレコーダなどにより構成される。記録再生装置２０２は、ユーザの所望の番組の番組信号の電波を受信し、その番組信号をDVDやハードディスクなどの記録媒体に記録する。記録再生装置２０２は、ユーザの再生の指令に応じて、記録している番組信号を再生し、通信部２１３に送信する。
また、記録再生装置２０２は、ユーザからのOSD表示指令またはOSD終了指令に応じて、OSD表示指令およびOSD情報、または、OSD終了指令を通信部２１３に送信する。記録再生装置２０２は、OSD表示指令の送信後、再生した番組信号のうちの画像信号の、OSD情報に基づく位置に、予め記憶しているOSD画像信号を重畳し、その結果得られる番組信号を、通信部２１３に送信する。
次に、図１２を参照して、図１１の受信装置２０１における受信画像信号の補間について説明する。
なお、図１２において、図２や図９と同一のものには同一の符号を付してあり、説明は繰り返しになるので、適宜省略する。
図１２の記録再生装置２０２は、チューナ２３１、記録再生部２３２、デコード部２３３、OSD重畳部２３４、入力部２３５、および制御部２３６により構成される。
チューナ２３１は、制御部２３６の制御により、図示せぬ放送局から放射される番組信号の電波を受信して復調する。チューナ２３１は、復調の結果得られる番組信号を記録再生部２３２に供給して、記録させる。
記録再生部２３２は、そこに装着されるDVDなどのリムーバブルメディアや、内蔵するハードディスクなどの記録媒体（図示せず）に、チューナ２３１から供給される番組信号を記録する。記録再生部２３２は、制御部２３６の制御により、記録している番組信号を読み出し、デコード部２３３に供給する。
デコード部２３３は、制御部２３６の制御により、記録再生部２３２から供給される番組信号を所定の方式でデコードし、その結果得られる番組信号をOSD重畳部２３４に供給する。
OSD重畳部２３４は、制御部２３６から供給される重畳開始指令に応じて、予め記憶しているOSD画像信号を、デコード部２３３から供給される番組信号のうちの画像信号の、制御部２３６から供給されるOSD情報に基づく位置に重畳する。そして、OSD重畳部２３４は、その結果得られる番組信号を、SCART端子を介した通信やHDMI（High-Definition Multimedia Interface）通信などにより、受信装置２０１の通信部２１３に送信する。また、OSD重畳部２３４は、制御部２３６から供給される重畳停止指令に応じて、デコード部２３３から供給される番組信号をそのまま通信部２１３に送信する。
入力部２３５は、例えば、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、ボタン、キーボード、マウス、スイッチなどから構成され、ユーザからの指令を受け付ける。入力部２３５は、ユーザからの指令に応じて、各種の指令を制御部２３６に供給する。
例えば、入力部２３５は、ユーザからの所望のチャンネルの番組の記録または再生の指令に応じて、その番組を記録または再生するための指令を制御部２３６に供給する。また、入力部２３５は、ユーザからのOSD表示指令またはOSD終了指令に応じて、OSD表示指令およびOSD情報、またはOSD終了指令を制御部２３６に供給する。
制御部２３６は、入力部２３５から入力される指令などに対応して、各種の処理を実行する。例えば、制御部２３６は、入力部２３５から入力される、ユーザの所望のチャンネルの番組を記録するための指令に対応して、チューナ２３１を制御し、その番組の番組信号を記録再生部２３２に記録させる。また、制御部２３６は、入力部２３５から入力される、ユーザの所望のチャンネルの番組を再生するための指令に対応して、記録再生部２３２とデコード部２３３を制御し、その番組の番組信号を記録再生部２３２から再生する。
さらに、制御部２３６は、入力部２３５から入力される、OSD表示指令およびOSD情報に対応して、HDMI通信のCECライン(Consumer Electronics Control Line)やCENELEC（European Committee for Electro technical Standardization）においてEN-50157として規定されているAVリンク（AV Link）などにより、OSD表示指令とOSD情報を通信部２１３に送信し、その後、重畳開始指令とOSD情報をOSD重畳部２３４に供給する。また、制御部２３６は、OSD終了指令に対応して、重畳停止指令をOSD重畳部２３４に供給し、その後、HDMI通信のCECラインやAVリンクなどにより、OSD終了指令を通信部２１３に送信する。
通信部２１３は、制御部２３６から送信されてくるOSD表示指令およびOSD情報またはOSD終了指令を受信し、バス３７を介してMPU２１１に供給する。また、通信部２１３は、OSD重畳部２３４から送信されてくる番組信号を受信し、その番組信号のうちの受信画像信号を画像処理部２２１の補間処理部７２に供給する。なお、音声信号は音声処理部２２２（図１１）に供給される。MPU２１１は、OSD表示指令とOSD情報に応じて、補間停止指令とOSD情報を、バス３７を介して補間処理部７２に供給する。また、MPU２１１は、OSD終了指令に応じて、補間再開指令を補間処理部７２に供給する。
以上のように、受信装置２０１の外部の記録再生装置２０２の制御部２３６は、重畳開始指令の前に、OSD情報とOSD表示指令を受信装置２０１に送信して、OSD情報に基づく補間停止領域の、動きベクトルを用いた補間を停止させるので、OSD画像信号が外部の記録再生装置２０２により重畳される場合であっても、受信装置２０１は、補間後の画像信号の品質を向上させることができる。
次に、図１３を参照して、図１１の受信装置２０１と記録再生装置２０２におけるOSD重畳処理について説明する。
ステップＳ２０１において、制御部２３６は、入力部２３５から供給される、OSD表示指令と、少なくとも１つのOSD画像のOSD情報を取得し、そのOSD情報のうちの１つを、受信装置２０１の通信部２１３を介してMPU２１１に送信する。
ステップＳ２１１において、MPU２１１は、制御部２３６から送信されてくるOSD情報を受信し、ステップＳ２１２において、そのOSD情報を、バス３７を介して補間処理部７２に送信する。ステップＳ２４１において、補間処理部７２は、MPU２１１から送信されてくるOSD情報を受信し、ステップＳ２４２において、MPU２１１にOSD情報の通信の完了の通知を送信する。
ステップＳ２１３において、MPU２１１は、補間処理部７２から送信されてくる通信の完了の通知を受信し、ステップＳ２１４において、制御部２３６にOSD情報の通信の完了の通知を送信する。ステップＳ２０２において、制御部２３６は、MPU２１１から送信されてくる通信の完了の通知を受信する。
以降も同様にして、入力部２３５から制御部２３６に供給されるOSD情報の数だけ、ステップＳ２０１およびＳ２０２、ステップＳ２１１乃至Ｓ２１４、並びに、ステップＳ２４１およびＳ２４２の処理が繰り返される。
その後、ステップＳ２０３において、制御部２３６は、OSD表示指令をMPU２１１に送信し、ステップＳ２１５において、MPU２１１は、そのOSD表示指令を受信する。ステップＳ２１６において、MPU２１１は、ステップＳ２１５で受信したOSD表示指令に応じて、補間停止指令を補間処理部７２に送信し、ステップＳ２４３において、補間処理部７２は、その補間停止指令を受信する。そして、補間処理部７２は、この補間停止指令に応じて、補間停止領域における動きベクトルを用いた補間の停止を開始する。ステップＳ２４４において、補間処理部７２は、補間停止指令の通信の完了の通知をMPU２１１に送信し、ステップＳ２１７において、MPU２１１は、その通知を受信する。
ステップＳ２１８において、MPU２１１は、OSD表示指令の通信の完了の通知を制御部２３６に送信し、ステップＳ２０４において、制御部２３６は、その通知を受信する。ステップＳ２０５において、制御部２３６は、OSD重畳部２３４に、重畳開始指令と、入力部２３５から取得した全てのOSD情報を送信する。ステップＳ２５１において、OSD重畳部２３４は、制御部２３６から送信されてくる重畳開始指令とOSD情報を受信し、その重畳開始指令に応じて、デコード部２３３から供給される入力画像信号のOSD情報に基づく位置に対する、OSD画像信号の重畳を開始する。その結果、表示部３５には、OSD画像が表示される。
以降も同様にして、入力部２３５から制御部２３６にOSD終了指令が供給されるまで、OSD表示指令が入力部２３５から制御部２３６に供給されるたびに、ステップＳ２０１乃至Ｓ２０５、ステップＳ２１１乃至Ｓ２１８、ステップＳ２４１乃至Ｓ２４４、並びに、ステップＳ２５１の処理が繰り返される。
ステップＳ２０６において、制御部２３６は、入力部２３５から供給されるOSD終了指令を取得し、そのOSD終了指令に応じて重畳停止指令をOSD重畳部２３４に送信する。ステップＳ２５２において、OSD重畳部２３４は、制御部２３６から送信されてくる重畳停止指令を受信し、その重畳停止指令に応じて、入力画像信号に対するOSD画像信号の重畳を終了する。その結果、表示部３５には、OSD重畳部２３４によりステップＳ２５１の処理が行われてから、ステップＳ２５２の処理が行われるまでの間、OSD画像が表示される。
ステップＳ２０７において、制御部２３６は、OSD終了指令をMPU２１１に送信し、ステップＳ２１９において、MPU２１１は、そのOSD終了指令を受信する。ステップＳ２２０において、MPU２１１は、ステップＳ２１９で受信したOSD終了指令に応じて、補間再開指令を補間処理部７２に送信し、ステップＳ２４５において、補間処理部７２は、その補間再開指令を受信する。そして、補間処理部７２は、この補間再開指令に応じて、全領域の動きベクトルを用いた補間を開始する。従って、ステップＳ２４３の処理が行われてから、ステップＳ２４５の処理が行われるまでの間、補間停止領域の動きベクトルを用いた補間が停止される。
ステップＳ２４６において、補間処理部７２は、補間再開指令の通信の完了の通知をMPU２１１に送信し、ステップＳ２２１において、MPU２１１は、その通知を受信する。ステップＳ２２２において、MPU２１１は、OSD終了指令の通信の完了の通知を制御部２３６に送信し、ステップＳ２０８において、制御部２３６は、その通知を受信する。
なお、受信装置１１（１０１，２０１）の処理量には、ハードウェア的制約により限界があるため、例えば補間停止領域の個数が多い場合、全ての補間停止領域の補間を停止することができない。そこで、このような場合には、受信装置１１（１０１，２０１）は、全ての補間停止領域から、所定数の補間停止領域を選択し、選択された補間停止領域についてのみ補間を停止するようにしてもよい。
この場合の補間処理部７２の構成を、図１４を参照して説明する。なお、この場合、OSD情報には、OSD画像の種類を表す情報も含まれるようにしてある。
図１４において、補間処理部７２は、フレームメモリ８１、検出部８２、移動部８３、混合部８５、選択部８６、指定部２５１、および最終領域決定部２５２により構成される。なお、図３と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
指定部２５１は、図３の指定部８４と同様に、入力される補間停止指令とOSD情報に基づいて、補間停止領域を少なくとも１つ指定する。そして、指定部２５１は、その補間停止領域を、対応するOSD情報とともに、最終領域決定部２５２に供給する。
また、指定部２５１は、指定部８４と同様に、入力される補間再開指令に応じて、補間停止領域として、その領域がないことを表すゼロを指定する。指定部２５１は、その補間停止領域を最終領域決定部２５２に供給する。
最終領域決定部２５２は、指定部２５１から供給されるゼロ以外の補間停止領域の個数が、予め設定された所定数より多い場合、その補間停止領域とともに供給されるOSD情報に基づいて、所定数の補間停止領域を選択する。そして、最終領域決定部２５２は、選択された補間停止領域を混合部８５に供給する。
また、最終領域決定部２５２は、指定部２５１から供給されるゼロ以外の補間停止領域の個数が予め設定された所定数以下である場合、その補間停止領域をそのまま混合部８５に供給する。さらに、最終領域決定部２５２は、指定部２５１から供給されるゼロを表す補間停止領域を、そのまま混合部８５に供給する。
次に、図１５と図１６を参照して、最終領域決定部２５２による選択について説明する。
図１５Ａに示すように、補間前の時系列の画像２６１乃至２６３が、音量レベルを表すOSD画像２７２が重畳された、画面の左上から右下に移動するサッカーボール２７１のフィールド単位の画像である場合、画像２６１乃至２６３に対して補間が行われると、補間後の時系列の画像は、図１５Ｂに示すようになる。
即ち、混合部８５は、画像２６１と画像２６２の入力画像信号の中間の時刻における画像信号を補間する補間信号として、画像２６２の動きベクトルに基づいて、サッカーボール２７１の位置が、画像２６１における位置と画像２６２における位置の中間の位置にある補間画像２８１の画像信号を生成する。
同様に、混合部８５は、画像２６２と画像２６３の入力画像信号の中間の時刻における画像信号を補間する補間信号として、画像２６３の動きベクトルに基づいて、補間画像２８２の画像信号を生成する。
しかしながら、図１５Ａや図１５Ｂに示すように、画像２６３では、サッカーボール２７１の一部の領域が、OSD画像２７２の一部の領域と重なっており、サッカーボール２７１の一部の領域がOSD画像２７２に隠されているため、補間画像２８２を正確に生成することは困難である。従って、例えば、補間画像２８２において、図１５Ｂに示すように、サッカーボール２７１の一部がOSD画像２７２に滲み出すという補間エラーが発生してしまう。
この場合、図１６Ａに示すように、OSD画像２７２内の表示領域２７２Ａの周囲の非表示領域２７２Ｂの上下左右方向の幅ａ１乃至ｄ１が大きいと、表示領域２７２Ａに表示された文字に、滲み出したサッカーボール２７１の一部が重ならないため、補間エラーが目立ちにくい。
これに対して、図１６Ｂに示すように、OSD画像２７２内の表示領域２７２Ａの周囲の非表示領域２７２Ｂの上下左右方向の幅ａ２乃至ｄ２が小さいと、表示領域２７２Ａに表示された文字に、滲み出したサッカーボール２７１の一部が重なるため、補間エラーが目立ちやすい。
以上のように、一般的に、補間エラーは、番組の画像としての動画像と、OSD画像としての静止画像の境界で発生しやすいため、表示領域の周囲の非表示領域の幅が充分に確保されていないOSD画像が重畳される場合、補間エラーが目立ちやすい。
従って、最終領域決定部２５２は、例えば、OSD情報に含まれるOSD画像の種類を表す情報に基づいて、表示領域の周囲の非表示領域の幅が充分に確保されていない種類のOSD画像の領域である補間停止領域を優先的に選択する。
なお、最終領域決定部２５２による選択の方法は、図１５および図１６で説明した方法に限定されず、最終領域決定部２５２は、例えば、サイズの大きい順に補間停止領域を選択してもよい。
また、上述した説明では、補間停止領域を選択するようにしたが、全ての補間停止領域を含む所定の形状の１つの領域を最終的な補間停止領域とするようにしてもよい。
さらに、全ての補間停止領域の面積の和が、補間後の画像の全領域の面積の半分以上である場合、補間後の画像の全領域を最終的な補間停止領域とし、補間後の画像の全領域の面積の半分より小さい場合、ゼロを表す補間停止領域を最終的な補間停止領域とするようにしてもよい。このようにしてゼロを表す補間停止領域が最終的な補間停止領域とされた場合、動画像を滑らかに表示することはできないが、補間エラーによる画像の乱れを防止することができる。
さらに、上述した説明では、入力部３８（２３５）がOSD情報を送信したが、重畳可能なOSD画像信号のOSD情報が予め決まっている場合には、OSD重畳部７１（１３１，２３４）に、そのOSD情報を予め記憶させておき、入力部３８（２３５）は、そのOSD情報を特定する情報（例えば、番号）を送信するようにしてもよい。この場合、OSD情報を送信する場合に比べて、送信する情報の量が少なくて済むので、素早く送信することができ、その結果、応答性を高めることができる。
また、上述した説明では、全てのOSD画像の重畳を一度に停止させたが、OSD画像の重畳を個別に停止させるようにしてもよい。この場合、重畳停止指令や補間再開指令とともに、停止対象とするOSD画像のOSD情報が入力部３８（２３５）から送信される。そして、そのOSD情報に基づいて補間停止領域が新たに指定され、停止対象とするOSD画像の重畳が停止される。
さらに、上述した説明では、OSD画像が重畳されたテレビジョン放送の番組の画像の補間について説明したが、複数の入力された動画像と静止画像の少なくとも一方からなる画像が合成された画像の補間について以下に説明する。
図１７は、本発明を適用した受信装置の一実施の形態の構成例を示している。
図１７の受信装置３１１では、記録部４０、ドライブ４１、MPU３３１、チューナ３３２、デコード処理部３３３、表示部３５とスピーカ３６が接続された信号処理部３３４、入力部３３５、および通信部３３６が、バス３７を介して互いに接続されている。
受信装置３１１は、テレビジョン放送の番組の動画像と静止画像の少なくとも一方からなるフレーム単位の画像や音声などのデジタル信号（以下、テレビジョン放送信号という）の電波、ケーブル等で接続された外部の装置（図示せず）から入力された動画像と静止画像の少なくとも一方からなるフレーム単位の画像や音声などのデジタル信号(以下、外部信号という)、および、インターネットを介して提供される動画像と静止画像の少なくとも一方からなるフレーム単位の画像や音声などのデジタル信号（以下、インターネット信号という）を受信し、それらの画像の幾つかを表示部３５の画面内に表示させる。なお、図１と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
MPU３３１は、例えば、記録部４０にインストールされたプログラムを実行することにより、入力部３３５から入力される指令などに対応して、各種の処理を実行する。
例えば、MPU３３１は、入力部３３５から入力されるユーザの所望のテレビジョン放送のチャンネルの番組を表示させるための指令に対応して、チューナ３３２、デコード処理部３３３、および信号処理部３３４を制御し、そのチャンネルのテレビジョン放送信号に対応する画像を、表示部３５に表示させる。MPU３３１は、必要に応じて、テレビジョン放送信号に対応する音声をスピーカ３６から出力させる。
また、MPU３３１は、入力部３３５から入力される外部信号に対応する画像を表示させるための指令に対応して、デコード処理部３３３と信号処理部３３４を制御し、通信部３３６から入力される外部信号の画像を、表示部３５に表示させる。MPU３３１は、必要に応じて、外部信号に対応する音声をスピーカ３６から出力させる。
さらに、MPU３３１は、入力部３３５から入力されるユーザの所望のインターネット信号に対応する画像を表示させるための指令に対応して、通信部３３６、デコード処理部３３３、および信号処理部３３４を制御し、そのチャンネルのインターネット信号を、インターネットを介して取得し、そのインターネット信号に対応する画像を表示部３５に表示させる。MPU３３１は、必要に応じて、インターネット信号に対応する音声をスピーカ３６から出力させる。
また、MPU３３１は、図１のMPU３１と同様に、通信部３３６によりダウンロードされたプログラムや、ドライブ４１に装着されたリムーバブルメディア４２に記録されたプログラムを必要に応じて、記録部４０にインストールする。
チューナ３３２は、MPU３３１の制御により、図示せぬ放送局から放射されるテレビジョン放送信号の電波を受信して復調する。チューナ３３２は、復調の結果得られるテレビジョン放送信号をデコード処理部３３３に供給する。
デコード処理部３３３は、MPU３３１の制御により、チューナ３３２から供給されるテレビジョン放送信号、もしくは、通信部３３６から入力される外部信号またはインターネット信号を、MPEG2などの所定の方式でデコードし、その結果得られるテレビジョン放送信号、外部信号、またはインターネット信号を、信号処理部３３４に供給する。
信号処理部３３４は、画像処理部３５１と音声処理部３５２により構成される。画像処理部３５１は、デコード処理部３３３から供給されるテレビジョン放送信号、外部信号、およびインターネット信号の少なくとも２つの画像信号の合成、その結果得られる連続する合成信号の中間の時刻における合成信号の補間、D/A変換などの処理を施す。画像処理部３５１は、図１の画像処理部５１と同様に、その結果得られるアナログ信号である合成信号を、表示部３５に供給して、表示部３５に合成画像を表示させる。
音声処理部３５２は、デコード処理部３３３から供給されるテレビジョン放送信号、外部信号、およびインターネット信号のうちの音声信号に対して、D/A変換などを行い、その結果得られるアナログ信号である音声信号を、スピーカ３６に供給して、外部に音声を出力させる。
入力部３３５は、図１の入力部３８と同様に、例えば、図示せぬリモートコントローラから送信されてくる指令を受信する受信部、ボタン、キーボード、マウス、スイッチなどから構成され、ユーザからの指令を受け付ける。入力部３３５は、ユーザからの指令を、バス３７を介してMPU３３１に供給する。
通信部３３６は、図示せぬインターネットなどのネットワークを介して、各種のデータの送受信を行う。例えば、通信部３３６は、MPU３３１からの制御により、ユーザの所望のインターネット信号を、図示せぬサーバにインターネットを介して要求し、そのインターネット信号を受信する。そして、通信部３３６は、そのインターネット信号をデコード処理部３３３に供給する。
また、通信部３３６は、図示せぬ記録再生装置などの外部の装置から、SCART端子を介した通信やHDMI通信などにより外部信号を受信し、その外部信号をデコード処理部３３３に供給する。さらに、通信部３３６は、図１の通信部３９と同様に、図示せぬサーバからネットワークを介して所定のプログラムをダウンロードし、MPU３３１に供給する。
次に、図１８を参照して、図１７の受信装置３１１における補間について説明する。
図１８に示すように、デコード処理部３３３は、デコーダ３７１乃至３７３により構成される。デコーダ３７１は、チューナ３３２から入力されるテレビジョン放送信号をデコードし、その結果得られるデコード信号を画像処理部３５１の合成情報生成部３８１とHFR制御情報生成部３８３に供給する。
また、デコーダ３７２は、通信部３３６から供給される外部信号をデコードし、その結果得られるデコード信号を合成情報生成部３８１とHFR制御情報生成部３８３に供給する。さらに、デコーダ３７３は、通信部３３６から供給されるインターネット信号をデコードし、その結果得られるデコード信号を画像処理部３５１の合成情報生成部３８１とHFR制御情報生成部３８３に供給する。
画像処理部３５１は、合成情報生成部３８１、画像合成部３８２、HFR制御情報生成部３８３、HFR領域合成部３８４、補間処理部３８５、および表示処理部３８６により構成される。
合成情報生成部３８１は、入力部３３５からの指令に応じて、合成を制御するための情報である合成情報を生成し、画像合成部３８２とHFR領域合成部３８４に供給する。また、合成情報生成部３８１は、デコード処理部３３３から供給されるデコード信号から画像信号を抽出し、画像合成部３８２に供給する。
画像合成部３８２は、合成情報生成部３８１から供給される合成情報に基づいて、合成情報生成部３８１から供給される画像信号を合成し、その結果得られる合成画像の画像信号を合成信号として補間処理部３８５に供給する。
HFR制御情報生成部３８３は、デコード処理部３３３から供給されるデコード信号に含まれる、画像信号に対応する画像信号の内容を表す信号から、その画像信号に対応する画像の全領域のうち、静止画像と推定される領域を、その画像信号における補間処理部３８５による補間を行わないHFR除外領域である入力HFR除外領域として決定し、その入力HFR除外領域を表す入力HFR制御情報を生成する。そして、HFR制御情報生成部３８３は、その入力HFR制御情報をHFR領域合成部３８４に供給する。
HFR領域合成部３８４は、HFR制御情報生成部３８３から供給される入力HFR制御情報と、合成情報生成部３８１から供給される合成情報に基づいて、入力HFR制御情報が表す入力HFR除外領域を合成し、その結果得られる領域を、合成信号におけるHFR除外領域である合成HFR除外領域として決定する。そして、HFR領域合成部３８４は、その合成HFR除外領域を表す合成HFR制御情報を補間処理部３８５に供給する。
補間処理部３８５は、画像合成部３８２から供給される合成信号を用いて、HFR領域合成部３８４から供給される合成HFR制御情報が表す合成HFR除外領域以外の領域において、動きベクトルに基づく補間を行う。補間処理部３８５は、補間後の合成信号を表示処理部３８６に供給する。
表示処理部３８６は、補間処理部３８５から供給される補間後の合成信号に対してD/A変換を行い、その結果得られるアナログ信号である合成信号を表示部３５に供給して、表示部３５に補間後の合成画像を表示させる。
以上のように、画像処理部３５１では、静止画像と推定される領域が入力HFR除外領域として決定され、その入力HFR除外領域が合成情報に基づいて合成されるので、合成画像内の静止画像と推定される領域に対しては、動きベクトルに基づく補間が行われないようにすることができる。従って、合成画像において動画像の動きの影響を受けた静止画像の動きベクトルに基づいて補間が行われ、補間後の合成画像が乱れることを防止することができる。その結果、補間後の合成画像の品質を向上させることができる。
図１９は、図１８の補間処理部３８５の詳細構成例を示している。
図１９において、補間処理部３８５は、フレームメモリ３９１、検出部３９２、移動部３９３、混合部３９４、および選択部３９５により構成される。
補間処理部３８５において、フレームメモリ３９１は、画像合成部３８２から入力された合成信号をフレーム単位で記憶する。フレームメモリ３９１は、前回記憶した合成信号、即ち、画像合成部３８２から入力された合成信号の１フレーム前の合成信号（以下、前合成信号という）を読み出し、検出部３９２、移動部３９３、および混合部３９４に供給する。
検出部３９２は、画像合成部３８２から入力される合成信号を、検出対象の合成信号(以下、対象合成信号という)として、対象合成信号と、フレームメモリ３９１から供給される前合成信号とに基づいて、対象合成信号のブロック単位の動きベクトルを検出する。そして、検出部３９２は、検出したブロック単位の動きベクトルを、移動部３９３に供給する。
移動部３９３は、検出部３９２から供給されるブロック単位の動きベクトルを用いて、フレームメモリ３９１から供給される前合成信号をブロック単位で移動し、移動後の前合成信号を混合部３９４に供給する。
混合部３９４は、HFR領域合成部３８４から供給される合成HFR制御情報に基づいて、画像合成部３８２から供給される対象合成信号に、移動部３９３から供給される前合成信号を混合することにより、対象合成信号と前合成信号の間の中間の時刻における合成信号を補間する補間信号を生成する。
具体的には、混合部３９４は、補間信号における合成HFR制御情報が表す合成HFR除外領域以外の領域においては、画像合成部３８２から供給される対象合成信号に、移動部３９３から供給される前合成信号を混合し、合成HFR除外領域においては前合成信号をそのまま用いることにより、補間信号を生成する。即ち、混合部３９４は、合成HFR除外領域以外の領域においては、対象合成信号と、移動部３９３により動きベクトルを用いて移動された前合成信号の混合による補間を行い、合成HFR除外領域においては、その補間を行わない。
その結果、補間信号は、合成HFR除外領域以外の領域では対象合成信号と前合成信号を混合した合成信号となり、合成HFR除外領域では前合成信号そのものとなる。そして、混合部３９４は、補間信号を選択部３９５に供給する。
選択部３９５は、画像合成部３８２から入力される対象合成信号と、混合部３９４から供給される補間信号のいずれか一方を選択し、所定のタイミングで、補間後の合成信号として出力する。具体的には、選択部３９５は、対象合成信号と、その次の対象合成信号の間に、それらを用いて生成された補間信号を、補間後の合成信号として出力する。その結果、選択部３９５から出力される、補間後の合成信号のフレームレートは、合成信号のフレームレートの２倍となる。
次に、図２０乃至図２９を参照して、受信装置３１１における合成と補間について説明する。
まず最初に、図２０では、画像＃１の領域を特定する情報としての表示部３５の画面の左半分の領域の頂点の画面上の２次元位置座標と、画像＃２の領域を特定する情報としての画面の右半分の領域の頂点の画面上の２次元位置座標からなる合成情報に基づいて、画像＃１と画像＃２の画像信号が合成され、画像＃１と画像＃２が、いわゆるPAP(Picture And Picture)表示されている。なお、画像＃ｉとは、画像に固有なＩＤである画像ＩＤがｉの画像を表している。
この場合、画像＃１と画像＃２の領域は重なっていないため、画像＃１の入力HFR制御情報が表す入力HFR除外領域と、画像＃２の入力HFR制御情報が表す入力HFR除外領域の両方を合成した領域が、合成HFR除外領域に決定される。
例えば、画像＃１の全領域が動画像であり、画像＃１の入力HFR除外領域が存在せず、画像＃２の全領域が静止画像であり、画像＃２の入力HFR除外領域が画像＃２の全領域である場合、画像＃２の全領域が合成HFR除外領域に決定される。
また、図２１では、画像＃１乃至画像＃６の領域をそれぞれ特定する情報としての、表示部３５の画面を６分割した各領域の頂点の画面上の２次元位置座標からなる合成情報に基づいて、画像＃１乃至画像＃６の画像信号が合成され、表示部３５をマルチディスプレイのようにして、画像＃１乃至画像＃６が表示されている。
この場合、画像＃１乃至画像＃６の領域は重なっていないため、図２０の場合と同様に、画像＃１乃至画像＃６の各入力HFR制御情報が表す入力HFR除外領域を全て合成した領域が、合成HFR除外領域に決定される。
一方、図２２では、画像＃１の領域を特定する情報としての表示部３５の画面の全領域の頂点の画面上の２次元位置座標、画像＃２の領域を特定する情報としての画面の右下の領域の頂点の画面上の２次元位置座標、および画像＃１の領域と画像＃２の領域の画面に垂直な奥行き方向(レイヤ方向)の位置座標からなる合成情報に基づいて、画像＃１と画像＃２の画像信号が合成され、画像＃１内に画像＃２が、いわゆるPIP(Picture In Picture)表示されている。この場合、図２３に示すように、合成HFR除外領域が決定される。
なお、図２３の例では、画像＃１の全領域が動画像であり、画像＃１の入力HFR除外領域が存在しないものとする。即ち、画像＃１の全領域が補間を行う領域であるHFR対象領域（HFR ON）である。また、画像＃２の右下端の領域は動画像であり、この領域はHFR対象領域（HFR ON）であるものとする。さらに、画像＃２の右下端の領域以外の領域は静止画像であり、この領域は入力HFR除外領域（HFR OFF）であるものとする。
従って、図２３の例では、画像＃１と画像＃２の合成画像は、画像＃１の画像＃２が合成された右下の領域を除く領域と、画像＃２の右下端の領域が動画像で構成され、画像＃２の右下端の領域を除く領域が静止画像で構成される。
このとき、HFR領域合成部３８４は、入力HFR除外領域が無いことを表す画像＃１の入力HFR制御情報、入力HFR除外領域として画像＃２の右下端の領域以外の領域を表す画像＃２の入力HFR制御情報、および合成情報に基づいて、入力HFR除外領域のある画像＃２が画像＃１の手前側にあることを認識する。そして、HFR領域合成部３８４は、図２３に示すように、合成画像上の画像＃２の領域である右下の領域のうち、画像＃２の入力HFR除外領域に対応する右下端の領域以外の領域を、合成HFR除外領域として決定する。
図２４では、画像＃１の領域を特定する情報としての表示部３５の画面の全領域の頂点の画面上の２次元位置座標、画像＃２の領域を特定する情報としての画面の左中央の領域の頂点の画面上の２次元位置座標、画像＃３の領域を特定する情報としての画面の右下の領域の頂点の画面上の２次元位置座標、画像＃４の領域を特定する情報としての画面の左下の領域の頂点の画面上の２次元位置座標、および画像＃１乃至画像＃４の領域の奥行き方向の位置座標からなる合成情報に基づいて、画像＃１乃至画像＃４の画像信号が合成され、画像＃１乃至画像＃４が、奥側から順に画像＃１、画像＃２、画像＃３、画像＃４となるように、いわゆるオーバーレイ表示されている。この場合、図２５に示すように、合成HFR除外領域が決定される。
なお、図２５の例では、画像＃１と画像＃３の全領域がHFR対象領域（HFR ON）であり、画像＃２と画像＃４の全領域が入力HFR除外領域（HFR OFF）であるものとする。
このとき、HFR領域合成部３８４は、入力HFR除外領域が無いことを表す画像＃１と画像＃３の入力HFR制御情報、入力HFR除外領域として全領域を表す画像＃２と画像＃４の入力HFR制御情報、および合成情報に基づいて、入力HFR除外領域のある画像＃４は一番手前側にあり、入力HFR除外領域のある画像＃２は画像＃３および画像＃４の奥側にあることを認識する。
そして、HFR領域合成部３８４は、図２５に示すように、画像＃４の入力HFR除外領域に対応する合成画像上の左下の領域と、画像＃２の入力HFR除外領域に対応する合成画像上の左中央部の領域のうち、画像＃３および画像＃４の領域以外の領域とを合成し、合成HFR除外領域として決定する。
図２６では、画像＃１の領域を特定する情報としての表示部３５の画面の全領域の頂点の画面上の２次元位置座標、画像＃２の最初の領域を特定する情報としての画面の中央の領域の頂点の画面上の２次元位置座標、画像＃２の領域の移動ベクトル、画像＃２の領域の移動タイミング、および画像＃１と画像＃２の領域の奥行き方向の位置座標からなる合成情報に基づいて、画像＃１と画像＃２の画像信号が所定のタイミングで４回合成される。
そして、所定の時間ごとに、画像＃１の中央の領域に画像＃２が重ねられた合成画像、画像＃１の中央より少し右下の領域に画像＃２が重ねられた合成画像、画像＃１の中央よりまた少し右下の領域に画像＃２が重ねられた合成画像、画像＃１の中央よりさらに少し右下の領域に画像＃２が重ねられた合成画像が順に表示され、いわゆるアニメーション表示が行われている。この場合、図２７に示すように、合成HFR除外領域が決定される。
なお、図２７の例では、画像＃１の全領域がHFR対象領域（HFR ON）であり、画像＃２の全領域が入力HFR除外領域（HFR OFF）であるものとする。
このとき、HFR領域合成部３８４は、入力HFR除外領域が無いことを表す画像＃１の入力HFR制御情報、入力HFR除外領域として全領域を表す画像＃２の入力HFR制御情報、および合成情報に基づいて、入力HFR除外領域のある画像＃２が画像＃１の手前側にあることを認識する。そして、HFR領域合成部３８４は、図２７に示すように、画像＃２の入力HFR除外領域に対応する合成画像上の画像＃２の全領域を、合成HFR除外領域として決定する。従って、合成HFR除外領域は、所定の時間ごとに４回変化する。
図２８では、画像＃１の領域を特定する情報としての表示部３５の画面の全領域の頂点の画面上の２次元位置座標、画像＃２の領域を特定する情報としての画面の左下の領域の頂点の画面上の２次元位置座標、画像＃３の領域を特定する情報としての画面の右下の領域の頂点の画面上の２次元位置座標、画像＃２と画像＃３の変形や回転、アフィン変換などを表す変換行列、および、画像＃１と画像＃２の領域の奥行き方向の位置座標からなる合成情報に基づいて、画像＃１乃至画像＃３の画像信号が合成され、画像＃１、台形上に変形され左側に回転された画像＃２、右側に回転された画像＃３が奥側から順に重ねて表示される。この場合、図２９に示すように、合成HFR除外領域が決定される。
なお、図２９の例では、画像＃１と画像＃３の全領域がHFR対象領域（HFR ON）であり、画像＃２の全領域が入力HFR除外領域（HFR OFF）であるものとする。
このとき、HFR領域合成部３８４は、入力HFR除外領域が無いことを表す画像＃１と画像＃３の入力HFR制御情報、入力HFR除外領域として全領域を表す画像＃２の入力HFR制御情報、および合成情報に基づいて、入力HFR除外領域のある画像＃２が画像＃３の奥側にあることを認識する。そして、HFR領域合成部３８４は、図２９に示すように、画像＃２の入力HFR除外領域に対応する合成画像上の左下の領域のうち、画像＃３の領域以外の領域を、合成HFR除外領域として決定する。
次に、図３０を参照して、図１８の画像処理部３５１による補間制御処理について説明する。この補間制御処理は、例えば、デコード処理部３３３からデコード信号が入力されたとき、開始される。
ステップＳ３０１において、合成情報生成部３８１は、デコード処理部３３３から入力されるデコード信号から画像信号を抽出し、画像合成部３８２に供給する。ステップＳ３０２において、合成情報生成部３８１は、入力部３３５からの指令に応じて合成情報を生成し、画像合成部３８２とHFR領域合成部３８４に供給する。
ステップＳ３０３において、画像合成部３８２は、合成情報生成部３８１から供給される合成情報に基づいて、合成情報生成部３８１から供給される画像信号を合成し、その結果得られる画像信号を合成信号として補間処理部３８５に供給する。
ステップＳ３０４において、HFR制御情報生成部３８３は、デコード処理部３３３から入力されるデコード信号に含まれる画像信号の内容を表す信号から、入力HFR除外領域を決定し、その入力HFR除外領域を表す入力HFR制御情報を生成する。
具体的には、HFR制御情報生成部３８３は、例えば、外部信号のデコード信号に含まれる、外部信号に対応する画像におけるOSD画像の表示位置や表示期間に関する情報を表す信号に基づいて、入力HFR除外領域を決定し、HFR制御情報を生成する。なお、ユーザが入力部３３５を操作して、図示せぬ外部の装置を制御することにより、例えば所定の画像信号にOSD画像信号を重畳させ、その結果得られる画像信号を外部信号として受信装置３１１に送信させる場合には、HFR制御情報生成部３８３は、入力部３３５からの指令に応じて入力HFR除外領域を決定するようにしてもよい。
また、HFR制御情報生成部３８３は、例えば、テレビジョン放送信号のデコード信号に含まれる、BML（Broadcast Markup Language）で記述された情報やMHP（Multimedia Home Platform）規格に準拠した情報を表す信号、Teletext信号などを解析して入力HFR除外領域を決定し、HFR制御情報を生成する。
さらに、HFR制御情報生成部３８３は、例えば、インターネット信号のデコード信号に含まれるHTML（Hypertext Markup Language）やSMIL（Synchronized Multimedia Integration Language）で記述された情報を表す信号、Adobe Flash規格に準拠した情報を表す信号などを解析して、入力HFR除外領域を決定し、HFR制御情報を生成する。HFR制御情報生成部３８３は、入力HFR制御情報をHFR領域合成部３８４に供給する。
ステップＳ３０５において、HFR領域合成部３８４は、図２０乃至図２９を参照して説明したように、HFR制御情報生成部３８３から供給される入力HFR制御情報と、合成情報生成部３８１から供給される合成情報に基づいて、入力HFR制御情報が表す入力HFR除外領域を合成し、その結果得られる領域を合成HFR除外領域として決定する。そして、HFR領域合成部３８４は、その合成HFR除外領域を表す合成HFR制御情報を補間処理部３８５に供給する。そして処理は終了する。
次に、図３１を参照して、図１８の画像処理部３５１による補間処理について説明する。この補間処理は、例えば、補間処理部３８５に合成信号が入力されたとき開始される。
ステップＳ３５０において、補間処理部３８５の選択部３９５は、画像合成部３８２から供給される合成信号を、補間後の合成信号として出力する。ステップＳ３５１において、フレームメモリ３９１は、画像合成部３８２から供給される合成信号を記憶する。ステップＳ３５２において、フレームメモリ３９１は、既に記憶されている前合成信号を読み出し、検出部３９２、移動部３９３、および混合部３９４に供給する。
ステップＳ３５３において、検出部３９２は、画像合成部３８２から供給される対象合成信号と、フレームメモリ３９１から供給される前合成信号に基づいて、対象合成信号のブロック単位の動きベクトルを検出する。
ステップＳ３５４において、移動部３９３は、検出部３９２から供給されるブロック単位の動きベクトルに基づいて、フレームメモリ３９１から供給される前合成信号をブロック単位で移動し、移動後の前合成信号を混合部３９４に供給する。
ステップＳ３５５において、混合部３９４は、HFR領域合成部３８４から供給される合成HFR制御情報に基づいて、画像合成部３８２から供給される対象合成信号に、移動部３９３から供給される移動後の前合成信号を混合することにより、補間信号を生成する。そして、混合部３９４は、補間信号を選択部３９５に供給する。ステップＳ３５６において、選択部３９５は、混合部３９４から供給される補間信号を、補間後の合成信号として出力し、処理は終了する。
以上のように、受信装置３１１は、チューナ３３２により受信されたテレビジョン放送信号だけでなく、図示せぬ外部装置から入力される外部信号やインターネットを介して受信されるインターネット信号に対しても、入力HFR除外領域を決定し、その入力HFR除外領域における補間を行わないようにすることができる。
従って、例えば、テレビジョン受像機の本体価格を安くするために、テレビジョン放送信号の受信機能だけを備えるテレビジョン受像機とは別に、外付けの録画機能追加用のHDD（Hard Disk Drive）を用いた録画装置などが販売されたり、開発時期が異なったために、外付けのデジタル放送受信機能追加用の装置が別売されたりした場合であっても、内蔵する機能により受信されるテレビジョン放送信号と同様に、外付けの装置から入力される外部信号に対して補間処理が行われるので、ユーザは、外付けの装置からの画像であることを意識せずに、その画像を見ることができる。
また、受信装置３１１は、合成情報と入力HFR制御情報に基づいて合成HFR除外領域を決定するので、合成信号を補間する場合において、合成画像内の静止画像と推定される領域の補間を行わないようにすることができる。その結果、補間後の合成画像の品質を向上させることができる。
近年、AQUOSファミリリンク、ビエラリンクなどのHDMI-CEC（High-Definition Multimedia Interface Consumer Electronics Control）による複数の装置間の連携について関心が高まっており、さらに、画像や音声のソースとして、インターネット放送（例えばYou Tube）などの新たなソースが増加してきているため、入力された複数の画像を同時に視聴する（例えば、パーソナルコンピュータで視聴していた投稿動画を、テレビジョン受像機で視聴している番組と並べて表示させる）機会が増加してきている。従って、合成画像に対して補間を行い、その補間後の合成画像の品質を向上させることができるという効果は大変重要である。
なお、受信装置１１（１０１，２０１）の場合と同様に、受信装置３１１の処理量には、ハードウェア的制約により限界があるため、例えば合成HFR除外領域の個数が多い場合や合成HFR除外領域の形状が複雑である場合、全ての合成HFR除外領域の補間を行わないようにすることができない。
そこで、このような場合には、受信装置３１１は、全ての入力HFR除外領域から所定の入力HFR除外領域を選択し、選択された入力HFR除外領域の合成によって得られる合成HFR除外領域についてのみ補間を行わないようにさせてもよい。この場合の受信装置３１１における補間を、図３２を参照して説明する。
図３２において、補間処理部３８５は、合成情報生成部３８１、画像合成部３８２、補間処理部３８５、表示処理部３８６、HFR制御情報生成部４０１、HFR領域合成部４０２、および最終領域決定部４０３により構成される。なお、図１８と同一のものには同一の符号を付してあり、説明は繰り返しになるので省略する。
HFR制御情報生成部４０１は、図１８のHFR制御情報生成部３８３と同様に、デコード処理部３３３から供給されるデコード信号に含まれる画像信号の内容を表す信号から、入力HFR除外領域を決定し、その入力HFR除外領域を表す入力HFR制御情報を生成する。また、HFR制御情報生成部４０１は、デコード信号から各入力HFR除外領域に対する優先度を決定する。そして、HFR制御情報生成部４０１は、入力HFR制御情報に対応付けて、その入力HFR制御情報が表す入力HFR除外領域に対する優先度をHFR領域合成部４０２に供給する。
HFR領域合成部４０２は、図１８のHFR領域合成部３８４と同様に、HFR制御情報生成部４０１から供給される入力HFR制御情報と、合成情報生成部３８１から供給される合成情報に基づいて、入力HFR制御情報が表す入力HFR除外領域を合成し、合成HFR除外領域を決定する。
また、HFR領域合成部４０２は、最終領域決定部４０３からの合成HFR除外領域の決定のやり直しの指令と、入力HFR制御情報に対応付けてHFR制御情報生成部４０１から供給された優先度とに基づいて、入力HFR制御情報が表す入力HFR除外領域のうちの所定の入力HFR除外領域を選択する。そして、HFR領域合成部４０２は、選択された入力HFR除外領域を表す入力HFR制御情報と合成情報に基づいて、入力HFR除外領域を合成し、合成HFR除外領域を再度決定する。さらに、HFR領域合成部４０２は、決定された合成HFR除外領域を表す合成HFR制御情報を最終領域決定部４０３に供給する。
最終領域決定部４０３は、HFR領域合成部４０２から供給される合成HFR制御情報が表す合成HFR除外領域の個数が、予め設定された所定数より多い場合、または、合成HFR除外領域の形状が予め設定された矩形、多角形、楕円などの比較的単純な形状以外の形状である場合、合成HFR除外領域の決定のやり直しをHFR領域合成部４０２に指令する。
また、最終領域決定部４０３は、HFR領域合成部３８４から供給される合成HFR制御情報が表す合成HFR除外領域の個数が、予め設定された所定数以下であり、かつ、合成HFR除外領域の形状が予め設定された比較的単純な形状である場合、その合成HFR除外領域を補間処理部３８５に供給する。
次に、図３３を参照して、入力HFR除外領域に対する優先度について説明する。
図３３Ａに示すように、合成前の時系列の画像が、半透明の「０１１」という文字が表示されたOSD画像４２０が重畳された、そのOSD画像４２０の領域を左上から右下に移動するサッカーボール４２１のフィールド単位の動画像である場合、その動画像のOSD画像４２０が重畳された領域の画像４１１および画像４１２において、OSD画像４２０としての静止画像と動画像が混在するが、デコード信号から、移動するサッカーボール４２１の位置の情報を得ることは困難なため、画像４１１および画像４１２において、静止画像の領域と動画像の領域に分割することは難しい。
従って、HFR制御情報生成部４０１は、画像４１１および画像４１２の領域全体を入力HFR除外領域として決定したり、決定しなかったりする。例えば、画像４１１および画像４１２の領域全体が入力HFR除外領域として決定されない場合、補間後の時系列の合成画像のOSD画像４２０が重畳された領域の画像は、例えば、図３３Ｂに示すようになる。
即ち、混合部３９４は、画像４１１を含む補間前の合成画像と、画像４１２を含む補間前の合成画像の合成信号の中間の時刻における合成信号を補間する補間信号として、画像４１２を含む補間前の合成画像の動きベクトルに基づいて、サッカーボール４２１の位置が、画像４１１における位置と画像４１２における位置の中間の位置にある画像４３１を含む補間画像の画像信号を生成する。
しかしながら、サッカーボール４２１の動きに対応する動きベクトルに基づいて、静止画像であるOSD画像４２０も補間されてしまうため、例えば、図３３Ｂに示すように、OSD画像４２０の「０」と「１」の文字が正常な位置以外にも表示されるという補間エラーが発生してしまう。
以上のように、動画像と静止画像の一方が半透明で合成された画像では、補間エラーが発生しやすいため、HFR制御情報生成部３８３は、デコード信号から、そのデコード信号に含まれる画像信号に対応する画像のうち、動画像と静止画像の一方が半透明で合成された画像の領域を認識した場合、その領域を入力HFR除外領域として決定し、その入力HFR除外領域に対する優先度を高くする。
なお、HFR制御情報生成部４０１は、優先度に基づいて入力HFR除外領域を選択するのではなく、サイズの大きい順に選択するようにしてもよい。
また、上述した説明では、入力HFR除外領域を選択するようにしたが、全ての入力HFR除外領域を含む、予め設定された比較的単純な形状の１つの領域を、合成HFR除外領域とするようにしてもよい。
さらに、やり直し前に決定された合成HFR除外領域の面積の和が、合成画像の全領域の面積の半分以上である場合、合成画像の全領域を合成HFR除外領域とし、合成画像の全領域の面積の半分より小さい場合、合成画像の全領域を合成HFR除外領域としないようにしてもよい。このようにして合成画像の全領域が合成HFR除外領域とされない場合、合成画像内の動画像を滑らかに表示することはできないが、補間エラーによる画像の乱れを防止することができる。
また、入力HFR制御情報および合成HFR制御情報は、HFR除外領域だけでなく、補間を行わない期間であるHFR除外期間も表すようにしてもよい。この場合、HFR除外期間に基づく期間だけ、合成HFR除外領域における補間が行われないようにすることができる。また、入力HFR制御情報および合成HFR制御情報は、HFR除外領域やHFR除外期間ではなく、HFR対象領域やHFR対象期間を表すようにしてもよい。
さらに、上述した説明では、合成情報生成部３８１が入力部３３５からの指令に応じて合成情報を生成したが、デコード処理部３３３から供給されるデコード信号から合成情報を生成するようにしてもよい。
また、上述した説明では、連続する画像信号または合成信号の中間の時刻における画像信号または合成信号が補間されたが、中間の時刻に限らず、任意の時刻における画像信号または合成信号が補間されるようにしてもよい。
本発明は、ホールド型発光が行われる液晶パネルを備えたテレビジョン受像機だけでなく、インパルス型発光が行われるブラウン管やプラズマディスプレイを備えたテレビジョン受像機などにも適用することができる。
本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
テレビジョン放送の番組の画像を高フレームレートで表示する受信装置の構成例を示すブロック図である。 図１の受信装置における補間について説明するブロック図である。 図２の補間処理部の詳細構成例を示すブロック図である。 図１の受信装置におけるOSD重畳処理について説明するフローチャートである。 図１の受信装置における他のOSD重畳処理について説明するフローチャートである。 図３の補間処理部における補間処理について説明するフローチャートである。 図２の補間処理部の他の詳細構成例を示すブロック図である。 テレビジョン放送の番組の画像を高フレームレートで表示する他の受信装置の構成例を示すブロック図である。 図８の受信装置における補間について説明するブロック図である。 補間停止指令と補間再開指令の通知タイミングについて説明するタイミングチャートである。 テレビジョン放送の番組の画像を高フレームレートで表示する、さらに他の受信装置の構成例を示すブロック図である。 図１１の受信装置における受信画像信号の補間について説明するブロック図である。 図１１の受信装置におけるOSD重畳処理について説明するフローチャートである。 図２の補間処理部のさらに他の詳細構成例を示すブロック図である。 最終領域決定部による選択について説明する図である。 最終領域決定部による選択について説明する図である。 本発明を適用した受信装置の一実施の形態の構成例を示すブロック図である。 図１７の受信装置における補間について説明する図である。 図１８の補間処理部の詳細構成例を示すブロック図である。 合成画像の表示例を示す図である。 合成画像の表示例を示す図である。 合成画像の表示例を示す図である。 図２２の合成画像の合成HFR除外領域について説明する図である。 合成画像の表示例を示す図である。 図２４の合成画像の合成HFR除外領域について説明する図である。 合成画像の表示例を示す図である。 図２６の合成画像の合成HFR除外領域について説明する図である。 合成画像の表示例を示す図である。 図２８の合成画像の合成HFR除外領域について説明する図である。 図１８の画像処理部による補間制御処理について説明するフローチャートである。 図１８の画像処理部による補間処理について説明するフローチャートである。 図１７の受信装置における他の補間について説明する図である。 入力HFR除外領域に対する優先度について説明する図である。
符号の説明
３１１ 受信装置， ３８２ 画像合成部， ３８３ HFR制御情報生成部， ３８４ HFR領域合成部， ３９２ 検出部， ３９４ 混合部， ４０１ HFR制御情報生成部， ４０２ HFR領域合成部

Claims (6)

  1. 複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号に対して画像処理を行う画像処理装置において、
    複数の前記入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の前記入力画像信号を合成して合成信号を生成する合成手段と、
    前記合成信号の動きベクトルを検出する検出手段と、
    前記合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、前記合成信号における前記補間を行わない領域である合成補間除外領域を決定する決定手段と、
    前記合成補間除外領域以外の領域において、前記動きベクトルに基づいて、前記合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号を補間して出力する補間手段と
    を備え、
    前記決定手段は、前記合成補間除外領域の数が所定数より多い場合、または、前記合成補間除外領域の形状が所定の形状以外の形状である場合、前記入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて前記合成補間除外領域を再度決定し、
    前記補間手段は、前記決定手段により決定された前記合成補間除外領域の数が前記所定数以下であり、かつ、前記合成補間除外領域の形状が前記所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において前記合成信号間信号を補間して出力する
    画像処理装置。
  2. 前記入力画像信号に対応して入力される、その入力画像信号の内容を表す情報を用いて、前記補間制御情報を生成する生成手段
    をさらに備える請求項１に記載の画像処理装置。
  3. 前記決定手段は、全ての前記入力補間除外領域を含む前記所定の形状の１つの領域を前記合成補間除外領域として再度決定する
    請求項１に記載の画像処理装置。
  4. 前記決定手段は、前記合成信号の全領域を前記合成補間除外領域として再度決定する
    請求項１に記載の画像処理装置。
  5. 複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号に対して画像処理を行う画像処理装置の画像処理方法において、
    複数の前記入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の前記入力画像信号を合成して合成信号を生成する生成ステップと、
    前記合成信号の動きベクトルを検出する検出ステップと、
    前記合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、前記合成信号における前記補間を行わない領域である合成補間除外領域を決定する決定ステップと、
    前記合成補間除外領域以外の領域において、前記動きベクトルに基づいて、前記合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号を補間して出力する補間ステップと
    を含み、
    前記決定ステップの処理は、前記合成補間除外領域の数が所定数より多い場合、または、前記合成補間除外領域の形状が所定の形状以外の形状である場合、前記入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて前記合成補間除外領域を再度決定し、
    前記補間ステップの処理は、前記決定手段により決定された前記合成補間除外領域の数が前記所定数以下であり、かつ、前記合成補間除外領域の形状が前記所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において前記合成信号間信号を補間して出力する
    画像処理方法。
  6. 複数の入力された動画像と静止画像の少なくとも一方からなる画像の画像信号である入力画像信号に対して画像処理を、コンピュータに行わせるプログラムにおいて、
    複数の前記入力画像信号のそれぞれが合成される領域を表す合成情報に基づいて、複数の前記入力画像信号を合成して合成信号を生成する生成ステップと、
    前記合成信号の動きベクトルを検出する検出ステップと、
    前記合成情報と、各入力画像信号における補間を行わない領域である入力補間除外領域を表す補間制御情報とに基づいて、前記合成信号における前記補間を行わない領域である合成補間除外領域を決定する決定ステップと、
    前記合成補間除外領域以外の領域において、前記動きベクトルに基づいて、前記合成信号と、その合成信号の１つ前の合成信号である前合成信号の間の任意の時刻における画像信号である合成信号間信号を補間して出力する補間ステップと
    を含み、
    前記決定ステップの処理は、前記合成補間除外領域の数が所定数より多い場合、または、前記合成補間除外領域の形状が所定の形状以外の形状である場合、前記入力補間除外領域のうち優先する入力補間除外領域を選択し、選択した入力補間除外領域を用いて前記合成補間除外領域を再度決定し、
    前記補間ステップの処理は、前記決定手段により決定された前記合成補間除外領域の数が前記所定数以下であり、かつ、前記合成補間除外領域の形状が前記所定の形状である場合、その合成補間除外領域に基づいて、その合成補間除外領域以外の領域において前記合成信号間信号を補間して出力する
    画像処理をコンピュータに行わせるプログラム。
JP2008037221A 2008-02-19 2008-02-19 画像処理装置および画像処理方法、並びにプログラム Expired - Fee Related JP4618305B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2008037221A JP4618305B2 (ja) 2008-02-19 2008-02-19 画像処理装置および画像処理方法、並びにプログラム
EP09153136A EP2093711A3 (en) 2008-02-19 2009-02-18 Iimage processing apparatus and image processing method, and program
US12/378,647 US8228341B2 (en) 2008-02-19 2009-02-18 Image processing apparatus and image processing method, and program
CN2009100082354A CN101515432B (zh) 2008-02-19 2009-02-19 图像处理设备与图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008037221A JP4618305B2 (ja) 2008-02-19 2008-02-19 画像処理装置および画像処理方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009200576A JP2009200576A (ja) 2009-09-03
JP4618305B2 true JP4618305B2 (ja) 2011-01-26

Family

ID=40778650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008037221A Expired - Fee Related JP4618305B2 (ja) 2008-02-19 2008-02-19 画像処理装置および画像処理方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8228341B2 (ja)
EP (1) EP2093711A3 (ja)
JP (1) JP4618305B2 (ja)
CN (1) CN101515432B (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5323579B2 (ja) 2009-05-01 2013-10-23 三洋電機株式会社 撮影装置、およびこれを備えた映像処理システム
JP2010288098A (ja) * 2009-06-12 2010-12-24 Sony Corp 画像フレーム補間装置、画像フレーム補間方法及び画像フレーム補間プログラム
JP2011199716A (ja) * 2010-03-23 2011-10-06 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP5614098B2 (ja) * 2010-05-19 2014-10-29 ソニー株式会社 映像表示装置、フレームレート変換装置、および表示方法
KR101910110B1 (ko) * 2011-09-26 2018-12-31 삼성디스플레이 주식회사 표시 장치 및 그 구동 방법
JP2014179818A (ja) * 2013-03-15 2014-09-25 Sony Corp 画像処理装置および画像処理方法
KR20170011178A (ko) * 2015-07-21 2017-02-02 삼성전자주식회사 휴대 장치, 디스플레이 장치 및 디스플레이 장치의 사진 표시방법
CN109166409B (zh) * 2018-10-10 2021-02-12 长沙千博信息技术有限公司 一种手语转换方法及装置
CN111225150B (zh) * 2020-01-20 2021-08-10 Oppo广东移动通信有限公司 插帧处理方法及相关产品
JP7160060B2 (ja) * 2020-02-28 2022-10-25 株式会社デンソー 舵角制御装置
US12010450B2 (en) * 2022-03-21 2024-06-11 Novatek Microelectronics Corp. On-screen display (OSD) image processing method
US12008729B2 (en) * 2022-03-21 2024-06-11 Novatek Microelectronics Corp. On-screen display (OSD) image processing method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177940A (ja) * 1997-06-04 1999-07-02 Hitachi Ltd 画像信号の方式変換装置及びテレビジョン受像機
JP2007129504A (ja) * 2005-11-04 2007-05-24 Sharp Corp 画像表示装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3689271T2 (de) * 1985-02-26 1994-02-24 Sony Corp Verfahren zur Bildanzeige.
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JP3884885B2 (ja) 1999-07-29 2007-02-21 株式会社日立製作所 液晶表示装置
EP1404130A1 (en) * 2002-09-24 2004-03-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for processing a video signal mixed with an additional image signal
KR100598223B1 (ko) * 2003-12-12 2006-07-07 엘지전자 주식회사 화질개선 기능을 갖는 영상표시기기 및 그 제어방법
EP1592251B1 (en) 2004-04-30 2006-10-25 Matsushita Electric Industrial Co., Ltd. Ticker processing in video sequences
KR20070020994A (ko) * 2005-08-17 2007-02-22 삼성전자주식회사 영상신호 변환장치 및 그 방법
US9881535B2 (en) * 2005-09-30 2018-01-30 Sharp Kabushiki Kaisha Image display device and method
JP4948932B2 (ja) 2006-08-04 2012-06-06 武彦 大木 ステアリングホイール
CN101689089B (zh) * 2007-07-12 2012-05-23 爱特梅尔公司 二维触摸面板

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11177940A (ja) * 1997-06-04 1999-07-02 Hitachi Ltd 画像信号の方式変換装置及びテレビジョン受像機
JP2007129504A (ja) * 2005-11-04 2007-05-24 Sharp Corp 画像表示装置

Also Published As

Publication number Publication date
CN101515432A (zh) 2009-08-26
US8228341B2 (en) 2012-07-24
EP2093711A3 (en) 2010-05-26
EP2093711A2 (en) 2009-08-26
CN101515432B (zh) 2011-06-08
US20090207183A1 (en) 2009-08-20
JP2009200576A (ja) 2009-09-03

Similar Documents

Publication Publication Date Title
JP4618305B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5023893B2 (ja) 表示装置
US7948561B2 (en) Video playback apparatus and method for controlling the same
JP5183231B2 (ja) 映像再生装置及び制御方法
JP2010041615A (ja) 映像送信装置、映像伝送システム、及び映像送信装置による再生制御方法
JP5023805B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP5040393B2 (ja) 画像処理装置および画像処理方法、プログラム、並びに画像表示装置
JP2009111936A (ja) 映像表示装置
WO2012001905A1 (ja) 再生装置、音声選択方法および音声選択プログラム
US10080014B2 (en) Apparatus for displaying image, driving method thereof, and method for displaying image that allows a screen to be naturally changed in response to displaying an image by changing a two-dimensional image method to a three-dimensional image method
JPWO2019012729A1 (ja) 映像表示装置及び映像表示方法
JP2009296081A (ja) 映像再生装置
JP2008060801A (ja) 映像再生装置
WO2010103716A1 (ja) デジタル放送受信装置および映像表示方法
KR20080099206A (ko) 화상 처리 시스템, 화상 처리 방법, 및 프로그램
JP2006109113A (ja) 画像再生装置及び画像再生方法
KR101358812B1 (ko) 미러링 과정에서의 멀티미디어 데이터의 전송을 위한 단말장치와 셋탑박스 및 미러링 과정에서의 멀티미디어 데이터의 전송을 위한 방법
JP4548518B2 (ja) 映像信号表示システム、映像信号再生装置及び映像信号表示方法
JP5029112B2 (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2009027430A (ja) 動画再生装置
JP2010061774A (ja) 再生装置、再生制御方法、およびプログラム
JP4799674B1 (ja) 画像処理装置、画像表示装置及び画像処理方法
US8681269B2 (en) Video reproduction apparatus and video reproducing method
JP2011128409A (ja) 液晶表示システム
JP2009044528A (ja) コンテンツ切替装置、コンテンツ切替方法およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100624

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100928

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101011

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4618305

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees