[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2020039956A1 - 表示装置、信号処理装置、及び信号処理方法 - Google Patents

表示装置、信号処理装置、及び信号処理方法 Download PDF

Info

Publication number
JPWO2020039956A1
JPWO2020039956A1 JP2020538303A JP2020538303A JPWO2020039956A1 JP WO2020039956 A1 JPWO2020039956 A1 JP WO2020039956A1 JP 2020538303 A JP2020538303 A JP 2020538303A JP 2020538303 A JP2020538303 A JP 2020538303A JP WO2020039956 A1 JPWO2020039956 A1 JP WO2020039956A1
Authority
JP
Japan
Prior art keywords
interpolation rate
interpolation
image frame
original image
signal processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Revoked
Application number
JP2020538303A
Other languages
English (en)
Inventor
国雄 吉田
国雄 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2020039956A1 publication Critical patent/JPWO2020039956A1/ja
Revoked legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/026—Control of mixing and/or overlay of colours in general

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

本技術は、原画間の動きを補間する際に、より視聴に適した補間を実現することができるようにする表示装置、信号処理装置、及び信号処理方法に関する。時間軸に沿った原画フレームに対して原画フレームの間を補間する補間画フレームを生成するに際し、原画フレームの間の一定方向の動きに応じて、補間画フレームの補間率を制御する信号処理部を備える表示装置が提供される。本技術は、例えば、テレビジョン受像機に適用することができる。

Description

本技術は、表示装置、信号処理装置、及び信号処理方法に関し、特に、原画間の動きを補間する際に、より視聴に適した補間を実現することができるようにした表示装置、信号処理装置、及び信号処理方法に関する。
テレビジョン受像機等の表示装置において、画質向上のための信号処理の１つとして、動き補償を用いたフレームレート変換が知られている。
この種のフレームレート変換としては、例えば、時間軸に沿って互いに隣り合う原画フレームの間に、動き補償を用いて、原画フレームの映像を補間した１又は複数の補間画フレームを追加する方法が知られている（例えば、特許文献１参照）。
国際公開第2008/102827号
ところで、原画フレームの間の動きを補間画フレームにより補間するに際しては、より視聴に適した補間を実現することが求められている。
本技術はこのような状況に鑑みてなされたものであり、原画間の動きを補間する際に、より視聴に適した補間を実現することができるようにするものである。
本技術の一側面の表示装置は、時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する信号処理部を備える表示装置である。
本技術の一側面の表示装置においては、時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率が制御される。
本技術の一側面の信号処理装置は、時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する補間率制御部を備える信号処理装置である。
本技術の一側面の信号処理方法は、信号処理装置が、時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する信号処理方法である。
本技術の一側面の信号処理装置、及び信号処理方法においては、時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率が制御される。
なお、本技術の一側面の表示装置、及び信号処理装置は、独立した装置であってもよいし、１つの装置を構成している内部ブロックであってもよい。
本技術を適用した信号処理装置の構成例を示すブロック図である。 動きの検出方法とターゲット補間率の決定方法の例を示す図である。 第１の補間率制御処理の流れを説明するフローチャートである。 映像コンテンツの種類ごとの補間率幅の例を示す図である。 動き量に応じた補間率の遷移の例を示す図である。 補間処理の流れを説明するフローチャートである。 補間率に応じた補間画フレームの表示の例を示す図である。 揺れの検出方法とターゲット補間率の決定方法の例を示す図である。 第２の補間率制御処理の流れを説明するフローチャートである。 本技術を適用した表示装置の構成例を示すブロック図である。 本技術を適用した処理装置の構成例を示すブロック図である。 コンピュータの構成例を示す図である。
以下、図面を参照しながら本技術の実施の形態について説明する。なお、説明は以下の順序で行うものとする。
１．第１の実施の形態
２．第２の実施の形態
３．変形例
４．コンピュータの構成
＜１．第１の実施の形態＞
（信号処理装置の構成例）
図１は、本技術を適用した信号処理装置の構成例を示すブロック図である。
図１において、信号処理装置１０は、例えばテレビジョン受像機に内蔵され、その前段に設けられたチューナやデコーダ等による選局やデコード等の処理を経た映像信号に対する信号処理を行い、その信号処理の結果得られる映像信号を後段の回路（映像表示に関する回路）に出力する。
信号処理装置１０は、前処理部１０１、メモリ制御部１０２、メモリ１０３、動きベクトル検出部１０４、補間率制御部１０５、及び補間部１０６を含んで構成される。
信号処理装置１０においては、映像信号としてデジタルコンポーネント信号YUVが入力され、前処理部１０１に供給されるとともに、メモリ制御部１０２を介してメモリ１０３に順次書き込まれる。
ここで、デジタルコンポーネント信号YUVは、輝度信号Yと色差信号U,Vとからなる映像信号である。また、信号処理装置１０では、デジタルコンポーネント信号YUVがフレーム単位で処理されるが、映像信号の原画のフレーム（オリジナルフレーム）を原画フレームと称して、後述する補間画フレームと区別する。
前処理部１０１は、デジタルコンポーネント信号YUVから輝度信号Yを分離する処理を行う。前処理部１０１により分離された輝度信号Yは、メモリ制御部１０２を介してメモリ１０３に順次書き込まれる。
メモリ１０３に書き込まれた輝度信号Yは、メモリ制御部１０２によって順次読み出されて、動きベクトル検出部１０４に供給される。動きベクトル検出部１０４は、現在の原画フレームの輝度信号Yと、その前後の原画フレームの輝度信号Yとを用いて、ブロックマッチングによる動きベクトル検出処理を行う。
動きベクトル検出部１０４により検出された各原画フレームの動きベクトルmvは、メモリ制御部１０２を介してメモリ１０３に書き込まれた後、メモリ１０３から読み出され、次の原画フレームの動きベクトル検出での参照用として動きベクトル検出部１０４に戻される。
メモリ制御部１０２は、メモリ１０３に書き込んだデジタルコンポーネント信号YUVを、補間部１０６による補間処理に適合した所定のフレーム単位で読み出して、動きベクトルmvとともに補間部１０６に供給する。
ここで、例えば、メモリ制御部１０２では、メモリ１０３に書き込んだデジタルコンポーネント信号YUVが２系統分読み出される。さらに、メモリ制御部１０２では、この２つの原画フレームの間の動きを表す動きベクトルmvが読み出される。こうして読み出された２系統のデジタルコンポーネント信号YUV（prev，succ）と動きベクトルmvが、補間部１０６に供給される。
また、動きベクトル検出部１０４では、検出した各原画フレームの動きベクトルmvに基づいて、画面全体又は対象物の動きが検出され、その動きの検出結果は、補間率制御部１０５に供給される。ただし、補間率制御部１０５に供給される動きの検出結果は、補間部１０６に供給されるデジタルコンポーネント信号YUV（prev，succ）及び動きベクトルmvと同期しているものとする。
補間率制御部１０５は、例えばCPU(Central Processing Unit)等から構成される。補間率制御部１０５は、動きベクトル検出部１０４から供給される動きの検出結果に基づいて、補間画フレームの補間率を制御する。例えば、補間率制御部１０５は、原画フレームから検出される動き量に基づいて、補間率のターゲットとなるターゲット補間率を決定し、決定したターゲット補間率に順次近づくように補間率を段階的に制御する。
詳細は後述するが、補間率制御部１０５は、原画フレーム間の一定方向の動きに応じて、補間率を制御する。ここでは、例えば、画面が一定方向にパンしている場合や、画面がズームイン又はズームアウトしている場合、さらには画面が回転している場合などの映像のシーンが検出され、それらの映像のシーンに応じて補間率が制御されることになる。
ここで、補間画フレームは、時間軸に沿った原画フレーム（オリジナルフレーム）に対して、それらの原画フレームの間を補間するためのフレームである。例えば、ここでは、デジタルコンポーネント信号YUV（prev，succ）として、時間軸に沿った原画フレーム（prev）と原画フレーム（succ）が補間部１０６に入力される場合に、原画フレーム（prev）と原画フレーム（succ）との間を補間する補間画フレームの補間率が制御される。
また、補間率とは、時間軸に沿った原画フレームの間に挿入（追加）される補間画フレームの補間の程度を示す割合である。例えば、フレームレートを、24Hzから120Hzに変換する場合には、原画フレーム（prev，succ）の間に、４枚の補間画フレームが必要になるが、補間率を変えることで、原画フレームの間に挿入（追加）される補間画フレーム内の対象物の位置を変えることができる。
すなわち、この例において、原画フレームの間の変化位置を均等に動いたとして４枚の補間画フレームを生成したときを、補間率100％とし、補間率50％や補間率25％のように補間率を下げると均等な移動にはならず、補間率を下げるほど、補間画フレームを原画フレームよりに近づけることになり、原画フレームそのもので、補間率0％となる。
補間部１０６には、メモリ制御部１０２からのデジタルコンポーネント信号YUV（prev，succ）及び動きベクトルmvと、補間率制御部１０５からの補間率とが同期して入力される。補間部１０６は、補間率に基づいて、前後の原画フレーム（prev，succ）の間を補間する補間画フレームを生成して補間し、補間後のデジタルコンポーネント信号YUVを、後段の回路に出力する。
ここでは、例えば、次のようにして補間画フレームが生成される。すなわち、各補間画フレームでの映像の補間率に応じた補間位置のパラメータと、前後の原画フレーム（prev，succ）間の動きベクトルmvとに基づき、補間画フレームの画素値を算出するために用いる前後の原画フレーム（prev，succ）の画素のアドレスを算出した後に、それらのアドレスの画素値を、補間率に応じた補間位置に応じて重み付けすることで補間が行われ、補間画フレームが生成される。
以上のように構成される信号処理装置１０では、時間軸に沿った原画フレーム（prev，succ）に対して補間画フレームを生成（挿入）するに際し、原画フレーム（prev，succ）の間の一定の方向の動き（例えば、原画フレームから検出される動き量）から特定されるシーンに応じて、補間画フレームの補間率が決定され、決定された補間率に基づき、原画フレーム（prev，succ）に対して補間画フレームが生成（挿入）される。
（動き検出と補間率決定の方法）
図２は、動きベクトルに基づいた動きの検出方法と、その動きの検出結果に応じたターゲット補間率の決定方法の例を示す図である。
図２に示すように、原画フレームから検出される検出項目には、例えば、画面全体の動きと、画面内に含まれる対象物の動きの２種類がある。なお、ここでは、画面全体の領域が、原画フレームに対応した領域に相当している。
画面全体の動きの検出には、例えば、次のような検出方法を用いることができる。すなわち、左方向、左上方向、上方向、右上方向、右方向、右下方向、下方向、及び左下方向の８方向で画面全体の動きベクトルをそれぞれ積算し、その結果得られる各方向の動きベクトル総和量のうち、最も大きい動きベクトル総和量が得られた特定の方向を、画面全体の動き方向と判定する。
この場合において、補間率制御部１０５では、検出された画面全体の動きベクトル総和量に応じてターゲット補間率を決定する。ここでは、例えば、画面全体の動きの方向の判定結果に応じた特定の方向の動きベクトル総和量に基づき、画面全体が一定方向にパンしている場合や、画面全体がズームイン又はズームアウトしている場合、さらには画面全体が回転している場合などの映像のシーンが検出され、その映像のシーンの一定方向の動き量（画面全体の動き量）に応じてターゲット補間率が決定される。
また、対象物の動きの検出には、例えば、次のような検出方法を用いることができる。すなわち、上記の８方向（左方向、左上方向、上方向、右上方向、右方向、右下方向、下方向、及び左下方向）の動きベクトル総和量のうち、最も大きい動きベクトル総和量Ｓを、対象物の動きベクトル総和量Ｓ'とすることができるが、ここでは、その値を画面全体での値に換算（変換）するようにする。
例えば、画面全体における静止領域（例えば画面全体の領域のうちＡ％の領域）を検出することで、動体である対象物に対応した領域の画面全体の比率を算出することができるので、その比率を用いて、動きベクトル総和量Ｓを、対象物の動きベクトル総和量Ｓ'に変換することができる。より具体的には、対象物の動きベクトル総和量Ｓ'は、下記の式（１）の関係を満たしている。
Ｓ' = Ｓ × 100 / (100 - Ａ) ・・・（１）
この場合において、補間率制御部１０５では、検出された対象物の動きベクトル総和量Ｓ'に応じてターゲット補間率を決定する。ここでは、例えば、対象物の動きベクトル総和量Ｓ'に基づき、カメラ固定で人物や車両等の対象物が動いているなどの映像のシーンが検出され、一定方向の動き量（対象物の動き量）に応じてターゲット補間率が決定される。
なお、ここでは、検出項目として、画面全体の動きと対象物の動きを説明したが、それらの動き量のうち、少なくとも一方の動き量に応じて、ターゲット補間率を決定することができる。また、画面全体の動きと対象物の動きは、映像のシーンに応じたパラメータの一例であって、他のパラメータを用いるようにしてもよい。
（第１の補間率制御処理）
図３は、図１の補間率制御部１０５により実行される第１の補間率制御処理の流れを説明するフローチャートである。
ステップＳ１１において、補間率制御部１０５は、補間部１０６に設定されている補間率（現状の補間率）が保持期間を満たしたかどうかを判定する。ステップＳ１１において、現状の補間率が保持期間を満たしていると判定された場合、処理は、ステップＳ１２に進められる。なお、この判定処理では、例えば、10V等の垂直同期信号（V：Vertical Sync）のタイミングが判定される。
ステップＳ１２において、補間率制御部１０５は、動きベクトル検出部１０４により検出された動きベクトルに基づいて、動きベクトル総和量を算出する。ここでは、図２の検出方法に示したように、例えば、画面全体の動きベクトル総和量、又は対象物の動きベクトル総和量が求められる。
ステップＳ１３において、補間率制御部１０５は、算出した動きベクトル総和量に応じてターゲット補間率を決定する。ここでは、図２の決定方法に示したように、例えば、画面全体の動きベクトル総和量に応じたターゲット補間率、又は対象物の動きベクトル総和量に応じたターゲット補間率が決定される。
ステップＳ１４において、補間率制御部１０５は、決定したターゲット補間率に向けて、現状の補間率を１ステップ変更し、補間部１０６に設定する。ここで、例えば、ターゲット補間率として、補間率100％と決定された場合に、変更の単位として10％が設定されているとき、補間部１０６に設定されている補間率が補間率60％であるならば、１ステップだけ進められて補間率70％に変更される。
ステップＳ１５において、補間率制御部１０５は、補間率の保持期間を設定する。ここでは、ステップＳ１１の判定処理で用いられる補間率の保持期間として、例えば10V等の垂直同期信号のタイミングが設定される。
ステップＳ１５の処理が終了すると、処理は、エンドに進められる。なお、ステップＳ１１において、10Vのタイミング等の保持期間を満たしていないと判定された場合には、ステップＳ１２乃至Ｓ１５はスキップされ、処理は、エンドに進められる。ここで、スタートからエンドまでの処理は、1V以内に行われ、次のVで再びスタートから開始される。
すなわち、例えば、1V等の所定のタイミングで、ステップＳ１１乃至Ｓ１５の処理が繰り返され、さらに10V等の所定の保持期間を満たしたとき（Ｓ１１の「YES」）に、動きベクトル総和量に応じたターゲット補間率が決定され（Ｓ１３）、そのターゲット補間率に順次近づくように現状の補間率が１ステップずつ段階的に変更されて補間部１０６に設定される（Ｓ１４）。
例えば、ターゲット補間率100％と決定された場合に、現状の補間率が補間率60％であるならば、補間率70％に設定された後、10Vのタイミングごとに、補間率80％，90％のように、ターゲット補間率100％に順次近づくように現状の補間率が段階的に（例えば補間率10％単位で）変更され、最終的には補間率100％とされる。
また、ターゲット補間率は、固定の値に限らず、可変の値とすることができる。例えば、上述の例で、ターゲット補間率100％に向けて、現状の補間率を補間率90％まで変更したタイミングで、映像のシーンが切り替わって、ターゲット補間率70％に変更された場合には、現状の補間率を、補間率90％，80％，70％のように、変更したターゲット補間率70％に向けて段階的に（例えば補間率10％単位で）変更することになる。
以上、第１の補間率制御処理の流れを説明した。この第１の補間率制御処理では、時間軸に沿った原画フレームに対して補間画フレームを生成するに際し、原画フレームの間の一定方向の動きに応じて、補間画フレームの補間率が制御される。より具体的には、補間率の制御に際しては、原画フレームから検出される動き量に基づきターゲット補間率が決定され、決定されたターゲット補間率に基づき補間率が制御される。
ここで、図４は、映像コンテンツの種類ごとの補間率幅の例を示している。例えば、映像コンテンツの種類が映画である場合、補間率制御部１０５は、第１の補間率制御処理を行い、補間画フレームの補間率を、40〜90％である補間率幅の範囲内で変更するように制御する。つまり、この補間率幅は、映像コンテンツの種類ごとに定められる補間率を変更可能な範囲である。
また、図４においては、例えば、映像コンテンツの種類が、映画アニメである場合には50〜90％である補間率幅、TVアニメである場合には80〜100％である補間率幅、ドラマである場合には70〜90％である補間率幅、スポーツである場合には90〜100％である補間率幅、その他である場合には60〜95％である補間率幅の範囲内で、補間率が制御される。
例えば、映画の場合には、低フレームレートの素材感を保持するために、40％等の低い補間率から、90％等の100％に満たない補間率までの範囲を変更可能とするが、例えば、スポーツなどのより現実に近い映像コンテンツの場合には、より高い補間率の範囲での変更を可能とする。特に、スポーツの場合には、60Hzなどのフレームレートで撮影されていることが多く、補間する補間フレーム数が少ないことで、補間による見た目の違和感や作り出したときのエラーが低減されるため、90〜100％である補間率幅など、変更可能な範囲が高めに設定されることが望ましい。
また、図５は、動き量に応じた補間率の遷移の例を示している。なお、図５において、横軸は、例えば画面全体の一定方向の動き（パンの検出量）などの動き量を表している。ここでは、例えば、補間率60％等の補間率を基準にして、横軸に示した動き量が増加するに連れて、補間率を増加させるような制御を行うことができる。
ここで、補間率が高い場合には、補間画フレームを人工的に作り出すことで、ユーザの見た目の違和感や作り出したときのエラーが問題となる一方で、補間率が低い場合には、ジャダー（画がカタカタして見える現象）が目立ってしまうという問題がある。特に、ジャダーが目立つシーンとしては、例えば、画面全体が一定方向に単調にパンしている場合や、画面全体がズームイン又はズームアウトしている場合、さらには画面全体が回転している場合などが想定される。
そこで、本技術では、例えば、ユーザの見た目の違和感やエラーが比較的に目立たない補間率（例えば、補間率60％）を基準にして、パンシーンなどのジャダーの目立つシーンを検出して、（ターゲット補間率に向けて）補間率を上げるような制御が行われるようにする。その結果として、例えば映画などの場合には、フィルム信号らしい印象を残しながら、ジャダーが目立ってストレスを感じるシーンではジャダーを軽減して、ユーザにとってより視聴し易い映像を表示させることができる。
（補間処理）
図６は、図１の補間部１０６により実行される補間処理の流れを説明するフローチャートである。
ステップＳ３１において、補間部１０６は、補間率制御部１０５から設定される補間率が変更されたかどうかを判定する。ステップＳ３１において、補間率が変更されたと判定された場合、処理は、ステップＳ３２に進められる。
ステップＳ３２において、補間部１０６は、補間率制御部１０５からの制御に従い、現状の補間率を変更する。ここでは、図３のステップＳ１４の処理に対応して、10V等の所定の保持期間を満たしたときに、ターゲット補間率に向けて現状の補間率が１ステップずつ変更され、補間部１０６に設定される。
ステップＳ３２の処理が終了すると、処理は、ステップＳ３３に進められる。また、ステップＳ３１において、補間率が変更されていないと判定された場合、ステップＳ３２はスキップされ、処理は、ステップＳ３３に進められる。
ステップＳ３３において、補間部１０６は、メモリ制御部１０２からのデジタルコンポーネント信号YUV（prev，succ）及び動きベクトルmvに基づいて、補間率制御部１０５から設定される補間率に応じた補間画フレームを生成する。
ここでは、原画フレーム（prev，succ）の間に、フレームレート変換に応じた枚数の補間画フレームが挿入されるが、補間率制御部１０５から設定される補間率に基づき、補間率が下がるほど、原画フレームにより近づくような補間画フレームが生成される。
ステップＳ３３の処理が終了すると、処理は、ステップＳ３４に進められる。ステップＳ３４において、処理を終了するかどうかが判定される。
ステップＳ３４において、処理を終了しないと判定された場合、処理は、ステップＳ３１に戻り、ステップＳ３１乃至Ｓ３４の処理が繰り返される。ステップＳ３１乃至Ｓ３４の処理が繰り返されることで、補間部１０６に設定される補間率が、ターゲット補間率に順次近づくように段階的に変更され、変更された補間率に応じた補間画フレームが生成される。
なお、ステップＳ３４において、処理を終了すると判定された場合、補間処理は終了される。
以上、補間処理の流れを説明した。この補間処理では、時間軸に沿った原画フレームに対して補間画フレームを生成するに際し、上述の第１の補間率制御処理（図３のステップＳ１４の処理）により設定される補間率に応じた補間画フレームが生成される。
ここで、図７は、補間率に応じた補間画フレームの表示の例を示している。なお、図７のＡは、補間率が100％の場合を示す一方で、図７のＢは、補間率が50％の場合の場合を示している。また、図７において、時間の方向は、図中の左側から右側に向かう方向とされる。
例えば、フレームレートを、24Hzから120Hzに変換する場合には、時間軸に沿った原画フレームの間に４枚の補間画フレームを挿入する必要があるため、図７のＡと図７のＢでは、原画フレーム#1と原画フレーム#2との間に、補間画フレーム#1乃至補間画フレーム#4がそれぞれ挿入されている。
ここで、図７のＡにおいて、補間率100%の場合には、原画フレーム#1と原画フレーム#2との間の変化位置を均等に動いたとして補間画フレーム#1A，補間画フレーム#2A，補間画フレーム#3A，補間画フレーム#4Aがそれぞれ生成される。より具体的には、図７のＡにおいて、原画フレーム#1，#2に注目したときに画面内で対象物が右から左の方向に移動している場合に、それらの原画フレーム#1，#2の間に補間される補間画フレーム#1A乃至#4Aに注目すれば、補間画フレームごとに、画面内の対象物が、画面内で右から左の方向に均等に移動している。
一方で、図７のＢにおいて、補間率50%の場合には、上述した補間率100%の場合のような均等な移動とはならない。すなわち、補間率50%の場合には、原画フレーム#1，#2の間に挿入される４枚の補間画フレーム#1B乃至#4Bのうち、原画フレーム#1よりの２枚の補間画フレーム#1B，#2Bは、補間率100%の場合に比べて50%分だけ原画フレーム#1側によった画像となる一方で、原画フレーム#2よりの２枚の補間画フレーム#3B，#4Bは、補間率100%の場合に比べて50%分だけ原画フレーム#2側によった画像となる。
さらに、図示はしていないが、補間率25%の場合には、原画フレーム#1よりの２枚の補間画フレーム#1，#2は、補間率50%の場合に比べてさらに50%分だけ原画フレーム#1側によった画像となる一方で、原画フレーム#2よりの２枚の補間画フレーム#3，#4は、補間率50%の場合に比べてさらに50%分だけ原画フレーム#2側によった画像となる。
そして、補間率0%になると、原画フレーム#1よりの２枚の補間画フレーム#1，#2は、原画フレーム#1と同一の画像となる一方で、原画フレーム#2よりの２枚の補間画フレーム#3，#4は、原画フレーム#2と同一の画像となる。換言すれば、補間率0%の場合においては、３枚の原画フレーム#1と、３枚の原画フレーム#2が順に表示される（原画フレームが、#1，#1，#1，#2，#2，#2の順に表示される）と言える。
以上のように、第１の実施の形態では、時間軸に沿った原画フレーム（例えば原画フレーム#1，#2）に対して補間画フレーム（例えば、４枚の補間画フレーム#1，#2，#3，#4）を生成するに際し、原画フレームから検出される動き量（例えば画面全体の動き、又は対象物の動き）に基づき、ターゲット補間率が決定され、決定されたターゲット補間率に基づき、補間画フレームの補間率が制御される。
ここで、例えば、映画などのフィルム信号の場合に、原画フレーム間の映像の動きの大きさを均等に分割した補間位置で補間を行うと、ジャダーが大幅に削減されて映像の動きが非常にスムーズになる。その結果として、フィルム信号のジャダーに慣れているユーザにとっては、却ってフィルム信号らしくないという印象や、スピード感や緊迫感が低減した印象を受けてしまう可能性があった。一方で、画面全体が動くパンシーンなどでは、ジャダーの方が目立ってしまい、ユーザによってはストレスに感じる可能性もある。
それに対し、本技術では、映像のシーンによって補間率を変更する制御が行われることで、原画フレームの動きを補間する際により視聴し易い補間を実現することが可能となるため、例えば映画の場合には、フィルム信号らしい印象を残しながら、ジャダーが目立ってストレスを感じるシーンは、ジャダーを軽減してより視聴し易い映像を提供することができる。
また、映像コンテンツによって補間率を変える制御を行う場合に、各映像コンテンツでの補間率を固定にしてしまうと（例えば、映画の補間率をX％で固定とし、アニメの補間率をY％で固定とするなど）、ジャダーがあった方が良いシーンや、ジャダーがない方が良いシーンなどに対応した制御を行うことができない。
それに対し、本技術では、映像のシーンによって補間率を変更する制御が行われる際に、映像コンテンツの種類によって補間率の可動範囲を変更する制御を行うことが可能となるため、各映像コンテンツに適した補間率を設定することが可能となり、かつ、シーンによって補間率を変更することで、より視聴し易い映像を提供することが可能となる。
なお、上述した特許文献１では、動きベクトルの検出の際の信頼度に応じて撮像ボケ抑制処理の際の処理量を変えたり、あるいは信頼度に応じて動きベクトルに乗ずるゲインを変えたりしている。一方で、本技術では、信頼度とは関係なく、画面が一定の方向を向いたり、あるいはメインとなる対象物が一定方向に向いたりしている場合を検出して補間率を可変にする制御を行うものである。
＜２．第２の実施の形態＞
ところで、例えば、低フレームレートの映像信号であっても、スピード感や緊迫感が感じられる画面全体が揺れるシーンやメインとなる対象物が揺れるシーンがあり、それらのシーンにおいて、補間率を制御する際には、補間率が高くならないような制御が求められる。そこで、次に、原画フレームから検出される揺れ量に基づき、補間画フレームの補間率を制御する場合について説明する。
なお、第２の実施の形態では、図１の信号処理装置１０において、補間率制御部１０５が、原画フレームから検出される揺れ量に基づきターゲット補間率を決定する点が、第１の実施の形態と異なっているが、その他の構成は同様とされるため、重複している部分については適宜説明を省略する。
（揺れ検出と補間率決定の方法）
図８は、動きベクトルに基づいた揺れの検出方法と、その揺れの検出結果に応じたターゲット補間率の決定方法の例を示す図である。
図８に示すように、原画フレームから検出される検出項目には、例えば、画面全体の揺れと、対象物の揺れの２種類がある。
画面全体の揺れの検出には、例えば、次のような検出方法を用いることができる。すなわち、対角方向となる左方向と右方向、左上方向と右下方向、上方向と下方向、及び右上方向と左下方向の４種類の組み合わせにおいて、画面全体の動きベクトル量の大小が数V（Vertical Sync）ごとに入れ替わっている組み合わせがある場合に、画面全体が揺れていると判定する。
また、ここでは、揺れていると判定された組み合わせの動きベクトル量から、画面全体の揺れ量を求めることができる。すなわち、画面全体における所定の対角方向の組み合わせごとに得られる動きベクトル量に基づき、特定の対角方向の組み合わせにおける揺らぎの総和である揺れ量が算出される。
この場合において、補間率制御部１０５では、検出された画面全体の揺れ量に応じてターゲット補間率を決定する。
また、対象物の揺れの検出には、例えば、次のような検出方法を用いることができる。すなわち、上記の４種類の組み合わせ（左方向と右方向、左上方向と右下方向、上方向と下方向、及び右上方向と左下方向の組み合わせ）の揺れ量のうち、最も大きい揺れ量Ｔを、対象物の揺れ量Ｔ'とすることができるが、ここでは、その値を画面全体での値に換算（変換）するようにする。
上述した対象物の動きのベクトルの総和量の場合と同様に、例えば、画面全体の領域のうちＡ％の領域を検出することで、対象物（動体）に対応した領域の画面全体の比率を算出することができるので、その比率を用いて、揺れ量Ｔを、対象物の揺れ量Ｔ'に変換することができる。より具体的には、対象物の揺れ量Ｔ'は、下記の式（２）の関係を満たしている。
Ｔ' = Ｔ × 100 / (100 - Ａ) ・・・（２）
この場合において、補間率制御部１０５では、検出された対象物の揺れ量Ｔ'に応じてターゲット補間率を決定する。
なお、ここでは、検出項目として、画面全体の揺れと対象物の揺れを説明したが、それらの揺れ量のうち、少なくとも一方の揺れ量に応じて、ターゲット補間率を決定することができる。画面全体の揺れと対象物の揺れは、映像のシーンに応じたパラメータの一例であって、他のパラメータを用いるようにしてもよい。
（第２の補間率制御処理）
図９は、図１の補間率制御部１０５により実行される第２の補間率制御処理の流れを説明するフローチャートである。
ステップＳ５１乃至Ｓ５５においては、図３のステップＳ１１乃至Ｓ１５と同様に、補間率を制御する処理が実行されるが、ステップＳ５３において、ターゲット補間率を決定する際に、動きベクトルから得られる動きベクトル総和量の代わりに、動きベクトルから得られる揺れ量を用いている点が異なっている。
すなわち、第２の補間率制御処理では、1V等の所定のタイミングで、ステップＳ５１乃至Ｓ５５の処理が繰り返され、さらに10V等の所定の保持期間を満たしたとき（Ｓ５１の「YES」）に、揺れ量に応じたターゲット補間率が決定され（Ｓ５３）、そのターゲット補間率に順次近づくように現状の補間率が１ステップずつ段階的に変更されて補間部１０６に設定される（Ｓ５４）。
以上、第２の補間率制御処理の流れを説明した。この第２の補間率制御処理では、時間軸に沿った原画フレームに対して補間画フレームを生成するに際し、原画フレームの間の動きに応じて、補間画フレームの補間率が制御される。より具体的には、補間率の制御に際しては、原画フレームから検出される揺れ量に基づきターゲット補間率が決定され、決定されたターゲット補間率に基づき補間率が制御される。
以上のように、第２の実施の形態では、画面全体の動きや対象物の動きに限らず、画面全体の揺れや対象物の揺れを検出して、そのシーンのスピード感や緊迫感といった印象を保持するために補間率を変更する制御を行うことが可能となる。
＜３．変形例＞
上述した説明において、信号処理装置１０は、独立した装置であるとして説明したが、表示装置等の機器に含まれるような構成を採用してもよい。
（表示装置の構成例）
図１０は、本技術を適用した表示装置の構成例を示すブロック図である。
表示装置１は、例えば、テレビジョン受像機、ディスプレイ装置、パーソナルコンピュータ、タブレット型端末、スマートフォン、携帯電話機、ヘッドマウントディスプレイ、ゲーム機など、表示部を有する機器である。
図１０において、表示装置１は、信号入力部１１、信号処理部１２、及び表示部１３を含んで構成される。
信号入力部１１は、例えばチューナとして構成され、アンテナを介して受信された放送信号を復調して得られる映像信号を、信号処理部１２に供給する。ここでの放送信号は、例えば、地上波放送や衛星放送などの所定の放送方式に従って送信される放送コンテンツの映像信号が含まれる。
なお、信号入力部１１は、チューナに限らず、例えば、通信モジュールとして構成されるようにして、インターネット等の通信網を介して配信される通信コンテンツの映像信号が、信号処理部１２に入力されるようにしてもよい。
また、信号入力部１１としては、例えば、HDMI(High Definition Multimedia Interface)（登録商標）やUSB(Universal Serial Bus)等の所定の規格に準拠したインターフェースとして構成されるようにして、録画機に録画された録画コンテンツや、光ディスクや半導体メモリ等の記録媒体に記録された記録コンテンツの映像信号が、信号処理部１２に入力されるようにしてもよい。
なお、上述した放送コンテンツや通信コンテンツ、録画コンテンツなどは、コンテンツの一例であって、各種のコンテンツの映像信号を、デジタルコンポーネント信号YUVに変換して、信号処理部１２に入力することができる。
信号処理部１２は、図１の信号処理装置１０に対応する構成を有している。信号処理部１２は、信号入力部１１から供給される映像信号（デジタルコンポーネント信号YUV）に対し、補間率制御処理（図３又は図９）や補間処理（図６）を実行する。補間率制御処理や補間処理によって原画フレームに対して補間画フレームを挿入した映像信号は、表示部１３に供給される。
表示部１３は、例えば、LCD(Liquid Crystal Display)等の液晶表示部や、OLED(Organic Light Emitting Diode)等の自発光表示部などから構成される。表示部１３は、信号処理部１２から供給される映像信号を必要に応じてRGB信号に変換するなどして駆動され、映像信号に応じた映像（画像）を表示する。
なお、図１０の表示装置１においては、説明の簡略化のため、映像信号の系列のみを図示しているが、音声信号の系列を含めて、コンテンツの映像に同期した音声が出力されるようにしてもよい。
（処理装置の構成例）
図１１は、本技術を適用した表示システムの構成例を示すブロック図である。
図１１において、表示システムは、処理装置２及び表示装置３から構成される。処理装置２は、例えば、セットトップボックスや録画機、再生機（プレイヤ）、ストレージ装置などの機器である。また、表示装置３は、例えば、ディスプレイ装置やテレビジョン受像機、タブレット型端末、パーソナルコンピュータなどの機器である。
なお、処理装置２と表示装置３とは、所定の規格に準拠したインターフェースを介してケーブル等により接続されている。
図１１において、処理装置２は、信号入力部２１及び信号処理部２２を含んで構成される。
信号入力部２１は、例えば、チューナや通信モジュール、HDMI（登録商標）やUSB等の所定の規格に準拠したインターフェースとして構成され、映像信号をデジタルコンポーネント信号YUVに変換して、信号処理部２２に入力する。
信号処理部２２は、図１の信号処理装置１０に対応する構成を有している。信号処理部２２は、信号入力部２１から供給される映像信号（デジタルコンポーネント信号YUV）に対し、補間率制御処理（図３又は図９）や補間処理（図６）を実行する。補間率制御処理や補間処理によって原画フレームに対して補間画フレームを挿入した映像信号は、ケーブル等の所定のインターフェースを介して表示装置３に出力される。この場合、信号処理部２２は、デジタルコンポーネント信号YUVを所定のインターフェースに適した信号変換を行う処理部分を含んだ構成となる。
また、図１１において、表示装置３は、表示部３１を含んで構成される。
表示部３１は、例えば、LCD等の液晶表示部や、OLED等の自発光表示部などから構成される。表示部３１は、処理装置２から入力される映像信号に基づき駆動され、映像信号に応じた映像（画像）を表示する。
なお、図１１においては、処理装置２と表示装置３とが、ケーブル等の所定のインターフェースを介して接続されるとしたが、それに限らず、例えば、所定の規格に準拠した通信方式に従い、映像信号がやりとりされるようにしてもよい。
（他の構成）
なお、上述した説明では、第１の実施の形態で、原画フレームの動きベクトルから検出された画面全体又は対象物の動き量に基づき、ターゲット補間率を決定する場合を説明し、第２の実施の形態で、原画フレームの動きベクトルから検出された画面全体又は対象物の揺れ量に基づき、ターゲット補間率を決定する場合を説明したが、画面全体又は対象物の動き量及び揺れ量に基づき、ターゲット補間率が決定されるようにしてもよい。すなわち、補間率制御部１０５は、原画フレームから検出される動き量及び揺れ量の少なくとも一方に基づいてターゲット補間率を決定し、決定したターゲット補間率に順次近づくように補間率を段階的に制御することができる。
＜４．コンピュータの構成＞
上述した一連の処理（例えば、図３又は図９に示した補間率制御処理）は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、各装置のコンピュータにインストールされる。図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータ１０００において、CPU(Central Processing Unit)１００１、ROM(Read Only Memory)１００２、RAM(Random Access Memory)１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インターフェース１００５が接続されている。入出力インターフェース１００５には、入力部１００６、出力部１００７、記録部１００８、通信部１００９、及び、ドライブ１０１０が接続されている。
入力部１００６は、マイクロフォン、キーボード、マウスなどよりなる。出力部１００７は、スピーカ、ディスプレイなどよりなる。記録部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインターフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体１０１１を駆動する。
以上のように構成されるコンピュータ１０００では、CPU１００１が、ROM１００２や記録部１００８に記録されているプログラムを、入出力インターフェース１００５及びバス１００４を介して、RAM１００３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ１０００（CPU１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線又は無線の伝送媒体を介して提供することができる。
コンピュータ１０００では、プログラムは、リムーバブル記録媒体１０１１をドライブ１０１０に装着することにより、入出力インターフェース１００５を介して、記録部１００８にインストールすることができる。また、プログラムは、有線又は無線の伝送媒体を介して、通信部１００９で受信し、記録部１００８にインストールすることができる。その他、プログラムは、ROM１００２や記録部１００８に、あらかじめインストールしておくことができる。
ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであってもよいし、複数のコンピュータによって分散処理されるものであってもよい。
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
また、図３又は図９に示した補間率制御処理の各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
なお、本技術は、以下のような構成をとることができる。
（１）
時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する信号処理部を備える
表示装置。
（２）
前記信号処理部は、
前記原画フレームから検出される動き量に基づいて、前記補間率のターゲットとなるターゲット補間率を決定し、
決定した前記ターゲット補間率に基づいて、前記補間率を制御する
前記（１）に記載の表示装置。
（３）
前記信号処理部は、決定した前記ターゲット補間率に順次近づくように、前記補間率を段階的に変更する
前記（２）に記載の表示装置。
（４）
前記信号処理部は、
前記原画フレームから検出される動き量に基づいて、前記ターゲット補間率を変更し、
変更した前記ターゲット補間率に順次近づくように、前記補間率を段階的に変更する
前記（３）に記載の表示装置。
（５）
前記信号処理部は、変更した前記補間率を用いた前記補間画フレームの生成が、所定の期間継続して行われるように制御する
前記（２）乃至（４）のいずれかに記載の表示装置。
（６）
前記信号処理部は、前記原画フレームを含むコンテンツの種類に応じて、前記補間率を変更可能な範囲である補間率幅を変更する
前記（２）乃至（５）のいずれかに記載の表示装置。
（７）
前記信号処理部は、
前記原画フレームに対応した画面全体における所定の方向ごとに得られる動きベクトルに基づいて、特定の方向における動きベクトル総和量を算出し、
算出した前記動きベクトル総和量に応じて、前記ターゲット補間率を決定する
前記（２）に記載の表示装置。
（８）
前記信号処理部は、
前記原画フレームに対応した画面全体における所定の方向ごとに得られる動きベクトルに基づいて、前記画面全体に対応した所定の領域内の特定の方向における対象物の動きベクトル総和量を算出し、
算出した前記対象物の前記動きベクトル総和量に応じて、前記ターゲット補間率を決定する
前記（２）又は（７）に記載の表示装置。
（９）
前記信号処理部は、
前記原画フレームから検出される揺れ量に基づいて、前記補間率のターゲットとなるターゲット補間率を決定し、
決定した前記ターゲット補間率に基づいて、前記補間率を制御する
前記（１）乃至（８）のいずれかに記載の表示装置。
（１０）
前記信号処理部は、
前記原画フレームに対応した画面全体における所定の対角方向の組み合わせごとに得られる動きベクトル量に基づいて、特定の対角方向の組み合わせにおける揺らぎの総和である揺れ量を算出し、
算出した前記揺れ量に応じて、前記ターゲット補間率を決定する
前記（９）に記載の表示装置。
（１１）
前記信号処理部は、
前記原画フレームに対応した画面全体における所定の対角方向の組み合わせごとに得られる動きベクトル量に基づいて、前記画面全体に対応した所定の領域内の特定の対角方向の組み合わせにおける対象物の揺らぎの総和である揺れ量を算出し、
算出した前記対象物の揺れ量に応じて、前記ターゲット補間率を決定する
前記（９）又は（１０）に記載の表示装置。
（１２）
前記補間率は、前記補間画フレームの補間の程度を示す割合である
前記（１）乃至（１１）のいずれかに記載の表示装置。
（１３）
前記補間率は、前記原画フレームの間の変化位置を均等に動いたとして１又は複数の前記補間画フレームを生成したときを補間率100％とし、前記補間画フレームを前記原画フレームそのものとしたときを補間率0％とした場合に、前記補間率を下げるほど、前記補間画フレームが前記原画フレームにより近づくような関係を有している
前記（１２）に記載の表示装置。
（１４）
前記信号処理部は、
前記補間率を制御する補間率制御部と、
前記補間率を用いて前記補間画フレームを生成し、前記原画フレームの間を補間する補間部と
を有する
前記（１）乃至（１３）のいずれかに記載の表示装置。
（１５）
前記信号処理部は、
前記原画フレームから動きベクトルを検出する動きベクトル検出部をさらに備え、
前記補間率制御部は、検出した前記動きベクトルに基づいて、前記補間率を制御する
前記（１４）に記載の表示装置。
（１６）
前記原画フレームを含むコンテンツの映像を表示する表示部をさらに備える
前記（１）乃至（１５）のいずれかに記載の表示装置。
（１７）
時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する補間率制御部を備える
信号処理装置。
（１８）
信号処理装置が、
時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する
信号処理方法。
１ 表示装置，２ 処理装置，３ 表示装置，１０ 信号処理装置，１１ 信号入力部，１２ 信号処理部，１３ 表示部，２１ 信号入力部，２２ 信号処理部，３１ 表示部， １０１ 前処理部， １０２ メモリ制御部， １０３ メモリ， １０４ 動きベクトル検出部， １０５ 補間率制御部， １０６ 補間部， １０００ コンピュータ， １００１ CPU

Claims (18)

  1. 時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する信号処理部を備える
    表示装置。
  2. 前記信号処理部は、
    前記原画フレームから検出される動き量に基づいて、前記補間率のターゲットとなるターゲット補間率を決定し、
    決定した前記ターゲット補間率に基づいて、前記補間率を制御する
    請求項１に記載の表示装置。
  3. 前記信号処理部は、決定した前記ターゲット補間率に順次近づくように、前記補間率を段階的に変更する
    請求項２に記載の表示装置。
  4. 前記信号処理部は、
    前記原画フレームから検出される動き量に基づいて、前記ターゲット補間率を変更し、
    変更した前記ターゲット補間率に順次近づくように、前記補間率を段階的に変更する
    請求項３に記載の表示装置。
  5. 前記信号処理部は、変更した前記補間率を用いた前記補間画フレームの生成が、所定の期間継続して行われるように制御する
    請求項３に記載の表示装置。
  6. 前記信号処理部は、前記原画フレームを含むコンテンツの種類に応じて、前記補間率を変更可能な範囲である補間率幅を変更する
    請求項１に記載の表示装置。
  7. 前記信号処理部は、
    前記原画フレームに対応した画面全体における所定の方向ごとに得られる動きベクトルに基づいて、特定の方向における動きベクトル総和量を算出し、
    算出した前記動きベクトル総和量に応じて、前記ターゲット補間率を決定する
    請求項２に記載の表示装置。
  8. 前記信号処理部は、
    前記原画フレームに対応した画面全体における所定の方向ごとに得られる動きベクトルに基づいて、前記画面全体に対応した所定の領域内の特定の方向における対象物の動きベクトル総和量を算出し、
    算出した前記対象物の前記動きベクトル総和量に応じて、前記ターゲット補間率を決定する
    請求項２に記載の表示装置。
  9. 前記信号処理部は、
    前記原画フレームから検出される揺れ量に基づいて、前記補間率のターゲットとなるターゲット補間率を決定し、
    決定した前記ターゲット補間率に基づいて、前記補間率を制御する
    請求項１に記載の表示装置。
  10. 前記信号処理部は、
    前記原画フレームに対応した画面全体における所定の対角方向の組み合わせごとに得られる動きベクトル量に基づいて、特定の対角方向の組み合わせにおける揺らぎの総和である揺れ量を算出し、
    算出した前記揺れ量に応じて、前記ターゲット補間率を決定する
    請求項９に記載の表示装置。
  11. 前記信号処理部は、
    前記原画フレームに対応した画面全体における所定の対角方向の組み合わせごとに得られる動きベクトル量に基づいて、前記画面全体に対応した所定の領域内の特定の対角方向の組み合わせにおける対象物の揺らぎの総和である揺れ量を算出し、
    算出した前記対象物の揺れ量に応じて、前記ターゲット補間率を決定する
    請求項９に記載の表示装置。
  12. 前記補間率は、前記補間画フレームの補間の程度を示す割合である
    請求項１に記載の表示装置。
  13. 前記補間率は、前記原画フレームの間の変化位置を均等に動いたとして１又は複数の前記補間画フレームを生成したときを補間率100％とし、前記補間画フレームを前記原画フレームそのものとしたときを補間率0％とした場合に、前記補間率を下げるほど、前記補間画フレームが前記原画フレームにより近づくような関係を有している
    請求項１２に記載の表示装置。
  14. 前記信号処理部は、
    前記補間率を制御する補間率制御部と、
    前記補間率を用いて前記補間画フレームを生成し、前記原画フレームの間を補間する補間部と
    を有する
    請求項１に記載の表示装置。
  15. 前記信号処理部は、
    前記原画フレームから動きベクトルを検出する動きベクトル検出部をさらに備え、
    前記補間率制御部は、検出した前記動きベクトルに基づいて、前記補間率を制御する
    請求項１４に記載の表示装置。
  16. 前記原画フレームを含むコンテンツの映像を表示する表示部をさらに備える
    請求項１に記載の表示装置。
  17. 時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する補間率制御部を備える
    信号処理装置。
  18. 信号処理装置が、
    時間軸に沿った原画フレームに対して前記原画フレームの間を補間する補間画フレームを生成するに際し、前記原画フレームの間の一定方向の動きに応じて、前記補間画フレームの補間率を制御する
    信号処理方法。
JP2020538303A 2018-08-22 2019-08-08 表示装置、信号処理装置、及び信号処理方法 Revoked JPWO2020039956A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018155482 2018-08-22
JP2018155482 2018-08-22
PCT/JP2019/031337 WO2020039956A1 (ja) 2018-08-22 2019-08-08 表示装置、信号処理装置、及び信号処理方法

Publications (1)

Publication Number Publication Date
JPWO2020039956A1 true JPWO2020039956A1 (ja) 2021-08-10

Family

ID=69593140

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020538303A Revoked JPWO2020039956A1 (ja) 2018-08-22 2019-08-08 表示装置、信号処理装置、及び信号処理方法

Country Status (5)

Country Link
US (1) US11930207B2 (ja)
EP (1) EP3843380A4 (ja)
JP (1) JPWO2020039956A1 (ja)
CN (1) CN112544075B (ja)
WO (1) WO2020039956A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102826A1 (ja) * 2007-02-20 2008-08-28 Sony Corporation 画像表示装置、映像信号処理装置および映像信号処理方法
WO2010067519A1 (ja) * 2008-12-10 2010-06-17 パナソニック株式会社 映像処理装置及び映像処理方法
WO2011067869A1 (ja) * 2009-12-01 2011-06-09 パナソニック株式会社 画像処理装置及び画像処理方法
WO2011067870A1 (ja) * 2009-12-01 2011-06-09 パナソニック株式会社 画像処理装置および画像処理方法
WO2012117464A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
WO2012117461A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
JP2013048376A (ja) * 2011-08-29 2013-03-07 Jvc Kenwood Corp 動き補償フレーム生成装置及び方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008017023A (ja) 2006-07-04 2008-01-24 Canon Inc 映像信号処理装置
JP4181592B2 (ja) * 2006-09-20 2008-11-19 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
WO2008062578A1 (fr) * 2006-11-24 2008-05-29 Sharp Kabushiki Kaisha Appareil d'affichage d'image
EP2234402B1 (en) * 2009-03-25 2012-07-04 Bang & Olufsen A/S A method and a system for adapting film judder correction
JP5558766B2 (ja) * 2009-09-24 2014-07-23 キヤノン株式会社 画像処理装置及びその制御方法
JP2011211370A (ja) 2010-03-29 2011-10-20 Renesas Electronics Corp 画像処理装置および画像処理方法
CN109089014B (zh) * 2014-02-27 2021-02-19 杜比实验室特许公司 用于控制颤抖可见性的方法、装置及计算机可读介质
CN103929648B (zh) 2014-03-27 2017-04-19 华为技术有限公司 一种帧率上采样中的运动估计方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008102826A1 (ja) * 2007-02-20 2008-08-28 Sony Corporation 画像表示装置、映像信号処理装置および映像信号処理方法
WO2010067519A1 (ja) * 2008-12-10 2010-06-17 パナソニック株式会社 映像処理装置及び映像処理方法
WO2011067869A1 (ja) * 2009-12-01 2011-06-09 パナソニック株式会社 画像処理装置及び画像処理方法
WO2011067870A1 (ja) * 2009-12-01 2011-06-09 パナソニック株式会社 画像処理装置および画像処理方法
WO2012117464A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
WO2012117461A1 (ja) * 2011-03-03 2012-09-07 パナソニック株式会社 立体映像処理装置および方法ならびに立体映像表示装置
JP2013048376A (ja) * 2011-08-29 2013-03-07 Jvc Kenwood Corp 動き補償フレーム生成装置及び方法

Also Published As

Publication number Publication date
WO2020039956A1 (ja) 2020-02-27
EP3843380A4 (en) 2021-10-20
US20210176488A1 (en) 2021-06-10
CN112544075A (zh) 2021-03-23
CN112544075B (zh) 2024-01-05
US11930207B2 (en) 2024-03-12
EP3843380A1 (en) 2021-06-30

Similar Documents

Publication Publication Date Title
JP5107349B2 (ja) 動きベクトルに基づく画像のスケーリング
US8269886B2 (en) Methods and systems for improving low-resolution video
US9094657B2 (en) Electronic apparatus and method
US20100026695A1 (en) Image Processing Apparatus and Image Processing Method
JPWO2008123217A1 (ja) 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
US8547479B2 (en) Display apparatus and control method thereof
CN114285958A (zh) 图像处理电路、图像处理方法和电子设备
EP3002941B1 (en) Display apparatus and control method thereof
JP2012182673A (ja) 映像表示装置及び映像処理方法
JP2005286677A (ja) 撮像装置
WO2012107985A1 (ja) 映像信号処理装置および映像信号処理方法
US20090189912A1 (en) Animation judder compensation
US20100020231A1 (en) Video processing method and device thereof
JP5015089B2 (ja) フレームレート変換装置、フレームレート変換方法、テレビジョン受像機、フレームレート変換プログラムおよび該プログラムを記録した記録媒体
JP2004194311A (ja) 映像再生装置及び映像再生方法
US11930207B2 (en) Display device, signal processing device, and signal processing method
JP7565606B2 (ja) 画像処理装置および画像処理方法
JP2009135847A (ja) 映像処理装置及びフレームレート変換方法
EP1848203B1 (en) Method and system for video image aspect ratio conversion
US8817191B2 (en) Image processing apparatus and image processing method
JP2011048040A (ja) 映像信号処理装置、映像信号処理方法およびプログラム
JP2012182691A (ja) 画像変換装置
JP5259867B2 (ja) 映像表示装置及び映像処理方法
JP2012227799A (ja) 画像表示装置
JP2011205303A (ja) 輝度制御方法及び該方法を用いた映像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220726

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20230810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

AA91 Notification that invitation to amend document was cancelled

Free format text: JAPANESE INTERMEDIATE CODE: A971091

Effective date: 20230926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231204

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240702

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240903

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20241105