JP6510039B2 - ジャダー可視性制御のためのデュアルエンドメタデータ - Google Patents

Description

関連出願への相互参照
本願は、２０１４年１０月２日付け出願の米国仮特許出願第６２／０５９，０４０号に基づく優先権を主張するものであり、この出願の開示内容を全て本願に援用する。本願はまた、２０１５年２月２３日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１５／０１７１１０号および２０１５年２月２３日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１５／０１７１１０号にも関し得るものであり、両出願の開示内容を全て本願に援用する。

技術分野
本開示は、映像処理に関する。より詳細には、デュアルエンド（ｄｕａｌ−ｅｎｄｅｄ）メタデータを介してジャダー（ｊｕｄｄｅｒ）の可視性を制御するシステムおよび方法に関する。

本明細書に組み込まれ、その一部を構成する付随の図面により、本開示の１以上の実施形態を例示する。また、これらの図面を実施形態例の記述と併用して、本開示の原理および態様を説明するための一助とする。

図１は、２４ｆｐｓの入力マテリアルを処理する一実施形態の高レベルブロック図を例示する。 図２は、眼球運動を伴わないワールド座標すなわち固視の場合（左半分）について、滑らかな動き（上）を時間的サンプリング（下）することに起因する歪みと、追跡眼球運動の場合（右半分）の網膜の動きと、を例示する。 図３は、４８ｆｐｓでサンプリングされ、４８ｆｐｓのホールド型ディスプレイ上に表示された、線分の動きを例示する。 図４は、本開示のある実施形態による、２４ｆｐｓ入力と４８ｆｐｓ出力とを用いたジャダー低減処理を例示する。 図５は、本開示のある実施形態による、速度の関数としてのマッピング関数の一例を示す。 図６は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図７は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図８は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図９は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図１０は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図１１は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図１２は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図１３は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図１４は、本開示のある実施形態による、ジャダー制御へのさまざまな可能なアプローチを例示する。 図１５は、本開示のある実施形態による、ジャダー制御アルゴリズムの一実施形態を例示する。 図１６は、本開示の方法をハードウェアで実装する一実施形態を例示する。 図１７は、ジャダー制御に関するいくつかの概念を例示する。 図１８は、ジャダー制御に関するいくつかのマッピング例を示す。 図１９は、ジャダー制御に関するいくつかのマッピング例を示す。 図２０は、１２０ｆｐｓの入力についての出力時刻と入力時刻との間の関係例を示す。 図２１は、ジャダー制御に関するいくつかの概念を例示する。 図２２は、ある無限フレームレート例について、実時刻と表示時刻との間のマッピングを例示する。 図２３は、円滑性追跡眼球運動を伴う時空間軌跡直線および伴わない時空間軌跡直線を例示する。 図２４は、本開示のジャダー制御のある実施形態におけるマッピング時刻および実時刻を例示する。 図２５は、本開示のある実施形態による、拡張されたジャダー可視性制御フローチャートの一例を示す。 図２６は、本開示のある実施形態による、高フレームレート画像のための拡張されたジャダー可視性制御フローチャートの一例を示す。本ステップは一般に、画像制作の段階（すなわちポストプロダクション）における処理担当者が制御する。 図２７は、本開示のある実施形態による、ジャダー制御に関するメタデータを送信する方法のダイアグラム例を表す。 図２８は、本開示のある実施形態による、ジャダーを制御する方法のダイアグラム例を表す。 図２９は、網膜照度の関数としての最大周波数可視性（臨界融合周波数、ＣＦＦ）のグラフを例示する。この直線的な挙動は、精神物理学におけるＦｅｒｒ−Ｐｏｒｔｅｒの法則として知られている。 図３０は、本開示のある実施形態による、ディスプレイパネルのパラメータを用いたジャダー制御のアプローチ例を示す。 図３１は、本開示のある実施形態による、ディスプレイパネルのパラメータを用いたジャダー制御のアプローチ例を示す。 図３２は、本開示のある実施形態による、Ｆｅｒｒｙ−Ｐｏｒｔｅｒの法則を用いたジャダー制御アプローチの一例を示す。 図３３は、時空間ＣＳＦ関数の等高線図を例示する。 図３４は、本開示のある実施形態による、ＬＡ−ＳＴ−ＣＳＦアルゴリズムを用いたジャダー制御アプローチの一例を示す。 図３５は、本開示のある実施形態による、逆トーンマッピングおよびフレームレート変換を用いたジャダー制御アプローチの一例を示す。 図３６は、本開示のある実施形態による、ジャダー制御および逆トーンマッピングについての全体的なフローチャートを表す。 図３７は、ジャダー制御装置の一例を示す。

概要
本開示の第１の局面において、コンピュータを用いてジャダー可視性を制御する方法を記載する。方法は、コンピュータによって少なくとも２つの入力映像フレームを提供することと、例えばコンピュータによって、少なくとも２つの入力映像フレームに基づきジャダーメタデータを生成することと、コンピュータによって、ジャダーメタデータに基づき、少なくとも２つの入力映像フレームに対してジャダー制御を適用すること、を包含する。

本開示の第２の局面において、コンピュータを用いてジャダー可視性を制御する方法を記載する。方法は、コンピュータによって少なくとも２つの入力映像フレームを提供することと、例えばコンピュータによって、少なくとも２つの入力映像フレームに基づきジャダーメタデータを生成することと、コンピュータによってディスプレイ信号メタデータを提供することと、出力ディスプレイパラメータを取得することと、コンピュータによって、ジャダーメタデータ、ディスプレイ信号メタデータ、および出力ディスプレイパラメータに基づき、少なくとも２つの入力映像フレームに対してジャダー制御を適用すること、を包含する。

本開示の第３の局面において、コンピュータを用いて動きの滑らかさ（ｍｏｔｉｏｎ ｓｍｏｏｔｈｎｅｓｓ）を制御する方法を記載する。方法は、コンピュータによって少なくとも２つの入力映像フレームを提供することと、コンピュータによって、少なくとも２つの入力映像フレームに基づき、動きの滑らかさマッピング曲線を生成することと、コンピュータによってディスプレイ信号メタデータを提供することと、コンピュータによって、ディスプレイ信号メタデータに基づき、少なくとも２つの入力映像フレームについて平均輝度および平均コントラストを算出することと、コンピュータによって、平均輝度および平均コントラストに基づき超閾パラメータを算出することと、コンピュータによって、動きの滑らかさマッピング曲線および超閾パラメータに基づき、少なくとも２つの入力映像フレームに対して動きの滑らかさ制御を適用すること、を包含する。

本開示の第４の局面において、ジャダー制御の方法を記載する。方法は、映像フレームを受信するように構成されたディスプレイ、ジャダーに関するデータを受信するように構成されたジャダー制御デバイス、およびディスプレイとジャダー制御デバイスとの間の通信手段を備える。

詳細な説明
動画におけるジャダーとは、滑らかでない動きのことであると簡潔に説明し得る。しかし、この用語はまた、映像記録において典型的な２４ｆｐｓという比較的低いフレームレートのもたらす任意の結果を広く表現するためにも使用される。本開示において、ジャダーは、あるいは、動きの滑らかさと呼ぶこともある。２４ｆｐｓというフレームレート（またはその他の同様な低フレームレート）の結果としてもたらされる、現実世界に視られる動きに比較した歪みのいくつかは、４つの主成分に分解できる。すなわち、１）滑らかでない動き（チャタリング）２）動く輪郭（ｅｄｇｅｓ）に沿ったちらつき、３）動く物体における空間的なブラー、４）偽の多重輪郭、である。

このような歪みは、主として、画像更新レート（フレームレート）に対して動きの程度（ｄｅｇｒｅｅ ｏｆ ｍｏｔｉｏｎ）が大きいことに起因して起きるとともに、時空間エイリアシングから生じる結果でもある。当該分野の当業者が理解しているように、動き歪みの可視性は、時空間コントラスト感度関数（ＣＳＦ）（ＳＴ−ＣＳＦと呼ぶ）によって表現できる。運動物体がその周辺領域に対して有するコントラストにより、この可視性に影響が及び得る。というのも、コントラストはＳＴ−ＣＳＦに対する主要な入力変数であり、これによって閾値および全体的な可視性が定まるからである。

これらの歪みの可視性に対しては、視覚システムの輝度順応に基づいた影響もまた及ぶ。輝度レベルがより高くなれば、ＳＴ−ＣＳＦの空間的および時間的な帯域幅が増加し、その結果、４成分全ての可視性もまた増大する。シネマ用の新しいプロジェクタ設計によって、より高い最大輝度およびより高いコントラストが可能となりつつある。増大した最大輝度を用いることにより、平均輝度レベルが向上することもあれば、物体のコントラストだけが向上することもある。これらの向上の両方には、ジャダーの４成分全ての可視性を増大させるという点において、マイナスの副作用がある。残念なことに、以前は許容できたジャダーのレベルが、いまや不快となり得る。

言い換えれば、１００ニトの標準ダイナミックレンジディスプレイまたは４８ニトのフィルムスクリーン向けにグレーディングされたコンテンツを、例えば８００ニトのＴＶディスプレイまたは１１０ニトのフィルムスクリーンなどの拡張または視覚ダイナミックレンジディスプレイへと再グレーディングすると、不快なジャダーが現れる。その理由は、精神物理学の実験が示すように、明度およびコントラストがより高くなると、ジャダーに対する知覚が増大するからである。

精神物理学実験において、本物の画像シーケンスに加えて、Ｇａｂｏｒおよび特別仕様のコントラスト−周波数テストパターンを刺激として使用し、さまざまな要因によってどのように動きのジャダーの知覚に影響が及ぶのかについて研究がなされてきた。その結果によると、ジャダー性（ｊｕｄｄｅｒｎｅｓｓ）は、フレームレート、動き速度、明度、コントラスト、シャッター角度などを含むさまざまな変数と強い関連を有し得ることが示されている。ジャダーの知覚には遮断フレームレートが存在する。すなわち、このフレームレートより上においてはジャダーは全く知覚されないが、このレートより下においては、フレームレートが減少するとジャダー知覚が増大する。同一フレームレートにおいては、従って、動き速度、明度、およびコントラストが増加するにつれてジャダー知覚は増大し、シャッター角度が増加するにつれてジャダー知覚は低下する。

多くのイメージング用途において、動きの質の改善目標は、上記に列挙した４つのジャダー成分全てを低減することであり、「可視性窓」（ｔｈｅ ｗｉｎｄｏｗ ｏｆ ｖｉｓｉｂｉｌｉｔｙ）によって、このような改善に向けた明確な道筋が得られる。ジャダーを低減するひとつの方法は、撮影または表示の段階において、フレームレートを増加することもしくは時空間解像度を低減することである。しかし、シネマについては、これらの成分のうちいくつかは特定の振幅レベルにあることが実は望ましい。というのも、映画産業における撮影監督その他の専門家がしばしば求める「フィルムらしさ」（ｆｉｌｍ ｌｏｏｋ）に寄与するからである。シネマを、相対的により高いフレームレートに起因してはるかにより滑らかな動きと鮮鋭な動く輪郭を有するビデオとは異なって見えるようにする上で、これらの成分は重要である。フィルムらしさが好まれる背景にある詳細のいくつかは未知であるものの、モーションブラー（ＬＣＤディスプレイ産業においてしばしば議論されるホールド型（ｈｏｌｄ−ｔｙｐｅ）ブラーと円滑性追跡眼球運動との相互作用による）が好まれるのは、シネマ従業者が焦点について浅い被写界深度をしばしば好む事実に関するものと同様の理由によると考えられている。モーションブラーは、ストーリーの進行には不要な可視の細部（これらは気を散らすものと見做し得る）を、減少させる。他の説として、シネマはリアルすぎてはならない、視聴者の想像力の妨げとなるから、というものがある。第３の重要な説によれば、映画愛好家にとって、ジャダー成分のうちいくつかはフィルムらしさに強く結びついており、結果として、フィルム視聴者は、ビデオの有するよりリアルな動きの質を、映画は有さずにいて欲しいと望む。これらの複雑な要因の結果として、単純にジャダーを除去する（撮影および表示フレームレートを増加すること、あるいは動き補間を用いて所定ソースのフレームレートを増加すること、などによる）だけに終わらない方法が必要である。このような方法においては、ジャダーを管理しなければならない。すなわち、コントラストおよび輝度レベルの増加にもかかわらず、望ましい成分を、従来的なシネマと知覚的に同様に保たなければならない。ジャダー管理に対するこれらのアプローチは、本開示の主題である。ジャダー成分レベルを、以前は許容できたシネマ由来のレベルに保持することに加え、監督または撮影監督が、従来的な見た目からより自然な「ビデオ的動き」の見た目までにわたるジャダーの見た目のさまざまな局面を、その中間のさまざまな状態を含めて、グローバルおよびローカルの両方で制御することを可能にし得るシステムおよび方法を、本開示に記載する。

動きのアーチファクトに対処するもう１つのアプローチは、記録処理を制御することによる。全米撮影監督協会（Ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｏｆ Ｃｉｎｅｍａｔｏｇｒａｐｈｅｒｓ）は、シーンにおける動きを撮影することについて「７秒ルール」（物体は、カメラフレームを横切るのに７秒かかるべきである）などのガイドラインを提供している。これらのルールは、従来のプロジェクタに由来する輝度レベルおよびコントラストのために開発された。しかし、新しいディスプレイ技術の下では、任意の既存コンテンツに対してジャダーについての再評価が必要となるであろうし、現実世界の制作環境においては、コンテンツ制作の間にジャダー知覚の量を先験的に判断することは不可能かも知れない。多くのディスプレイは、ジャダーが決して現れず、適切なフィルムらしさが自然には得られないぐらいに高い、固有のフレームレートを有する。それゆえ、監督／撮影監督／ポストプロダクション担当者や視聴者による、ジャダーの知覚を制御する半自動化された処理が望まれる。

ジャダーをマスキングする一般的なポストプロダクションの方法は、以下の通りである。

１．全体的なピクチャの明度レベルを、ジャダーが許容できるようになるまで低下させること。この方法は、ディスプレイにおけるより高い明度およびより高いコントラストの要望と衝突しており、表現意図が人為的に制限されてしまう。

２．より長いカメラシャッターを模擬するモーションブラーを追加すること。これにより、動きの量および方向に基づいて、画素をにじませる。この方法により、シーンに存在するディテールに悪影響が及び得、全ての動く物体はディテールを失ってしまうだろう。この潜在的な問題を回避するためには最小量のモーションブラーを追加するが、これは、将来のディスプレイ技術においてはうまくいかないかも知れない。実際、ジャダーを隠すために必要な純然たるブラーの量は非常に大きくなり得るため、物理的にもっともらしいカメラシャッターとは矛盾してしまい、新しいマイナスの見た目がフィルムに追加されることがある。

３．より高いフレームレートへと画像間を補間すること、あるいはより高いフレームレートにおいて撮影すること。この場合、フレームからフレームへの動きが減少する。この方法が現在、ほとんどの解決策について好適なモードである。しかし、この方法はまた、もはやフィルムらしい「感じ」がしないと評されるような、マイナスな心理学的影響をもシーンに及ぼす。この方法はまた、いくつかのディスプレイ技術においては可能でないこともある。

本開示において、監督または撮影監督が、従来的な見た目からより自然な「ビデオ的動き」の見た目までにわたるジャダーの見た目のさまざまな局面を、その中間のさまざまな状態を含め、グローバルおよびローカルの両方で制御することを可能にし得るシステムおよび方法を、記載する。本開示により、ユーザーがある特定の位置でどの程度のジャダーを知覚し得るかについての、体系化された計測基準を提供し得る。また、対象とするエリアのみにおいて適応的補正を加えるアプローチを提供する。さらに、これらの補正を改変することによって、見かけのディテールおよびフィルム「らしさ」の知覚を維持することが可能である。

２０１５年２月２３日付け出願のＰＣＴ出願第ＰＣＴ／ＵＳ２０１５／０１７１１０号（‘１１０出願）「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＴＯ ＣＯＮＴＲＯＬ ＪＵＤＤＥＲ ＶＩＳＩＢＩＬＩＴＹ」において、例えば、ジャダー可視性をグローバルおよびローカルに制御可能にしながらフレームレートを倍増することによるなどの、低フレームレートコンテンツのジャダー可視性を制御するさまざまなアプローチが記載されている。さらに、高フレームレートの撮影および表示を用いてジャダーを制御するためのいくつかの方法を提案する。参考のために、‘１１０出願に由来するいくつかの概念を本明細書に再現する。

１．不変フレームレート処理
不変フレームレート処理は、フレームレートを変えないままでジャダーを低減する方法を提供し得る。図１は、２４ｆｐｓの入力マテリアルを処理する一実施形態の高レベルブロック図を例示するものであり、ディスプレイが２４ｆｐｓに限定されているために時間的補間が不可能なときに使用する最終出力を表し得る。より高い入力フレームレートにおいては、「フィルムらしさ」（ｆｉｌｍ ｆｅｅｌ）へ調節するためにさらなる処理が追加されるであろう。顕著性または物体同一性などのさらなる画像属性によって、結果が向上するものと想定される。

図１において、時刻ｔ（１１０）、ｔ−１（１０５）、およびｔ＋１（１２０）における入力画像が、時間的処理（１１５）を受ける。映像処理（１１５）は、動き推定（１３０）を含んでおり、ここで動きベクトルを推定する。輝度（１２１）およびコントラスト（１２５）、あるいはフレームからフレームまでに存在するその他の変化量の尺度についてもまた、入力画像（１０５、１１０、１２０）の間の時間的差異を算出する。動き推定その他の変化の測定値は、前後の（ｓｕｒｒｏｕｎｄｉｎｇ）映像フレームをより多く組み入れることによって改善し得る。動き推定（１３０）は、２組の動きベクトルの推定を含む。すなわち、１組の順方向動きベクトル、および１組の逆方向動きベクトルである。これらの順方向および逆方向の組は別々に算出する。これにより、動き推定の演算をより高精度におこなうことが可能となる。

動きベクトルの推定は、ベクトルの方向（１４０）およびベクトルの大きさ（１３５）の判定を含む。ベクトルの大きさ（１３５）、輝度変化マップ（１２１）、およびコントラスト変化マップ（１２５）を使用し、正規化ジャダーマップ（１４５）を決定する。ここで、各画素についてのジャダー値は、どの程度のジャダーが見えるかを表す。この方法の簡素な一実施形態は、「ｗ０＊ベクトルの大きさ＋ｗ１＊輝度変化＋ｗ２＊コントラスト変化」のような加重スキームを用いて各構成要素を合計し、０と１の間で変化する単一の数にすることであろう。但し、０はジャダーが全く見えないことを意味し、１は最大量のジャダーに対応する。他の統計的方法を用いて、相互に関係した入力パラメータ群の間で、より正確に配分を決めることもできる。いくつかの実施形態において、ジャダー値は、全画素の部分集合について計算してもよい。ジャダーマップ（１４５）を決定するためには、シーンおよびディスプレイのメタデータ（１５０）もまた使用できる。例えば、シーンの明度ならびにディスプレイの寸法および輝度を採用できる。当該分野の当業者が理解しているように、画面が大きければ大きいほど、それだけより多くのジャダーが見える。シーンおよびディスプレイのメタデータ（１５０）は、ジャダーの知覚に影響し得る。例えば、明度が増加するにつれて、知覚されるジャダーが増加する。全体的なシーン明度は、シーンメタデータ（１５０）で伝達することが可能であり、よって、ジャダー性を決定する際に使用できる。ディスプレイメタデータ（１５０）は、ディスプレイのサイズに加えてディスプレイの最大明度を含んでいてもよく、その両方が、知覚されるジャダーに影響し得る。

画素毎のジャダー量（１４５）に基づいて、追加すべきノイズ（１６０）を算出することができる。ベクトルが有する動きの大きさ（１３５）は、ジャダーマップ（１４５）に基づいてスケーリング（１５５）できる。スケーリング（１５５）の後、ジャダー量に基づき、動きの大きさにノイズ（ジッター）を追加（１６５）する。ノイズは、ジャダーマップ（１４５）に基づいて判断される（１６０）。例えば、ジャダーの規模がより大きいほど、それだけ、追加されるノイズはより高くなる。

ジッター処理（１６５）の後で、動きの大きさと方向を用いることにより、動きベクトルを再構成（１７０）する。本明細書で用いるとき、ジッターとは、時間的ずれ（ｔｅｍｐｏｒａｌ ｏｆｆｓｅｔｓ）を指す。これらの動きベクトルに基づいて、画像にモーションブラー（１７５）を追加する。また、ノイズの量に基づき、元々の画像と調和するように疑似フィルムグレイン（１８０）も追加することにより、モーションブラーが元々の撮影の一部らしく見えるようになる。ノイズの振幅、サイズ、または分布は、ジャダーの量に基づいて調節できる。最終的に、出力画像を取得（１８５）する。いくつかの実施形態において、本節に記載の処理は、画像の１つ以上の画素について、または重み的に実行される。

２．フレームレート調節処理
フレームレートを選択できるならば、より高いフレームレートで撮影するか、または、より低いフレームレートを補間してより高いフレームレートで表示することにより、さらなる処理が可能となる。これにより、強いジャダーというマイナスの副作用を伴うことなく、向上した「フィルムらしさ」を表現できるようになる。不快なジャダーを有する領域においてより高いフレームレートで滑らかでない動きを導入することによって、知覚されるジャダーが無くされずに許容範囲まで低下される一方で、過剰なジャダーを有しない当該画像の大部分はより低いフレームレートで更新するようにできる。従って、画像シーケンス全体は、このより高いフレームレートで再生したとき、生理的な「フィルムらしさ」を保持しているであろう。言い換えれば、過剰なジャダーをローカルな領域で低減する一方で、他の領域には手を触れないでおくことができる。最終画像においては、より高いフレームレートのピクチャに基づいた領域もあれば、より低いフレームレートのピクチャに基づいた領域もあるだろう。

例えば、２４ｆｐｓの入力が与えられた場合、ディスプレイ／プロジェクタの明度の増加に起因して増大したジャダー感を相殺するためには、一つの選択肢としてフレームレートを増加することが考えられる。必要となるフレームレートの増加は、明度に起因して増加した分と同量のジャダーを効果的に低減し得るものであり、精神物理学実験によってモデル化できる。但し、４８ｆｐｓにおいては、通常、ジャダーは全く知覚されないので、調節可能なフレームレートの範囲は、２４ｆｐｓと４８ｆｐｓの間に限定してよい。フレームレート変換およびディスプレイ技術が進歩すればより実用的とはなり得るものの、所定の２４ｆｐｓのシーケンスを４８ｆｐｓ未満のある任意のフレームレートへと補間してその任意のフレームレートにおいて表示することは、実用的ではないかも知れない。この解決策は、以下のように定式化し得る：第１のディスプレイ明度のためにグレーディングされた２４ｆｐｓの画像シーン／シーケンスを所与のものとして、ある最適な第２のフレームレートを発見することにより、フレームレートを２４ｆｐｓからこの第２のフレームレートへと変換した後に、第２のディスプレイ明度を有する出力ディスプレイ上で再生されるコンテンツにおいて、当初の２４ｆｐｓのコンテンツを第１のディスプレイ明度を有するディスプレイ上で再生したときと同量のジャダーが知覚されるようにする。

より実用的には、ディスプレイおよびプロジェクタは、通常、４８ｆｐｓ、６０ｆｐｓその他の標準的なフレームレートについて利用可能である。この場合、時間的補間を適正におこなえば、このような高フレームレートにおいてジャダーは全く見えなくなるので、フレームレート変換を用いることによって全てのジャダー知覚を除去し得る。

一つの可能な方法において、過剰なジャダーを有する領域を識別し、これらの領域のみをより高いフレームレートで更新する一方で、その他の領域をより低いフレームレートで再生し続けようと試みる。この方法によれば、ジャダー感は、過剰なジャダーを有する領域においては無くされるがほとんどの領域においては保持されるため、ピクチャの全ての部分をより高いフレームレートに更新する方法に比べ、向上した結果が現れる。

本明細書に記載の解決策を適用することにより、知覚されるジャダーが２４ｆｐｓのコンテンツをより高いフレームレートで再生するときにも保持されるように、過剰なジャダーを許容可能レベルまで低減し得る。例えば、より高いフレームレートにおけるローカルに変化可能な滑らかでない動きを導入することにより、ローカルに制御可能なジャダー感を導入することができる。この機能を用いて、過剰なジャダーを有する領域において、適正な量のジャダーをオンにできる。他の領域におけるジャダーを２４ｆｐｓにおける最大可能ジャダー量にまでオンにして、空間的および時間的にジャダー感が滑らかに変化することを確実にすることもまた可能である。本明細書に記載の方法を以下に説明する上で、４８ｆｐｓの出力フレームレート例を用いるが、他の出力フレームレートも可能であることが当該分野の当業者には理解されるであろう。

滑らかに動く物体から人間が受けるジャダーの知覚は、例えば、Ｊ．Ｌａｒｉｍｅｒらによる、２００１年ＳＩＤにおける「Ｊｕｄｄｅｒ−ｉｎｄｕｃｅｄ ｅｄｇｅ ｆｌｉｃｋｅｒ ｉｎ ｍｏｖｉｎｇ ｏｂｊｅｃｔｓ」などに従って、輪郭のちらつきによって説明し得る。この開示内容を全て本願に援用する。

図２は、ジャダー制御に関するいくつかの概念を例示する。図２において、線分が画面を横切って左から右へ動いており、視聴者は、この線分を円滑性追跡眼球運動（ＳＰＥＭ）で追跡しているものとする。上の行（２０５、２１０）は、現実世界、すなわち連続領域における直線（２２５、２３０）の時空間軌跡を表し、下の行（２１５、２２０）は、２４ｆｐｓでサンプリングしてホールド型ディスプレイ上で再生したときの上の行（２０５、２１０）の時空間軌跡を表している。

図２において、左側（２０５、２１５）では、空間的位置をワールド座標で表し、右側（２１０、２２０）では、位置は、ＳＰＥＭを伴った視聴者の網膜座標で表す。中心線（２２５、２３０、２３５、２４０）は、視聴者が物体を追跡するときの視線の時空間軌跡を表す。従って、パネル（２０５）は、左から右へと動く線分を表しており、網膜座標におけるこの動きがパネル（２１０）に示されている。動く線をサンプリングし、ホールド型ディスプレイ上で再構成するとき、パネル（２１５）における階段状軌跡を観察し得る。この軌跡を、視聴者が物体を追跡している間の網膜座標において表すとき、パネル（２２０）の時空間軌跡における鋸歯状の輪郭を観察し得る。従って、線分の輪郭において、色が背景色から線の色まで立ち上がるモーションブラーを観察し得る。同時に、フレームレートが臨界融合周波数（ＣＦＦ）をはるかに下回る２４ｆｐｓという周波数なので、ちらつきをも観察し得る。このちらつきおよびモーションブラーが、通常、２４ｆｐｓの再生においてジャダーとして見られるものである。パネル（２２０）において、鋸歯形の深さをｘ（２４５）と記す。これは、線分についてのフレーム毎の変位、すなわち線分の速度である。精神物理学実験により、知覚されるジャダーの大きさは動き速度と正の相関関係を有することが知られている。よって、知覚されるジャダーは、ｘが増加するとき増加し、ｘが減少するとき減少する。

図３は、線分の動きを４８ｆｐｓでサンプリングして４８ｆｐｓホールド型ディスプレイで表示すると何が起きるかを、例示している。図３において、上の行（３０５、３１０）は、ホールド型ディスプレイ（３０５）上、およびディスプレイをＳＰＥＭで見ている視聴者の網膜（３１０）上における、滑らかに動く線分の時空間軌跡を表す。（３１０）に観察され得るように、変位がおよそ半分の値であり、かつ、より重要なことには周波数が４８ｆｐｓであってＣＦＦに近づきつつあるので、輪郭のちらつきは、図２の（２２０）におけるよりもはるかに少ない。実際には、モーションブラーがより少なく、通常全く輪郭のちらつきを伴わない、より鮮鋭な画像を観察し得る。

それゆえ、もしも、フレームレート制御（ＦＲＣ）を用いて入力２４ｆｐｓコンテンツを４８ｆｐｓに補間し、補間フレームの時間的位置をｔ＋０．５とするならば、ジャダーは全く知覚されないであろう。本来の目的は過剰なジャダーを低減することであって無くすことではないので、このことは必ずしも有利とはならない。

図２および図３はまた、補間フレームの時間的位置がｔ＋０．５であるフレームレート制御（ＦＲＣ）を用いて２４ｆｐｓの入力コンテンツを４８ｆｐｓへと補間した結果をも示している。

図３において、下の行（３１５、３２０、３２５、３３０）は、４８ｆｐｓにおける、滑らかでない動きで左から右へと動く線分の時空間軌跡を表している。具体的には、線分（３３５）は、２４ｆｐｓの周期のうち前半（３１６）は小さな変位で、後半（３１７）は大きな変位で、左から動いている。目は動きを追跡しているので、中心線（３３５、３４０）は上の行（３０５、３１０）の直線（３４５、３５０）と同一のままである。言い換えれば、（３１５）はまた、補間映像フレームの時間的位置がｔ＋ｄｔであるような、２４ｆｐｓ入力コンテンツについての４８ｆｐｓへの補間であるとも解釈し得る。但し、ｄｔ＜＝０．５である。従って、（３１５）はまた、補間フレームの時間的位置が２つの連続した映像フレームの間においては時刻ｄｔであるような、２４ｆｐｓ入力コンテンツについての４８ｆｐｓへの補間であるとも解釈し得る。但し、ｄｔ ＝ ｘ１／（２４ｘ）秒である。

前半（３１６）の小さな変位、および後半（３１７）の大きな変位はまた、図１７においてより詳細に、ｘ１＋ｘ２＝ｘを満たすｘ１（１７０５）およびｘ２（１７１０）としても観察し得る。

図３を再び参照する。（３１５）における時空間軌跡を、（３２０）におけるように視聴者の網膜上において表したとき、（３２０）における軌跡は、２４ｆｐｓ成分（３２５）および４８ｆｐｓ成分（３３０）の２成分に分解し得る。成分（３２５）は、図２の（２２０）における軌跡と酷似しており、ジャダーとして知覚されるであろう。一方で、図３における成分（３３０）は、（３１０）における軌跡に酷似しており、全くジャダーを示さない。図３における（３２５）と図２における（２２０）との違いは、ｘ（３５５）＝ｘ₂−ｘ₁＝ｘ（２４５）−２＊ｘ₁が成り立ち、（３２５）における変位ｘ（３５５）が（２２０）における変位ｘ（２４５）よりも小さいということである。変位ｘ（３３５）はまた、ｘ’と呼ぶこともある。図２および図３は縮尺が互いには対応しておらず、従って、図２および図３における変位ｘ（３５５、２４５）の長さの比率は、本明細書に記載のものとは異なって見えることもある。上記の解析に基づくと、より小さな変位ｘ（３５５）は、より遅い動き速度に対応し、それゆえ、より少ないジャダーを引き起こす。それと同時に、成分（３３０）は、４８ｆｐｓでありかつ動き速度が（３１０）に比べてさらに小さいので、全くジャダーを有さないであろう。総合的に、網膜上における時空間軌跡（３２０）は、（３１０）に比べると低減されたジャダーを示すであろう。

（３２０）における変位は、（３２５）における変位（３５５）と（３３０）における変位との和である。従って、変位（３５５）は、（３２０）における変位よりも小さいことになる。

異なる時間的位置ｄｔにおいて４８ｆｐｓストリームの中間フレームを補間し得るので、変位ｘ（３５５）は制御可能である。補間位置ｄｔを算出するための公式は、

である。

もしもｄｔ＝０（このときｘ’＝ｘ）またはｄｔ＝１ならば、図２の（２２０）におけるのと同一の効果が得られ、当初のジャダーが伴う。もしもｄｔ＝０．５（このときｘ’＝０）ならば、図３の（３１０）におけるのと同一の効果が得られ、ジャダーは全く存在しない。０と１の間の他の値（０とｘの間のｘ’値）において、知覚されるジャダー性を、ｄｔ＝０およびｄｔ＝０．５における２つの場合の間の所望の程度へと制御することが可能である。滑らかでない動きは、ｄｔ’＝１−ｄｔにおける補間によっても得ることができ、ｄｔにおける補間と同量のジャダーが伴うであろう。

いくつかの実施形態において、ジャダーを低減するためにｄｔ＜＝０．５を選択するが、０．５に関して逆側の値も同様な効果を有するであろう。同一の手法を使用して有機的な高フレームレートコンテンツにジャダー知覚を導入することが可能であり、滑らかでない動きでジャダーを注入し得る。

２４ｆｐｓ入力および４８ｆｐｓ出力を用いるジャダー低減について、図４に示すダイアグラムでアルゴリズムを実装し得る。補間位置マップＭ（４２５）を生成（４３０）して、各画素（ｘ，ｙ）に対し、当該画素が時間的位置ｄｔ＝Ｍ（ｘ，ｙ）において補間されるようにすることが可能である。

本実施形態において、出力のフレームレートは、入力のフレームレートの２倍である。簡略化のために、全ての入力フレーム（４０５）を出力フレーム（４１０）として直接コピーし、隣り合う原初の入力映像フレームの全ての対の間に（４５５）それぞれ１つのフレームを補間することによって、出力フレーム（４６０）を取得し得る。

フレームを解析（４４０）して、どの程度のジャダーを含んでいるかを判定することが可能である。ある実施形態において、ジャダー解析（４４０）は、図１に表わすジャダー制御処理において説明したように実行し得る。もう一つの実施形態において、別のジャダー解析技術を、図４を参照しながら次に説明する。

補間フレームを取得するために、入力映像フレーム（４０５）をまず使用して、各画素について、動きベクトルフィールド（４２０）を推定（４１５）する。各画素（ｘ，ｙ）に対し、順方向動きベクトルｍｖ_f（ｘ，ｙ）および逆方向動きベクトルｍｖ_b（ｘ，ｙ）を取得する。これら２つの動きベクトルに基づき、順方向動きベクトルと逆方向動きベクトルとを比較することによって、画素（ｘ，ｙ）についての時間的な動き整合率Ｃ_t（ｘ，ｙ）を規定することができ、かつ、順方向および逆方向の動きベクトルを隣接画素と比較することによって、空間的な動き整合率Ｃ_s（ｘ，ｙ）を規定することができる。そのうえ、各画素（ｘ，ｙ）の順方向動きベクトルｍｖ_f（ｘ，ｙ）を用いて、次のフレームにおける対応画素（ｘ’，ｙ’）を発見することができる。こうして、画素ｍｖ_f（ｘ，ｙ）の順方向動きベクトルを次のフレームにおける対応画素の逆方向動きベクトルすなわちｍｖ_b（ｘ’，ｙ’）と比較することにより、順方向動き整合率Ｃ_f（ｘ，ｙ）を判定できるようになる。

同様に、ある画素の逆方向動きベクトルｍｖ_b（ｘ，ｙ）を、先行フレームにおける対応画素（ｘ”，ｙ”）の順方向動きベクトル、すなわちｍｖ_f（ｘ”，ｙ”）と比較することにより、逆方向動き整合率Ｃ_b（ｘ，ｙ）を判定することができる。ここで、対応する画素（ｘ”，ｙ”）は、画素（ｘ，ｙ）の逆方向動きベクトルｍｖ_b（ｘ，ｙ）により決定される。一実施形態において、これらの動きベクトル整合率は、動きベクトルの和の大きさを動きベクトルの大きさの平均で割った商として定義する。例えば、

であって、但し、｜ｕ｜はｕの大きさである。一実施形態において、各画素（ｘ，ｙ）に対し、補正された動きの大きさｍ（ｘ，ｙ）は、「順方向の動きの大きさ×順方向動き整合率」および「逆方向の動きの大きさ×逆方向動き整合率」のうちの大きい方として定義できる。この補正された動きの大きさに対して、さらに時間的動き整合率を乗じる。例えば、

となる。

この補正された動きの大きさｓにガウシアンフィルタを適用することにより、動き速度ｓ’の滑らかなマップを取得する。実際には、画素（ｘ，ｙ）に対してマッピングされる補間位置Ｍ（ｘ，ｙ）は、動き速度ｓ’（ｘ，ｙ）によって決まる。このマッピングされた補間位置はまた、ジャダー解析結果に基づいて補正することもでき、かつユーザーとの対話によって制御することができる。例えば、ポストプロダクションにおけるユーザー（４３５）は、シーンのどの部分が過剰なジャダーを含むかを判断し、変位マップを調整することによって、結果が適正なジャダーを含むようにし得る。

一実施形態において、補間マップＭ（４２５）は、先に取得された滑らかになった動き速度ｓ’に基づいて算出することが可能である。例えば、画素（ｘ，ｙ）の動き速度ｓ’（ｘ，ｙ）と補間位置Ｍ（ｘ，ｙ）との間の関係は、図５に示すような、最小補間位置が０でありかつ最大補間位置が０．２５である、２つの速度閾値Ｔ１およびＴ２の間のソフトスイッチング関数となり得る。

図５において、Ｔ１（５０５）およびＴ２（５１０）は速度閾値である。一方、Ｍ（ｘ，ｙ）＝０（５１５）は最小補間位置であり、Ｍ（ｘ，ｙ）＝０．２５（５２０）は最大補間位置である。

１対の原初の入力映像フレーム、および補間位置マップＭに対し、各画素（ｘ，ｙ）において標準的なフレームレート変換方法を適用することにより、対応する補間位置Ｍ（ｘ，ｙ）における補間結果を取得できる。動き推定の結果に基づいてモーションブラーをシミュレートすることもまた可能であり、一実施形態において、モーションブラーの量は補間位置に比例する。すなわち、最も近い原初の入力映像フレームから補間位置がより遠ざかるほど、それだけより多くのモーションブラーが適用される。モーションブラーは、例えば、動き方向に沿ってボックスフィルタまたはガウシアンフィルタを適用することにより、取得できる。別の実施形態において、原初の入力フレームと補間フレームとの間のサンプリング映像フレームを平均することによって、モーションブラーをシミュレートする。この場合、全てのサンプリング補間映像フレームをまず算出し、補間位置マップＭに基づいて各画素について平均をとることができる。

上記の実施形態におけるジャダー管理アプローチについて、いくつかの応用シナリオが存在する。まず第一に、ポストプロダクションのためのツールとして、スタジオにおいて４８ｆｐｓの脱ジャダー出力コンテンツを直接に生成し得、コンテンツはその後、適合性のあるプロジェクタによって再生されるであろう。ポストプロダクション処理においては、また、実時間でのジャダー低減をおこなうデジタルシネマプロジェクタのためのメタデータを生成することもできる。このメタデータを用いて、コンシューマー機器におけるＦＲＣをガイドすることも、また可能である。メタデータは複数の形式をとり得、どのシーンがジャダー低減を必要とするかを表す指標や、ある特定のシーンについて補間位置マップを生成する方法を規定するパラメトリックなマッピング関数を含む。

本開示に記載の方法はまた、プロジェクタおよびコンシューマー機器の両方において、実時間での完全自動ジャダー低減のために直接に適用し得る。本開示に記載のアルゴリズムは、エンコーダ、デコーダ、プロジェクタ、およびコンシューマー機器などのハードウェアデバイスに実装可能である。

３．高フレームレートとジャダー制御処理
いくつかの実施形態において、上記の方法に関し、４８ｆｐｓ以上のストリームが既に利用可能であるステップまで、一気に進むことが可能である。上記で想定したように、このことは補間によっておこなうことができる。あるいは、そもそも高フレームレートカメラでコンテンツを撮影することによっておこなってもよい。すると問題となるのは、フィルムらしさを保つために適切なレベルのジャダーが表れるように、利用可能な画像を最適に表示する方法である。

３．１．滑らかでない動きを使用してジャダーをシミュレートする
主な意図は、滑らかでない動きを高フレームレートコンテンツに導入することにより、たとえ当該コンテンツを高リフレッシュレートにおいて再生するとしても、ジャダーに似た知覚が現れるようにすることである。

滑らかでない動きは、撮影側（ｅｎｄ）でポストプロダクションの間に導入するか、またはプロジェクタ／ディスプレイ側で導入するか、のいずれかが可能である。以下の小節において、滑らかでない動きを高フレームレートシステムにどこで導入するのかに基づき、３つの方法を記載する。

３．１ａ
いくつかの実施形態において、滑らかでないやり方で、すなわち各フレームの撮影の間に一定でない時間間隔をおいて、動画を撮影する。この滑らかでないやり方で撮影した動画を、その後、連続した映像フレームを一定の時間間隔をおいて投影するプロジェクタによって投影し得る。従って、知覚されるコンテンツには、滑らかでない動きが導入されていることになる。このことにより、高フレームレートコンテンツの再生にジャダー感がもたらされる。

例えば、フレームインデックスｉをｉ＝０，１，２，…とし、各フレームが撮影される時刻をｔ（ｉ）と表すものとする。一定の時間間隔ｄｔを伴う規則的な撮影について、撮影時刻ｔ（ｉ）＝ｉ＊ｄｔが成り立つ。但しｄｔは２つの映像フレームの間の時間である。例えば、フレームレートが１２０ｆｐｓのとき、ｄｔ＝１／１２０＝８．３３３ｍｓとなる。滑らかでない撮影について、映像フレームの部分集合の撮影時刻を変更して、撮影時刻を時間的に少し前後に移動する（例えば、２４Ｈｚの周波数で何かを導入できるように１２０ｆｐｓの撮影に対して５フレーム毎に）ことが可能である。数学的には、ｔ（ｉ）＝ｉ＊ｄｔ＋δと置くことが可能である。但し、δは、ｍｏｄ（ｉ，ｎ）＝０ならば非ゼロであり、さもなくばδ＝０である。もしも１２０ｆｐｓの撮影についてｎを５と設定するならば、５映像フレーム毎に、映像フレームのうちの１つが異なるタイムスタンプにおいて撮影されることを意味する。これを図６に示す。この方法で撮影された映像フレームを、ディスプレイ側では、なお一定間隔の再生において表示する。図６において、ディスプレイ上に表示される５番目（６０５）および１０番目（６１０）の画像は、より早い時刻において撮影されるであろうことが見て取れる。一定の速度で左（６１５）から右（６２０）へと動く物体があるものとすると、ディスプレイ上において、この物体は、フレーム１からフレーム４まで一定の速度で動き、フレーム４とフレーム５との間で減速し、フレーム５からフレーム６まで加速するであろう。この滑らかでない動きは、ジャダーに類似した、一種の動きアーチファクトとして知覚されるであろう。

図７は、１８０度シャッター撮影における一例を示す。５フレーム毎に、ｄｔの半分だけ撮影時刻をずらす。すなわち、５番目のフレーム（７０５）を、４番目フレーム（７１０）の直後に撮影する。同様に、ディスプレイ側において、撮影動画を一定の時間間隔ｄｔで投影する。

現在のカメラは、映像を撮影するときに撮影時刻を変更することをサポートしていないかも知れない。本小節に記載の実施形態を実施する１つの方法は、より高いフレームレートで撮影することができるビデオカメラを使用することである。例えば、２４０ｆｐｓかつシャッター度３６０のカメラを使用し、図７に示すシーケンスを撮影し得る。

３．１ｂ
上記の実施形態と同様に、一定でない時間間隔で映像フレームを投影するように、プロジェクタシステムを変更することが可能である。一例を、図８に示す。１８０度の撮影シャッター角度および全周期におけるディスプレイのホールド時間を想定すると、各フレームの実際の撮影および表示は、図９のようになる。

本例において、各フレームの表示タイムスタンプを変更する。しかし、特定のディスプレイシステムは本実施形態をサポートしないかも知れない。本効果は、図１０に示すように、より高いフレームレートプロジェクタ／ディスプレイを用いてシミュレートすることが可能である。

上記の２実施形態を組み合わせることにより、例えば図１１および図１２に示すように、ジャダー知覚をより柔軟に制御し得る。

３．１ｃ
いくつかの実施形態において、撮影時刻および表示時刻を変更しない。よって、動画をある一定の時間間隔で撮影して、これと同一の時間間隔で表示する。代わりに、撮影した動画を、後処理／ポストプロダクションのステップで編集する。一般に、時刻ｔにおいてフレームを表示するために、時刻ｔ₂（ｔ）に撮影されたフレームを用いる。例えば、入力が１２０ｆｐｓコンテンツであるとき、時刻関数を

として設計し得る。要するに、この時刻関数は、５フレームの周期毎における４番目のフレームを繰り返し、元の５番目フレームを破棄することになる。この特定の実施形態を、図１３に示す。４番目（１３０５）および９番目（１３１０）の映像フレームはまた、５番目（１３１５）および１０番目（１３２０）の映像フレームとしても使用する。

他の時刻関数ｔ₂（ｔ）を設計することも可能である。５という数は、変更され得るばかりか、整数である必要もない。ｔ₂（ｔ）が整数ではないとき、当該フレームは、ｔ₂（ｔ）においては撮影されない。このもう１つの実施形態において、ビュー補間技術を使用することによって、時刻ｆｌｏｏｒ（ｔ）およびｆｌｏｏｒ（ｔ）＋１において撮影された２映像フレームの間のフレームをシミュレートするフレームを生成することが可能である。一例を、図１４に示す。

図１４において、４番目（１４０５）および５番目（１４１０）の撮影映像フレームを使用して、５番目（１４１５）の表示フレームを生成する。一つの可能なビュー補間処理は、映像フレーム

間の動きベクトルをまず求め、それから補間フレームにおける各画素について、動きベクトルを用いてこれら２つの隣接映像フレームにおける対応画素を導出し、これらの対応画素およびその隣接画素に基づいて画素値を取得することである。

３．２ ２４Ｈｚコンテンツを高フレームレートに追加する
２４ヘルツのコンテンツは、ジャダーが知覚されるひとつの本質的な理由であろうし、この特定の周波数を有するコンテンツは、歴史的に、ジャダー知覚の形成に寄与してきた。ジャダーを注入するために、２４Ｈｚコンテンツを高フレームレートコンテンツに導入することが可能であるかも知れない。しかし、コンテンツ全体を完全に２４ｆｐｓへと変換すべきではない。さもないと、高フレームレートの恩恵が失われてしまうことになる。

３．２ａ ２４Ｈｚのノイズ／フィルムグレインを追加する
対象とするコンテンツ自体を高フレームレートで更新しつつも、このコンテンツにさらに、低フレームレートのノイズまたはフィルムグレイン（シミュレーションまたは実際に撮影された）を追加することが可能である。まず、ノイズ低減方法（１５０５）を使用することにより、当初の高フレームレートコンテンツにおけるノイズまたはフィルムグレインを低減し得る。そして、除去されたノイズまたはフィルムグレイン（１５１０）を処理（１５１５）することによって、同様な空間的特性を有した２４Ｈｚのノイズまたはフィルムグレイン（１５２０）を生成する。この２４Ｈｚの再生成されたノイズまたはフィルムグレイン（１５２０）を、その後、高フレームレートコンテンツへと加え戻す（１５２５）ことができる。本処理は、図１５に見ることができる。

２４ｆｐｓのノイズおよびフィルムグレインを生成する一つの方法は、ある１フレームのノイズ／フィルムグレインを繰り返して使用し、これを、１２０ｆｐｓコンテンツにおける隣接５映像フレーム全てにおいて適用することであり得る。このようにすれば、コンテンツ自体は１２０ｆｐｓで変化していても、５映像フレーム毎に同一のノイズ／フィルムグレインが共有されることになる。

３．２ｂ 当初の高フレームレートが有する２４Ｈｚコンテンツを変更する
２４Ｈｚで表示されるであろう映像フレームを繰り返し変更することによって、当初の高フレームレートコンテンツが有する２４Ｈｚコンテンツを変更することが可能である。例えば、１２０ｆｐｓコンテンツについて、フレームインデックスを５で割った余りに基づき、映像フレームを５つの異なるグループへと分割することが可能である。こうすれば、各グループは、実際には２４Ｈｚのコンテンツとなる。これらのグループの１つ以上において映像フレームを変更することができ、その結果、２４Ｈｚ信号が当初のコンテンツに加え込まれることになる。コンテンツを変更する多数の方法が存在し、例えば、当該グループの各フレームに対し、空間的な偏心を伴ってまたは伴わずに空間的フィルタを適用することである。具体的には、平滑化フィルタ（ガウシアン、シグマ、バイラテラルなど）または鮮鋭化フィルタ（アンシャープマスクなど）を使用することにより、このグループにおける画像を変更して、他のグループにおける画像に比べて異なる特性を有するようにすることができる。同時に、このグループにおける映像フレームを、例えば動きベクトルなど、コンテンツ自体が有するいくつかの特性に基づいて、揺らがせる（ｊｉｔｔｅｒｅｄ ａｒｏｕｎｄ）または不均一な変換にかけることができる。さらに、２４Ｈｚコンテンツを追加するために、高フレームレートコンテンツの各グループを時間的にフィルタリングしてもよい。

４．拡張されたジャダー可視性制御
上記に詳述したアプローチは、さまざまな方法で拡張することが可能である。

ジャダー可視性制御に対する拡張アプローチの第１の例において、２連続映像フレーム間の時間周期Ｔ_inに相当する入力フレームレートＲ_in（入力コンテンツのフレームレート）について考える。ここで、Ｔ_in＝１／Ｒ_inである。また、出力フレームレートは、時間周期Ｔ_outに相当するＲ_out（すなわち、表示フレームレート）である。上記の諸例においては、例えばＲ_out＝２＊Ｒ_inの場合について各方法を適用し得るものである。本節において以下に続く拡張アプローチは、出力フレームレートが入力フレームレートの２倍でない場合に適用し得る。

例えば、第１の一般化は、Ｒ_out＝２＊ｎ＊Ｒ_inの場合についておこない得る。但し、ｎ＝１，２，…は自然数である。この場合、ベースフレームレート（ＢＦＲ）は入力フレームレートのままに保つことができ、本開示における上記の方法を用いて、ローカルに変化する変位マップｄｔ（ｘ，ｙ，ｔ）に基づき全ての２連続入力映像フレーム間にフレームを補間することにより、フレームレートを２倍にすることが可能である。このとき、出力は２倍のフレームレートすなわち２＊Ｒ_inを有しており、各出力フレームをｎ回ずつ表示すれば、表示レートＲ_outで表示し得る。

図１８は、上記に説明したある実施形態の一例を、ｎ＝２の特定の場合について示しており、Ｒ_out＝４＊Ｒ_inであって、ｄｔ（ｘ，ｙ，ｔ）＝０．２５＊Ｔ_in＝Ｔ_outが成り立つ。黒色の線（１８０５）は入力映像フレームを表しており、灰色の線（１８１０）は補間映像フレームである。各フレーム（１８０５、１８１０）は、２Ｔ_outの期間表示される。

Ｒ_outがＲ_inの偶数倍ではないときの実施形態については、Ｔ_inはＴ_outの偶数倍とはならない。従って、当初の入力映像フレームを保持しかつ連続する映像フレームの各対の間のフレームを補間する上記のアプローチを、改変する必要がある。例えば、補間フレームを、上記で用いたものとは異なった、当初の映像フレーム間の中途における時間的位置で表示することが可能であろう。例えば、Ｔ_in＝５Ｔ_outのとき、図１９に見られるように、当初のフレームを３Ｔ_outに等しい期間表示し、補間フレームを２Ｔ_outに等しい期間表示し得るであろう。

図１９において、黒色の線（１９０５）は入力映像フレームを表しており、３Ｔ_outの期間表示される。一方、灰色の線（１９１０）は補間映像フレームであり、２Ｔ_outの期間表示される。

しかし、本解決策は、当該分野において周知の３：２プルダウンに類似した、望ましくないかも知れないアーチファクト信号を招き得る。

３：２プルダウン型のアーチファクトを避けるために、ベースフレームレートをＲ_inに近いフレームレートへと変更することが可能である。言い換えると、ある自然数ｋを発見し、ＢＦＲをＲ_out／（２＊ｋ）に等しくすることによって、ＢＦＲがＲ_inに近く、かつ、依然としてジャダーフレームレートであるようにできる。

例えば、もしもＲ_out＝１２０ｆｐｓならば、ｋを例えばｋ＝２またはｋ＝３となるように選択できるであろう。このようにして、ＢＦＲは、１２０／（２＊２）＝３０ｆｐｓまたはＢＦＲ＝１２０／（２＊３）＝２０ｆｐｓに等しくなり得る。簡単のために、かつ一般性を失わずに、以下の例を、ｋ＝２およびＢＦＲ＝３０ｆｐｓとする。もしも入力フレームレートＲ_in＝３０ｆｐｓならば、上記した、２倍のフレームレートの諸方法を適用し得、２倍のフレームレートを有した６０ｆｐｓの出力信号を取得できる。出力は、その後、全てのフレームを２回ずつ繰り返すことにより、１２０ｆｐｓのディスプレイにおいて表示し得る。もしも入力フレームレートＲ_inが３０ｆｐｓではなく２４ｆｐｓであるならば、時間的補間を用いることによって、全ての必要となる映像フレームを取得することが可能である。例えば、ｄｔ＝０．２５＊Ｔ_BFR＝Ｔ_outであるものとすると、出力時刻と入力時刻との間の関係は、図２０に示すことができる。ここで、黒色の線（２００５）は入力映像フレームを表し、灰色の線（２０１０）は補間映像フレームである。

さらに、上記の方法においてはＢＦＲを変更したので、同一のジャダー知覚を保つために、時間的変位ｄｔを相応に変更する必要がある。

ジャダー可視性制御に対する第２の拡張アプローチ例において、図２に記載の線分動きモデルについて考える。網膜像（２２０）はジャダー効果を有するものであり、（２２０）における変位ｘ（２４５）は知覚されるジャダーの大きさを定めることが分かっている。ＳＰＥＭの最中における網膜像が同じ形状の（２２０）を有しながらも制御可能な変位ｘを伴うように、線分の動きを構成することが可能である。

図２１（２１０５）に示すように、線分（２１１０）は、時間Ｔ＝１／ＢＦＲの間はより低い速度で右へと動き、その後、距離ｘ（２１１５）だけ右へとジャンプする。実際、１フレームの勾配（２１１０）は、速度Ｔ＝１／ＢＦＲで右へと動く。ＢＦＲは通常は十分に高いので、線分を追跡する視線は、（２１２０）に示されるように、全体的には直線をなお辿る。網膜上に投影された軌跡は（２１２５）に示されており、図２の（２２０）と同様の形状をしているが、異なるｘを伴っている。

無限フレームレートのディスプレイを仮定し、入力画像シーケンスを無限フレームレートへと時間的に補間することが可能であるものとすると、図２の（２０５）におけるのと同じ時空間軌跡を伴った画像シーケンスを取得し得る。この無限フレームレートの例について、実時刻と表示時刻との間のマッピングは、図２２の（２２０５）において示す灰色の直線（２２１０）として表せる。灰色の直線（２２１０）は、動き補間勾配と呼ぶこともある。

次に、無限フレームレート入力を、期間Ｔに相当するベースフレームレート（ＢＦＲ）でサンプリングし、ＢＦＲのホールド型ディスプレイにおいて表示することができる。実時刻と表示時刻との間のマッピングは、図２２における黒色の線分（２２１５）として表されるであろう。上例において、簡単のため、シャッター角度の影響は考慮しなかった。

続いて、滑らかでない動きを、図２１と同様に導入し得る。すなわち、無限フレームレートの入力は、各期間Ｔの中においてはより低い速度で再生することができ、各Ｔの終わりに、実再生時刻に追いつくために順方向へのジャンプがおこなわれる。マッピング曲線は、このとき、図２２に示す点線分（２２２０）のように変更されるであろう。この場合、物体は、実際には滑らかに動いているのだが、期間Ｔの内側ではより低い速度で動くように表示され、その後、次の期間の始めに、新しい位置へとジャンプするように表示される。ジャンプすることによって、ジャダーとして知覚されるであろうＢＦＲ信号が導入される。その一方で、点線分（２２２０）の傾きによって定まるジャンプ量は、知覚されるジャダー性の大きさに影響を及ぼすであろう。言い換えると、知覚的ジャダー性を、２極すなわち、ジャダーが皆無の状態とベースフレームレートにおける通常量のジャダーとの間で制御し得る。

ゆえに、点線分（２２２０）の傾きをジャダー制御レート（ＪＣＲ）として用いることにより、出力のジャダー性を制御することが可能である。傾きが１に等しいときには、ジャンプはおこなわれず、よってジャダーは存在しない。一方で、傾きが０に等しいときには、最大量のジャンプが起きる。このＪＣＲは、フレームレートが倍化される上記の例におけるｄｔと同様の効果を有する。ただし、本例においては、無限フレームレートについて考察している。

いくつかの実施形態において、ベースフレームレート（ＢＦＲ）に対応する期間Ｔは、表示フレームレートに対応する周期Ｔ_dの倍数である。例えば、表示フレームレートは１２０ｆｐｓであり、かつＢＦＲは２４ｆｐｓであることが可能である。図２２は、表示フレームレートがＢＦＲ値の５倍であるような一実施形態におけるマッピング（２２２５）を例示する。直線（２２１０）を完全にサンプリングすれば、結果として、図２の（２１０）における直線（２３０）と同様なマッピングが得られるだろう。

従って、表示フレームレートが十分に高いものとすると、物体は、ジャダー知覚を全く伴わずに、なお滑らかに動くだろう。もしも同一の線分動きモデルを使用するならば、時空間軌跡は、現実空間の場合（２３０５）および網膜投影の場合（２３１０）について、図２３のように例示し得る。もしもジャダー知覚を伴う入力を、図２２における線分（２２１５）と同様にサンプリングするならば、取得されるマッピングは、図２２に示す点線分（２２３０）によって表すことができる。言い換えると、点線（２２３０）を鉛直の実時刻軸（２２３５）上へと投影したところにおける離散タイムスタンプへと入力画像シーケンスを補間することができる。線分動きモデルの、これに対応する時空間軌跡を、図２３（２３１５、２３２０）に示す。

もしも、ＢＦＲの期間Ｔが、表示フレームレートに対応する期間Ｔ_dの値の倍数であり、図２２における直線（２２２０）の傾きであるジャダー制御レート（ＪＣＲ）をｒと表すならば、各表示時刻ｔに対するサンプリング時刻ｆ（ｔ）は、

として、算出し得る。

但し、

である。ＴはＴ_dの倍数であることが分かっているので、Ｔ＝ｋＴ_dと置くと、

を得る。

但し、

である。

ＴがＴ_dの値の倍数ではない実施形態において、

であってＴ’はＴ_dの倍数となるように値を選択でき、その後に上記の等式を使用してｆ（ｔ）を算出し得る。同じ量のジャダー可視性を保存するために、ＢＦＲが変化するのに応じてＪＣＲを調節する必要が生じ得るだろう。

ＢＦＲを変更する必要のないもう一つの可能な方法は、以下のように記述できる。まず、無限フレームレートのディスプレイについて考察するので、サンプリング時刻は、図２２における勾配直線（２２２０）を辿ることになる。図２４において、勾配直線（２４０５）は、各ベース期間Ｔについて示されている。勾配直線（２４０５）は無限フレームレートの場合を表しており、このとき、水平線（２４１０）で示すように、サンプリングレート１／Ｔ_dを用いて無限フレームレートシーケンスをサンプリングすることが可能である。勾配直線（２４０５）の時刻マッピングについての公式は、

であって、

但し、

である。このとき、サンプリングされた水平線（２４１０）についての公式は、

であって、但し

である。すると、これら２等式を組み合わせることによって、以下の公式

を得ることができ、

但し、

である。

もしもＴがＴ_dの値の倍数ならば、すなわちＴ＝ｋＴ_dであるならば、同一の公式は、段落０１０５において上記した場合に関するものとして得られるであろうことが理解できる。従って、この等式は、さらなる一般化である。

上記の諸実施形態と同様に、このＪＣＲ、すなわちｒは、空間的、時間的に変化する関数ｒ（ｘ，ｙ，ｔ）であってよい。つまり、ジャダー制御レートは、様々な時空位置に対して様々であることが可能であり、これにより、ジャダー可視性制御を、異なる時刻において異なる領域に別々に適用することが可能となる。

要約すると、ジャダー制御レート（ＪＣＲ）およびベースフレームレート（ＢＦＲ）を所与のものとして、任意の入力フレームレートＲ_inに対するジャダー知覚を任意の出力フレームレートＲ_outへと制御し得るように、本開示に記載のジャダー可視性制御方法は拡張された。全体的なフローチャートは、図２５のように示される。

図２５に見られるように、ジャダー制御レート処理（２５１０）およびベースフレームレート（２０１０）を使用し、上記の拡張されたジャダー可視性アプローチ（２５１５）を入力画像シーケンス（２５０５）に適用することが可能であり、このようにして出力画像シーケンス（２５２０）が取得される。

５．高フレームレートおよび複数のフレームレートにおけるフィルムらしさの体験
上記の拡張されたジャダー可視性制御アプローチを、高フレームレート（ＨＦＲ）画像シーケンスにおいて適用することによって、フィルムらしさの体験を得ることが可能である。高フレームレート画像シーケンスは、通常、より鮮鋭な画像およびより少ないモーションブラーを有しており、立体映像における高フレームレートは、従来の２４ｆｐｓ画像シーケンスに比べ、より優れた３Ｄ効果を有するであろう。しかし、高フレームレートにおける滑らかな動きは、全くジャダー的な知覚を伴わないので、「ビデオらしさ」であると時々批判されることがある。上記の方法を使用することにより、高フレームレート画像シーケンスにジャダー性を導入することができる。導入されたジャダー性は、コンテンツにおけるフィルムらしさの体験を増大させるために役立ち得る。図２６は、フィルムらしさの体験をＨＦＲ入力コンテンツに追加するためのダイアグラムを表している。

この場合、入力および出力画像シーケンスの両方が同一のフレームレート、すなわちＲ_out＝Ｒ_inを有することになる。例えば、入力および出力の両方が、４８ｆｐｓ、６０ｆｐｓ、１２０ｆｐｓなどであり得る。入力シーケンスはシーンを高フレームレートでサンプリングしているので、同一のフレームレートＲ_inで表示したとき、入力シーケンスにジャダー知覚は全く存在しない。ジャダー知覚を導入するためには、第１のステップは、ジャダーを引き起こすベースフレームレートＢＦＲを選び、適切なジャダー制御レートｒを選択することであり、これにより、図２４を参照しながら記載した処理を用いて、Ｔ＝１／ＢＦＲかつＴ_d＝１／Ｒ_inで、入力画像シーケンスを再サンプリングし得るようになる。上記のように、出力画像シーケンスをＲ_outで再生したときに適切な量のジャダー性すなわちフィルムらしさをその出力画像シーケンスに加えることができるように、ジャダー制御レートＪＣＲ＝ｒを決定することができる。さらに、このｒは、空間的および時間的に変化する関数ｒ（ｘ，ｙ，ｔ）であってもよい。

従って、フィルムらしさの体験（ジャダー）は、ポストプロダクション側において画素毎に制御することが可能である。様々な画素が、異なる時刻に、異なるＪＣＲを有していてよい。この場合、通常は、ＪＣＲ関数ｒ（ｘ，ｙ，ｔ）はショット内でローカルに滑らかとなるであろう。

ある単純化された実施形態において、フィルムらしさの体験は、ポストプロダクション側においてフレーム毎に制御することができる。異なる映像フレームは異なるＪＣＲを有し得る。この場合、ＪＣＲ関数ｒ（ｔ）はショット内でローカルに滑らかとなるであろう。

いくつかの実施形態において、フィルムらしさの体験（ジャダー）はまた、ポストプロダクション側においてショット毎に制御することも可能である。異なるショットは異なるＪＣＲを有してもよく、このようにして、必要な場合には、異なる量のジャダー性が異なるショットへと追加されるであろう。

ポストプロダクション側における一実施形態は、プロフェッショナルなツールを用いることにより、ジャダー知覚を必要とするローカルな領域を識別することを含む。その後に、適切な量のジャダーを追加するために必要となるＪＣＲを決定することができる。ある次のステップで、ショット境界内において空間的および時間的に、ＪＣＲを滑らかにし得る。

参考文献［２］［３］に記されているように、１シーケンス、さらには１フレーム中において複数のフレームレートを有した、混合フレームレートコンテンツについてのさまざまな提案が存在する。高速の動き映像フレーム／物体は、より高いフレームレートから恩恵を受けることができる。その一方で、より低速の動き映像フレーム／物体は、より低いフレームレートで保持することができる。複数のフレームレートを有するこれらのコンテンツにもまた、上記の拡張されたジャダー可視性制御アプローチを適用し得る。

低フレームレート映像フレーム／領域においては、低減する必要のある過剰なジャダーが存在し得る。その一方で、高フレームレート映像フレーム／領域においては、ジャダー的な知覚を加え戻す必要がある。上記および以下の方法を組み合わせることによって、複数フレームレートのコンテンツにおけるジャダーの可視性を制御することが可能である。

６．ジャダー制御メタデータを用いたデュアルエンドのフレームレート変換
画像シーケンスに滑らかでない動きを導入することにより、ジャダー可視性を制御し得る。ジャダー可視性の制御における重要なステップの一つは、上記のように入力映像フレームを所望の時間的位置へと時間的に補間することである。このフレーム補間は、ディスプレイ側におけるフレームレート制御アルゴリズムの殆どにおいて既存の機能である。しかし、現在のＦＲＣの方法では、通常、映像フレームは規則的な時間的位置のみにおいて補間される。例えば、２４ｆｐｓから１２０ｆｐｓへのフレームレート変換では、２入力映像フレーム間の等間隔の時間的位置において、４映像フレームが補間されるであろう。これにより、コンテンツにおける任意の知覚的ジャダー性が消失するだろう。本開示に記載の方法により、ジャダーが皆無の状態から２４ｆｐｓにおける最高レベルのジャダー性まで、知覚的ジャダー性を制御可能にすることができる。本開示の方法は、コンテンツに基づいた何らかの推定を介し、ディスプレイ側で自動的に実行され得るが、このやり方では品質は正常には制御可能とならず、制作側からの監督の意図を変えることになるだろう。

監督の意図を維持する一つの方法は、コンテンツ制作側で決定して画像データと共に送信することのできるジャダー制御メタデータ（ＪＣＭ）を介し、情報を伝達することであろう。このＪＣＭは、その後、ＦＲＣアルゴリズムが入力コンテンツを補間するのをガイドし得、これにより、補間された出力シーケンスは、期待されるレベルのジャダー性を有するようになるだろう。本方法を表すダイアグラムの一例を、図２７に示す。

図２７において、ある入力画像シーケンス（２７０５）が提供される。すると、この画像シーケンス（２７０５）に基づき、ジャダーメタデータを生成（２７１０）することができる。その後、ジャダー制御メタデータ（２７１５）を使用することにより、フレームレート制御方法に基づいて、ジャダー可視性制御を実行（２７２０）し得る。続いて、ジャダー制御リファレンスモニタ（２７２５）は、ジャダーメタデータ生成（２７１０）にフィードバック（２７３０）を提供し得る。それから、メタデータおよび画像をジャダー可視性制御（２７３５）のためにディスプレイ側へと引き渡し、出力ディスプレイ（２７４０）において使用する。

ディスプレイ側においてＦＲＣを制御するためには、必要となる一つの重要なメタデータはジャダー制御レート（ＪＣＲ）であって、これは図２２における線分（２２２０）の傾きである。ＪＣＲは、両端を含めて０と１の間の値を取り得る。ＦＲＣは、このＪＣＲ値に基づき、入力シーケンスを補間することが可能である。

例えば、ジャダー制御レートｒ＝０．５が成り立つとき、２４ｆｐｓから１２０ｆｐｓへのＦＲＣは、４つの中間位置５＊ｎ＋ｉ＊ｒを補間することができる。但し、ｉ＝１，２，３，４は２つの連続した入力映像フレーム間の補間フレームインデックスであり、ｎ＝１，２，…は、入力シーケンスのフレームインデックスである。

個々のソフトウェアまたはハードウェア実装に依存して、ＦＲＣアルゴリズムは、どの時間的位置へとフレームを補間し得るのかに関する制限を有するかも知れない。２４ｆｐｓの入力を許容する１２０ｆｐｓのディスプレイにおいて、しばしば、ＦＲＣは５＊ｎ＋ｋにしか補間し得ない。但し、ｋ＝１，２，３，４は整数である。この場合、既存のＦＲＣアルゴリズムを利用するために、ｉ＊ｒは最も近い整数へと丸められるであろう。

一つのさらなるメタデータはベースフレームレート（ＢＦＲ）であろう。これは、図２２に関して上記に説明した期間Ｔに対応する。大抵、ＢＦＲは２４ｆｐｓであるが、２５ｆｐｓ、３０ｆｐｓなどでもよいだろう。このＢＦＲは、入力コンテンツのフレームレートと同一でもよいが、これら２フレームレートは異なり得ることに留意されたい。ＢＦＲは、ＪＣＲと連動する出力の予測ベースフレームレートを表す。言い換えると、これは、適用したＪＣＲの量に対してコンテンツのジャダー制御／フィルムらしさの体験を視覚的に検証するために、ポストプロダクション側が使用したフレームレートである。例えば、２４ｆｐｓ入力に対し、３０ｆｐｓのＢＦＲを用いて、周期毎に２映像フレームで６０ｆｐｓディスプレイ上において結果を検証できるので、ＢＦＲは３０ｆｐｓであってもよいだろう。ＦＲＣは１２０ｆｐｓにおける等間隔の時間的位置へしか補間し得ないにしても、ディスプレイ側で３０ｆｐｓのＢＦＲを使用することにより、３−２プルダウン型のジャダー性を導入することなく出力を得ることができるであろう。

たとえ、同一のＪＣＲを用いるとしても、異なるＢＦＲにより、異なったジャダー知覚を生成し得る。従って、もしも出力が、ＢＦＲメタデータに対応するものとは異なる期間Ｔを使用するならば、ＪＣＲを相応に変更して同様な量のジャダー知覚を確保する必要がある。

追加的なメタデータとしては、ジャダーを制御するために使用されたリファレンスディスプレイについてのディスプレイパラメータを含むだろう。これは主として、ディスプレイの最小および最大輝度値となる。これらのメタデータの重要性は、同一のＪＣＲおよびＢＦＲであっても、異なるリファレンスモニタを使用すれば、異なったレベルのジャダー性を知覚し得ることにある。ディスプレイ側において、メタデータをディスプレイ自体のパラメータと組み合わせることによって、新しい一組のＢＦＲおよびＪＣＲを決定し、これにより、制作側における監督の意図からＦＲＣ出力がかけ離れないようにすることが可能である。このメタデータがある場合、図２８に例示するように、ディスプレイ側における処理はまず、その他の２メタデータすなわちＪＣＲおよびＢＦＲを更新するブロック（２８０５）を含むだろう。

全てのジャダー制御メタデータは、ショット毎のメタデータおよびフレーム毎のメタデータの両方として実装し得る。ディスプレイの最小および最大輝度を含めたディスプレイパラメータのメタデータはまた、トラックレベルのメタデータとして実装してもよい。すなわち、その他のジャダー制御メタデータが、同一ディスプレイを使用して取得されている限り、当該トラック全体は、単一組のディスプレイパラメータを共有することができる。

ショット毎のメタデータにおいて、制作側は、どのショットをジャダー制御する必要があるのかを決定するであろう。そして、メタデータを当該ショット全体に提供する。もしもあるショットをジャダー制御する必要があるならば、ＪＣＲおよびＢＦＲの両方を、対応する非ゼロ値に設定する。もしもあるショットにおいてジャダー制御をおこなわないならば、ＪＣＲおよびＢＦＲの両方を、ゼロに設定する。

フレーム毎のメタデータにおいて、制作側は、ジャダー制御する必要がある映像フレームについて精密な調整をおこない、ショット全体ではなく、特定のフレーム範囲にメタデータを提供することができる。この場合、ショット内におけるジャダー可視性の唐突な変化を防止するために、メタデータのＪＣＲをショット境界内で滑らかにし得る。どうやってＪＣＲを滑らかにするのかは、制作側における実装の問題であろう。結果として、ＪＣＲは、当該ショットにおいてフレーム毎に変化していくことができる。

ＢＦＲは、ＪＣＲが変化していくときでさえ、ショット全体についてなお同一であることができる。このＢＦＲはまた、あるショットの最初のフレームにおいて、当該ショットに何らかのジャダー制御が存在するかどうかをディスプレイ側に伝える指標としても役立つ。具体的には、あるショット内に何らかのジャダー制御が存在すれば、ＢＦＲは、このショットの最初のフレームから始まるある非ゼロ値を有する。もしもあるショット内にジャダー制御が全く存在しないならば、値はゼロである。このことは、ディスプレイ側におけるアルゴリズムが、ＦＲＣアルゴリズムに固有のＦＲＣ性能に基づいて異なる判断を下すのに役立つであろう。ディスプレイ側における既存のＦＲＣアルゴリズムは、映像フレームを補間する能力に制限が有る場合、ジャダー可視性の唐突なジャンプを回避するために、ジャダー制御を当該ショット全体のあらゆるフレームについて適用しようとするかも知れない。ＪＣＲ値に従って最も近い利用可能な映像フレームへと丸めをおこなうか、または何らかの形のジャダー可視性制御を当該ショット全体に適用するかの判断は、ディスプレイ側に一任される。

ショットが何らかのジャダー制御を含むかどうかを表すこの種の指標はまた、別個のメタデータを使用して実装してもよい。このメタデータは、ブール型であってもよいだろう。

４つの等間隔の映像フレームを補間することによって２４ｆｐｓから１２０ｆｐｓへの変換をおこなうことのできる、ＦＲＣの一例が考えられる。本例において、利用可能な映像フレームは、離散的な表示時刻ｔにある。但し、ｔ＝０，１，２，…である。あるショットの最初のフレームが、メタデータＢＦＲ＞０かつＪＣＲ＝０とともにディスプレイ側において受信されるとき、ディスプレイ側は、このショットにはジャダー制御が存在するが、最初のフレームからは始まらないものと推測し得る。２つの可能な選択肢を実施し得る。すなわち、１．当該ショット内の各時刻ｔにおいて、各入力フレームのＪＣＲに基づき算出される時間的位置ｆ（ｔ）に最も近い利用可能なフレームを表示すること。例えば、ある入力フレーム５＊ｎにおいてＪＣＲ＝０．６のとき、後続の４映像フレームは、理想的には５＊ｎ＋０．６，５＊ｎ＋１．２，５＊ｎ＋１．８，５＊ｎ＋２．４であり、これに最も近い利用可能な映像フレームはそれぞれ、５＊ｎ＋１，５＊ｎ＋１，５＊ｎ＋２，５＊ｎ＋２となるだろう。あるいは、２．当該ショット全体についてジャダー可視性制御をおこなうことを決定する。この場合、３：２プルダウンアーチファクトを導入することのない一つの解決策は、

と表せるであろう。

但し、ｔは、当該離散的な表示時刻である。この場合、効果的なＢＦＲは、３０ｆｐｓとなり、ディスプレイは、実際には０ ０ １ １， ４ ４ ５ ５， ８ ８ ９ ９， …のパターンを示している。他のジャダー可視性制御方式もまた、ディスプレイ側において適用し得、例えば、２４ｆｐｓのＢＦＲおよびいくつかの特定範囲のＪＣＲを使用すると、パターンは０ ０ ０ １ １， ５ ５ ５ ６ ６， …または０ ０ ２ ２ ２， ５ ５ ７ ７ ７， …などとなるだろう。但し、各インデックス数は、算出されたマッピングｆ（ｔ）を丸めたマッピングとして選択される。

いずれの場合にも、ＪＣＲおよびＢＦＲは各フレームにつき実装し得る。単一バイトの文字が、両方のメタデータのために十分に高い精度を有し得る。リファレンスディスプレイのメタデータに関しては、フレームベース、ショットベース、あるいはコンテンツベースでさえあってもよい。例えば、２つのフロート型を使用することにより、リファレンスディスプレイの最小および最大輝度を表現できるであろう。これに加えて、あるショットにジャダー制御が存在するかどうかを表すために、オプションとして、ブール型メタデータをショット毎またはフレーム毎に入れることもできる。

さらに、ＪＣＲは、フレーム内でさえも空間的に異なっていてよい。領域ベースまたは画素ベースで実装し得る。この空間的に異なるＪＣＲメタデータは、アーチファクトを回避するために滑らかに変化している必要があるだろう。

７．視覚モデルを用い、ディスプレイによるジャダー制御メタデータの使用をディスプレイメタデータに従って補正する
信号側のディスプレイメタデータとディスプレイ側のパラメータとを組み合わせることは、望まれない歪みだけでなく、望まれるジャダーの可視性および見た目のレベルをも、より細心に制御することにつながり得る。このことの動機として、ジャダーの時空間成分の可視性は、コントラスト感度によって（すなわち、ＣＳＦモデルを介して）表される信号コントラストに依存し、これが今度は視覚システムの明順応レベルに依存する（ＬＡ−ＳＴ−ＣＳＦによってモデル化されるように）という事実がある。例えば、明順応輝度が増加するにつれて、より高い時間周波数に対する感度が増大する。これは実際、図２９に示すように、明順応レベルの対数との線形関係に従う。図２９は、５つの例示的な偏心度（０、１０、２２°、４０°、および７０°）における、ｌｏｇ網膜照度に対する臨界融合周波数（ＣＦＦ）のプロットを表す。図２９は、参考文献［３］からの引用である。Ｆｅｒｒｙ−Ｐｏｒｔｅｒ関数との一致（直線（２９０５））において、偏心度に伴って傾きが顕著に増加することに注目することができる。信号側のディスプレイメタデータとディスプレイのパラメータとの相互作用によって、ディスプレイは、表示中の信号の正確な輝度レベルを知ることができるようになる。

図３０は、ジャダー制御アルゴリズムパラメータがどのようにしてディスプレイメタデータ（ＤＭ）によって補正され得るか、および、総合的な映像信号（３０１０）（本体（３００５）、メタデータ（３０１５、３０２０）、コンテナフォーマットなどを含む）のうちの画像部分（３００５）（「映像信号本体」と呼ぶ）がどのようにしてジャダー制御アルゴリズム（３０２５）によって処理され得るかについての、高レベルの説明を示している。図３０において、ジャダー制御アルゴリズム（３０２５）は、ディスプレイパラメータ（３０３０）およびジャダーメタデータ（３０１５、３０２０）によって補正される。いくつかの実施形態において、ジャダーメタデータは、ディスプレイメタデータ（３０１５）である。

図３１に見られるように、ディスプレイ信号メタデータは、入力信号（３１１０）の最小、中央、および最大を含み得る。ディスプレイのパラメータは、最小および最大輝度（３１１５）を含み得る。ジャダー制御アルゴリズムパラメータに対する変更の算出は、処理（３１０５）に示されている。

以下において、視覚モデルを用いる２つの実施形態を記載する。一つのアプローチは、視覚システムの時間的帯域幅を記述するＦｅｒｒｙ−Ｐｏｒｔｅｒの法則を直接的に使用することである。このアプローチを図３２に表わす。表示信号がより明るくなるにつれて、時間的帯域幅はＦｅｒｒｙ−Ｐｏｒｔｅｒの法則に従って増大し、その近似において、ジャダー可視性の全ての側面は比例的に増加するものと仮定する。よって、ある近似的な「最小可知差異」（ｊｕｓｔ ｎｏｔｉｃｅａｂｌｅ ｄｉｆｆｅｒｅｎｃｅ）（ＪＮＤ）、すなわち閾値を上回るスケールファクタが算出されて、ＪＮＤがより高いほど、ジャダーはそれだけ可視性がより高く、相応にスケールダウンされなければならないことを意味する。スケールダウンは、図２２におけるジャダーマッピング関数（２２１０）の傾きを変更することによっておこなう。図３２のダイアグラムにおいて、これを、動き補間勾配（３２０５）と呼ぶ。特に、傾きを増加することは、より低いジャダー成分を処理映像に導入することを意味する。ＪＮＤはまた、「超閾パラメータ」（ａｂｏｖｅ ｔｈｒｅｓｈｏｌｄ ｐａｒａｍｅｔｅｒ）と呼ぶこともある。

図３２に見られるように、Ｆｅｒｒｙ−Ｐｏｒｔｅｒの法則（３２２０）に基づくモデルを適用する前に、平均輝度（３２１０）および平均コントラスト（３２１５）を算出し得る。

視覚モデルを使用することへの第２のアプローチは、周波数応答に類似した、時空間コントラスト感度関数（ＳＴ−ＣＳＦ）の全体について考察することである。さらに、図３３に示すような、ＳＴ−ＣＳＦの明順応バージョン（ＬＡ−ＳＴ−ＣＳＦ）を使用することが可能である。Ｆｅｒｒｙ Ｐｏｒｔｅｒの法則は、ＬＡ−ＳＴ−ＣＳＦ、とりわけ図３３のモデルにおいて見られるような時間周波数境界の挙動（明順応が増加するにつれてより高い遮断周波数へと上昇するのを観察し得る）の中に含まれている。図３３は、６つの異なる輝度順応（ＬＡ）レベル１、１０、３４、１００、５００、および１０００ｃｄ／ｍ²における、新たな時空間ＣＳＦの等高線図を例示している。

ＬＡ−ＳＴ−ＣＳＦアルゴリズムの使用を、図３４に示す。図３４は、ＬＡ−ＳＴ−ＣＳＦアルゴリズムを用いることにより、ジャダーのＪＮＤを推定し、ジャダー制御アルゴリズムのパラメータを相応にスケーリングするアプローチの一例を示す。本実施形態において、全ての側面をＦｅｒｒｙ−Ｐｏｒｔｅｒに従ってスケーリングすることによって可視性が表されるものと仮定するのではなく、フレーム毎、ローカル領域毎、または画素毎の信号のコントラスト、ならびに結果として得られる明順応ＣＳＦを、具体的に考慮に入れている。ＣＳＦは、ある特定の明順応レベルに対する感度を与える。すると、これをもとに、閾値のコントラストを算出し得る（すなわち、ＪＮＤ）。入力のＪＮＤレベルは、信号コントラストを閾値コントラストで除算することによって算出することができ、これがＣＳＦモデルの出力となる。特に、閾値は感度の逆数である。

ジャダーの成分の可視性はＣＳＦに従うものと理解されるので、ジャダー制御アルゴリズムを介し、ＣＳＦの感度の逆数でジャダーの見た目をスケーリングすることは、広範囲のディスプレイ輝度レベル（および得られるコントラスト）にわたってジャダーの見た目を調整するように作用する。この調整は、動き補間勾配（２２１０）の制御を介しておこない得る。

もう一つの実施形態において、上記の方法は、ジャダーに関すると識別された画像内の領域のみに適用される。本実施形態において、ジャダー信号コントラストは、これらの領域の輝度に基づく。信号側のディスプレイメタデータおよびディスプレイのパラメータを使用することによって輝度への変換をおこなった後の領域のヒストグラムから、これを算出する。

８．逆トーンマッピングを伴うディスプレイにおけるジャダー可視性制御
時として、より高いダイナミックレンジを有するディスプレイにおいて、入力コンテンツが低ダイナミックレンジにグレーディングされていることがあるだろう。例えば、ブルーレイディスクは１００ニトにグレーディングされている。１００ニトのディスプレイ上で表示するように意図されたブルーレイコンテンツをより高いダイナミックレンジディスプレイへと直接に入力するとき、例えば参考文献［６］において説明されているように、逆トーンマッピングを適用することにより、入力される低ダイナミックレンジコンテンツを、ディスプレイの性能に応じて適切なダイナミックレンジへと変換することが可能である。いくつかの実施形態において、２４ｆｐｓコンテンツを、ディスプレイの有する例えば１２０ｆｐｓなどのより高いフレームレートへとフレームレート変換することも、また可能である。図３５は、このような、逆トーンマッピングおよびフレームレート変換の両方を含んだディスプレイシステムについてのフローチャートを示している。

逆トーンマッピングにより、静止画像の見映えを補正して、ディスプレイのダイナミックレンジに整合させることが可能であり、通常は、全体的な明度とコントラストが増加する。このことにより同時に、ディスプレイにおけるジャダー知覚は増大し得る。それゆえ、ここでジャダー可視性制御を適用することにより、フレームレート変換の助けを借りて、増大したジャダーの可視性を元のレベルに戻すように制御し得る。

ジャダー可視性の制御のために、一実施形態において、ベースフレームレートＢＦＲは表示フレームレートに基づいて選択することができ、ジャダー制御レートＪＣＲは、入力コンテンツおよび逆トーンマッピングされた出力、ならびに入力のターゲットディスプレイ（通常は、１００ニトの最大輝度）および実際のディスプレイのダイナミックレンジに基づき、本開示における上記の方法によって算出できる。図３６は、全体的なフローチャートを示している。

もう一つの実施形態において、ジャダー制御方法は、画像シーケンス中の、逆トーンマッピング後に変化したジャダー知覚を伴うと識別されるローカル領域にのみ適用され、ジャダー可視性制御をこれらのローカルな空間的および時間的領域に適用する。

同様に、ディスプレイ側における、ジャダー知覚を変化させるであろう任意の後処理アルゴリズムの後には、ジャダー可視性制御ブロックが続くことになる。このブロックは、ジャダー性が変化した位置および量を推定し、入力グレーディングコンテンツにおけるのと同一量のジャダー知覚をターゲットディスプレイのために保持しようとし得る。

図３７は、ジャダー制御装置の一例を示す。ディスプレイ（３７０５）は、本開示に記載の方法のいずれかを適用するように構成されたジャダー制御デバイス（３７１０）を備え得る。ディスプレイ（３７０５）は、入力フレーム（３７１５）を受信することができ、その一方で、ジャダー制御デバイス（３７１０）は、本開示における上記のメタデータなどのジャダー制御データ（３７２０）を受信することができる。データ（３７２５）は、ジャダー制御デバイス（３７１０）からディスプレイ（３７０５）へと送信でき、その逆に（３７３０）送信してもよい。

本開示において、いくつかの方法はショット毎に適用できる。当該分野の当業者には理解されるように、シーンカットとカメラアングルカット（通常、同一シーン中にある）とを説明する、より微妙なレベルの区別が存在する。ショットとは、シーンカットおよびカメラアングルカットの両方を含み得る用語である。いくつかの実施形態において、本開示のジャダーメタデータの方法はシーンカットに基づくのであって、カメラアングルカットに基づくのではない。

本開示において、従って、コンピュータによって少なくとも２つの画像を提供する工程と、コンピュータによってジャダーマップを算出する工程であって、ジャダーマップは少なくとも２つの画像の少なくとも１つの画素についてのジャダー情報を含んでいる、工程と、ジャダーマップに基づいて少なくとも１つの画素を処理する工程と、を包含する方法が記載されている。

少なくとも１つの画素を処理することは、いくつかの画素により形成された画像の領域を処理することを含み得る。処理することは、異なる映像処理技術を適用することを含んでよく、異なる技術を、または異なるパラメータを用いた同一の技術を、異なる画素に対し、ジャダーマップに含まれた当該画素に関するジャダー情報に基づいて適用し得る。

図１６は、図１〜１５の実施形態を実装するためのターゲットハードウェア（１０）（例えば、コンピュータシステム）の実施形態例である。このターゲットハードウェアは、プロセッサ（１５）、メモリバンク（２０）、ローカルインターフェースバス（３５）、および１つ以上の入出力デバイス（４０）を備える。プロセッサは、メモリ（２０）に格納されたある実行可能プログラム（３０）に基づいてオペレーティングシステム（２５）により提供される、図１〜１５の態様に関する１つ以上の命令を実行し得る。これらの命令は、ローカルインターフェース（３５）を介し、かつ、ローカルインターフェースおよびプロセッサ（１５）に固有の何らかのデータインターフェースプロトコルにより規定されるように、プロセッサ（１５）へと搬送される。ローカルインターフェース（３５）は、プロセッサに基づいたシステムの複数の要素間においてアドレス、制御、および／またはデータ接続を提供することに広く向けられた、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、およびレシーバなどのいくつかの要素の記号表現であることに留意されたい。いくつかの実施形態において、プロセッサ（１５）は、実行されるべき命令のうちいくつかを格納して実行速度をいくらか増すことのできる、いくらかのローカルメモリ（キャッシュ）を備え得る。プロセッサによる命令の実行のためには、ハードディスクに格納されたファイルからデータを入力すること、キーボードからコマンドを入力すること、タッチスクリーンからデータおよび／またはコマンドを入力すること、ディスプレイへとデータを出力すること、またはＵＳＢフラッシュドライブへとデータを出力することなど、何らかの入出力デバイス（４０）の使用が必要となり得る。いくつかの実施形態において、オペレーティングシステム（２５）は、プログラムの実行のために必要となる様々なデータおよび命令を集めてこれらをマイクロプロセッサへと提供するための中心要素となることで、これらのタスクを容易にする。いくつかの実施形態において、オペレーティングシステムは存在しないこともあり、このとき、ターゲットハードウェアデバイス（１０）の基本的なアーキテクチャは図１６に表わすものと同一のままであるだろうが、全てのタスクはプロセッサ（１５）によって直接に制御される。いくつかの実施形態において、実行速度を増すために、複数のプロセッサを並列構成で使用し得る。このような場合、実行可能プログラムを、並列実行に合わせた特別仕様にしてもよい。また、いくつかの実施形態において、プロセッサ（１５）は図１〜１５の態様の一部を実行してもよく、ある他の部分を、ローカルインターフェース（３５）を介してターゲットハードウェア（１０）がアクセスできる入出力位置に配置された、専用のハードウェア／ファームウェアを用いて実施することが可能である。ターゲットハードウェア（１０）は複数の実行可能プログラム（３０）を含むことができ、それぞれを独立して、またはお互いに組み合わせて実行し得る。

本開示に記載の方法およびシステムは、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで、実装し得る。ブロック、モジュール、またはコンポーネントとして記載された要素は、一緒に（例えば、集積ロジックデバイスなどのロジックデバイスで）実装してもよいし、あるいは別々に（例えば、接続された別個のロジックデバイス群として）実装してもよい。本開示の方法のソフトウェア部分は、実行されるときに本記載の方法を少なくとも部分的におこなう命令を含んだコンピュータ可読媒体を含み得る。コンピュータ可読媒体は、例えば、ランダムアクセスメモリ（ＲＡＭ）および／または読み出し専用メモリ（ＲＯＭ）を含み得る。命令は、プロセッサ（例えば、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、グラフィックプロセッシングユニット（ＧＰＵ）または汎用ＧＰＵ）によって実行できる。

本開示の数々の実施形態を記載した。しかし、本開示の趣旨および範囲から離れることなく様々な改変を成し得ることが理解されるであろう。従って、他の実施形態が、以下に続く請求項の範囲に含まれる。

上記に提示した例は、当該分野に通常の熟練を有する当業者に対し、本開示の実施形態を作成して使用する方法を完全に開示かつ説明するものとして提供されているのであって、発明者／発明者らが自らの開示であると考えるものの範囲を限定するようには意図されていない。

本明細書中に開示された方法およびシステムを実行するための上記の態様に対する改変であって当該分野の当業者にとって明らかなものは、以下に続く請求項の範囲に含まれるものとして意図されている。本明細書において言及された全ての特許および公開は、本開示が関する当該分野の当業者の技術レベルを示す。本開示に引用された全ての文献は、各文献が個別にその全ての開示内容を援用されている場合と同程度に、援用される。

本開示は、特定の方法またはシステムには限定されず、もちろん変化し得ることを理解されたい。また、本明細書で用いられる用語は、特定の実施形態を記載する目的のためだけのものであり、限定するようには意図されていないことも理解されたい。本明細書および添付の請求項において用いるとき、単数形の「ある（ａ）」、「一つの（ａｎ）」、および「この（ｔｈｅ）」は、内容によって明らかにそうでないと決まらない限り、複数の指示対象を含む。「複数（ｐｌｕｒａｌｉｔｙ）」という用語は、内容によって明らかにそうでないと決まらない限り、２つ以上の指示対象を含む。別途の定義のない限り、本明細書で用いられる全ての技術的および科学的な用語は、本開示が関する当該技術の当業者によって一般に理解されるものと同一の意味を有する。

下記の文献リストに示された本願における参考文献について、その開示内容を全て本願に援用する。

参考文献
［１］２０１５年２月２３日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１５／０１７１１０号。
［２］米国特許出願公開第２０１４／００９８８８６号としてもまた公開された、２０１２年５月２４日付け出願のＰＣＴ出願シリアル番号第ＰＣＴ／ＵＳ２０１２／０３９３３８号。
［３］米国特許第８，３６３，１１７号。
［４］Ｗａｔｓｏｎ， Ａｎｄｒｅｗ Ｂ．， Ａｌｂｅｒｔ Ｊ． Ａｈｕｍａｄａ Ｊｒ， ａｎｄ Ｊｏｙｃｅ Ｅ． Ｆａｒｒｅｌｌ． “Ｗｉｎｄｏｗ ｏｆ ｖｉｓｉｂｉｌｉｔｙ： ａ ｐｓｙｃｈｏｐｈｙｓｉｃａｌ ｔｈｅｏｒｙ ｏｆ ｆｉｄｅｌｉｔｙ ｉｎ ｔｉｍｅ−ｓａｍｐｌｅｄ ｖｉｓｕａｌ ｍｏｔｉｏｎ ｄｉｓｐｌａｙｓ．” ＪＯＳＡ Ａ ３．
３ （１９８６）： ３００−３０７．
［５］Ｔｙｌｅｒ， Ｃｈｒｉｓｔｏｐｈｅｒ Ｗ．， ａｎｄ Ｒｕｓｓｅｌｌ Ｄ． Ｈａｍｅｒ． “Ａｎａｌｙｓｉｓ ｏｆ ｖｉｓｕａｌ ｍｏｄｕｌａｔｉｏｎ ｓｅｎｓｉｔｉｖｉｔｙ． ＩＶ． Ｖａｌｉｄｉｔｙ ｏｆ ｔｈｅ Ｆｅｒｒｙ−Ｐｏｒｔｅｒ ｌａｗ．” ＪＯＳＡ Ａ ７．
４ （１９９０）： ７４３−７５８．
［６］米国特許出願公開第２０１５／０７７３２９号としてもまた公開された、２０１３年１１月２２日付け出願の米国仮特許出願シリアル番号第６１／９０７，９９６号。

Claims (26)

1. ジャダーの知覚の遮断フレームレートに満たないフレームレートにおいて符号化された映像のジャダー可視性を制御する、ディスプレイ側でコンピュータ実装される方法であって、ここでジャダーとは、前記遮断フレームレートに満たない前記フレームレートにおける前記符号化に起因して、滑らかでない動きの結果として生じる視覚的歪みを指し、
   少なくとも２つの入力映像フレームを提供する工程と、
   前記少なくとも２つの入力映像フレームに基づいてコンテンツ制作側のコンピュータにより生成されたジャダー制御メタデータを受信する工程と、
   前記ジャダー制御メタデータをフレームレート制御アルゴリズムに適用する工程であって、前記フレームレート制御アルゴリズムは、前記少なくとも２つの入力映像フレームを補間するように構成され、これにより、前記補間される映像フレームは、前記コンテンツ制作側において意図されて前記ジャダー制御メタデータにより規定された期待されるレベルのジャダー可視性を有するようになる、工程と、
   を包含し、
   前記少なくとも２つの入力映像フレームに基づいてジャダー制御メタデータを生成する前記工程は、
   前記適用されたジャダー制御についてのフィードバックを提供する工程と、
   前記フィードバックに基づき、前記ジャダー制御メタデータを補正する工程と、
   をさらに含む、方法。
2. 前記ジャダー制御メタデータはベースフレームレートを含み、ここで前記ベースフレームレートとは、適用された前記所望のレベルのジャダーを用いて、前記少なくとも２つの入力映像フレームにおける前記ジャダー制御あるいはフィルムらしさの体験を視覚的に検証するために使用されたフレームレートを指している、請求項１に記載の方法。
3. 前記ジャダー制御メタデータはジャダー制御レートをさらに含み、前記ジャダー制御レートは、適用されるべきジャダーの量を、ジャダーが皆無の状態とジャダー制御を適用しない場合にベースフレームレートにおいて存在するジャダーの量との間で規定する、請求項２に記載の方法。
4. 前記ジャダー制御メタデータは、前記ジャダー制御メタデータが関連付けられている特定のフレームまたはショットについてジャダー制御の有無を通知するパラメータを含み、ここで前記ショットとはフレームのシーケンスを指している、請求項３に記載の方法。
5. 前記補間された映像フレームを、前記ディスプレイ側における出力ディスプレイ上に表示する工程をさらに包含する、請求項１に記載の方法。
6. 前記ジャダー制御メタデータは、ジャダーを制御するために使用された前記コンテンツ制作側におけるリファレンスディスプレイのディスプレイパラメータを含む、請求項３に記載の方法。
7. 前記ディスプレイパラメータは、最小および最大輝度を含む、請求項６に記載の方法。
8. 前記ジャダー制御メタデータおよび前記ディスプレイ側における出力ディスプレイのディスプレイパラメータに基づいて前記ジャダー制御レートおよび前記ベースフレームレートを調節する工程をさらに包含する、請求項６に記載の方法。
9. 前記ジャダー制御メタデータにより示される前記ベースフレームレートとは異なる周期を前記ディスプレイ側における出力ディスプレイが使用するとき、前記ジャダー制御レートを補正する工程をさらに包含する、請求項３に記載の方法。
10. ショット毎の処理に対して、フレーム毎の処理に対して、または前記少なくとも２つの入力映像フレームのコンテンツに基づいて、前記ジャダー制御メタデータを調節する工程をさらに包含し、ここでショット毎の処理とはフレームのシーケンスに適用される処理を指している、請求項１に記載の方法。
11. 前記ディスプレイ側における出力ディスプレイのディスプレイパラメータに基づいて前記ジャダー制御メタデータを調節する工程をさらに包含する、請求項１に記載の方法。
12. ショット境界内における前記ジャダー制御レートを平滑化することによって前記ショット境界内におけるジャダー可視性の唐突な変化を防止する工程をさらに包含し、ここでショットとはフレームのシーケンスを指している、請求項３に記載の方法。
13. 前記ジャダー制御メタデータは、ジャダー制御の有無を表すメタデータパラメータをさらに含む、請求項３に記載の方法。
14. ジャダーの知覚の遮断フレームレートに満たないフレームレートにおいて符号化されたビデオのジャダー可視性を制御する、ディスプレイ側でコンピュータ実装される方法であって、ここでジャダーとは、前記遮断フレームレートに満たない前記フレームレートにおける前記符号化に起因して、滑らかでない動きの結果として生じる視覚的歪みを指し、
    少なくとも２つの入力映像フレームを提供する工程と、
    前記少なくとも２つの入力映像フレームに基づいてコンテンツ制作側のコンピュータによって生成されたジャダー制御メタデータを受信する工程と、
    ディスプレイ信号メタデータを提供する工程であって、前記ディスプレイ信号メタデータは、入力信号の最小、中央、および最大を含む、工程と、
    出力ディスプレイパラメータを取得する工程であって、前記出力ディスプレイパラメータは、前記コンテンツ制作側において意図される期待されるレベルのジャダー可視性を決定するために使用されたリファレンスディスプレイの最小および最大輝度を含む、工程と
    前記ジャダー制御メタデータを、フレームレート制御アルゴリズムに適用する工程であって、前記フレームレート制御アルゴリズムは、前記少なくとも２つの入力映像フレームを補間するように構成され、これにより、前記補間された映像フレームは、前記コンテンツ制作側において意図されて前記ジャダー制御メタデータ、前記ディスプレイ信号メタデータ、および前記出力ディスプレイパラメータによって規定された前記期待されるレベルのジャダー可視性を有するようになる、工程と、
    を包含する方法。
15. ジャダーの知覚の遮断フレームレートに満たないフレームレートにおいて符号化された映像の動きの滑らかさを制御する、ディスプレイ側でコンピュータ実装される方法であって、ここで動きの滑らかさ、すなわちジャダーとは、前記遮断フレームレートに満たない前記フレームレートにおける前記符号化に起因して、滑らかでない動きの結果として生じる視覚的歪みを指し、
    少なくとも２つの入力映像フレームを提供する工程と、
    前記少なくとも２つの入力映像フレームに基づいてコンテンツ制作側におけるコンピュータによって生成されたジャダー制御メタデータを受信する工程であって、前記少なくとも２つの入力映像フレームに基づいて前記コンテンツ制作側の前記コンピュータによって生成された動きの滑らかさマッピング曲線を受信する工程を含む、工程と
    ディスプレイ信号メタデータを提供する工程であって、前記ディスプレイ信号メタデータは、入力信号の最小、中央、および最大を含む、工程と、
    前記ディスプレイ信号メタデータに基づき、前記少なくとも２つの入力映像フレームについて平均輝度および平均コントラストを算出する工程と、
    前記平均輝度および平均コントラストに基づき、超閾パラメータを算出する工程と、
    前記動きの滑らかさマッピング曲線を、動きの滑らかさ制御に適用する工程であって、前記動きの滑らかさ制御は、前記少なくとも２つの入力映像フレームを補間するように構成され、これにより、前記補間された映像フレームは、前記コンテンツ制作側において意図されて前記動きの滑らかさマッピング曲線および前記超閾パラメータによって規定された期待されるレベルのジャダー可視性を有するようになり、前記動きの滑らかさマッピング曲線を前記動きの滑らかさ制御に適用する前記工程は、前記超閾パラメータに基づいて動き補間勾配を変更する工程を含む、工程と、
    を包含する方法。
16. 超閾パラメータを算出する前記工程は、Ｆｅｒｒｙ−Ｐｏｒｔｅｒの法則に基づく、請求項１５に記載の方法。
17. 超閾パラメータを算出する前記工程は、時空間コントラスト感度関数に基づく、請求項１５に記載の方法。
18. 前記時空間コントラスト感度関数は明順応性である、請求項１７に記載の方法。
19. 前記超閾パラメータは、入力信号コントラストを閾値コントラストで除算することによって算出される、請求項１８に記載の方法。
20. 前記少なくとも２つの入力映像フレームについて少なくとも１つの空間的領域を選択する工程をさらに包含し、前記動きの滑らかさマッピング曲線を前記動きの滑らかさ制御に適用する前記工程は、前記少なくとも１つの空間的領域に限定されている、請求項１５に記載の方法。
21. 前記少なくとも１つの領域の輝度を算出する工程をさらに包含する、請求項２０の方法。
22. さらに、
    前記少なくとも２つの入力映像フレームに逆トーンマッピングを適用する工程と、
    前記逆トーンマッピングに基づき、前記ジャダー制御レートを調節する工程と、
    を包含する、請求項８に記載の方法。
23. 前記少なくとも２つの入力映像フレームについて少なくとも１つの領域を選択する工程をさらに包含し、前記動きの滑らかさマッピング曲線を前記動きの滑らかさ制御に適用する前記工程は、前記少なくとも１つの領域に限定されている、請求項１５に記載の方法。
24. 前記閾値コントラストは、動き補間勾配を変更するためにある、請求項１９に記載の方法。
25. ジャダーの知覚の遮断フレームレートに満たないフレームレートにおいて符号化された映像のジャダー可視性を制御する、ディスプレイ側でコンピュータ実装される方法であって、ここでジャダーとは、前記遮断フレームレートに満たない前記フレームレートにおける前記符号化に起因して、滑らかでない動きの結果として生じる視覚的歪みを指し、
    少なくとも２つの入力映像フレームを提供する工程と、
    前記少なくとも２つの入力映像フレームに基づいてコンテンツ制作側のコンピュータにより生成されたジャダー制御メタデータを受信する工程と、
    前記ジャダー制御メタデータをフレームレート制御アルゴリズムに適用する工程であって、前記フレームレート制御アルゴリズムは、前記少なくとも２つの入力映像フレームを補間するように構成され、これにより、前記補間される映像フレームは、前記コンテンツ制作側において意図されて前記ジャダー制御メタデータにより規定された期待されるレベルのジャダー可視性を有するようになる、工程と、
    を包含し、
    前記ジャダー制御メタデータは、ジャダー制御レートおよびベースフレームレートを含み、ここで、前記ジャダー制御レートは、適用されるべきジャダーの量を、ジャダーが皆無の状態とジャダー制御を適用しない場合に前記ベースフレームレートにおいて存在するジャダーの量との間で規定し、前記ベースフレームレートとは、適用された前記所望のレベルのジャダーを用いて、前記少なくとも２つの入力映像フレームにおける前記ジャダー制御あるいはフィルムらしさの体験を視覚的に検証するために使用されたフレームレートを指している、方法。
26. ディスプレイ側におけるジャダー制御のための装置であって、
    少なくとも２つの入力映像フレームを受信するように構成された出力ディスプレイと、
    前記少なくとも２つの入力映像フレームに基づくジャダー制御メタデータを受信するように構成されたジャダー制御デバイスと、
    前記出力ディスプレイと前記ジャダー制御デバイスとの間の通信手段と、
    を備え、
    前記ジャダー制御デバイスは、請求項１から２５のいずれかに記載の方法を実行するように構成されている、装置。

Images