JP7278714B2 - フィルムスキャニング - Google Patents

Description

本開示はフィルムのデジタル化に関し、より具体的にはフィルムスキャニングに関する。

フィルムスキャニングはビデオデータを生成するためにフィルムのフレームをデジタル形式に変換するプロセスである。Ｒａｎｋ Ｃｉｎｔｅｌ Ｌｉｍｉｔｅｄ社の米国特許第５，６５０，８１６号にはフィルムスキャン装置のフィルムの不安定性補正機構が記載されている。本特許はフィルム画像をビデオ信号に変換するテレシネについて記載しているが、カメラにも応用することができる。しかし、この特許が取り組む不安定性の課題はデータ記憶システムに保存するためにフィルムをスキャンしてデジタル化するフィルムスキャナにも存在する。

一般的に、フィルムスキャナは光源とフィルム経路の反対側に置かれたレシーバとを備える。スキャンされるフィルムは高精度の搬送機構により搬送されて光源とレシーバを通過し、フィルムの各フレームが連続的にスキャンされる。スキャニングは光源を駆動し光がフィルムを通過してレシーバに受光されるように行われる。最新のフィルムスキャナは、フィルムがフレームベースでスキャンされ通常は電荷結合素子（ＣＣＤ）又はＣＭＯＳ撮像チップである、二次元広視野レシーバを使ってフィルムのフレーム全体を同時に撮像する。米国特許第５，６５０，８１６号に述べられているように、フィルムスキャンの際は各フレームが相互に正しい位置に置かれることが基本的に重要である。そうでないと、再生する際に映像が乱れるという意味で、結果として生じるビデオ信号やビデオデータが不安定になる。

米国特許第５，６５０，８１６号は、スキャンニングプロセスにおいて測定された不安定を補正するためにフィルムに対するスキャンの位置をシフトするためのスキャニング手段を位置調整する補正信号を発生させてこの課題に対処する。しかし実際の不安定性はフレームごとに変わり、ひとつのフレームから次に続くフレームへと変化するものなので、この特許で用いられるフィードバック機構は画像の不安定性について単に部分的に補正するに過ぎない。

したがって、本開示はこの欠陥に対処し、あるいは少なくともそれに対する代替機構を提供することを目的とする。明細書に記載の従来技術の参照は、その従来技術が常識の一部であることを裁判管轄を問わず承認又は示唆されるものではなく、あるいはその従来技術が当業者によって従来技術の別の部分に関連すると見なされ、及び／又はそれと組み合わされると見なされると合理的に予測できることが承認又は示唆されるものではない。

本開示の第一の態様は、一連の画像フレームを運ぶフィルム基板と、画像フレームとの所定の位置関係において一連の画像フレームに隣接する位置でフィルムに沿って離間する複数の搬送用ミシン目とを含むフィルムをスキャンする方法を提供し、該方法は：
スキャンされる一以上の画像フレームの少なくとも一部を含むフィルムの一部分を照明し；
フィルムを通過する光を捕捉して一以上の画像フレームの少なくとも一部、及び一以上の搬送用ミシン目の少なくとも一部のデジタル画像からなる撮像フレームを含むデジタル画像を取得し；
デジタル画像を処理して搬送用ミシン目の少なくとも一つのうち少なくとも一つのエッジの位置を検出し；検出されたエッジの少なくとも一つと対応の基準位置との比較に基づいて少なくとも撮像フレームに対応する画像オフセットを決定し；
画像オフセットを表す信号を発生して少なくとも撮像フレームのアライメントを可能にすることを含む。

フィルムの搬送用ミシン目は一般的にフィルムの長手方向に沿って直線状に離間する一連のミシン目からなる。損傷、劣化、製造時の欠陥が無ければ、ミシン目の形状や位置は通常は統一されている。

デジタル画像を処理して搬送用ミシン目の少なくとも一つのうち少なくとも一つのエッジの位置を検出することは、デジタル画像内の対象領域内で：
対象領域内の少なくとも一つのエッジを検出し；
検出されたエッジの少なくともサブセットをエッジの予期された位置を表す複数の基準位置と比較することを含んでも良い。

該方法はさらにフィルムの長手方向を横断する方向に伸びるエッジを検出することを含んでもよい。

理解されるように、デジタル画像は画像センサの対応する位置で受光する光の強度を表す複数の画素値を含む。この場合、フィルムの長手方向を横断する方向にエッジを検出することは：フィルムの長手方向を横断する方向に伸びる複数のバンドの対象領域内の複数の画素値を平均化しフィルムの長手方向に沿った異なる位置にそれぞれが対応する複数の値を含むアレイを発生することを含んでも良い。該方法はさらにエッジを検出するためにアレイを処理することを含んでも良い。好ましくは、該方法はエッジ検出フィルタをアレイに装着することを含んでも良い。複数の異なる長さのエッジ検出フィルタを装着しても良い。

検出されたエッジの少なくとも一つと対応する基準位置との比較に基づいて画像オフセットを決定することは：
複数の検出されたエッジに対し、エッジの位置と複数の基準位置とを比較し複数のエッジに対する画像オフセットを決定することを含んでも良い。

該方法は第一の複数の検出されたエッジを判定し、該エッジを第二の複数の基準位置と比較することを含み、検出されたエッジ数が基準位置数を超えており；第一の複数のエッジから検出されたエッジのサブセットを選択して画像オフセットを決定する。

該方法は検出エッジの選択されたサブセットのエッジ毎に対応する基準位置からのオフセットを決定する。画像オフセットの決定は複数のオフセットに基づいて行われることが好ましい。これは、決定されたオフセットの代表値を決定し、前記代表値からの所定距離内のこれらの検出エッジに基づいて画像オフセットを決定することで実行されても良い。

他の実施態様では、前記検出されたエッジの少なくとも一つと、対応する基準位置との比較に基づいて画像オフセットを決定することは、エッジ検出フィルタの出力とエッジの予期された位置を表す複数の基準位置との相関関係を決定することを含めても良い。

エッジ検出フィルタの出力と複数の基準位置との間で最良の相関関係を生成するオフセットを画像オフセットとして使用することが好ましい。

上記方法は画像オフセットを決定する検出エッジのサブセット内のエッジよりも高い振幅を有する検出エッジが存在する場合に故障状態の判定、好ましくはフィルムの損傷、劣化、又は汚れの表示を含めても良い。

一形態において画像オフセットを表す信号を生成することにより連続する撮像フレームのデジタル画像を復元する際に、連続する撮像フレームのアライメントを可能にする。この方法は撮像フレームに加えられる画像オフセットを表すメタデータの生成を含めても良い。メタデータは好ましくは撮像フレームを表すデータとともにデータファイルに記憶される。

一形態において撮像フレームのデジタル画像を復元する際に連続する画像フレームのアライメントを可能にするために画像オフセットを表す信号を生成することは、連続する撮像フレームの相対的位置を画像復元中に直接調整するために、ビデオ再生装置に与える制御信号を生成することを含めても良い。

本開示の第二の態様は、一連の画像フレームを運ぶフィルム基板と、前記画像フレームとの所定の位置関係において一連の画像フレームに隣接する位置でフィルムに沿って離間する複数の搬送用ミシン目とを含むタイプのフィルムをスキャンする過程で故障を識別する方法を提供する。該方法は、スキャンされる一以上の画像フレームの少なくとも一部を含むフィルムの一部を照明し；フィルムを通過する光を捕捉して一以上の前記画像フレームの少なくとも一部、及び一以上の前記搬送用ミシン目の少なくとも一部のデジタル画像からなる撮像フレームを含むデジタル画像を取得し；前記デジタル画像を処理して前記搬送用ミシン目の少なくとも一つにある少なくとも一つのエッジ位置を検出し；第一の複数の検出エッジを決定してそれを第二の複数の基準位置と比較し、その場合検出エッジの数は基準位置の数を超えるものとし；画像オフセットを決定するために前記第一の複数のエッジから検出した検出エッジの一部を選択し；選択された検出エッジの一部の中のエッジよりも高い振幅を有する検出エッジが存在する場合に故障状態を判定することを含めても良い。該方法は故障状態を示す信号を送信することを含めても良い。

本開示のさらなる態様は、光源と；フィルムを通過する光を捕捉するように配置されて一以上の前記画像フレームの少なくとも一部、及び一以上の前記搬送用ミシン目の少なくとも一部のデジタル画像からなる撮像フレームを含むデジタル画像を取得する画像撮像システムと；取得された画像データを処理するデータ処理システムとを含むフィルムスキャン装置を提供し、該フィルムスキャン装置はここに記載の方法を実施するために構成される。画像撮像システムに対するフィルムの相対位置を調節するために搬送システムを設けても良い。

ここで使用される用語の“ｃｏｍｐｒｉｓｅｓ”及びその変化形の“ｃｏｍｐｒｉｓｉｎｇ”、“ｃｏｍｐｒｉｓｅｓ”、“ｃｏｍｐｒｉｓｅｓ”等は、文脈からそれを必要としない場合は、さらなる添加剤、コンポーネント、整数又はステップを除外することを意図しない。

本開示のさらなる形態及び先行するパラグラフに記載された形態のさらなる実施例は例を挙げ添付図面を参照してなされる以下の説明によって明らかとなる。

フィルムスキャンシステムを説明する概略図である。 本開示の実施例においてフィルムのセグメントの例とスキャン領域を説明する図である。 （ａ）は、第一の実施例においてミシン目のエッジが検出される対象領域を説明する図である。（ｂ）は、対象領域内のバンドで実行される平均化処理の出力を説明する図である。（ｃ）は、図３（ｂ）の平均化データ上のエッジ検出フィルタの出力を示す図である。（ｄ）は、検出エッジの位置を示す図である。（ｅ）は、実施例で使用される理論上の基準エッジ位置を示す図である。（ｆ）は、理論上の基準エッジと図３（ｄ）の検出エッジとの間の位置の相関関係を示す図である。 （ａ）～（ｆ）はそれぞれ図３（ａ）～図３（ｆ）と同等の図であり、対象領域のアーチファクトによって疑似エッジが検出されることを説明する図である。 本開示の実施例を実施する模範的フィルムスキャンシステムのブロック図である。 本開示の実施例を実施する模範的フィルムスキャンシステムのブロック図である。

図１はフィルムスキャンシステム１０を説明する概略図である。フィルムスキャンシステム１０は：
通常はランプやＬＥＤ照明システムからなる光源１２を一般的に含む。

フィルム搬送システム１４は一連のローラとフィルムガイドからなり、スキャニングの間フィルム２００を制御して移動させる。

光学システム１８は一以上のレンズやミラーを含み光源１２からフィルムを通して送られる光の焦点が正しく合うようにする。

イメージングシステム２０は通常電荷結合素子（ＣＣＤ）又はＣＭＯＳ画像センサと関連読み出しハードウェアを含んでいる。イメージングシステムは光を受光して受光した光を表すデジタルデータを既知の位置（ピクセル）で発生させることにより画像が復元されデジタル出力される。

さらにデータ処理システム２２が設けられている。データ処理システム２２は特定用途向け集積回路（ＡＳＩＣ）やフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロプロセッサー等の一以上のデータプロセッサーを含み、様々の画像処理タスクを実行するように構成される。これらのタスクは、例えばデッドピクセルを除去したりピクセル間の変換効率のムラを補正することにより、レンズの歪み等好ましくない光学効果の補正やコモンノイズの低減や撮像画像データのピクセル間のムラの補正等を含む。カラーフィルタアレイを使って動作するイメージングシステム２０の場合、画像処理システム２２は下流での画像の使用や使用されるデータ処理用パイプラインに応じて、撮像画像を異なるカラープレーンへデモザイシングする。実施例では、画像処理システム２２はさらにデジタル画像を分析して画像の安定化が行えるようにする。理解されるように、画像処理システム２２はイメージングシステム２０によって生成されたデータを記憶するためにワーキングメモリを備えており、適宜そのデータ処理機能を遂行するために必要なソフトウェアアプリケーション及び／又はデータライブラリやファイルを備える。

図２－５Ｂを参照して画像安定化のプロセスを説明する。まずフィルム２００のセグメントを示す図２を参照する。フィルム２００は光学データを保存する基板２０２を含む。基板２０２はフィルムの特定領域にエンコードされるオーディオトラックを有しても良いが、ここではその詳細について記載しない。フィルム２００は各長手方向のエッジ２０４ａ、２０４ｂに沿って一連のミシン目２０６を有する。これらミシン目はフィルムの移動を必要とする復元等の過程で機械スプロケットによりフィルムの移動を可能にする。図１に示すシステムでは、ミシン目２０６は搬送システム１４で使われてフィルムを移動させる。しかし実施例によってはフィルムの移動は他の機構、例えばピンチローラ等の間に固定することでミシン目の破損や構造上の欠陥の有無にかかわらずフィルムを搬送できる。フィルム２００はさらに一連の画像フレーム２０８ａ，２０８ｂを有する。当業者により理解されるように、フィルムストックは通常は既知の規格でつくられる。規格を定めるのはメーカ、メーカのグループ又は業界であっても良いが、フレームのサイズと位置、搬送用ミシン目のサイズと位置、及びオーディオトラック、メタデータのメモリ等は通常は知られている。重要なのは画像フレーム２０８ｂに対しミシン目の位置とそのサイズを知ることである。即ち、どのフィルムに対しても理論上予め定めた規格を決めることできる。

当業者に理解されるように、フィルム２００は図２に図示されたものより基本的に長く、共に映像を形成する複数のフレームを有する。スキャニングの間、フィルム２００はフレーム毎に通常段階的に移動して光源１２を通過する。フレームが画像撮像システム２０と同調して光源に照らされると、特定フレームのデジタル画像が捕捉される。言うまでもなく光源はパルス状であっても、連続照明であっても良い。

本開示の実施例では、フィルムの画像フレーム部分、例えば２０８Ｂだけを撮像するのではなく、破線のボックスで示すより大きな領域２１０のデジタル画像が撮像される。領域２１０の形状とサイズは実施例毎に異なり、与えられたフィルムの個別のスキャニング要件に応じてユーザが選んでも良い。例えば、領域２１０は二以上の画像フレーム（２０８Ａ，２０８Ｂ）のデジタル画像が一度に撮像されるように選択されても良い。この場合、複数の撮像フレームが単一の撮像プロセスにより生成される。

逆に、かつ一般的には、単一の画像フレーム２０８Ｂの一部のみをデジタル画像に含めても良い。この場合、撮像フレームはフィルムの画像フレームの一部のみとなる。これは、フィルムの４：３画像フレームが１６：９のフォーマットでスキャンされる場合のように、フィルムの画像フレームのアスペクト比がデジタル撮像フレームの望ましいアスペクト比と異なる場合に生じうる。デジタル画像内にフレーム２０８ｂに隣接する複数の搬送用ミシン目２０６ａ，２０６ｂ，２０６ｃ，２０６ｄの少なくとも一部を含む対象領域２１２を定める。

この対象領域２１２は好ましい実施例において、映像の中の少なくとも一つの隣接する撮像フレームに対して撮像フレームの正しいアライメントを決めるために、さらなる画像処理に使われる。

フィルムに適用される規格に基づいて、画像フレーム２０８ｂの位置に対するミシン目２０６ａから２０６ｄの一以上のエッジの理論上の基準位置のセットが決められる。下記に説明するように、これら基準ポイントは本実施例で使われ、映像のスキャンされる画像に対し相互に、スキャンされるフレーム２０８ｂの正しいアライメントを決定する。

上記のように、使用時、フレーム２０８ｂがフィルムスキャナのイメージセンサ２０と同調するとき光がフィルムを通過して領域２１０のデジタル画像が得られる。その後データ処理システムが以下に示すさらなる分析のために対象領域２１２を選択する。

説明する実施例では、イメージセンサ２０はＣＭＯＳセンサであり、従来のＲＧＢベイヤーカラーフィルタ－アレイをそれに貼り付けている。したがってイメージセンサ２０の出力はＲＧＧＢベイヤーモザイクパターンである。説明する実施例では、ベイヤーパターンの赤画素だけが対象領域２１２の画像分析に使われる。しかし他の実施例では他の色の画素を追加的又は代替として使っても良い。従って、発明のコンセプトを説明する実施例が限定すると解釈されるべきではない。説明する実施例では、イメージセンサ２０は４ｋ解像度で動作し、従って水平方向に４０９６画素の解像度を有する。対象領域２１２は機械公差によりフィルムミシン目２０６ａから２０６ｄを含むことが常に保証される幅に設定される。一例として、３５ｍｍ規格のフィルムに対して、対象領域はスキャン領域２１０の幅の１％の幅で良いが、より大きな機械公差が必要であればより大きく例えば１０％までしても良い。例えば４ｋ解像度イメージセンサ２０でスキャンされる３５ｍｍフィルムに対し対象領域は約３０－４０画素幅であって良く、図２から分かるように、ミシン目と一致するようにスキャン領域２１０の長手方向のエッジ又はその近傍に設定される。例えばベイヤーパターンの赤画素だけを考えるのであれば、対象領域は１から２０４８の範囲のベイヤー赤画素の画素番号２０１０から２０４１までを含むことができ、対象領域は３２画素幅となる。１６ｍｍ規格のフィルムについては、異なる対象領域が使われる。

図２ではフィルム２０の片側のミシン目２０６ａから２０６ｄをスキャンする単一の対象領域２１２だけを説明しているが、フィルムの他方の長手方向エッジ又はその近傍に同様に第二の対象領域が設けられている。即ち、実施例によってはフィルム２００のエッジ２０４ｂに沿って伸びるミシン目２０６を代替として又は追加的に使うことができる。

図３はスキャンされる画像フレーム２０８ｂに対する画像位置補正出力を決定する方法のステップを例示する。

図３（ａ）は図２の対象領域２１２のデジタル画像の詳細を示す。図示のように、対象領域の画像は４つの搬送用ミシン目２０６ａ，２０６ｂ，２０６ｃ，２０６ｄを含む。便宜上フィルムの長手方向を矢印３０２で示す。まず対象領域２１２の画像はミシン目２０６ａ－２０６ｄのエッジを検出するために処理される。本実施例では、対象エッジはフィルムの長手方向のエッジを横断して伸びる先頭と末尾のエッジである。ミシン目２０６ａについて、これらのエッジはそれぞれ３０４ａ，３０４ｂと表示する。最初のプロセスでフィルムの長手方向のエッジを横断して伸びる一連のバンドの画素値が平均化されて一連の値を生成する。図３（ａ）において、バンド３１０の画素の全てが平均化され単一の値が生成される。同様にバンド３１２の画素の全てが平均化され単一の値が生成される。これは対象領域２１２の長さに沿って全てのｉバンドにわたり進展する。

図３（ｂ）はフィルムに沿った位置に対する各バンド内の平均画素値のプロットを説明する。本実施例の各バンドは好ましくは単一画素幅を有する。しかし水平方向（長手方向）に非常に高い解像度を有するスキャナに対しては、バンドは複数の画素幅であっても良い。図示のように、ミシン目が無い領域、例えば領域３１４、３１６は比較的低い平均画素値を有するが、ミシン目に対応する領域２０６ａ－２０６ｄは比較的高い平均画素値を有する。図３（ｂ）のプロットは値の理想的なセットを示し、図示されるようにプロットは基本的には各ミシン目２０６ａ－２０６ｄに対応する一連の四角形のパルスである。実際にはフィルムは完璧ではないので、平均化ステップにおいて理想的な四角形の値を得ることはできない。図３（ｂ）のステップの出力は実質的には対象領域に沿った対応する位置の平均画素値の一次元アレイである。これらの値は検出されたエッジの位置を特定するためにエッジ検出フィルタリングプロセスへ供給される。好ましくは二段階のエッジ検出フィルタが使われる。最初のエッジ検出フィルタは特定の画素の周囲の前方及び後方のウィンドウの相違を把握する。好ましい形はウィンドウが比較的長く例えば８画素である。従って一次フィルタは以下の形となる。

理解されるように、ある位置（ｉ番目画素位置）の平均画素値が適度に一定の場合、フィルタ出力はゼロに近い値に平均化され、急激に変化すれば出力のピークが発生する。第一フィルタの出力はその後二次フィルタへ供給されて二次フィルタが立上がりエッジと立下りエッジ、即ちミシン目の始まりのエッジ３０４ａとミシン目の後ろのエッジ３０４ｂを識別する。このフィルタは識別も行うが、ごく狭いウィンドウについて行う。二次フィルタは以下の形となる。

ここで、入力は第一フィルタの出力である。図３（ｃ）に示されるような出力が結果として得られる。図示されるように、ミシン目の各エッジに対し立上がり又は立下りピークが出力される。これらピークの閾値をとることにより、十分に強いエッジを識別し、それらの中央位置を特定し、検出されたエッジの位置を判定できる。図３（ｃ）で識別された各ピークに対してエッジの位置が図３（ｄ）で示される。

上記のように、フィルムのタイプを問わず理論上の基準位置を判定できる。本実施例では、図３（ｅ）が図３（ａ）で説明したフィルムのエッジの予期される位置を表す８つの基準位置を表している。図３（ｆ）は対象領域２１２に対して検出されたエッジ（実線）と基準位置（点線）との重畳を示している。

プロセスの次のフェイズで、検出されたエッジ位置と基準位置とが相互に比較され画像オフセット値が決定される。最も簡略化された形式では、これは各エッジとそれに対応する基準位置との間のエッジオフセットを見付け、全ての検出されたエッジに対するエッジオフセットのセットを平均化することにより達成される。より高度な形式では、各エッジはそれに対応する基準位置と比較されて対応する個々のエッジオフセットのセットを決定する。その後これら複数の個々のエッジオフセットは統計的に分析され信頼できないかどうかを判定して、信頼できない場合には画像オフセットの最終計算から除外する。これは、個々のエッジオフセットの代表値を決定し、その代表値からの閾値距離を決定することで実行できる。閾値以上に代表値から遠い全てのエッジは他のエッジとは十分な違いがあるために信頼できないとみなしてそれ以上の処理から除外できる。より具体的な例では、各個別オフセットはその決定されたエッジオフセットに従ってビン分割され、モーダルビンに入る検出エッジのみが画像オフセットの決定に使われる。そのスキームの例を以下に詳しく説明する。

図３に説明する例はミシン目が完璧であり埃や汚れのような複雑な要因がない理想的な状態を示している。そういった複雑な要因の下ではエッジの検出が難しく、疑似のエッジも検出されてしまう。例えば、埃やフィルムの亀裂は対象領域にエッジとして現れるので、本システムの実用的な実施例はこの疑似エッジの検出に対処する手段が必要になる。図４はその一つのプロセスを説明する。

図４の様々のプロットは図３に対応しそれに準じて表示される。簡潔化のため再度これらの図の詳細な解説はしない。図４（ａ）に示すように、対象領域２１２はミシン目２０６ａ－２０６ｄの他にフィルムの裂け目の特徴４００を含む。裂け目４００は対象領域にブライトパッチとして現れるので、図４（ｂ）に示す平均画素値のプロットに別のピーク４０２を生成する。したがって、平均値がエッジ検出フィルタへ供給されると余分な一対のエッジ４０４、４０６が検出される。したがって、図４（ｄ）のエッジ検出フィルタの出力は図３の実施例に比べて２つの余分な検出エッジを含む。しかし、図から分かるように、これらのエッジは図４（ｅ）に図示された基準セットのエッジに対応していない。そのようなエッジは識別後以下のように排除できる。

まず、第一の複数の検出エッジの候補が判定される。検出エッジ候補のセットは、例えば全てが所定の閾値を超える強度を有するエッジ、即ち対象領域で検出されるｎ個の最も強い強度のエッジとなり得る。この第一の複数のエッジはその後複数の基準位置と比較される。しかし、このプロセスにおいて複数の検出エッジの候補の数は基準位置の数より多く、その結果エッジのいくつかを排除できる。

この例では、基準位置のセットは８個の予期されるエッジを含み候補の検出エッジのセットは１０個の基準エッジに等しい。実行される最初のステップは８個の基準エッジに最も適合する８個の検出エッジ候補のグループの判定である。これは各８個の検出エッジ候補の潜在するグループに対して「性能指数」を判定することで実行される。この性能指数は「サブセット内の最大エッジ」（この例では例えば８）を含むサブセット内で各検出エッジの位置を各基準位置と比較し、サブセット内の全ての潜在するエッジのオフセットを合計することによって計算される。候補エッジの各サブセットの性能指数は以下のように計算される：

これはエッジ候補から選択され得る全ての可能なｎ個のサブセット候補に対して計算される。最も低い性能指数を有するエッジのサブセットが基準位置にベストマッチするように選択され、このセットがそこからの処理に使われて上記画像オフセットを決定する。

以上のように、このようなプロセス使うことにより画像オフセットを計算するうえで疑似エッジがさらに考慮されることがなくなる。しかし本発明の発明者は疑似エッジがスキャンされるフィルムの状態について有用な情報を与えることをさらに見出した。

クリーンかつ損傷のないフィルムについては、最も低い性能指数を有する８個のエッジのセットは最大のピーク値を有するエッジのセットでもあり、従って対象領域内ではミシン目のエッジ以上に強いどんなエッジもあり得ない。しかしフィルムに埃や汚れが付着していたり、傷や亀裂等があったり、又はミシン目のエッジに損傷がある場合は、検出されたエッジ候補により強いエッジが存在する。

好ましい形は、各エッジの強度が第２エッジ検出フィルタの出力を使うことで決定される。画像オフセットを決定するためのエッジのサブセットに選択されなかったエッジの候補が選択されたサブセット内のどのエッジよりも高いピーク値を有する場合、故障状態が存在することを示すための出力信号が発生される。この故障状態は今スキャンされているフレームのフィルムに汚れ、埃、又は損傷が存在することを示す。よって図４に戻ると、４０４，４０６で示されるピークはベストに整列された８個のエッジの候補内には入らないことが分かる。何故なら、それらは属しているエッジ候補のどのサブセットに対しても高いエッジオフセットを示すからである。従ってそれらは画像オフセットを決定するためのその後の処理から除かれる。しかしながら、それらのピークは、図４（ｃ）で示されるように、選択されたエッジのサブセットのうちのどのピーク（この場合全てのピーク）よりも高いので、対象領域内に亀裂４００が存在する問題があることを示している。

検出された疑似エッジを除外した後、３５ｍｍフィルムに対する画像オフセットを計算するためのエッジの選択に代表値を用いた統計分析を使用できる。その具体例に戻ると、選択されたサブセットのエッジ候補が基準セットの８つの基準エッジと比較され、８つのエッジのそれぞれに対して基準エッジからの相対的なずれが計算される。各エッジはその対応する基準位置からの相対的なずれの大きさに従ってビンに入れられる。本例では、発明者らは１４個の赤色ベイヤー画素のビンサイズが有用であることが分かった。全てのエッジがビンに入れられると、その中に少なくとも４つのエッジがあるビンがあると、そのビンの中のエッジが適用すべき画像オフセットの最も信頼できるメジャーであると判定される。これらのエッジが選択され、そのグループの平均オフセットが決定される。そしてこの平均オフセットが検出されたミシン目に対応する撮像フレームの位置を補正するための画像オフセットとして使われる。

他の規格のフィルムがスキャンされる場合、異なるミシン目の数が分析され、それに応じて異なる数のエッジも存在する。従って、一例として１６ｍｍフィルムがスキャンされる場合、一つのビンに一対のエッジがあればそのビンが画像オフセットを十分に代表するものとみなしその後の処理にそれらのエッジを使うことができる。

別の実施例では、検出されたエッジと基準位置との比較により画像オフセットを決定するのに異なる方法が実施される。この例では、エッジ検出フィルタの出力（例えば図３（ｄ）又は図４（ｄ）の出力）と図３（ｅ）又は図４（ｅ）の基準エッジとの比較がそれぞれ実行される。この比較は基準位置とエッジ検出フィルタ出力との間の相関処理を実行して、エッジ検出フィルタ出力を基準位置にベストマッチさせる画像オフセットを決定する。この場合、各オフセットの相関出力を性能指数として使うことができ、ベストの性能指数を有するオフセットが画像オフセット値として選択されることが好ましい。

判定された位置（即ちベストの画像オフセットに対応する位置）のエッジ検出フィルタの出力は上記の技術を用いてそれに対し疑似エッジを特定するための選択されたエッジのサブセットとして使うことができる。

画像オフセットが決定されると、この画像オフセットはフィルムの撮像フレームの使用の際のコントロール及び／又は補正など様々に使用できる。図５Ａ，５Ｂはそのような二つの例を示している。図示のように、図５Ａ，５Ｂは図１のシステムに類似し共通する部品には同じ符号が付けられている。図５Ａの例は当業者であれば理解できる、初期段階画像処理を実行する信号処理フロントエンド２２ａを含むデータ処理システムを含んでいる。動き補償システム２２ｂが設けられ、それが本開示の実施例にかかる方法を用いて画像オフセットを計算する。動き補償システム２２ｂは対象領域を分析し各フレームごとに画像オフセット出力を決定するとともに、埃、汚れあるいはミシン目の劣化等故障の存在を示す警報信号を発信する。

デジタル撮像フレームは対応する画像オフセット出力とともに画像位置補正モジュールへ送られ、該画像位置補正モジュール２２ｃでそのまま画像位置補正が実行される。この場合、画像位置補正モジュール２２ｃによりデジタル画像出力５０がそのまま発生される。好ましい形態では、デジタル画像出力５０が撮像フレームデータを再生するモニターや他のレンダリング装置によってそのまま使えるＨＤＭＩ（登録商標）信号やその他の適切なビデオ出力信号である。理解されるように、画像位置補正モジュール２２ｃが各フレームの必要な位置補正をリアルタイムで行いデジタル画像出力５０が安定したビデオ出力となる。

図５Ｂは図５Ａとは少し異なったシステムを表し、モニター等でそのまま再生するための適切なビデオ信号を出力するのではなく、一連のデジタルビデオ画像を表すデータを含むデータファイルが生成される。この場合、画像位置補正モジュール２２ｃを用いて画像位置補正をそのまま調整するのではなく、メタデータを生成しそれを画像データ埋め込みモジュール２２ｄを使ってデータファイルに挿入する。こうしてメタデータが記憶され撮像された画像フレームを表すデータとともに送信される。図５Ｂのシステムの出力６０は後で使用するために大容量記憶装置に記憶させても良いし、下流にある当業者にとって既知のビデオ処理用の処理装置に直接送られても良い。画像オフセットのメタデータは下流の画像位置補正システム６２によって抽出され、続いて発生するデジタル画像出力５０において撮像フレームの正しいアライメントを可能にする。

上記から明らかなように、本開示の実施例は、後で再生が安定して行えるように、デジタル化の過程でフィルムのフレームを、スキャンニング中に生じる位置誤差の補正に使用できる。後続のフレームの撮像を補正するために搬送フィルム位置や光源や撮像装置の位置を調整するフィードバックシステムと異なり、本開示はフィルムから撮像した撮像フレームの撮像後の補正を可能にすることが理解されるべきである。

この明細書で開示され明らかにされた本発明は述べられた、あるいはテキストや図面から明白な個々の特徴の２以上の全ての取り得る組合せに及ぶことが理解されるであろう。これらの異なる組合せの全てが本発明の種々の代替の態様を構成する。

Claims (12)

1. 一連の画像フレームを運ぶフィルム基板と、前記画像フレームとの所定の位置関係において一連の画像フレームに隣接する位置でフィルムに沿って離間する複数の搬送用ミシン目と、を含むフィルムをスキャンする方法であって、該方法は：
   スキャンされる一以上の画像フレームの少なくとも一部を含むフィルムの一部分を照明し；
   フィルムを通過する光を捕捉して一以上の画像フレームの少なくとも一部、及び前記フィルムに沿って離間する複数の搬送用ミシン目のデジタル画像からなる撮像フレームを含むデジタル画像を取得すること；
   前記フィルムに沿って離間する前記複数の搬送用ミシン目を含むデジタル画像を処理して、当該画像中の前記フィルムに沿って離間する前記複数の搬送用ミシン目のエッジの位置を検出すること；
   検出された複数のエッジと複数の基準位置との比較に基づいて前記撮像フレームの画像オフセットを決定することであって、各基準位置は、搬送用ミシン目の前記画像フレームとの所定の位置関係に応じた搬送用ミシン目のエッジの位置を表すこと；
   該画像オフセットを表す信号を発生して少なくとも前記撮像フレームのアライメントを可能にすることを含み、
   検出されたエッジ数が基準位置数を超えており；
   該方法は：
   前記複数のエッジから検出されたエッジのサブセットを選択して画像オフセットを決定することを含む、フィルムスキャニング方法。
2. フィルムの長手方向を横断する方向に伸びるエッジを検出することを含む、請求項１に記載の方法。
3. フィルムの長手方向を横断する方向にエッジを検出することは：
   フィルムの長手方向をそれぞれが横断する方向に伸びる複数のバンドの複数の画素値を平均化し、フィルムの長手方向に沿った異なる位置にそれぞれが対応する複数の値を含むアレイを生成することを含む、請求項２に記載の方法。
4. 該方法は、検出エッジの選択されたサブセットのエッジ毎に対応する基準位置からのエッジオフセットを決定することを含む、請求項１から３のいずれか１項に記載の方法。
5. 決定されたエッジオフセットの代表値を決定し、前記代表値からの所定距離内の検出エッジに基づいて画像オフセットを決定することをさらに含む、請求項４に記載の方法。
6. 前記検出された複数のエッジと、複数の基準位置との比較に基づいて画像オフセットを決定することは：
   エッジ検出フィルタの出力と前記複数の基準位置との相関関係を決定することを含む、請求項１から４のいずれか１項に記載の方法。
7. エッジ検出フィルタの出力と前記複数の基準位置との間で最良の相関関係を生成するオフセットに基づいて画像オフセットが決定される、請求項６に記載の方法。
8. 該方法は：
   検出エッジの選択されたサブセット内のエッジよりも高い振幅を有する検出エッジが存在する場合故障状態を判定することをさらに含む、請求項１から７のいずれか１項に記載の方法。
9. 連続する撮像フレームのデジタル画像を復元する際に、画像オフセットを表す信号の生成により連続する撮像フレームのアライメントを可能にする、請求項１から８のいずれか１項に記載の方法。
10. 撮像フレームに加えられる画像オフセットを表すメタデータと、
    画像復元中に連続する撮像フレームの相対的位置をそのまま調整するために、ビデオ再生装置に与える制御信号と、
    の少なくともいずれかの生成を含む、請求項１から９のいずれかに記載の方法。
11. 前記メタデータを撮像フレームを表すデータとともにデータファイルに記憶することを含む、請求項１０に記載の方法。
12. フィルムスキャン装置であって：
    光源と；
    フィルムを通過する光を捕捉して、一以上の前記画像フレームの少なくとも一部、及び前記フィルムに沿って離間する複数の前記搬送用ミシン目のデジタル画像からなる撮像フレームを含むデジタル画像を取得するように構成された画像撮像システムと；
    取得した画像データを処理するように配置されたデータ処理システムと；を備え、
    前記フィルムスキャン装置は請求項１から１１のいずれか１項に記載の方法を実行する、フィルムスキャン装置。

Images