[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP5824113B2 - 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア - Google Patents

光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア Download PDF

Info

Publication number
JP5824113B2
JP5824113B2 JP2014125433A JP2014125433A JP5824113B2 JP 5824113 B2 JP5824113 B2 JP 5824113B2 JP 2014125433 A JP2014125433 A JP 2014125433A JP 2014125433 A JP2014125433 A JP 2014125433A JP 5824113 B2 JP5824113 B2 JP 5824113B2
Authority
JP
Japan
Prior art keywords
diffuser
image
scene
function
lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014125433A
Other languages
English (en)
Other versions
JP2014222893A (ja
Inventor
ケイ ナヤル シュリー
ケイ ナヤル シュリー
コッサート オリヴァー
コッサート オリヴァー
ツォウ チャンギン
ツォウ チャンギン
Original Assignee
ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク, ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク filed Critical ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Publication of JP2014222893A publication Critical patent/JP2014222893A/ja
Application granted granted Critical
Publication of JP5824113B2 publication Critical patent/JP5824113B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0273—Diffusing elements; Afocal elements characterized by the use
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Blocking Light For Cameras (AREA)
  • Holo Graphy (AREA)

Description

［関連出願の相互参照］本出願は、２０１０年１月２２日に出願された米国仮特許出願
第６１／２９７，６６７号に基づく優先権を主張するものであり、この仮特許出願の全体
は、参照により本明細書に組み入れられる。
本発明で開示する主題は、光学ディフューザを用いて画像を記録するためのシステム、
方法、及びメディアに関するものである。
従来のカメラでは、被写界深度（ＤＯＦ）とノイズとの間に根本的なトレードオフが存
在する。一般的に、カメラは１つの焦点面を有し、この面から外れたオブジェクトは、デ
フォーカスによりぼやける。デフォーカスによるぼけの大きさは、アパーチャのサイズと
焦点面からの距離とに依存する。デフォーカスによるぼけを低減してＤＯＦを深くするに
は、アパーチャのサイズを縮小しなければならず、これにより記録画像の信号強度も低減
する。多くの場合、シーンのあらゆる詳細が保持されるように、できる限り深いＤＯＦを
有することが望ましい。これは、例えば、全ての関心オブジェクトに合焦することが望ま
れる、オブジェクトの検出及び認識などの機械視覚アプリケーションにおいて当てはまる
。しかし、レンズアパーチャの縮小は、ノイズを増加させ、ひいては記録画像に深刻な影
響を与えることもあり、特に暗い場所においては必ずしも可能ではない。
本発明は、シーン画像を記録するためのシステム、方法、及びメディアを提供する。
いくつかの例によれば、シーンの画像を記録するためのシステムであって、一次元のランダム関数に基づく放射状のプロファイルを有し、前記シーンを表す光を拡散する、径方向に対称なディフューザと、拡散された前記シーンを表す光を受信し、画像を表すデータを生成するセンサと、前記径方向に対称なディフューザの前記放射状のプロファイルに基づいて前記画像のぼけを除去することを決定される点像分布関数を用いるハードウェアプロセッサとを備えるシステムを提供する。
いくつかの例によればシーンの画像を記録するための方法であって、一次元のランダム関数に基づく放射状のプロファイルを有する径方向に対象なディフューザを用いて、前記シーンを表す光を拡散するステップと、拡散された前記シーンを表す光を受信し、画像を表すデータを生成するステップと、前記径方向に対称なディフューザの前記放射状のプロファイルに対応する点像分布関数を用いて、前記画像のぼけを除去するステップとを含む方法を提供する。
いくつかの実施形態に係る、画像を記録するためのメカニズムを示す図である。 いくつかの実施形態に係る、（ａ）ディフューザを用いない画像と、（ｂ）ディフューザを用いた画像との２つの画像の組み合わせを示す図である。 いくつかの実施形態に係る、レンズとセンサを示す図である。 いくつかの実施形態に係る、レンズ、ディフューザ、及びセンサを示す図である。 いくつかの実施形態に係る、センサの光照射野を示す図である。 いくつかの実施形態に係る、光線及びその散乱を示す図である。 いくつかの実施形態に係る、点像分布関数と変調伝達関数のグラフのペアの組を示す図である。 いくつかの実施形態に係る、（ａ）くさび状の光学システム、及び（ｂ）ランダムに変化のある面を有する光学システムを示す図である。 いくつかの実施形態に係る、（ａ）ディフューザのプロファイル、（ｂ）ディフューザの高さマップ、（ｃ）ディフューザの散乱ＰＤＦ、及び（ｄ）ディフューザを示す図である。
本発明は、光学ディフューザを用いて画像を記録するためのシステム、方法、及びメデ
ィアを提供する。
図１を参照すると、３つのオブジェクトＡ１０４、Ｂ１０６、及びＣ１０８を含む画像
を撮影するために用いられる画像記録機構１０２（例えば、カメラ、ビデオカメラ、カメ
ラ内蔵の携帯電話、及び／又はその他の適切な画像記録機構）が図示されている。図に示
されているように、これらのオブジェクトは、機構１０２に対して異なる奥行きにある。
機構１０２の被写界深度限界より、機構１０２がオブジェクトＢ１０６に合焦している場
合、オブジェクトＡ１０４及びオブジェクトＣ１０８は焦点外にある。これらのオブジェ
クトは、例えば、図２に示される玩具であり得る。図２（ａ）に示されているように、カ
メラが中央のオブジェクト（図１のオブジェクトＢ１０６に相当し得る）に合焦している
場合は、他のオブジェクトは焦点外にある。ところが、本明細書で説明する機構を用いる
ことにより、そうしたオブジェクトも、図２（ｂ）に示すように、焦点内にあるかのよう
な画像が記録される。これを、拡張被写界深度を有する機構１０２と称する。
いくつかの実施形態によれば、拡張被写界深度は、ディフューザ１１０、１１２を画像
記録機構１０２に組み入れることにより実現できる。ディフューザを画像記録機構の瞳面
で用いて画像を記録することを、拡散符号化と称し得る。そうしたディフューザは、画像
記録機構内の任意の適切な位置に配置され得る。例えば、ディフューザ１１０は、光源（
例えば、オブジェクト１０４、１０６、１０８）とレンズ１１４との間に（例えば、レン
ズアタッチメントとして）、ディフューザ１１２は、レンズ１１４とセンサ１１６との間
に（例えば、レンズ又はカメラ本体の一部として）配置され得る。
拡散符号化画像は、センサ１１６により検出され、その後、ハードウェアプロセッサ１
１８（機構１０２に組み込まれている）、及び／又は、ハードウェアプロセッサ１２０（
機構１０２の外部）に送られ、更なる処理が施され得る。この処理は、ディフューザのＰ
ＳＦ（点像分布関数）に整合されたＰＳＦを用いて感知画像のぼけを除去することを含む
ことができる。いかなる他の適切な処理も、追加的、又は代替的に用いられ得る。そうし
た処理の後に、拡張被写界深度を有する画像が、ディスプレイ１２４（機構１０２の内部
）、及び／又は、ディスプレイ１２２（機構１０２の外部）に表示され得る。
上述したような画像をディフューザを用いてどのように記録するかを例示するために、
ここで、いくつかの実施形態について光学的に説明する。
この点光源おける画像は、深度d0におけるカメラのＰＳＦであり、このカメラのＰＳＦ
は、以下のように、デフォーカスによるぼけの幅s0Aを有する矩形型のＰＳＦである。
一般的に、アパーチャに配置されるいかなるディフューザのカーネルであっても、以下
のように表され得る。
径方向に対称なディフューザは、式７により与えられるディフューザとは大きく異なる
効果を生じさせる。径方向に対称なディフューザが採用される場合は、ディフューザもレ
ンズも、接線方向に光線を偏向させないため、ディフューザカーネル及び修正された光照
射野は、変換座標(r,r)を用いて表され得る。したがって、式５及び式６は、以下のよう
になる。

また、ディフューザカーネルの一般形は、以下のようになる。
式７においてディフューザカーネルに用いたものと同じ矩形散乱関数を、以下のように
、式１３にも用いることができる。
ただし、このディフューザの物理的解釈は、先述したディフューザとは異なる。先述し
たディフューザの場合、光照射野の各光線は、センサ上を四角形状に広がるように分散さ
れる。しかし、式１４の散乱関数の効果は、図６に示されているとおりである。図示され
ているように、ディフューザがない場合は、光は、アパーチャ面における幅dr、半径rの
環から、センサ上の幅dr、半径rの環に投射される。式１４の散乱関数の効果は、センサ
上に入射する光を、当該光が幅wの環を代わりに生成するよう広げることである。
図６の領域６０２で示されているように、極座標において、光線は、アパーチャ面から
センサ面まで伝播する微小な環状部分であり得る。幅wの放射状の線に沿って光線を分散
させるディフューザの効果は、領域６０４により示され得る。
ここでは、矩形散乱関数が表記の便宜上用いられ得るが、拡張ＤＯＦによる画像化には
、ガウス散乱関数（例えば、図９Ｃに示される）が相応しい場合もある。そうしたディフ
ューザカーネルによりフィルタリングされた点光源の光照射野及びＰＳＦは、以下のよう
に表され得る。
このＰＳＦの解析解は、２つの矩形関数（１つは|r|により重み付けされる）の畳み込
みである括弧内の項を因数とする区間関数となる。分散幅wがゼロに減少していくと、（1
/wと結合されている）第一の矩形関数はデルタ関数に近似し、結果としてピルボックス型
のデフォーカスＰＳＦが得られる。別の散乱関数を有する別のディフューザを用いた場合
も、第一の矩形関数が新たな散乱関数に置き換えられるだけである。しかし、畳み込み項
は、効果が優位な1/|r|の項と比べると極めて重要性が低いため、結果として、高いピー
ク及び高い周波数を維持しつつも、深度に大きく依存し得るＰＳＦとなる。
図６に示されているように、幅dr、半径rの微小な環状部分に入射した光は、アパーチ
ャの環から発せられ、そのエネルギーは、rに比例するか、又はr/s0に同等となり得る。
これにより、式１６の括弧内の項の乗数|r|の存在が説明される。この括弧内の項は、ピ
ルボックス型のデフォーカスＰＳＦによる環のエネルギーが、図６の右側に示されている
ように、ディフューザにより幅wの放射状の線に沿って均一に広がることを示す。式１６
の1/|r|の項は、エネルギー密度は、ＰＳＦの中心近くで散乱される光ほど大きくなる、
という事実に起因する。
1 図７は、式１６によって与えられるディフューザ付きのカメラ（７１４、７１６、７
１８、７２０、７２２、７２４、７２６、７２８）とディフューザ無しのカメラ（７１５
、７１７、７１９、７２１、７２３、７２５、７２７、７２９）について、ＰＳＦ７０２
と変調伝達関数（ＭＴＦ）７０４のグラフのペアを示す。デフォーカスによるぼけの直径
s0Aは、０ピクセル７０６、２５ピクセル７０８、５０ピクセル７１０、そして１００ピ
クセル７１２の間で変化する。式１４の散乱関数は、矩形関数ではなくガウス関数であり
、ディフューザのパラメータw（ガウス関数の分散値）は、w ＝ １００ピクセルとなるよ
うに設定される。ディフューザが存在する場合は、ＰＳＦ及びＭＴＦのいずれにおいても
、深度に伴う変化は殆どない。ディフューザの採用はさらに、ＭＴＦにおけるゼロ交差を
なくす。デフォーカス値が小さいほど、ディフューザはＭＴＦにおける高周波を抑制する
。しかし、ディフューザのＭＴＦは、深度によって大きく変化しないため、高周波はデコ
ンボリューションにより復元され得る。
式１４において規定されるディフューザを実現するために、ディフューザ面は、直径及
び窪みがランダム分布から導き出される二次要素の連続として実現され得る。（Sales, T
. R. M., "Structured microlens arrays for beam shaping," Optical Engineering 42,
11, pp. 3084-3085, 2003に記載。当該文献は、参照により全体が本明細書に組み入れら
れる。） ディフューザの散乱関数は、図９（ｃ）に示されるように、０．５ｍｍの分散
値（式１６のw ＝ 1mmに対応する）を有する略ガウス関数になるよう設計され得る。径方
向に対称なディフューザを作成するために、一次元のランダムプロファイルを作成し、そ
の後、極変換を適用して二次元の面を作成することが可能である（図９（ａ）及び図９（
ｂ）を参照）。
いくつかの実施形態において、ディフューザは、レーザエッチングにより作成される。
いくつかの実施形態において、ディフューザ面の最大高さは、３μｍであり得る。また
、ディフューザは、約１０μｍの最小スポット径を有するレーザ加工技術を用いて作るこ
とができる。ディフューザの各二次要素が確実に高精度に作られるようにするには、単一
要素の最小径を、２００μｍに設定することができ、これにより、４２の別個の環部分を
有するディフューザが得られる。
いくつかの実施形態に従って、機構１０２を実現するためにいかなる適切なハードウェ
アも用いられ得る。例えば、キヤノン（商標登録）ＵＳＡ社製のキヤノンＥＯＳ（商標登
録）４５０Ｄのセンサを、センサ１１６として用いることができ、ニューヨーク州ロチェ
スター、ＲＰＣフォトニクス社（RPC Photonics Inc.）製の適切な光学ガラス片にレーザ
エッチングされた２２ｍｍ直径のディフューザ（例えば、図９（ｄ）に例示）を、ディフ
ューザ１１０、１１２として用いることができ、キヤノンＵＳＡ社製の５０ｍｍのｆ／１
．８レンズをレンズ１１４として用いることができる。他の一例として、レンズ１１４は
、いかなる焦点距離をも有し、屈折光学素子及び反射光学素子の一方又は両方を有し得る
。例えば、焦点距離が３０４８ｍｍのミード社製望遠鏡LX200（市販されている）が、い
くつかの実施形態において用いられ得る。
いくつかの実施形態では、レンズ及びディフューザ（順不同）を通過後にカメラのセン
サに入射される画像のぼけを除去するために、いかなる適切な処理が実行され得る。例え
ば、中心深度におけるＰＳＦを用いたウィナーデコンボリューション（Wiener deconvolu
tion）を用いて、感知画像のぼけが除去され得る。画像に対する他の適切ないかなる処理
も、追加的又は代替的に用いられ得る。例えば、ＢＭ３Ｄぼけ除去アルゴリズムを用いて
、拡散符号化された画像に対する追加的なぼけ除去が行われ得る。（Dabov, K., Foi, A.
, Katkovnik, V., and Egiazarian, K., "Image restoration by sparse 3D transform-d
omain collaborative filtering", SPIE Conference Series, vol. 6812, 681207, 2008
に記載。当該文献は、参照により全体が本明細書に組み入れられる。）いくつかの実施形
態において、ＢＭ３Ｄぼけ除去アルゴリズムは、ぼけ除去プロセスにより増幅されるノイ
ズを低減する区分的な平滑化事前分布（smoothness prior）を用いる。
センサにとらえられる画像のぼけ除去には、マイクロプロセッサ、デジタル信号プロセ
ッサ、専用コンピュータ（マイクロプロセッサやデジタル信号プロセッサ、コントローラ
等と、メモリと、通信インターフェースと、ディスプレイコントローラと、入力デバイス
等を含み得る）、適切にプログラムされた汎用コンピュータ（マイクロプロセッサやデジ
タル信号プロセッサ、コントローラ等と、メモリと、通信インターフェースと、ディスプ
レイコントローラと、入力装置等を含み得る）、サーバ、プログラム可能なゲートアレイ
等のいかなる適切なハードウェアプロセッサが用いられ得る。画像をセンサからプロセッ
サに伝送するために、いかなる適切なハードウェアが用いられ得る。ぼけが除去された画
像を表示、記憶、又は印刷するために、いかなる適切なディスプレイ、記憶装置、又はプ
リンタが用いられ得る。
いくつかの実施形態において、本明細書に記載のプロセスを実行するための命令を記憶
するために、いかなる適切なコンピュータ読み取り可能な媒体が用いられ得る。例えば、
いくつかの実施形態において、コンピュータ読み取り可能な媒体は、一時的、又は非一時
的であり得る。一例として、非一時的なコンピュータ読み取り可能な媒体は、磁気媒体（
ハードディスク、フロッピディスク等）、光学媒体（コンパクトディスク、デジタルビデ
オディスク、ブルーレイディスク等）、半導体媒体（フラッシュメモリ、電気的にプログ
ラム可能な読み取り専用メモリ〔ＥＰＲＯＭ〕、電気的に消去可能及びプログラム可能な
読み取り専用メモリ〔ＥＥＰＲＯＭ〕等）、伝送時の非一過性又は性能持続性を有するい
かなる適切な媒体、及び／又はいかなる適切な有形媒体を含み得る。別の例として、一時
的なコンピュータ読み取り可能な媒体は、ネットワーク上、電線上、半導体上、光ファイ
バー上、回路上、伝送時の一過性又は非持続性を有するいかなる適切な媒体上、及び／又
はいかなる適切な無形媒体上の信号を含み得る。
本発明について、上述した実施形態に基づいて説明及び図示してきたが、本開示は一例
にすぎず、本発明の趣旨および範囲を逸脱することなく、本発明の実施形態の細部に様々
な変更を行うのが可能であることを理解されたい。本発明は、以下の特許請求の範囲によ
ってのみ限定される。また、開示された実施形態の特徴を様々に組み合わせ、再構成する
ことも可能である。

Claims (16)

  1. シーンの画像を記録するためのシステムであって、
    一次元のランダム関数に基づく放射状のプロファイルを有し、前記シーンを表す光を拡散する、径方向に対称なディフューザと、
    拡散された前記シーンを表す光を受信し、画像を表すデータを生成するセンサと、
    前記径方向に対称なディフューザの前記放射状のプロファイルに基づいて決定される点像分布関数を用いて、前記画像のぼけを除去するハードウェアプロセッサと
    を備えるシステム。
  2. 前記ディフューザは、レーザエッチングにより作られる、請求項１記載のシステム。
  3. 前記ディフューザは、キノフォームタイプである、請求項１記載のシステム。
  4. 前記ディフューザは、略ガウス関数である散乱関数を有する、請求項１記載のシステム。
  5. 前記システムは、レンズをさらに備え、当該レンズは、前記シーンを表す光を、当該光が前記ディフューザに入射する前に通過させる、請求項１記載のシステム。
  6. 前記システムは、前記ディフューザと前記センサとの間に配置されたレンズをさらに備える、請求項１記載のシステム。
  7. 前記システムは、ぼけが除去された前記画像を表示するディスプレイをさらに備える、請求項１記載のシステム。
  8. 前記ハードウェアプロセッサは、ＢＭ３Ｄぼけ除去アルゴリズムを用いて前記画像のぼけを除去する、請求項１記載のシステム。
  9. シーンの画像を記録するための方法であって、
    一次元のランダム関数に基づく放射状のプロファイルを有する径方向に対象なディフューザを用いて、前記シーンを表す光を拡散するステップと、
    拡散された前記シーンを表す光を受信し、画像を表すデータを生成するステップと、
    前記径方向に対称なディフューザの前記放射状のプロファイルに対応する点像分布関数を用いて、前記画像のぼけを除去するステップと
    を含む方法。
  10. 前記ディフューザは、レーザエッチングにより作られる、請求項９記載の方法。
  11. 前記ディフューザは、キノフォームタイプである、請求項９記載の方法。
  12. 前記ディフューザは、略ガウス関数である散乱関数を有する、請求項９記載の方法。
  13. 前記シーンを表す光が、前記ディフューザに入射する前に通過するようにレンズを配置するステップをさらに含む、請求項９記載の方法。
  14. 前記受信は、センサの使用による前記拡散された光の受信を含み、前記ディフューザと前記センサとの間にレンズを配置するステップをさらに含む、請求項９記載の方法。
  15. ぼけが除去された前記画像を表示するステップをさらに含む、請求項９記載の方法。
  16. 前記画像のボケを除去するために、ＢＭ３Ｄぼけ除去アルゴリズムを用いるステップをさらに含む、請求項９記載の方法。

JP2014125433A 2010-01-22 2014-06-18 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア Expired - Fee Related JP5824113B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US29766710P 2010-01-22 2010-01-22
US61/297,667 2010-01-22

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2012550190A Division JP5567692B2 (ja) 2010-01-22 2011-01-24 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア

Publications (2)

Publication Number Publication Date
JP2014222893A JP2014222893A (ja) 2014-11-27
JP5824113B2 true JP5824113B2 (ja) 2015-11-25

Family

ID=44307258

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2012550190A Expired - Fee Related JP5567692B2 (ja) 2010-01-22 2011-01-24 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア
JP2014125433A Expired - Fee Related JP5824113B2 (ja) 2010-01-22 2014-06-18 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2012550190A Expired - Fee Related JP5567692B2 (ja) 2010-01-22 2011-01-24 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア

Country Status (5)

Country Link
US (2) US9407833B2 (ja)
JP (2) JP5567692B2 (ja)
KR (1) KR20120116003A (ja)
CN (1) CN102770873B (ja)
WO (1) WO2011091358A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2503364A1 (en) * 2011-03-22 2012-09-26 Koninklijke Philips Electronics N.V. Camera system comprising a camera, camera, method of operating a camera and method for deconvoluting a recorded image
JP2014526049A (ja) * 2011-08-15 2014-10-02 ザ・トラスティーズ・オブ・コロンビア・ユニバーシティ・イン・ザ・シティ・オブ・ニューヨーク 拡散構造光を用いてマシンビジョンを実施するシステム及び方法
US9325971B2 (en) * 2013-01-10 2016-04-26 The Regents Of The University Of Colorado, A Body Corporate Engineered point spread function for simultaneous extended depth of field and 3D ranging
US9131159B2 (en) * 2013-06-28 2015-09-08 Nokia Technologies Oy Optical field communication
CN104506771B (zh) * 2014-12-18 2018-04-27 北京智谷睿拓技术服务有限公司 图像处理方法及装置
KR101538395B1 (ko) * 2015-02-16 2015-07-23 주식회사 나무가 방사각의 조절이 가능한 광 확산장치 조합모듈, 3ｄ 카메라 및 방사각을 최적화하는 방법
US10666848B2 (en) 2015-05-05 2020-05-26 Microsoft Technology Licensing, Llc Remote depth sensing via relayed depth from diffusion
JP2018533066A (ja) * 2015-10-09 2018-11-08 ヴィスバイ カメラ コーポレイション ホログラフィックライトフィールドイメージングデバイス及びその使用方法
JP6834134B2 (ja) 2016-01-21 2021-02-24 オムロン株式会社 撮像装置および情報コード読取装置
TWI578787B (zh) * 2016-03-18 2017-04-11 圓展科技股份有限公司 具有自動白平衡功能的攝影裝置與自動白平衡的校正方法
CN106296811A (zh) * 2016-08-17 2017-01-04 李思嘉 一种基于单光场相机的目标物三维重构方法
US10691926B2 (en) * 2018-05-03 2020-06-23 Analog Devices, Inc. Single-pixel sensor
WO2020061714A1 (en) * 2018-09-28 2020-04-02 Peckham Jordan Direct projection light field display
US11119253B2 (en) * 2018-09-28 2021-09-14 Avalon Holographics Inc. Direct projection light field display
US11671698B1 (en) * 2020-12-28 2023-06-06 Zachary Kapela Universal lens-taking optical viewfinder
JP7103448B2 (ja) * 2021-02-01 2022-07-20 オムロン株式会社 撮像装置および情報コード読取装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0829678A (ja) 1994-07-18 1996-02-02 Olympus Optical Co Ltd 硬性鏡観察光学系
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
JP3872852B2 (ja) * 1996-02-26 2007-01-24 オリンパス株式会社 内視鏡ｔｖ観察システム、内視鏡ｔｖ観察システムに使用される光源ユニット、及び内視鏡用小型光源ユニット
JP2002513951A (ja) * 1998-05-01 2002-05-14 ユニバーシティ テクノロジー コーポレイション 拡大被写界深度光学システム
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
US7837361B2 (en) * 2000-07-14 2010-11-23 Ledalite Architectural Products Light control devices implemented with diffusers having controllable diffusion characteristics
JP3791777B2 (ja) * 2001-12-28 2006-06-28 オリンパス株式会社 電子内視鏡
DE10216806B4 (de) * 2002-04-16 2006-11-23 Institut Für Mikroelektronik Stuttgart Verfahren und Vorrichtung zur FPN-Korrektur von Bildsignalwerten eines Bildsensors
EP1609112A4 (en) 2003-03-31 2010-03-24 Cdm Optics Inc SYSTEMS AND METHOD FOR MINIMIZING ABERRATION EFFECTS IN PICTURE SYSTEMS
US7701489B1 (en) * 2003-05-27 2010-04-20 Apple Inc. Method and apparatus for color correction
US7139067B2 (en) * 2003-09-12 2006-11-21 Textron Systems Corporation Three-dimensional imaging with multiframe blind deconvolution
US20060055807A1 (en) * 2004-09-14 2006-03-16 Pemer Frederick A Imaging methods, image sensors, imaging systems, and articles of manufacture
JP2006317605A (ja) 2005-05-11 2006-11-24 Canon Inc 撮影光学系及びそれを有する撮像装置
US8559751B2 (en) * 2005-07-12 2013-10-15 Nxp B.V. Method and device for removing motion blur effects
US7720368B2 (en) 2005-07-15 2010-05-18 Redrock Microsystems, Llc System, method and apparatus for enhancing a projected image
US7304731B2 (en) 2005-09-02 2007-12-04 Kla-Tencor Technologies Corp. Systems and methods for providing illumination of a specimen for inspection
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
JP2008245157A (ja) * 2007-03-28 2008-10-09 Kyocera Corp 撮像装置およびその方法
JP2009134023A (ja) 2007-11-29 2009-06-18 Kyocera Corp 撮像装置および情報コード読取装置
JP2009258618A (ja) * 2008-03-27 2009-11-05 Olympus Corp フィルタ切替装置、撮影レンズ、カメラ、および撮影システム
US8462213B2 (en) 2008-03-27 2013-06-11 Kyocera Corporation Optical system, image pickup apparatus and information code reading device
US7780364B2 (en) * 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
JP4658162B2 (ja) 2008-06-27 2011-03-23 京セラ株式会社 撮像装置および電子機器
FR2933501B1 (fr) * 2008-07-02 2010-09-10 St Microelectronics Grenoble Pastille optique a indice de refraction variable, correctrice de distorsion negative, et procede de fabrication d'une telle pastille
JP2010021645A (ja) * 2008-07-08 2010-01-28 Nikon Corp 画像処理装置、撮像装置、および画像処理プログラム
JP5150937B2 (ja) 2008-12-08 2013-02-27 富士フイルム株式会社 光学系および撮像装置

Also Published As

Publication number Publication date
JP5567692B2 (ja) 2014-08-06
US20130194458A1 (en) 2013-08-01
WO2011091358A1 (en) 2011-07-28
US20170085787A1 (en) 2017-03-23
CN102770873A (zh) 2012-11-07
KR20120116003A (ko) 2012-10-19
CN102770873B (zh) 2017-09-19
JP2013518474A (ja) 2013-05-20
JP2014222893A (ja) 2014-11-27
US9407833B2 (en) 2016-08-02

Similar Documents

Publication Publication Date Title
JP5824113B2 (ja) 光学ディフューザを用いて画像を記録するためのシステム、方法、及びメディア
Metzler et al. Deep optics for single-shot high-dynamic-range imaging
Cossairt et al. Diffusion coded photography for extended depth of field
Bae et al. Defocus magnification
US9325971B2 (en) Engineered point spread function for simultaneous extended depth of field and 3D ranging
EP2511748A2 (en) Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
US7764433B2 (en) Method and system for correcting optical aberrations, including widefield imaging applications
Quirin et al. Depth estimation and image recovery using broadband, incoherent illumination with engineered point spread functions
US9473700B2 (en) Camera systems and methods for gigapixel computational imaging
JP2010011462A (ja) デジタル画像処理により補償される収差トリプレットレンズをもつ電気光学画像形成システム
Shi et al. Seeing through obstructions with diffractive cloaking
Berlich et al. Single shot three-dimensional imaging using an engineered point spread function
Kagawa et al. A three‐dimensional multifunctional compound‐eye endoscopic system with extended depth of field
US20120218386A1 (en) Systems and Methods for Comprehensive Focal Tomography
Shroff et al. High resolution image reconstruction for plenoptic imaging systems using system response
JP2010087849A (ja) 情報読取用撮像装置
US20100188484A1 (en) Image data obtaining method and apparatus therefor
JP2016039471A (ja) コンバージョンレンズユニットおよび撮像システム
Muhammad et al. Calculating accurate window size for shape-from-focus
Fu et al. An effective interpretation of defocusing and the corresponding defocus convolution kernel
Estrada et al. Multi-frame GAN-based machine learning image restoration for degraded visual environments
US20240135508A1 (en) Image processing method, image processing apparatus, image processing system, imaging apparatus, and storage medium
Yan et al. Interactive background blurring
Yitzhaky et al. Restoration of depth-based space-variant blurred images
Lu et al. Configurable multiple virtual lenses conjugated with singlet physical lens for achromatic extended depth-of-field imaging

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151008

R150 Certificate of patent or registration of utility model

Ref document number: 5824113

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees