[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

TW202327344A - 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理 - Google Patents

用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理 Download PDF

Info

Publication number
TW202327344A
TW202327344A TW111139834A TW111139834A TW202327344A TW 202327344 A TW202327344 A TW 202327344A TW 111139834 A TW111139834 A TW 111139834A TW 111139834 A TW111139834 A TW 111139834A TW 202327344 A TW202327344 A TW 202327344A
Authority
TW
Taiwan
Prior art keywords
data
sensor elements
image
sensor
dynamic range
Prior art date
Application number
TW111139834A
Other languages
English (en)
Inventor
勁 王
家福 羅
馬時磊
曉雲 江
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202327344A publication Critical patent/TW202327344A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/585—Control of the dynamic range involving two or more exposures acquired simultaneously with pixels having different sensitivities within the sensor, e.g. fast or slow pixels or pixels having different sizes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本案提供了用於圖像信號處理的系統、方法和設備，其經由增大的動態範圍及/或高亮保持來支援攝影中的改良的細節保持。可以對從具有不同靈敏度的兩組感測器元件的分離圖元圖像感測器接收的資料執行圖像信號處理。圖像信號處理可以包括接收圖像資料，該圖像資料包括：來自第一組感測器元件的第一資料和來自第二組感測器元件的第二資料，該第二組感測器元件以與第一組感測器元件不同的靈敏度擷取場景的表示；決定輸出圖像訊框的輸出動態範圍；及基於第一資料和第二資料中的至少一個以及基於輸出動態範圍來決定輸出圖像訊框。亦主張保護和描述了其他態樣和特徵。

Description

用於高動態範圍（HDR）攝影中的並行訊框擷取的圖像感測器和資料處理
本專利申請案主張於2021年11月22日提出申請的題為「IMAGE SENSOR AND DATA PROCESSING FOR PARALLEL FRAME CAPTURE IN HIGH DYNAMIC RANGE (HDR) PHOTOGRAPHY」的美國專利申請案第17/456,117的權益，其全部內容經由引用明確地結合於此。
本案的各態樣大體上係關於圖像處理。一些特徵可以實現並提供改良的圖像處理，包括具有增大的圖像細節及/或動態範圍的圖像。
圖像擷取設備是可以擷取一或多個數位圖像的設備，無論是照片的靜止圖像還是視訊的圖像序列。擷取設備可以併入各種各樣的設備中。舉例而言，圖像擷取設備可以包括獨立的數位相機或數位視訊攝錄機、配備有攝像頭的無線通訊設備手持機（例如，行動電話、蜂巢式或衛星無線電電話、個人數位助理（PDA）、面板或平板電腦）、遊戲設備、電腦設備（例如，網路攝像頭）、視訊監控攝像頭或具有數位成像或視訊能力的其他設備。
當使用圖像擷取設備擷取具有寬色域的場景的表示時，動態範圍對於圖像品質可能是重要的。習知圖像感測器的動態範圍有限，可能小於人眼的動態範圍。動態範圍可以指圖像的明亮部分和圖像的黑暗部分之間的燈光範圍。習知的圖像感測器可以增加曝光時間，以飽和圖像的明亮部分為代價來改良圖像的黑暗部分的細節。或者，習知的圖像感測器可以減少曝光時間，以丟失圖像的黑暗部分的細節為代價來改良圖像的明亮部分的細節。因此，圖像擷取設備通常經由調整曝光時間來平衡衝突的需要，從而保留圖像的明亮部分或黑暗部分中的細節。高動態範圍（HDR）攝影經由組合來自圖像感測器的多個記錄圖像來改良使用該等習知圖像感測器的攝影。該等記錄圖像被一個接一個地連續記錄，隨後被組合。然而，圖像的連續記錄導致記錄圖像訊框之間的重影或失配，此舉降低了經由組合所記錄的圖像訊框而獲得的HDR攝影的品質。
以下概述了本案的一些態樣以提供對所論述的技術的基本理解。該發明內容不是本案的所有預期特徵的廣泛綜述，並且既不意欲標識本案的所有態樣的關鍵或重要元素，亦不意欲圖示本案的任何或所有態樣的範疇。其唯一目的是以簡化形式呈現本案的一或多個態樣的一些概念，作為稍後呈現的更詳細描述的序言。
圖像感測器可以被配置為記錄具有不同靈敏度的圖像訊框，使得圖像訊框可以被組合，以產生品質提高的攝影。可以經由一或多個高亮區域及/或黑暗區域中的更高細節來觀察到提高的品質。圖像感測器配置可以包括具有第一靈敏度的第一組感測器元件和具有不同於第一靈敏度的第二靈敏度的第二組感測器元件。第一組感測器元件可以以第一靈敏度擷取場景的第一表示；並且第二組感測器元件可以以第二靈敏度擷取場景的第二表示。一種此種圖像感測器配置在下文的實施例中被描述為分離圖元圖像感測器，然而，其他圖像感測器配置可以用於獲得第一和第二靈敏度。單個圖像感測器內的不同靈敏度可以允許在至少部分重疊的時間內記錄第一資料和第二資料。用於攝影的輸出圖像訊框可以經由第一資料和第二資料中的至少一個來決定，並且在一些實施例中，可以經由第一資料和第二資料來決定。
根據本案的實施例的用於記錄場景表示的具有不同靈敏度的圖像感測器可以用於產生標準動態範圍（SDR）照片或高動態範圍（HDR）照片。一種用於處理至少部分地在重疊時間段中從一或多個感測器擷取的第一資料和第二資料的方法可以包括以下步驟：從圖像感測器或從耦合到圖像感測器的記憶體接收包括第一資料和第二資料的圖像資料。第一資料可以是從以第一靈敏度擷取場景的第一表示的第一組感測器元件接收的。第二資料可以是從第二組感測器元件接收的，第二組感測器元件以不同於第一靈敏度的第二靈敏度擷取場景的第二表示。在一些實施例中，從一個圖像感測器並行擷取第一資料和第二資料，其中第一組感測器元件具有與第二組感測器元件不同的配置，例如，在本案的實施例中描述的分離圖元圖像感測器中。
在本案的一個態樣，一種用於圖像處理的方法包括以下步驟：接收對應於以第一靈敏度擷取的場景的第一資料，第一資料由第一組感測器元件擷取；接收對應於以第二靈敏度擷取的場景的第二資料，第二資料由第二組感測器元件擷取，其中第一組感測器元件和第二組感測器元件形成感測器元件的均勻陣列，感測器元件的均勻陣列被配置為顏色樣式，感測器元件的均勻陣列包括大於拜耳樣式的濾色器陣列（CFA）；決定輸出圖像訊框的輸出動態範圍；及基於輸出動態範圍以及基於第一資料和第二資料中的至少一個來決定輸出圖像訊框。
在本案的附加態樣，一種裝置包括至少一個處理器和耦合到該至少一個處理器的記憶體。至少一個處理器被配置為執行以下步驟，包括：接收對應於以第一靈敏度擷取的場景的第一資料，第一資料由第一組感測器元件擷取；接收對應於以第二靈敏度擷取的場景的第二資料，第二資料由第二組感測器元件擷取，其中第一組感測器元件和第二組感測器元件形成感測器元件的均勻陣列，感測器元件的均勻陣列被配置為顏色樣式，感測器元件的均勻陣列包括大於拜耳樣式的濾色器陣列（CFA）；決定輸出圖像訊框的輸出動態範圍；及基於輸出動態範圍以及基於第一資料和第二資料中的至少一個來決定輸出圖像訊框。
在本案的附加態樣，一種裝置包括：用於接收對應於以第一靈敏度擷取的場景的第一資料的構件，第一資料由第一組感測器元件擷取；用於接收對應於以第二靈敏度擷取的場景的第二資料的構件，第二資料由第二組感測器元件擷取，其中第一組感測器元件和第二組感測器元件形成感測器元件的均勻陣列，感測器元件的均勻陣列被配置為顏色樣式，感測器元件的均勻陣列包括大於拜耳樣式的濾色器陣列（CFA）；用於決定輸出圖像訊框的輸出動態範圍的構件；及用於基於輸出動態範圍以及基於第一資料和第二資料中的至少一個來決定輸出圖像訊框的構件。
在本案的另一態樣，一種裝置包括：圖像感測器，包括第一組感測器元件和第二組感測器元件，其中第一組感測器元件和第二組感測器元件包括感測器元件的均勻陣列，感測器元件的均勻陣列表示大於拜耳樣式的濾色器陣列（CFA）的顏色樣式；記憶體，該記憶體儲存處理器可讀取代碼並且耦合到圖像感測器；及至少一個處理器，該至少一個處理器耦合到記憶體以及耦合到圖像感測器，該至少一個處理器被配置為執行處理器可讀取代碼，以使至少一個處理器執行以下步驟，包括：將在至少部分重疊的時間期間從圖像感測器擷取的第一資料和第二資料記錄到記憶體中，來自第一組感測器元件的第一資料以第一靈敏度擷取場景的第一表示，來自第二組感測器元件的第二資料以不同於第一靈敏度的第二靈敏度擷取場景的第二表示；決定輸出圖像訊框的輸出動態範圍；及基於輸出動態範圍以及基於第一資料和第二資料中的至少一個來決定輸出圖像訊框。
在本案的附加態樣，一種非暫時性電腦可讀取媒體儲存指令，當由處理器執行時，該等指令使處理器執行操作。該等操作包括：接收對應於以第一靈敏度擷取的場景的第一資料，第一資料由第一組感測器元件擷取；接收對應於以第二靈敏度擷取的場景的第二資料，第二資料由第二組感測器元件擷取，其中第一組感測器元件和第二組感測器元件形成感測器元件的均勻陣列，感測器元件的均勻陣列被配置為顏色樣式，感測器元件的均勻陣列包括大於拜耳樣式的濾色器陣列（CFA）；決定輸出圖像訊框的輸出動態範圍；及基於輸出動態範圍以及基於第一資料和第二資料中的至少一個來決定輸出圖像訊框。
圖像擷取設備，亦即可以擷取一或多個數位圖像（無論是靜止圖像照片還是視訊圖像序列）的設備，可以併入各種各樣設備中。舉例而言，圖像擷取設備可以包括獨立的數位相機或數位視訊攝錄機、配備有攝像頭的無線通訊設備手持機（例如，行動電話、蜂巢式或衛星無線電電話、個人數位助理（PDA）、面板或平板電腦）、遊戲設備、電腦設備（例如，網路攝像頭）、視訊監控攝像頭或具有數位成像或視訊能力的其他設備。
大體而言，本案描述了涉及具有圖像感測器和圖像信號處理器（ISP）的數位相機的圖像處理技術。ISP可以被配置為控制來自一或多個圖像感測器的圖像訊框的擷取，並處理來自一或多個圖像感測器的一或多個圖像訊框，以產生校正的圖像訊框中的場景的視圖。校正的圖像訊框可以是形成視訊序列的圖像訊框序列的一部分。視訊序列可以包括從圖像感測器或其他圖像感測器接收的其他圖像訊框及/或基於來自圖像感測器或另一圖像感測器的輸入的其他校正的圖像訊框。在一些實施例中，一或多個圖像訊框的處理可以在圖像感測器內執行，例如，在圖元合併模組中。本文揭示的實施例中描述的圖像處理技術可以由圖像感測器中、圖像信號處理器（ISP）中、應用處理器（AP）中或者該等元件中的兩個或全部元件的組合中的電路系統（例如，圖元合併模組）來執行。
在一個實例中，圖像信號處理器可以回應於軟體（例如，相機應用程式）的載入，接收擷取圖像訊框序列的指令，以從圖像擷取設備產生預覽顯示。圖像信號處理器可以被配置為基於從一或多個圖像感測器接收的圖像訊框來產生單個輸出訊框流程。單個輸出訊框流程可以包括來自圖像感測器的原始圖像資料、來自圖像感測器的圖元合併的圖像資料，或者由圖像信號處理器內的一或多個演算法（例如，在圖元合併模組中）處理的校正的圖像訊框。例如，從圖像感測器獲得的圖像訊框可以在輸出到圖像信號處理器之前對資料執行某種處理，經由圖像後處理引擎（IPE）及/或用於執行色調映射、人像照明、對比度增強、伽馬校正等中的一或多個的其他圖像處理電路系統來處理圖像訊框，從而在圖像信號處理器中對圖像訊框進行處理。
在表示場景的輸出訊框由圖像信號處理器使用圖像校正（例如，本文各種實施例中描述的圖元合併）決定之後，輸出訊框可以作為單個靜止圖像及/或作為視訊序列的一部分顯示在設備顯示器上，作為圖片或視訊序列保存到儲存設備，經由網路傳輸，及/或向輸出媒體列印。例如，圖像信號處理器可以被配置為從不同的圖像感測器獲得圖像資料（例如，圖元值）的輸入訊框，並且進而產生圖像資料的對應輸出訊框（例如，預覽顯示訊框、靜止圖像擷取、視訊訊框、物件追蹤訊框等）。在其他實例中，圖像信號處理器可以向各種輸出設備及/或相機模組輸出圖像資料的訊框，以供進一步處理，例如，用於3A參數同步（例如，自動聚焦（AF）、自動白平衡（AWB）和自動曝光控制（AEC））、經由輸出訊框產生視訊檔案、將訊框配置用於顯示、將訊框配置用於儲存、經由網路連接傳輸訊框等。亦即，圖像信號處理器可以從一或多個圖像感測器獲得輸入訊框，每個圖像感測器耦合到一或多個相機透鏡，並且進而可以產生輸出訊框流程並將其輸出到各個輸出目的地。
在一些態樣中，可以經由將本案的圖像校正的態樣與其他計算攝影技術（例如，高動態範圍（HDR）攝影或多訊框降雜（MFNR））組合來產生校正的圖像訊框。利用HDR攝影，第一圖像訊框和第二圖像訊框是使用不同的曝光時間、不同的光圈、不同的透鏡及/或其他特性來擷取的，當兩個圖像訊框被組合時，該等特性可以導致融合圖像的動態範圍改良。在一些態樣，可以針對MFNR攝影來執行該方法，其中第一圖像訊框和第二圖像訊框是使用相同或不同的曝光時間來擷取的，並將其融合，以產生與所擷取的第一圖像訊框相比雜訊減少的校正的第一圖像訊框。
在一些態樣，設備可以包括圖像信號處理器或包括用於相機控制及/或處理的特定功能的處理器（例如，應用處理器），例如，啟用或禁用圖元合併模組或以其他方式控制圖像校正的態樣。本文描述的方法和技術可以完全由圖像信號處理器或處理器來執行，或者各種操作可以在圖像信號處理器和處理器之間分離，並且在一些態樣可以在附加的處理器上分離。
該裝置可以包括一個、兩個或更多個圖像感測器，例如，包括第一圖像感測器。當存在多個圖像感測器時，第一圖像感測器可以具有比第二圖像感測器更大的視場（FOV），或者第一圖像感測器可以具有與第二圖像感測器不同的靈敏度或不同的動態範圍。在一個實例中，第一圖像感測器可以是廣角圖像感測器，第二圖像感測器可以是遠距圖像感測器。在另一實例中，第一感測器被配置為經由具有第一光軸的第一透鏡獲得圖像，第二感測器被配置為經由具有不同於第一光軸的第二光軸的第二透鏡獲得圖像。附加地或替代地，第一透鏡可以具有第一放大率，第二透鏡可以具有不同於第一放大率的第二放大率。該配置可以與行動設備上的透鏡群集一起出現，例如，其中多個圖像感測器和相關聯的透鏡位於行動設備的前側或後側上的偏移位置。可以包括具有更大、更小或相同視場的附加圖像感測器。本文描述的圖像校正技術可以應用於從多感測器設備中的任何圖像感測器擷取的圖像訊框。
在本案的附加態樣，揭示一種被配置用於圖像處理及/或圖像擷取的設備。該裝置包括用於擷取圖像訊框的構件。該裝置亦包括一或多個用於擷取表示場景的資料的構件，例如，圖像感測器（包括電荷耦合元件（CCD）、拜耳濾光器感測器、紅外（IR）偵測器、紫外（UV）偵測器、互補金屬氧化物半導體（CMOS）感測器）、飛行時間偵測器。該裝置亦可以包括一或多個用於將光線聚集及/或聚焦到一或多個圖像感測器中的構件（包括簡單透鏡、複合透鏡、球面透鏡和非球面透鏡）。該等元件可以被控制，以擷取輸入到本文所述的圖像處理技術的第一及/或第二圖像訊框。
在結合附圖審查具體示例性態樣的以下描述之後，一般技術者將會明白其他態樣、特徵和實施方式。儘管可以相對於下文的某些態樣和附圖來論述特徵，但是各個態樣可以包括本文論述的一或多個有利特徵。換言之，儘管一或多個態樣可以被論述為具有某些有利的特徵，但是根據各個態樣亦可以使用一或多個此種特徵。以類似的方式，儘管示例性態樣可以在下文作為設備、系統或方法態樣來論述，但是示例性態樣可以在各種設備、系統和方法中實現。
該方法可以作為電腦程式代碼嵌入在電腦可讀取媒體中，該電腦程式代碼包括使處理器執行該方法的步驟的指令。在一些實施例中，處理器可以是行動設備的一部分，該行動設備包括：第一網路配接器，其被配置為經由複數個網路連接中的第一網路連接來傳輸資料，例如，作為記錄或串流資料的圖像或視訊；及處理器，其耦合到第一網路配接器；及記憶體。該處理器可以促使經由無線通訊網路（例如，5G NR通訊網路）傳輸本文所述的校正的圖像訊框。
前面已經相當寬泛地概述了根據本案的實例的特徵和技術優點，以便可以更好地理解下文的詳細描述。下文將描述附加的特徵和優點。所揭示的概念和具體實例可以容易地用作修改或設計用於實現本案的相同目的的其他結構的基礎。此種等同的構造不脫離所附請求項的範疇。當結合附圖考慮時，從下文的描述中將更好地理解本文揭示的概念的特徵、其組織和操作方法以及相關的優點。每個附圖皆是為了說明和描述的目的而提供的，而不是作為對請求項的限制的定義。
儘管在本案中經由對一些實例的說明描述了各態樣和實施方式，但是熟習此項技術者將理解，在許多不同的佈置和場景中可以出現附加的實施方式和使用情況。本文描述的創新可以跨許多不同的平臺類型、設備、系統、形狀、大小、包裝佈置來實現。例如，態樣及/或用途可以經由整合晶片實施方式和其他基於非模組元件的設備（例如，終端使用者設備、車輛、通訊設備、計算設備、工業設備、零售/購買設備、醫療設備、人工智慧（AI）支援設備等）來實現。儘管一些實例可能或可能不具體針對用例或應用，但是所描述的創新的各種各樣的適用性皆可能出現。實施方式的頻譜範圍可以從晶片級或模組化元件到非模組化、非晶片級實施方式，並且進一步到結合了所描述的創新的一或多個態樣的集合、分散式或原始設備製造商（OEM）設備或系統。在一些實際設置中，結合了所描述的態樣和特徵的設備亦可能必須包括用於實現和實踐所主張保護和描述的態樣的附加元件和特徵。例如，無線信號的傳輸和接收必須包括用於類比和數位目的的多個元件（例如，包括天線、射頻（RF）鏈、功率放大器、調制器、緩衝器、處理器、交錯器、加法器/求和器等的硬體元件）。其意圖是本文描述的創新可以在不同大小、形狀和構造的多種設備、晶片級元件、系統、分散式佈置、終端使用者設備等中實踐。
結合附圖在下文闡述的詳細描述意欲作為各種配置的描述，而不意欲限制本案的範疇。相反，本詳細描述包括具體細節以便提供對本案標的的透徹理解。對熟習此項技術者而言顯而易見的是，並非在每種情況下皆需要該等具體細節，並且在某些情況下，為了表述清楚，以方塊圖形式圖示眾所周知的結構和元件。
本案提供了支援圖像擷取及/或圖像處理的系統、裝置、方法和電腦可讀取媒體。例如，圖像感測器可以被配置為記錄具有不同靈敏度的圖像訊框，使得圖像訊框可以被組合，以產生品質提高的攝影。可以經由一或多個高亮區域及/或黑暗區域中的更高細節來觀察到品質的提高。圖像感測器配置可以包括具有第一靈敏度的第一組感測器元件和具有不同於第一靈敏度的第二靈敏度的第二組感測器元件。第一組感測器元件可以以第一靈敏度擷取場景的第一表示；並且第二組感測器元件可以以第二靈敏度擷取場景的第二表示。
可以實現本案中描述的標的的特定實施方式，以實現一或多個以下潛在的優點或益處。在一些態樣，本案提供了用於實現具有減少的運動偽影的高動態範圍（HDR）攝影的技術。根據從單個圖像感測器（例如，本案的實施例中描述的分離圖元圖像感測器）並行擷取的圖像資料形成HDR圖像可以減少運動偽影。圖像感測器中的不同感測器元件的曝光時間可以相同，以進一步減少運動偽影。在一些實施例中，感測器元件的電路配置可以包括電容，該電容提供更高的動態範圍，而不需要對不同的感測器元件使用不同的曝光時間。經由允許對從圖像感測器輸出的圖像資料進行不同的處理以產生不同的輸出訊框，本案的技術中描述的圖像感測器配置和處理仍可支援感測器變焦、圖元合併和其他SDR攝影處理技術。
使用一或多個圖像感測器來擷取圖像訊框的示例性設備（例如，智慧手機）可以包括在設備的背面（例如，與使用者顯示器相對的一側）或正面（例如，與使用者顯示器相同的一側）上的兩個、三個、四個或更多個相機的配置。具有多個圖像感測器的設備包括一或多個圖像信號處理器（ISP）、電腦視覺處理器（CVP）（例如，AI引擎）或者用於處理由圖像感測器擷取的圖像的其他合適的電路系統。一或多個圖像感測器可以包括可重新配置的圖元合併模組。附加地或替代地，一或多個圖像信號處理器（ISP）可以包括可重新配置的圖元合併模組。一或多個圖像信號處理器可以向記憶體及/或處理器（例如，應用處理器、圖像前端（IFE）、圖像處理引擎（IPE）或其他合適的處理電路系統）提供經處理的圖像訊框，用於進一步處理，例如，編碼、儲存、傳輸或其他操縱。
如本文所使用的，圖像感測器可以指圖像感測器本身和耦合到圖像感測器的任何特定其他元件，該等元件用於產生圖像訊框，以供圖像信號處理器或其他邏輯電路系統處理或儲存在記憶體中，無論是短期緩衝器還是長期非揮發性記憶體。例如，圖像感測器可以包括相機的其他元件，包含快門、緩衝器或用於存取圖像感測器的單獨圖元的其他讀出電路系統。圖像感測器亦可以指用於將類比信號轉換成圖像訊框的數位表示的類比前端或其他電路系統，該等數位表示被提供給耦合到圖像感測器的數位電路系統。
在以下描述中，闡述了許多特定的細節，諸如特定的元件、電路和過程的實例，以提供對本案的透徹理解。如本文所使用，術語「耦合」是指直接連接到一或多個中間元件或電路或者經由一或多個中間元件或電路連接。此外，在以下說明書中並且為了解釋的目的，闡述了具體的命名以提供對本案的全面理解。然而，對於熟習此項技術者而言顯而易見的是，該等具體細節可能不是實踐本文揭示的教示所必需的。在其他情況下，公知的電路和設備以方塊圖形式圖示，以避免模糊本案的教示。
以下詳細描述的某些部分是按照程序、邏輯區塊、處理以及對電腦記憶體內的資料位元的操作的其他符號表示來呈現的。在本案中，程序、邏輯區塊、過程等被認為是導致期望結果的步驟或指令的自洽序列。該等步驟是需要對物理量進行實體操作的步驟。通常，儘管不是必須的，但是該等量採取能夠在電腦系統中儲存、傳輸、組合、比較和以其他方式操作的電或磁信號的形式。
在附圖中，單個方塊可以被描述為執行一或多個功能。由該方塊執行的一或多個功能可以在單個元件中或跨多個元件來執行，及/或可以使用硬體、軟體或硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟在下文通常按照其功能來描述。此種功能被實現為硬體還是軟體，取決於特定的應用和施加在整體系統上的設計約束。熟習此項技術者可以針對每個特定應用以不同方式實現所描述的功能，但是此種實現決定不應解釋為導致偏離本案的範疇。此外，示例性設備可以包括除了所示的元件之外的元件，包括眾所周知的元件，例如，處理器、記憶體等。
本案的各態樣適用於包括或耦合到能夠擷取圖像訊框（或「訊框」）的兩個或更多個圖像感測器的任何電子設備。此外，本案的態樣可以在具有或耦合到相同或不同能力和特性（例如，解析度、快門速度、感測器類型等）的圖像感測器的設備中實現。此外，本案的各態樣可以在用於處理圖像訊框的設備中實現，無論該設備是否包括或耦合到圖像感測器，例如，可以取得儲存的圖像以供處理的處理設備，包括雲端計算系統中存在的處理設備。
除非另有特別聲明，從下文的論述中顯而易見的是，應當理解，在整個本案中，使用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「相乘」、「平均」、「監控」、「比較」、「應用」、「更新」、「量測」、「匯出」、「解決」、「產生」等術語的論述是指電腦系統或類似的電子計算設備的動作和過程，該電腦系統或類似的電子計算設備將表示為電腦系統的暫存器和記憶體內的物理（電子）量的資料操縱和變換為類似地表示為電腦系統的暫存器、記憶體或其他此種資訊儲存、傳輸或顯示設備內的物理量的其他資料。
術語「設備」和「裝置」不限於一個或特定數量的實體物件（例如，一個智慧手機、一個相機控制器、一個處理系統等）。如本文所使用，設備可以是具有可以實現本案的至少一些部分的一或多個部分的任何電子設備。儘管以下描述和實例使用術語「設備」來描述本案的各個態樣，但是術語「設備」不限於物件的特定配置、類型或數量。如本文所使用的，裝置可以包括用於執行所描述的操作的設備或設備的一部分。
圖1圖示用於從一或多個圖像感測器執行圖像擷取的示例性設備100的方塊圖。設備100可以包括或以其他方式耦合到圖像信號處理器112，用於處理來自一或多個圖像感測器（例如，第一圖像感測器101、第二圖像感測器102和深度感測器140）的圖像訊框。在一些實施方式中，設備100亦包括或耦合到處理器104和儲存指令108的記憶體106。設備100亦可以包括或耦合到顯示器114和輸入/輸出（I/O）元件116。I/O元件116可以用於與使用者互動，例如，觸控式螢幕介面及/或實體按鈕。I/O元件116亦可以包括用於與其他設備通訊的網路介面，包括廣域網路（WAN）配接器152、區域網路（LAN）配接器153及/或個人區域網路（PAN）配接器154。示例性WAN配接器是4G LTE或5G NR無線網路配接器。示例性LAN配接器153是IEEE 802.11 WiFi無線網路配接器。示例性PAN配接器154是藍芽無線網路配接器。配接器152、153及/或154中的每一個可以耦合到天線，包括被配置用於主要和分集接收及/或被配置用於接收特定頻帶的多個天線。設備100亦可以包括或耦合到設備100的電源118，例如，電池或用於將設備100耦合到能源的元件。設備100亦可以包括或耦合到圖1中未圖示的附加特徵或元件。在一個實例中，可以包括多個收發器和基頻處理器的無線介面可以耦合到或包括在無線通訊設備的WAN配接器152中。在另一實例中，將類比圖像訊框資料轉換成數位圖像訊框資料的類比前端（AFE）可以耦合在圖像感測器101和102與圖像信號處理器112之間。
該設備可以包括或耦合到感測器集線器150，用於與感測器接合，以接收關於設備100的移動的資料、關於設備100周圍的環境的資料及/或其他非相機感測器資料。一個示例性非相機感測器是陀螺儀，亦即被配置用於量測旋轉、方向及/或角速度以產生運動資料的設備。另一示例性非相機感測器是加速度計，亦即被配置用於量測加速度的設備，該設備亦可以用於經由適當地整合所量測的加速度來決定速度和行進的距離，並且加速度、速度及/或距離中的一或多個可以被包括在產生的運動資料中。在一些態樣，電子圖像穩定系統（EIS）中的陀螺儀可以耦合到感測器集線器或者直接耦合到圖像信號處理器112。在另一實例中，非相機感測器可以是全球定位系統（GPS）接收器。
圖像信號處理器112可以接收圖像資料，例如，用於形成圖像訊框的圖像資料。在一個實施例中，本端匯流排連接將圖像信號處理器112分別耦合到第一和第二相機的圖像感測器101和102。在另一實施例中，有線介面將圖像信號處理器112耦合到外部圖像感測器。在另一實施例中，無線介面將圖像信號處理器112耦合到圖像感測器101、102。
第一相機可以包括第一圖像感測器101和對應的第一透鏡131。第二相機可以包括第二圖像感測器102和對應的第二透鏡132。透鏡131和132中的每一個可以由在ISP 112中執行的相關聯的自動聚焦（AF）演算法133來控制，該演算法調整透鏡131和132，以聚焦在距離圖像感測器101和102的特定場景深度處的特定焦平面上。AF演算法133可以由深度感測器140輔助。
第一圖像感測器101和第二圖像感測器102被配置為擷取一或多個圖像訊框。透鏡131和132分別經由用於接收光的一或多個光圈、用於在曝光訊窗之外時阻擋光的一或多個快門、用於過濾特定頻率範圍之外的光的一或多個濾色器陣列（CFA）、用於將類比量測轉換成數位資訊的一或多個類比前端及/或用於成像的其他合適元件，將光聚焦在圖像感測器101和102上。第一透鏡131和第二透鏡132可以具有不同的視場，以擷取場景的不同表示。例如，第一透鏡131可以是超寬（UW）透鏡，第二透鏡132可以是寬（W）透鏡。多個圖像感測器可以包括超寬（高視場（FOV））、寬、遠距和超遠距（低FOV）感測器的組合。亦即，每個圖像感測器可以經由硬體配置及/或軟體設置來配置，以獲得不同但重疊的視場。在一種配置中，圖像感測器配置有不同的透鏡，該等透鏡具有不同的放大率，從而產生不同的視場。感測器可以被配置為使得UW感測器比W感測器具有更大的FOV，W感測器比T感測器具有更大的FOV，T感測器比UT感測器具有更大的FOV。例如，被配置用於寬FOV的感測器可以擷取64-84度範圍內的視場，被配置用於超邊FOV的感測器可以擷取100-140度範圍內的視場，被配置用於遠距FOV的感測器可以擷取10-30度範圍內的視場，並且被配置用於超遠距FOV的感測器可以擷取1-8度範圍內的視場。
圖像信號處理器112處理由圖像感測器101和102擷取的圖像訊框。儘管圖1將設備100圖示為包括耦合到圖像信號處理器112的兩個圖像感測器101和102，但是任何數量（例如，一個、兩個、三個、四個、五個、六個等）的圖像感測器可以耦合到圖像信號處理器112。在一些態樣，深度感測器（例如，深度感測器140）可以耦合到圖像信號處理器112，並且來自深度感測器的輸出以與圖像感測器101和102類似的方式處理。此外，對於設備100，可以存在任意數量的附加圖像感測器或圖像信號處理器。
在一些實施例中，圖像信號處理器112可以執行來自記憶體的指令，例如，來自記憶體106的指令108、儲存在耦合到圖像信號處理器112或包括在圖像信號處理器112中的獨立記憶體中的指令，或由處理器104提供的指令。另外，或者替代地，圖像信號處理器112可以包括被配置為執行本案中描述的一或多個操作的特定硬體（例如，一或多個積體電路（IC））。例如，圖像信號處理器112可以包括一或多個圖像前端（IFE）135、一或多個圖像後處理引擎136（IPE）及/或一或多個自動曝光補償（AEC）134引擎。AF 133、AEC 134、AFE 135、APE 136可以均包括專用電路系統，被實現為由ISP 112執行的軟體代碼及/或ISP 112內的硬體和在ISP 112上執行的軟體代碼的組合。
在一些實施方式中，記憶體106可以包括儲存電腦可執行指令108的非瞬態或非暫時性電腦可讀取媒體，以執行本案中描述的一或多個操作的全部或一部分。在一些實施方式中，指令108包括由設備100執行的用於產生圖像或視訊的相機應用程式（或其他合適的應用程式）。指令108亦可以包括由設備100執行的其他應用程式或程式，例如，作業系統和除了圖像或視訊產生之外的專門應用程式。例如，由處理器104執行相機應用程式可以使得設備100使用圖像感測器101和102以及圖像信號處理器112來產生圖像。記憶體106亦可以由圖像信號處理器112存取，以儲存處理後的訊框，或者可以由處理器104可以存取，以獲得處理後的訊框。在一些實施例中，設備100不包括記憶體106。例如，設備100可以是包括圖像信號處理器112的電路，並且記憶體可以在設備100的外部。設備100可以耦合到外部記憶體，並且被配置為存取該記憶體，以寫入輸出訊框，用於顯示或長期儲存。在一些實施例中，設備100是晶片上系統（SoC），該晶片上系統將圖像信號處理器112、處理器104、感測器集線器150、記憶體106和輸入/輸出元件116併入單個封裝中。
在一些實施例中，圖像信號處理器112或處理器104中的至少一個執行指令，以執行本文描述的各種操作，包括圖元合併操作。例如，指令的執行可以指示圖像信號處理器112開始或結束擷取圖像訊框或圖像訊框序列，其中擷取包括圖元合併，如本文實施例中所述。在一些實施例中，處理器104可以包括一或多個通用處理器核心104A，其能夠執行一或多個軟體程式的腳本或指令，例如，儲存在記憶體106中的指令108。例如，處理器104可以包括一或多個應用處理器，其被配置為執行儲存在記憶體106中的相機應用程式（或用於產生圖像或視訊的其他合適的應用程式）。
在執行相機應用程式時，處理器104可以被配置為指示圖像信號處理器112參考圖像感測器101或102執行一或多個操作。例如，相機應用程式可以接收開始視訊預覽顯示的命令，在該視訊預覽顯示上，從一或多個圖像感測器101或102擷取並處理包括圖像訊框序列的視訊。例如，利用級聯IPE的圖像校正可以應用於該序列中的一或多個圖像訊框。處理器104在相機應用程式之外執行指令108亦可以使設備100執行任意數量的功能或操作。在一些實施例中，除了執行軟體以使設備100執行多個功能或操作（例如，本文描述的操作）的能力之外，處理器104可以包括IC或其他硬體（例如，人工智慧（AI）引擎124）。在一些其他實施例中，設備100不包括處理器104，例如，當所有描述的功能皆被配置在圖像信號處理器112中時。
在一些實施例中，顯示器114可以包括一或多個合適的顯示器或螢幕，允許使用者互動及/或向使用者呈現項目，例如，由圖像感測器101和102擷取的圖像訊框的預覽。在一些實施例中，顯示器114是觸敏顯示器。I/O元件116可以是或包括任何合適的機制、介面或設備，以接收來自使用者的輸入（例如，指定輸出動態範圍的命令）並且經由顯示器114向使用者提供輸出。例如，I/O元件116可以包括（但不限於）圖形使用者介面（GUI）、鍵盤、滑鼠、麥克風、揚聲器、可擠壓邊框、一或多個按鈕（例如，電源按鈕）、滑塊、開關等。
儘管被示為經由處理器104彼此耦合，但是元件（例如，處理器104、記憶體106、圖像信號處理器112、顯示器114和I/O元件116）可以以其他各種佈置彼此耦合，例如，經由一或多個本端匯流排，為了簡單起見，該等本端匯流排未圖示。儘管圖像信號處理器112被示為與處理器104分離，但是圖像信號處理器112可以是處理器104的核心，該處理器是應用處理器單元（APU），包括在晶片上系統（SoC）中，或者以其他方式包括在處理器104中。儘管在本文的實例中參考設備100，用於執行本案的各態樣，但是為了防止模糊本案的各態樣，一些設備元件可能沒有在圖1中圖示。此外，其他元件、多個元件或元件的組合可以被包括在用於執行本案的各態樣的合適設備中。因此，本案不限於特定的設備或元件配置，包括設備100。
圖2圖示根據本案的一些實施例的具有分離圖元圖像感測器設計的圖像擷取設備。圖像擷取設備100可以具有一或多個相機，包括具有第一圖像感測器101的第一相機。被場景反射的光由第一透鏡131收集的光子表示，並且被導引至第一圖像感測器101。第一圖像感測器101包括將由光子表示的光轉換成電信號的感測器元件，例如，電荷耦合元件（CCD）或主動圖元元件（例如，互補金屬氧化物半導體（CMOS）元件）。第一圖像感測器101可以包括許多該等感測器元件的陣列。可以經由在每個感測器元件上包括濾色器來偵測場景中的單獨顏色，使得每個感測器元件量測場景中特定位置處的特定顏色的強度。感測器元件和濾色器可以被組織成在更大尺寸上重複的特定單元尺寸。每個感測器元件可以是感測器元件的均勻陣列200的一部分，其中每個感測器元件具有相同的暴露表面積，用於接收光。均勻感測器陣列可以具有感測器元件群組，該等感測器元件群組共同形成大於拜耳樣式的濾色器陣列（CFA）樣式。
作為一個實例，圖像感測器101可以包括濾色器陣列（CFA）200，其包括感測器元件202-G、202-R、202-B、204-G、204-R和204-B。綠色感測器元件202-G和204-G可以組織成3×3陣列；紅色感測器元件202-R和204-R可以組織成3×3陣列；及藍色感測器元件202-B和204-B可以組織成3×3陣列。綠色、藍色和紅色陣列可以被組織成6×6陣列，其中左上象限包括綠色圖像感測器202-G和204-G，右上象限包括紅色感測器元件202-R和204-R，左下象限包括藍色感測器元件202-B和204-B，右下象限包括綠色感測器元件202-S和204-S。儘管圖2圖示一個示例性濾色器陣列（CFA）配置，其具有例如用於每種顏色的3×3陣列和在圖像感測器200上重複的6×6單元，但是可以使用濾色器陣列（CFA）的其他配置。在一些實施例中，感測器元件204-G、204-R、204-B和204-S可以具有相關聯的中性密度濾光器，其降低到達元件204-G、204-R、204-B和204-S的光的強度，使得元件204具有比元件202更低的靈敏度。在一些實施例中，所有感測器元件可以具有中性密度濾光器，但是更強的濾光器與感測器元件204-G、204-R、204-B和204-S相關聯。圖3A-圖3D圖示根據一些實施例的用於分離圖元設計的替代CFA陣列。
從濾色器陣列（CFA）的讀出可以組合從CFA 200內的多個感測器元件收集的光子，以獲得表示場景的圖像訊框的圖元值。一些元件（例如，象限中的一些相鄰邊界元件）可以被組合成大的圖元群組，由圖元群組中的元件收集的光子被求和或以其他方式組合，以產生圖像訊框的圖元值。例如，左上象限中的八個綠色感測器元件202-G可以被組合，以獲得第一綠色圖元值。一些元件（例如，象限中的中心綠色元件204-G）可以作為小圖元群組被單獨讀出，以獲得具有不同靈敏度的第二綠色圖元值。同樣，右上象限中的八個紅色感測器元件202-R可以被組合，以獲得第一紅色圖元值，並且中心紅色元件204-R可以被讀出，以獲得第二紅色圖元；左下象限中的八個藍色感測器元件202-B可以被組合，以獲得第一藍色圖元值，並且中心藍色元件204-B可以被讀出，以獲得第二藍色圖元；並且右下象限中的八個綠色感測器元件202-S可以被組合，以獲得第三綠色圖元值，並且中心綠色元件204-S可以被讀出，以獲得第四綠色圖元值。
不同的圖元值可以用於形成圖像訊框。分離圖元配置的大圖元群組和小圖元群組提供不同的靈敏度，從而提供不同曝光時間的均等物。不同的圖元值可以在不同的圖像處理技術中組合，以獲得具有不同特性的場景的表示，例如，標準動態範圍（SDR）或高動態範圍（HDR）圖像。例如，HDR圖像訊框可以被決定為基於元件202的第一圖像訊框和基於元件204的第二圖像訊框的組合，其中第一圖像訊框是根據第一綠色圖元值、第一紅色圖元值、第一藍色圖元值和第三綠色圖元值決定的，並且第二圖像訊框是根據第二綠色圖元值、第二紅色圖元值、第二藍色圖元值和第四綠色圖元值決定的。第一和第二圖像訊框可以表示在兩個不同的等效曝光時間的場景，允許決定比第一或第二圖像訊框具有更高動態範圍的HDR圖像訊框。
習知HDR圖像感測器使用不同的曝光時間來獲得第一和第二圖像訊框，用於組合成HDR圖像訊框。然而，由於不同曝光時間引入不同程度的運動模糊，所以不同曝光時間導致組合的HDR圖像訊框中的運動偽影。例如，圖2和本文的其他實施例中描述的分離圖元圖像感測器允許從具有相同曝光時間但不同數量的感測器元件導致不同靈敏度的圖像訊框中決定組合的HDR圖像訊框。CFA陣列200的每個元件可以以相同的曝光時間操作，使得每個大圖元群組（例如，綠色感測器元件202-G）和小圖元群組（例如，綠色感測器元件204-G）暴露於相同的場景，並且不會遭受與習知HDR感測器相同的運動模糊。在一些實施例中，大圖元群組和小圖元群組可以在不同的曝光時間操作，以進一步增加根據基於大圖元群組的第一圖像訊框和根據基於小圖元群組的第二圖像訊框決定的組合的HDR圖像訊框的動態範圍。
圖3A、圖3B、圖3C和圖3D圖示不同CFA樣式的附加分離圖元感測器設計。
圖3A圖示根據本案的一些實施例的用於3×3濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。CFA陣列310包括感測器元件的3×3陣列的第一象限312，其中周邊感測器元件形成大圖元群組，中心感測器元件形成小圖元群組。象限314、316和318被類似地配置為具有大圖元群組和小圖元群組的第一象限312。
本案的實施例可以具有與圖3A的3×3陣列不同大小的CFA，例如，如圖3B所示的2×2陣列大小，或者如圖3C和圖3D所示的4×4陣列大小。圖3B圖示根據本案的一些實施例的用於2×2濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。CFA陣列320包括感測器元件的2×2陣列的第一象限322，其中頂部和左側感測器元件形成大圖元群組，作為第一象限322的2×2陣列的底部右側感測器元件形成小圖元群組。象限324、326和328被類似地配置為第一象限322。圖3C圖示根據本案的一些實施例的用於4×4濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。CFA陣列330包括感測器元件的4×4陣列的第一象限332，其中15個4×4感測器元件形成大圖元群組，一個感測器元件形成小圖元群組。形成小圖元群組的單個感測器元件可以是象限332的16個感測器元件中的任何一個，例如，圖3C的象限332中所示的陰影元件。象限334、336和338被類似地配置為具有大圖元群組和小圖元群組的第一象限332。
在一些實施例中，小圖元群組可以包括多個感測器元件，例如，在圖3D的實施例中。圖3D圖示根據本案的一些實施例的用於4×4濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。CFA陣列340包括感測器元件的4×4陣列的第一象限342，其中周邊12個感測器元件形成大圖元群組，內部4個感測器元件形成小圖元群組。象限344、346和348被類似地配置為第一象限342。儘管圖3A-圖3D中所示的重複單元的每個象限被示為類似地配置，但是象限可以具有不同的配置，例如，當不同顏色的不同配置是合適的時候。此外，儘管圖3A-圖3D的每個CFA陣列被示為具有類似的G-R-B-G濾色器佈置，但是濾色器可以被不同地配置，例如，具有兩個藍色或兩個紅色象限，或者具有散佈在整個CFA陣列中的RGB濾色器。
不管具有不同的大圖元群組和小圖元群組的CFA陣列的配置如何，大圖元群組和小圖元群組可以組合或不組合，以決定被決定為適合於場景的或基於使用者輸入決定的輸出訊框。用於決定輸出圖像訊框的不同技術在圖4中圖示。圖4圖示根據本案的一些實施例的具有3×3濾色器陣列（CFA）圖元配置的圖像處理技術的方塊圖。CFA陣列412可以產生原始資料，作為從CFA陣列412的單獨感測器元件讀取的一系列感測器值。原始資料可以在一或多個處理路徑430、432及/或434中處理。
第一處理路徑430決定非HDR輸出圖像訊框。路徑430包括圖元合併區塊402，其被配置為對CFA陣列412的值執行八圖元的圖元合併。小圖元群組可以在第一處理路徑430中丟棄，從而將CFA陣列412減少到CFA陣列412的單元的每個象限中的八個值。該八個值可以被平均或求和，以獲得每個象限的單個圖元值，從而將3x3 CFA陣列412減少到拜耳表示的輸出圖像訊框414，具有與CFA陣列412的大圖元群組相同的動態範圍。輸出圖像訊框414可以具有比CFA陣列412更低的解析度。區塊402的圖元合併可以與CFA陣列412的配置相匹配。例如，若輸入是由感測器（例如，圖3C的分離圖元圖像感測器）產生的CFA陣列，則區塊402的圖元合併可以是十五圖元圖元合併。
第二處理路徑432決定擷取全解析度圖像的非HDR輸出圖像訊框或具有感測器內變焦的圖像擷取訊框418。作為一個實例，在圖元合併模式下，用於感測器元件的具有3×3配置的108 MP感測器可以產生12MP拜耳。在全解析度模式下，再產生模組406產生不同的圖像訊框。在全解析度模式下，鑲嵌區塊416可以接收三個108MP原始圖像，並且資料訊框418將是108MP拜耳。在感測器內變焦模式中，將僅輸出12MP 3x3原始圖像訊框416，並且圖像訊框418將是12MP拜耳。該12MP拜耳的FOV是圖元合併模式12MP拜耳的1/3，因此被稱為感測器內變焦。該技術亦可以應用於以全解析度操作的感測器圖像，或者可在感測器內變焦和感測器內實施例之間切換。
路徑432包括替換圖元產生模組404，該替換圖元產生模組被配置為產生替換資料，以用從大圖元群組值決定的值來替換小圖元群組值，從而決定中間圖像訊框416。中間圖像訊框416在再產生模組406中被處理，該再產生模組以與CFA陣列412的大圖元群組的動態範圍相同的動態範圍來決定再產生拜耳樣式中的輸出圖像訊框418。輸出圖像訊框418可以具有與CFA陣列412相匹配的解析度。
第三處理路徑434經由組合來自CFA陣列412的大圖元群組和小圖元群組值來決定HDR輸出訊框。CFA陣列412的值被輸入到圖元分離模組408，以從大圖元群組中決定拜耳樣式中的第一圖像訊框420，並且從小圖元群組中決定拜耳樣式中的第二圖像訊框422。HDR處理模組410可以接收圖像訊框420和422，該等圖像訊框是在不同等效曝光時間擷取的場景的不同表示，並且基於使用圖像訊框420和422的色調映射來決定HDR輸出訊框424。HDR輸出圖像訊框424可以是比CFA陣列412更低的解析度。
可以基於圖像擷取設備被配置為決定HDR輸出圖像訊框還是SDR輸出圖像訊框來決定對接收到的CFA陣列執行圖4的何者處理路徑。用於處理來自CFA陣列的原始資料的方法500在圖5中圖示。圖5圖示說明根據本案的一些實施例的用於處理來自分離圖元圖像感測器的圖像資料的方法的流程圖。方法500包括以下步驟：在方塊502接收圖像資料，該圖像資料包括對應於以第一靈敏度擷取場景的第一表示的第一組感測器元件（例如，大圖元群組）的第一資料。圖像資料亦可以包括對應於以不同於第一組感測器元件的第一靈敏度的第二靈敏度擷取場景的第二表示的第二組感測器元件（例如，小圖元群組）的第二資料。例如，第二組感測器元件可以具有中性密度濾光器、不同的電容及/或不同的曝光時間。在一些實施例中，可以從一個圖像感測器並行擷取第一資料和第二資料。在一些實施例中，從具有如圖3A-圖3D所示的濾色器陣列（CFA）配置的分離圖元圖像感測器接收圖像資料。圖像資料可以由圖像信號處理器或來自一或多個圖像感測器（例如圖1的圖像感測器101、102及/或140）的處理器（例如，圖1的ISP 112或處理器104）接收。
在方塊504，決定輸出圖像訊框的動態範圍，例如，輸出圖像訊框被配置為高動態範圍（HDR）還是標準動態範圍（SDR）圖像訊框。輸出動態範圍的決定可以基於使用者輸入，例如，經由允許相機應用程式中的使用者選擇SDR或HDR用於輸出。輸出動態範圍的決定亦可以或替代地基於系統預設值。輸出動態範圍的決定亦可以或替代地基於圖像資料的分析，例如，用於決定圖像資料是否具有高於指示場景受益於HDR表示的顏色閾值範圍的寬色域。輸出動態範圍的決定亦可以或替代地基於對先前圖像訊框的分析，例如，相同或相似的場景最近是否在HDR或SDR圖像訊框中表示。該決定可以由ISP或處理器（例如，圖1的ISP 112或處理器104）基於記憶體106中儲存的設置及/或經由元件116接收的輸入來執行。
若輸出動態範圍被決定為HDR表示，方法500繼續到方塊506。若輸出動態範圍被決定為SDR表示，則該方法繼續到方塊508。儘管兩個結果從判定方塊504中圖示，但是其他結果亦是可能的，例如，經由對輸出動態範圍應用多個閾值水平。例如，不同的處理可以基於輸出動態範圍被決定為8位元、9位元還是10位元表示來執行。
在方塊506，當輸出動態範圍是HDR表示時，基於第一資料和第二資料來決定具有圖像資料中的場景的HDR表示的輸出圖像訊框。亦即，HDR表示的輸出圖像訊框基於第一資料和第二資料，第一資料例如來自圖3A-圖3D所示的分離圖元圖像感測器的大圖元群組，第二資料例如來自圖3A-圖3D所示的分離圖元圖像感測器的小圖元群組。來自不同圖元群組的第一和第二資料可以是對光具有不同靈敏度的場景的表示，例如，經由具有不同的曝光時間或不同的濾光器強度或不同的電容。組合第一資料和第二資料可以產生具有比第一資料的第一動態範圍更高的動態範圍和比第二資料的第二動態範圍更高的動態範圍的輸出圖像訊框。方塊506處的處理可以是圖4的處理路徑434中表示的處理，其中輸出圖像訊框對應於HDR輸出訊框424。對應於方塊506的處理（例如，在處理路徑434中表示的處理）可以由圖像信號處理器（例如，圖1的ISP 112）、處理器（例如圖1的處理器104）或者ISP 112和處理器104的組合來執行。
在方塊508，當輸出動態範圍是SDR表示時，至少基於第一資料來決定具有圖像資料中的場景的SDR表示的輸出圖像訊框。在一些實施例中，輸出圖像訊框可以僅基於第一資料，例如，經由丟棄第二資料及/或一些第一資料。例如，SDR表示可以經由圖元合併第一資料並丟棄第二資料來產生。在該實例中，方塊508處的處理可以是圖4的處理路徑430中表示的處理，其中輸出圖像訊框對應於輸出訊框414。作為另一實例，SDR表示可以是經由使用替換圖元產生來填充第一資料中的缺失值並重新鑲嵌所得資料來產生的。在該實例中，方塊508處的處理可以是圖4的處理路徑432中表示的處理，其中輸出圖像訊框對應於輸出訊框418。是否根據路徑430或432執行處理的決定可以基於為圖像擷取設備設置的變焦水平的所需解析度。例如，處理路徑430或432中表示的對應於方塊508的處理可以由圖像信號處理器（例如，圖1的ISP 112）、處理器（例如，圖1的處理器104）或者ISP 112和處理器104的組合來執行。在一些實施例中，對具有SDR表示的輸出圖像訊框的決定可以另外基於第二資料，例如，經由基於第二資料的對應部分調整第一資料中的高亮區域。
在一個實施例中，利用圖6A所示的感測器元件的電路佈置，可以實現在圖像感測器內的不同圖元群組之間具有不同靈敏度的分離圖元圖像感測器。圖6A圖示根據本案的一些實施例的分離圖元圖像感測器的電路圖。電路600可以包括兩個獨立的浮動節點，其中第一浮動節點610由第一組612感測器元件（例如，大圖元群組）共享，第二浮動節點620由第二組622感測器元件（例如，小圖元群組）共享。第一組元件612可以具有 m個元件，第二組元件622可以具有 n個元件。 m個元件和 n個元件中的每一個可以分別具有對應的存取電晶體TL1-TLm和TGS1-TGSn，其中可配置路徑至少包括被配置為耦合群組612和622的浮動閘極節點610和620的電晶體閘極FDG。當元件如例如圖3A所示排列時， m=8， n=1。當元件如例如圖3D所示排列時， m=8， n=4。對應於第二群組622的第二浮動節點620可以配置有足夠大的全阱容量，以允許高動態範圍。在一些實施例中，電容器630可以被添加到浮動節點620，以進一步增加動態範圍。
在其他實施例中，可以經由其他特徵或特徵的組合來實現圖像感測器內的圖元群組之間的不同靈敏度。例如，可以在一些圖元上應用中性密度（ND）濾光器，使得一些入射光被阻擋，導致需要更多的光來飽和（例如，「全阱等效亮度」）具有ND濾光器的圖元的感測器元件。分離圖元圖像感測器可以使用不同電容及/或ND濾光器的組合來獲得圖元群組之間的不同靈敏度。在一些實施例中，全阱容量（FWC）可以部分地由節點610及/或620處的電壓擺動來決定。可以經由電容器630中的附加電容來控制電壓擺動，使得FWC被調整為改變靈敏度。在一些實施例中，橫向溢出整合電容器（LOFIC）可用於進一步增加FWC，其中在曝光期間，TGS1-n圖元部分開啟，使得由SPD1-SPDn收集的任何額外電荷溢出到電容器630中。在一些實施例中，經由控制具有不同曝光時間的不同圖元群組，可以額外地或替代地改變靈敏度。
用於讀出例如圖6A的配置中的元件的時序圖在圖6B中圖示。圖6B圖示根據本案的一些實施例的用於讀出分離圖元圖像感測器的時序圖。圖6B的圖示被簡化，以圖示在第一群組612中具有三個元件（具有相應的TGL1、TGL2和TGL3存取信號的LPD1、LPD2、LPD3）和在第二群組622中具有一個元件（具有相應的TGS存取信號的SPD）的配置，例如，具有圖3B的2×2濾色器陣列（CFA）配置。然而，類似的時序圖可以用於操作圖像元件的不同配置。在時間652，經由將元件暴露於從場景反射的光，在圖像擷取的期望開始之前發生重置。首先，讀出小圖元群組。在時間654，讀取SPD信號，隨後在時間656，SPD重置。接下來，讀出大圖元群組。在時間658，發生LPD1重置，隨後在時間660讀取LPD1信號。在時間662，發生LPD3重置，隨後在時間664讀取LPD2信號。在時間666，發生LPD3重置，隨後在時間668讀取LPD3信號。
其他時序可以用於控制分離圖元圖像感測器，例如，在圖6A的電路中表示的感測器。在使用ND濾光器的一些實施例中，可以在LPD之前或之後讀取SPD信號/重置。例如，在FDG信號變高之後，RST信號可以被設置為高，以進行節點610和620的重置，隨後讀取SPD的重置位準，將TGS設置為高位準，隨後執行SPD信號位準的第二次讀取。該時序或其他時序可以用於執行真正的相關雙取樣（CDS），此舉可以在結果圖像中產生較低的雜訊。作為另一實例，當分離圖元圖像感測器包括電容器630和FDG存取電晶體時，FDG信號可以被設置為高，用於SPD重置和信號的讀出。作為涉及具有LOFIC的實施例的另一實例，圖6B的時序可以圖示，該時序具有修改，使得TGS信號具有低、中和高位準。在曝光期間，TGS信號被設置為中間位準。因為電容器630在曝光期間積累了信號，所以可以經由首先讀取SPD信號，隨後讀出SPD重置值來執行雙取樣。作為另一實例，使用不同曝光時間時的讀出時序可以包括SPD信號的重置。在多次曝光的情況下，在時間652，RST信號和TGL1-n可以被設置為高，其中在RST、TGS和FDG信號被設置為高的時間652和654之間具有附加重置。
無論輸出圖像訊框是SDR還是HDR表示，由來自第一組感測器元件的第一資料和來自第二組感測器元件的第二資料擷取的場景的不同表示皆可以用於改良場景的表示的高亮區域。由於調整曝光時間以改良圖像的陰影區域中的細節，所以圖像的高亮區域可能曝光過度。當場景的動態範圍超過圖像感測器的動態範圍時，較短的曝光時間會降低擷取的圖像的訊雜比（SNR），而較長的曝光時間會導致高亮區域的飽和和箝位。在明亮天空的圖片中，高亮區域的挑戰是顯而易見的，其中由於高亮區域中圖元值的飽和以及箝位，細節在天空中丟失。高動態範圍（HDR）圖像訊框經由具有可以擷取場景的動態範圍的較大動態範圍，可以減少高亮區域中箝位和飽和的出現。經由使用來自第一組感測器元件的第一資料和來自第二組感測器元件的第二資料調整高亮區域，可以改良標準動態範圍（SDR）圖像訊框，並且在一些實施例中，可以改良HDR圖像訊框。
一種保持高亮的圖像處理的技術在圖7中圖示。圖7圖示根據本案的一些實施例的利用3×3濾色器陣列（CFA）圖元配置保持高亮的圖像處理的方塊圖。處理路徑700開始於從第一圖像感測器101（例如，分離圖元圖像感測器）接收資料724。資料724可以包括第一組元件（例如，大圖元群組）的第一資料以及第二組元件（例如，小圖元群組）的第二資料的原始值。經由替換圖元產生區塊704產生圖像訊框726和經由再產生區塊708產生圖像訊框730的第一資料的處理可以類似於圖4的處理路徑432。圖像訊框730可以被輸入到高亮保持區塊710，此舉可以減少圖像訊框730的箝位或飽和區域的出現。高亮保持區塊710可以使用第二資料來執行高亮保持，第二資料可以由圖元分離區塊706分離，以產生圖像訊框728。高亮保持區塊710可以使用來自圖像訊框728的資料來修改圖像訊框730的高亮區域，以產生輸出圖像訊框（例如，照片）或者輸出圖像訊框的系列712，例如，視訊。用於獲得第二資料的不同靈敏度可以導致在圖像訊框728內的高亮區域中出現附加細節，該附加細節可以用於修改圖像訊框730，例如，經由用來自圖像訊框728的值或縮放值替換圖像訊框730中的某些值。
使用第一資料和第二資料來保持高亮的方法在圖8中圖示。圖8圖示說明根據本案的一些實施例的利用分離圖元圖像感測器保持高亮的方法的流程圖。方法800包括以下步驟：在方塊802，接收圖像資料，該圖像資料包括對應於以第一靈敏度擷取場景的第一表示的第一組感測器元件的第一資料。圖像資料亦可以包括對應於以不同於第一組感測器元件的第一靈敏度的第二靈敏度擷取場景的第二表示的第二組感測器元件的第二資料。例如，第二組感測器元件可以具有中性密度濾光器、不同的電容及/或不同的曝光時間。在一些實施例中，可以從一個圖像感測器並行擷取第一資料和第二資料。在一些實施例中，從具有如圖3A-圖3D所示的濾色器陣列（CFA）配置的分離圖元圖像感測器接收圖像資料。
在方塊804，第一組圖元可以在第一處理路徑中作為場景的第一表示來處理，以產生第一處理資料。例如，參考圖7，來自資料724的第一組圖元可以經由第一處理路徑（例如，方塊704和708）來處理，以產生表示為圖像訊框730的第一處理資料。
在方塊806，第二組圖元可以在第二處理路徑中作為場景的第二表示來處理，以產生第二處理資料。例如，參考圖7，來自資料724的第二組圖元可以經由第二處理路徑（例如，方塊706）來處理，以產生表示為圖像訊框728的第二處理資料。
在方塊808，經由將第一處理資料與第二處理資料組合，可以決定場景中高亮區域的改良外觀的輸出圖像訊框。來自方塊804和806的處理資料可以具有不同光靈敏度的場景的不同表示，使得第一處理資料中被箝位或飽和的高亮區域在第二處理資料中不被箝位或飽和。在方塊808決定的輸出圖像訊框可以使用第二處理資料的部分來修改（例如，經由替換）第一處理資料的部分，以保持第一處理資料的高亮區域內的細節。在一些實施例中，方塊808的輸出圖像訊框可以是高動態範圍（HDR）圖像訊框。在一些實施例中，方塊808的輸出圖像訊框可以是標準動態範圍（SDR）圖像訊框。參考圖9A和圖9B描述用於決定方塊808的輸出圖像訊框的高亮保持的示例性演算法。
一個示例性高亮保持演算法保持圖像的位元寬，如圖9A的示例性實施例中一樣。圖9A圖示說明根據本案的一些實施例的用於保持高亮的圖像處理技術的示圖。來自第一組感測器元件（例如，大圖元群組）的原始信號902可以在高亮區域飽和。高亮區域中的飽和導致來自感測器元件的原始值箝位到值2^N-1，其中N是感測器位元寬（例如，10位元或12位元）。原始信號902的原始值可以被調整為縮放信號904，其中縮放信號904的箝位值是（2^N-1）/M，其中M是縮放比率（例如，1.5、2、3、4等）。縮放比率M可以基於兩組感測器元件之間的靈敏度之比或者從兩組感測器元件擷取的信號的等效曝光時間。縮放比率M可以是足夠大的縮放比率，使得來自高亮區域之外的第一資料的原始信號和第二資料的高亮區域的組合可用某個感測器位元寬（例如，原始信號902的位元寬）來表示。縮放信號904的高亮區域可以基於來自第二組感測器元件（例如，小圖元群組）的原始值來調整。第二組感測器元件的不同靈敏度允許第二組感測器元件保持高亮區域中的細節。根據基於兩種不同靈敏度的場景的兩種表示的好處，圖9A所示的調整後的縮放信號904相對於原始信號902具有改良的細節。在該實施例中，感測器輸出位元寬不變，因為縮放信號904的最大值保持低於原始信號902的最大值。基於縮放信號904的場景表示可能比基於原始信號902時更暗。在一些實施例中，可以將色調映射演算法應用於縮放信號904，以基於縮放比率來調整色調曲線，從而調整圖像亮度，以改良圖像的外觀。
一個示例性高亮保持演算法增加了圖像的位元寬，如圖9B的示例性實施例中一樣。圖9B圖示說明根據本案的一些實施例的用於保持高亮的圖像處理技術的示圖。來自第一組感測器元件（例如，大圖元群組）的原始信號914可以在高亮區域飽和912。高亮區域中的飽和導致來自感測器元件的原始值箝位到值2^N-1，其中N是原始信號914的感測器位元寬（例如，10位元或12位元）。原始信號914的高亮區域可以基於來自第二組感測器元件（例如，小圖元群組）的原始值來調整，例如，經由替換。第二組感測器元件的不同靈敏度允許第二組感測器元件改良高亮區域中的細節。根據基於兩種不同靈敏度的場景的兩種表示的好處，如圖9B所示的在高亮區域中具有恢復信號916的原始信號914相對於原始信號914具有改良的細節。所得信號可以是HDR圖像訊框的一部分，其位元寬大於原始信號914的位元寬。使用恢復信號916調整了高亮區域的原始信號914的值範圍和對應的位元寬是2^K-1，其中K是HDR融合後的位元寬。
注意，參考圖4、圖5、圖6B、圖7及/或圖8描述的一或多個方塊（或操作）可以與參考另一個附圖描述的一或多個方塊（或操作）組合。例如，圖4的一或多個方塊（或操作）可以與圖7的一或多個方塊（或操作）組合。作為另一實例，與圖5相關聯的一或多個方塊可以和與圖8相關聯的一或多個方塊組合。作為另一實例，與圖4、圖5、圖6B、圖7及/或圖8相關聯的一或多個方塊可以和與圖1、圖2及/或圖6A相關聯的一或多個方塊（或操作）組合。
在一或多個態樣，用於支援圖像處理的技術可以包括額外態樣，例如，下文或結合本文別處描述的一或多個其他過程或設備描述的任何單一態樣或態樣的任何組合。在第一態樣，支援圖像處理可以包括被配置為例如在圖像擷取設備中擷取及/或處理圖像資料的裝置。該裝置可以包括根據本文描述的一或多個實施例的分離圖元圖像感測器。另外，該裝置可以根據如下所述的一或多個態樣來執行或操作。例如，該裝置可以執行包括接收圖像資料的步驟，該圖像資料包括對應於以第一靈敏度擷取的場景的第一表示的第一組感測器元件的第一資料以及對應於以不同於第一靈敏度的第二靈敏度擷取的場景的第二表示的第二組感測器元件的第二資料。在一些態樣，例如，結合下文描述的一或多個態樣，從一個圖像感測器並行擷取第一資料和第二資料。在一些態樣，第一資料和第二資料包括顏色樣式中的值，例如，大於拜耳樣式的濾色器陣列（CFA），此種CFA的實例是2x2 CFA、3x3 CFA、4x4 CFA、5x5 CFA、6x6 CFA、7x7 CFA、8x8 CFA或NxN CFA。在一些態樣，第一組和第二組感測器元件中的每一個可以具有相同的尺寸，使得第一組和第二組形成感測器元件的均勻陣列，該均勻陣列具有相同的暴露表面積，用於收集光。在一些態樣，該裝置可以進一步包括決定輸出圖像訊框的輸出動態範圍；及基於第一資料和第二資料中的至少一個以及基於所決定的輸出動態範圍來決定輸出圖像訊框。在一些實施方式中，該裝置包括無線設備，例如，使用者設備（UE）或基地站（BS）。在一些實施方式中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。該處理器可以被配置為執行本文針對該裝置描述的操作。在一些其他實施方式中，該裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且該程式碼可以由電腦執行，用於使電腦執行本文參考該裝置描述的操作。在一些實施方式中，該裝置可以包括被配置為執行本文所述操作的一或多個構件。在一些實施方式中，圖像處理的方法可以包括本文參考該裝置描述的一或多個操作。
在第二態樣，結合第一態樣，第一組感測器元件與中性密度（ND）濾光器相關聯，該中性密度濾光器被配置為減少進入第一組感測器元件的入射光。
在第三態樣，結合第一態樣或第二態樣中的一或多個態樣，第一組感測器元件與第一電容相關聯，第一電容大於與第二組感測器元件相關聯的第二電容。
在第四態樣，結合第一態樣至第三態樣中的一或多個態樣，第二組感測器元件以第二曝光時間擷取第二資料，第二曝光時間不同於用於擷取第一資料的第一組感測器元件的第一曝光時間。
在第五態樣，結合第一態樣至第四態樣中的一或多個態樣，決定輸出圖像訊框包括將第一資料與對應的第二資料組合，以產生具有輸出動態範圍的輸出圖像訊框，其中輸出動態範圍高於第一資料的第一動態範圍並且高於第二資料的第二動態範圍。
在第六態樣，結合第一態樣至第五態樣中的一或多個態樣，決定輸出圖像訊框包括：基於第一資料產生對應於第二組感測器元件的替換資料；及基於組合第一資料和替換資料來決定第三資料，其中輸出圖像訊框是基於第三資料的。
在第七態樣，結合第一態樣至第六態樣中的一或多個態樣，決定輸出圖像訊框亦包括：基於第二資料修改第三資料中的高亮區域。
在第八態樣，結合第一態樣至第七態樣中的一或多個態樣，修改第三資料中的高亮區域包括：基於第二資料決定縮放的第三資料，使得高亮區域之外的第三資料和高亮區域之內的第二資料可用第三資料的感測器位元寬來表示；及用第二資料的相應部分替換縮放的第三資料的高亮區域。
在第九態樣，結合第一至第八態樣中的一或多個態樣，修改第三資料中的高亮區域包括：用第二資料的相應部分替換第三資料的高亮區域。
在第十態樣，結合第一態樣至第九態樣中的一或多個態樣，接收第一資料包括經由第一浮動節點讀出第一組感測器元件；及其中接收第二資料包括經由第二浮動節點讀出第二組感測器元件。
在第十一態樣，結合第一態樣至第十態樣中的一或多個態樣，該裝置進一步包括圖像感測器，該圖像感測器包括第一組感測器元件和第二組感測器元件，其中第一組感測器元件和第二組感測器元件包括表示大於拜耳樣式的濾色器陣列（CFA）的顏色樣式的感測器元件的均勻陣列。
在一或多個態樣，用於支援圖像處理的技術可以包括額外態樣，例如，下文或結合本文別處描述的一或多個其他過程或設備描述的任何單一態樣或態樣的任何組合。在第十二態樣，支援圖像處理可以包括一種具有圖像感測器的裝置，該圖像感測器包括第一組感測器元件和第二組感測器元件，其中第一組感測器元件和第二組感測器元件包括感測器元件的均勻陣列，感測器元件的均勻陣列表示大於拜耳樣式的濾色器陣列（CFA）的顏色樣式；記憶體，該記憶體儲存處理器可讀取代碼並且耦合到圖像感測器；及至少一個處理器，該至少一個處理器耦合到記憶體以及耦合到圖像感測器。至少一個處理器可以被配置為執行處理器可讀取代碼，以使至少一個處理器執行以下步驟，包括：將在至少部分重疊的時間期間從圖像感測器擷取的第一資料和第二資料記錄到記憶體中，來自第一組感測器元件的第一資料以第一靈敏度擷取場景的第一表示，來自第二組感測器元件的第二資料以不同於第一靈敏度的第二靈敏度擷取場景的第二表示；決定輸出圖像訊框的輸出動態範圍；及基於輸出動態範圍以及基於第一資料和第二資料中的至少一個來決定輸出圖像訊框。
在第十三態樣，結合第一態樣至第十二態樣中的一或多個態樣，該裝置亦包括中性密度濾光器，該中性密度濾光器耦合到第二組感測器元件。
在第十四態樣，結合第一態樣至第十三態樣中的一或多個態樣，該裝置亦包括圖像感測器，該圖像感測器包括：第一浮動節點，該第一浮動節點耦合到第一組感測器元件；第二浮動節點，該第二浮動節點耦合到第二組感測器元件；及可配置路徑，該可配置路徑耦合第一浮動節點和第二浮動節點。
在第十五態樣，結合第一態樣至第十四態樣中的一或多個態樣，將第一資料和第二資料記錄到記憶體中包括：控制可配置路徑經由第一浮動節點記錄第一資料；及控制可配置路徑經由第二浮動節點記錄第二資料。
在第十六態樣，結合第一態樣至第十五態樣中的一或多個態樣，圖像感測器包括電容器，該電容器耦合在第二浮動節點與第二組感測器元件之間。
熟習此項技術者將理解，可以使用多種不同製程和技術中的任何一種來表示資訊和信號。例如，在上述整個說明書中可能引用的資料、指令、命令、資訊、信號、位元、符號和碼片可以由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任何組合來表示。
本文中關於圖1至圖9描述的元件、功能方塊和模組包括處理器、電子設備、硬體設備、電子元件、邏輯電路、記憶體、軟體代碼、韌體代碼以及其他實例或其任意組合。軟體應被廣義地解釋為表示指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行程式、執行執行緒、程序及/或功能以及其他實例，無論是被稱為軟體、韌體、中間軟體、微碼、硬體描述語言還是其他。此外，本文論述的特徵可以經由專用處理器電路系統、經由可執行指令或其組合來實現。
熟習此項技術者將進一步瞭解，結合本文中的揭示內容描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體或該兩者的組合。為了清楚地說明硬體和軟體的此種可互換性，各種說明性元件、方塊、模組、電路和步驟已經在上文根據其功能進行了一般描述。此種功能被實現為硬體還是軟體，取決於特定的應用和施加在整體系統上的設計約束。熟習此項技術者可以針對每個特定應用以不同方式實現所描述的功能，但是此種實現決定不應解釋為導致偏離本案的範疇。熟習此項技術者亦將容易認識到，本文描述的元件、方法，或互動的次序或組合僅是實例，並且本案的各個態樣的元件、方法，或互動可以按不同於本文圖示和描述的彼等的方式被組合或執行。
結合本文揭示的實施方式描述的各種說明性邏輯、邏輯區塊、模組、電路和演算法過程可以被實現為電子硬體、電腦軟體或該兩者的組合。硬體和軟體的可互換性已經根據功能進行了一般描述，並且在上述各種說明性元件、方塊、模組、電路和過程中進行了說明。以硬體實現還是以軟體實現此類功能取決於具體的應用以及施加於整體系統的設計約束。
用於實現結合本文揭示的態樣描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體和資料處理裝置可以用通用單晶片或多晶片處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、離散硬體元件或被設計成執行本文描述的功能的其任意組合來實現或執行。通用處理器可以是微處理器或者任何習知的處理器、控制器、微控制器或狀態機。在一些實施方式中，處理器可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、與DSP核心結合的一或多個微處理器或者任何其他此種配置。在某些實現中，特定的過程和方法可以由特定於給定功能的電路系統來執行。
在一或多個態樣中，可以以硬體、數位電子電路系統、電腦軟體、韌體（包括本說明書中所揭示的結構及其結構均等物）或其任何組合中來實現所描述的功能。本說明書中描述的標的的實施方式亦可以被實現為一或多個電腦程式，亦即在電腦儲存媒體上編碼的電腦程式指令的一或多個模組，用於由資料處理裝置執行或控制資料處理裝置的操作。
若以軟體實施，則功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或經由該電腦可讀取媒體傳輸。本文所揭示的方法或演算法的過程可以按照處理器可執行軟體模組實現，其可以常駐在電腦可讀取媒體上。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，包括能夠將電腦程式從一個地方傳送到另一個地方的任何媒體。儲存媒體可以是可由電腦存取的任何可用媒體。作為實例而非限制，此種電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備，或者可以用於以指令或資料結構形式儲存的期望的程式碼並且可以由電腦存取的任何其他媒體。此外，任何連接皆可以被恰當地稱為電腦可讀取媒體。本文使用的磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光學光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟則用鐳射以光學方式再現資料。上述的組合亦應該包括在電腦可讀取媒體的範疇內。附加地，方法或演算法的操作可以常駐為機器可讀取媒體和電腦可讀取媒體上的代碼和指令的一個或任何組合或集合，該等代碼和指令可以併入電腦程式產品中。
對本案中描述的實施方式的各種修改對於熟習此項技術者而言是顯而易見的，並且在不脫離本案的精神或範疇的情況下，本文定義的一般原理可以應用於一些其他實施方式。因此，申請專利範圍不意欲限於本文所展示的實施方式，而是將符合與本案、本文揭示的原理和新穎特徵一致的最廣泛範疇。
此外，一般技術者將容易理解，術語「上」和「下」有時是為了便於描述附圖而使用的，並且指示對應於正確定向的頁面上的附圖定向的相對位置，並且可能不反映所實現的任何設備的正確定向。
本說明書中的在分離的實現的上下文中描述的某些特徵亦可以在單個實現中被組合實現。相反，在單個實施方式的上下文中描述的各種特徵亦可以單獨在多個實施方式中或以任何合適的子組合來實施。此外，儘管特徵可以在上文描述為以某些組合起作用，甚至是最初主張保護的特徵，但是在一些情況下，可以從該組合中分離來自主張保護的組合的一或多個特徵，並且主張保護的組合可以指向子組合或子組合的變型。
類似地，儘管在附圖中以特定次序描述操作，但此舉不應理解為要求以所示的特定次序或順序次序執行此類操作，或要求執行所有圖示操作以實現期望結果。此外，附圖可以以流程圖的形式示意性地圖示另一個示例性過程。然而，未描述的其他操作可以併入示意性圖示的示例性過程中。例如，可以在任何圖示的操作之前、之後、同時或之間執行一或多個附加操作。在某些情況下，多工處理和並行處理可能是有利的。此外，上述實施方式中的各種系統元件的分離不應被理解為在所有實施方式中需要此種分離，並且應當理解，所描述的程式元件和系統通常可以一起整合在單個軟體產品中或被封裝到多個軟體產品中。此外，一些其他實施方式亦在以下請求項的範疇內。在某些情況下，可以按不同次序來執行請求項中敘述的動作，並且仍實現期望的結果。
如本文使用的，包括在請求項中，當在兩個或更多個項目的列表中使用時，術語「或」表示所列出的項目中的任何一個可以單獨使用，或者可以使用所列出的項目中的兩個或更多個的任何組合。例如，若組合物被描述為包含元件A、B或C，則該組合物可以僅包含A；僅包含B；僅包含C；A和B的組合；A和C的組合；B和C的組合；或者A、B和C的組合。此外，如本文使用的，包括在請求項中，在以「至少一個」開頭的項目列表中使用的「或」表示分離列表，使得例如「A、B或C中的至少一個」的列表表示A或B或C或AB或AC或BC或ABC（亦即A和B和C）或其任何組合中的任何一個。術語「大致」被定義為很大程度上但不一定完全是所指定的（並且包括所指定的；例如，大致90度包括90度，大致平行包括平行），如一般技術者所理解的。在任何揭示的實施方式中，術語「大致」可以用在所指定的「[百分比]內」來代替，其中百分比包括0.1、1、5或10%。
提供對本案的先前描述以使得任何熟習此項技術者能夠製作或使用本案。對本案的各種修改對於熟習此項技術者而言將是清楚的，並且在不脫離本案的精神或範疇的情況下，本文中定義的一般原理可以應用於其他變型。由此，本案並非意欲被限制於本文中所描述的實例和設計，而是應被授予與本文中所揭示的原理和新穎性特徵相一致的最廣泛的範疇。
100:設備 101:第一圖像感測器 102:第二圖像感測器 104:處理器 104A:通用處理器核心 106:記憶體 108:指令 112:圖像信號處理器 114:顯示器 116:I/O元件 118:電源 124:人工智慧（AI）引擎 131:第一透鏡 132:第二透鏡 133:AF演算法 134:AEC 135:AFE 136:APE 140:深度感測器 150:感測器集線器 152:廣域網路（WAN）配接器 153:區域網路（LAN）配接器 200:均勻陣列 202-B:藍色感測器元件 202-G:綠色感測器元件 202-R:紅色感測器元件 202-S:綠色感測器元件 204-B:藍色感測器元件 204-G:綠色感測器元件 204-R:紅色感測器元件 204-S:綠色感測器元件 310:CFA陣列 312:第一象限 314:象限 316:象限 318:象限 320:CFA陣列 322:第一象限 324:象限 326:象限 328:象限 330:CFA陣列 332:第一象限 334:象限 336:象限 338:象限 340:CFA陣列 342:第一象限 344:象限 346:象限 348:象限 402:圖元合併區塊 404:替換圖元產生模組 406:再產生模組 408:圖元分離模組 410:HDR處理模組 412:CFA陣列 414:輸出訊框 416:鑲嵌區塊 418:資料訊框 420:第一圖像訊框 422:第二圖像訊框 424:HDR輸出圖像訊框 430:處理路徑 432:處理路徑 434:處理路徑 500:方法 502:方塊 504:方塊 506:方塊 508:方塊 600:電路 610:第一浮動節點 612:第一組元件 620:第二浮動節點 622:第二組元件 630:電容器 652:時間 654:時間 656:時間 658:時間 660:時間 662:時間 664:時間 666:時間 668:時間 700:處理路徑 704:方塊 706:方塊 708:方塊 710:高亮保持區塊 712:輸出圖像訊框的系列 724:資料 726:圖像訊框 728:圖像訊框 730:圖像訊框 800:方法 802:方塊 804:方塊 806:方塊 808:方塊 902:原始信號 904:縮放信號 912:飽和 914:原始信號 916:恢復信號 B:藍色 FDG:電晶體閘極 G:綠色 LPD_1:元件 LPD_2:元件 LPD_m:元件 R:紅色 RST:信號 SPD_1:元件 SPD_2:元件 SPD_n:元件 TGL1:存取信號 TGL2:存取信號 TGL3:存取信號 TGLm:存取信號 TGS1:存取電晶體 TGS2:存取電晶體 TGSn:存取電晶體
經由參考以下附圖，可以實現對本案的性質和優點的進一步理解。在附圖中，相似的元件或特徵可以具有相同的元件符號。此外，可以經由在元件符號之後加上破折號和區分類似元件的第二標籤來區分相同類型的各種元件。若在說明書中僅使用第一元件符號，則該說明適用於具有相同的第一元件符號的類似元件中的任何一個，而與第二元件符號無關。
圖1圖示用於從一或多個圖像感測器執行圖像擷取的示例性設備的方塊圖。
圖2圖示根據本案的一些實施例的具有分離圖元圖像感測器設計的圖像擷取設備。
圖3A圖示根據本案的一些實施例的用於3×3濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。
圖3B圖示根據本案的一些實施例的用於2×2濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。
圖3C圖示根據本案的一些實施例的用於4×4濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。
圖3D圖示根據本案的一些實施例的用於4×4濾色器陣列（CFA）圖元配置的分離圖元圖像感測器設計。
圖4圖示根據本案的一些實施例的具有3×3濾色器陣列（CFA）圖元配置的圖像處理技術的方塊圖。
圖5圖示說明根據本案的一些實施例的用於處理來自分離圖元圖像感測器的圖像資料的方法的流程圖。
圖6A圖示根據本案的一些實施例的分離圖元圖像感測器的電路圖。
圖6B圖示根據本案的一些實施例的用於讀出分離圖元圖像感測器的時序圖。
圖7圖示根據本案的一些實施例的利用3×3濾色器陣列（CFA）圖元配置保持高亮的圖像處理的方塊圖。
圖8圖示說明根據本案的一些實施例的利用分離圖元圖像感測器保持高亮的方法的流程圖。
圖9A圖示說明根據本案的一些實施例的用於保持高亮的圖像處理技術的示圖。
圖9B圖示說明根據本案的一些實施例的用於保持高亮的圖像處理技術的示圖。
在各個附圖中相同的元件符號和名稱指示相同的元件。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:設備
101:第一圖像感測器
131:第一透鏡
200:均勻陣列
202-B:藍色感測器元件
202-G:綠色感測器元件
202-R:紅色感測器元件
202-S:綠色感測器元件
204-B:藍色感測器元件
204-G:綠色感測器元件
204-R:紅色感測器元件
204-S:綠色感測器元件

Claims (30)

  1. 一種方法，包括以下步驟： 接收對應於以一第一靈敏度擷取的一場景的第一資料，該第一資料由一第一組感測器元件擷取； 接收對應於以一第二靈敏度擷取的該場景的第二資料，該第二資料由一第二組感測器元件擷取，其中該第一組感測器元件和該第二組感測器元件形成感測器元件的一均勻陣列，該感測器元件的均勻陣列被配置為一顏色樣式，該感測器元件的均勻陣列包括大於一拜耳樣式的一濾色器陣列（CFA）； 決定一輸出圖像訊框的一輸出動態範圍；及 基於該輸出動態範圍以及基於該第一資料和該第二資料中的至少一個來決定一輸出圖像訊框。
  2. 根據請求項1之方法，其中該第一組感測器元件與一中性密度（ND）濾光器相關聯，該中性密度濾光器被配置為減少進入該第一組感測器元件的入射光。
  3. 根據請求項1之方法，其中該第一組感測器元件與一第一電容相關聯，該第一電容大於與該第二組感測器元件相關聯的一第二電容。
  4. 根據請求項1之方法，其中該第二組感測器元件以一第二曝光時間擷取該第二資料，該第二曝光時間不同於用於擷取該第一資料的該第一組感測器元件的一第一曝光時間。
  5. 根據請求項1之方法，其中決定該輸出圖像訊框之步驟包括以下步驟：將第一資料與對應的第二資料組合，以產生具有該輸出動態範圍的該輸出圖像訊框，其中該輸出動態範圍高於該第一資料的一第一動態範圍並且高於該第二資料的一第二動態範圍。
  6. 根據請求項1之方法，其中決定該輸出圖像訊框之步驟包括以下步驟： 基於該第一資料產生對應於該第二組感測器元件的替換資料；及 基於組合該第一資料和該替換資料來決定第三資料，其中該輸出圖像訊框是基於該第三資料的。
  7. 根據請求項6之方法，其中決定該輸出圖像訊框之步驟亦包括以下步驟： 基於該第二資料修改該第三資料中的高亮區域。
  8. 根據請求項7之方法，其中修改該第三資料中的高亮區域之步驟包括以下步驟： 基於該第二資料決定縮放的第三資料，使得該等高亮區域之外的第三資料和該等高亮區域之內的第二資料可用該第三資料的一感測器位元寬來表示；及 以及用該第二資料的相應部分替換該縮放的第三資料的高亮區域。
  9. 根據請求項7之方法，其中修改該第三資料中的高亮區域之步驟包括以下步驟： 用該第二資料的相應部分替換該第三資料的高亮區域。
  10. 根據請求項1之方法，其中接收圖像資料之步驟包括以下步驟： 經由一第一浮動節點讀出該第一組感測器元件。以及 經由一第二浮動節點讀出該第二組感測器元件。
  11. 一種裝置，包括： 一記憶體，該記憶體儲存處理器可讀取代碼；及 至少一個處理器，該至少一個處理器耦合到該記憶體，該至少一個處理器被配置為執行該處理器可讀取代碼，以使該至少一個處理器執行以下步驟，包括： 接收對應於以一第一靈敏度擷取的一場景的第一資料，該第一資料由一第一組感測器元件擷取； 接收對應於以一第二靈敏度擷取的該場景的第二資料，該第二資料由一第二組感測器元件擷取，其中該第一組感測器元件和該第二組感測器元件形成感測器元件的一均勻陣列，該感測器元件的均勻陣列被配置為一顏色樣式，該感測器元件的均勻陣列包括大於一拜耳樣式的一濾色器陣列（CFA）； 決定一輸出圖像訊框的一輸出動態範圍；及 基於該輸出動態範圍以及基於該第一資料和該第二資料中的至少一個來決定一輸出圖像訊框。
  12. 根據請求項11之裝置，其中該第一組感測器元件與一中性密度（ND）濾光器相關聯，該中性密度濾光器被配置為減少進入該第一組感測器元件的入射光。
  13. 根據請求項11之裝置，其中該第一組感測器元件與一第一電容相關聯，該第一電容大於與該第二組感測器元件相關聯的一第二電容。
  14. 根據請求項11之裝置，其中該第二組感測器元件以一第二曝光時間擷取該第二資料，該第二曝光時間不同於用於擷取該第一資料的該第一組感測器元件的一第一曝光時間。
  15. 根據請求項11之裝置，其中決定該輸出圖像訊框包括將第一資料與對應的第二資料組合，以產生具有該輸出動態範圍的該輸出圖像訊框，其中該輸出動態範圍高於該第一資料的一第一動態範圍並且高於該第二資料的一第二動態範圍。
  16. 根據請求項11之裝置，其中決定該輸出圖像訊框包括： 基於該第一資料產生對應於該第二組感測器元件的替換資料；及 基於組合該第一資料和該替換資料來決定第三資料，其中該輸出圖像訊框是基於該第三資料的。
  17. 根據請求項16之裝置，其中決定該輸出圖像訊框亦包括： 基於該第二資料修改該第三資料中的高亮區域。
  18. 根據請求項17之裝置，其中修改該第三資料中的高亮區域包括： 基於該第二資料決定縮放的第三資料，使得該等高亮區域之外的第三資料和該等高亮區域之內的第二資料可用該第三資料的一感測器位元寬來表示；及 用該第二資料的相應部分替換該縮放的第三資料的高亮區域。
  19. 根據請求項17之裝置，其中修改該第三資料中的高亮區域包括： 用該第二資料的相應部分替換該第三資料的高亮區域。
  20. 根據請求項11之裝置，其中接收第一資料包括經由一第一浮動節點讀出該第一組感測器元件；及其中接收第二資料包括經由一第二浮動節點讀出該第二組感測器元件。
  21. 根據請求項11之裝置，進一步包括一圖像感測器，該圖像感測器包括該第一組感測器元件和該第二組感測器元件，其中該第一組感測器元件和該第二組感測器元件包括表示大於一拜耳樣式的一濾色器陣列（CFA）的該顏色樣式的感測器元件的該均勻陣列。
  22. 一種裝置，包括： 一圖像感測器，包括一第一組感測器元件和一第二組感測器元件，其中該第一組感測器元件和該第二組感測器元件包括感測器元件的一均勻陣列，該感測器元件的均勻陣列表示大於一拜耳樣式的一濾色器陣列（CFA）的一顏色樣式； 一記憶體，該記憶體儲存處理器可讀取代碼並且耦合到該圖像感測器；及 至少一個處理器，該至少一個處理器耦合到該記憶體以及耦合到該圖像感測器，該至少一個處理器被配置為執行該處理器可讀取代碼，以使該至少一個處理器執行以下步驟，包括： 將在至少部分重疊的時間期間從該圖像感測器擷取的第一資料和第二資料記錄到該記憶體中，來自該第一組感測器元件的該第一資料以一第一靈敏度擷取一場景的一第一表示，來自該第二組感測器元件的該第二資料以不同於該第一靈敏度的一第二靈敏度擷取該場景的一第二表示； 決定一輸出圖像訊框的一輸出動態範圍；及 基於該輸出動態範圍以及基於該第一資料和該第二資料中的至少一個來決定一輸出圖像訊框。
  23. 根據請求項22之裝置，亦包括一中性密度濾光器，該中性密度濾光器耦合到該第二組感測器元件。
  24. 根據請求項22之裝置，其中該圖像感測器包括： 一第一浮動節點，該第一浮動節點耦合到該第一組感測器元件； 一第二浮動節點，該第二浮動節點耦合到該第二組感測器元件；及 一可配置路徑，該可配置路徑耦合該第一浮動節點和該第二浮動節點。
  25. 根據請求項24之裝置，其中將該第一資料和該第二資料記錄到該記憶體中包括： 控制該可配置路徑經由該第一浮動節點記錄該第一資料；及 控制該可配置路徑經由該第二浮動節點記錄該第二資料。
  26. 根據請求項24之裝置，其中該圖像感測器包括一電容器，該電容器耦合在該第二浮動節點與該第二組感測器元件之間。
  27. 一種儲存指令的非暫時性電腦可讀取媒體，當由一處理器執行時，該等指令使該處理器執行操作，該等操作包括： 接收對應於以一第一靈敏度擷取的一場景的第一資料，該第一資料由一第一組感測器元件擷取； 接收對應於以一第二靈敏度擷取的該場景的第二資料，該第二資料由一第二組感測器元件擷取，其中該第一組感測器元件和該第二組感測器元件形成感測器元件的一均勻陣列，該感測器元件的均勻陣列被配置為一顏色樣式，該感測器元件的均勻陣列包括大於一拜耳樣式的一濾色器陣列（CFA）； 決定一輸出圖像訊框的一輸出動態範圍；及 基於該輸出動態範圍以及基於該第一資料和該第二資料中的至少一個來決定一輸出圖像訊框。
  28. 根據請求項27之非暫時性電腦可讀取媒體，其中決定該輸出圖像訊框包括將該第一資料與對應的第二資料組合，以產生具有該輸出動態範圍的該輸出圖像訊框，其中該輸出動態範圍高於該第一資料的一第一動態範圍並且高於該第二資料的一第二動態範圍。
  29. 根據請求項27之非暫時性電腦可讀取媒體，其中決定該輸出圖像訊框包括： 基於該第一資料產生對應於該第二組感測器元件的替換資料； 基於組合該第一資料和該替換資料來決定第三資料，其中該輸出圖像訊框是基於該第三資料的；及 基於該第二資料修改該第三資料中的高亮區域。
  30. 根據請求項29之非暫時性電腦可讀取媒體，其中修改該第三資料中的高亮區域包括： 基於該第二資料決定縮放的第三資料，使得該等高亮區域之外的第三資料和該等高亮區域之內的第二資料可用該第三資料的一感測器位元寬來表示；及 用該第二資料的相應部分替換該縮放的第三資料的高亮區域。
TW111139834A 2021-11-22 2022-10-20 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理 TW202327344A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/456,117 US12101563B2 (en) 2021-11-22 2021-11-22 Image sensor and data processing for parallel frame capture in high dynamic range (HDR) photography
US17/456,117 2021-11-22

Publications (1)

Publication Number Publication Date
TW202327344A true TW202327344A (zh) 2023-07-01

Family

ID=84362762

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111139834A TW202327344A (zh) 2021-11-22 2022-10-20 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理

Country Status (6)

Country Link
US (1) US12101563B2 (zh)
EP (1) EP4437738A1 (zh)
KR (1) KR20240112832A (zh)
CN (1) CN118251899A (zh)
TW (1) TW202327344A (zh)
WO (1) WO2023091838A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12058460B2 (en) 2022-06-24 2024-08-06 Omnivision Technologies, Inc. High dynamic range CMOS image sensor pixel with reduced metal-insulator-metal lateral overflow integration capacitor lag
US11736833B1 (en) * 2022-06-24 2023-08-22 Omnivision Technologies, Inc. High dynamic range CMOS image sensor pixel with reduced metal-insulator-metal lateral overflow integration capacitor lag

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8081234B2 (en) 2004-12-29 2011-12-20 Intel Corporation Technique for increased exposure range in image sensors
US9571763B2 (en) 2014-01-10 2017-02-14 Omnivision Technologies, Inc. Split pixel high dynamic range sensor
US10638054B2 (en) 2017-01-25 2020-04-28 Cista System Corp. System and method for visible and infrared high dynamic range sensing
US11527569B2 (en) 2020-05-18 2022-12-13 Omnivision Technologies, Inc. High dynamic range split pixel CMOS image sensor with low color crosstalk

Also Published As

Publication number Publication date
KR20240112832A (ko) 2024-07-19
US12101563B2 (en) 2024-09-24
EP4437738A1 (en) 2024-10-02
CN118251899A (zh) 2024-06-25
WO2023091838A1 (en) 2023-05-25
US20230164447A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
TW202327344A (zh) 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理
WO2023164422A1 (en) Multi-frame auto exposure control (aec)
US11924563B2 (en) High dynamic range (HDR) photography with in-sensor zoom
US12015856B2 (en) Image processing for aperture size transition in a variable aperture (VA) camera
US20230412922A1 (en) Dynamic image capture device configuration for improved image stabilization
WO2023216089A1 (en) Camera transition for image capture devices with variable aperture capability
US20240022827A1 (en) High dynamic range (hdr) photography using multiple frame rates
US20240121516A1 (en) Separate exposure control for pixel sensors of an image sensor
US20240331084A1 (en) Image processing with single interpolation operation for de-mosaicing and warping
US11582405B1 (en) Image data processing using non-integer ratio transforming for color arrays
US20240267634A1 (en) Compensation techniques for diffraction patterns caused by an aperture of an image capture device
US20240354969A1 (en) Efficient motion estimation in an image processing device
US20240185390A1 (en) Fusion of image frames for high dynamic range content
WO2023178464A1 (en) Lens shading correction (lsc) in variable aperture (va) camera systems
WO2024021057A1 (en) Dynamic image sensor configuration for improved image stabilization in an image capture device
US20240193789A1 (en) Selective motion distortion correction within image frames
JP2024525344A (ja) ノイズ低減のためのカスケード画像処理
WO2024226226A1 (en) Improved high dynamic range photography
WO2023250261A1 (en) Dynamic image capture device configuration for improved image stabilization
CN118235422A (zh) 图像捕获设备中减少的时延模式切换