TW201436552A

TW201436552A - 用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置

Info

Publication number: TW201436552A
Application number: TW102133980A
Authority: TW
Inventors: Denis Vladimirovich Parkhomenko; Ivan Leonidovich Mazurenko; Pavel Aleksandrovich Aliseychik; Dmitry Nikolaevich Babin; Denis Vladimirovich Zaytsev
Original assignee: Lsi Corp
Priority date: 2013-01-30
Filing date: 2013-09-18
Publication date: 2014-09-16
Also published as: WO2014120281A1; US20140362289A1; US9386266B2; RU2013102854A; JP2016509805A; KR20150114950A; CN104254868A

Abstract

本發明揭示一種包括一影像處理器之影像處理系統，該影像處理器經組態以：獲得具有一第一訊框率之一第一影像流及具有低於該第一訊框率之一第二訊框率之一第二影像流；基於該第一影像流及該第二影像流之現有訊框而復原該第二影像流之額外訊框；及利用該等額外訊框來提供該第二影像流之一增加之訊框率。基於該第一影像流及該第二影像流之現有訊框而復原該第二影像流之額外訊框說明性地包括判定若干組一或多個額外訊框以用於在各別反覆中插入於該第二影像流中之各別連續現有訊框對之間。

Description

用於使用至少一較高訊框率之影像流而增加影像流之訊框率之方法及裝置

本發明技術領域一般而言係關於影像處理，且更特定而言係關於處理具有不同訊框率之多個影像流。

影像處理在各種各樣之不同機器視覺應用中係重要的，且此類處理可涉及不同類型之多個影像，可能包含自各種不同影像源獲得之二維(2D)影像及三維(3D)影像兩者。舉例而言，由諸如視訊攝影機之影像源提供2D影像且由諸如結構化光(SL)相機或三維測距(ToF)相機之深度成像器提供3D影像。因此，習用影像處理技術通常需要處理來自多個不同源之影像流。然而，當不同源按不同訊框率產生影像時可能出現問題。

在一項實施例中，一影像處理系統包括一影像處理器，該影像處理器經組態以：獲得具有一第一訊框率之一第一影像流及具有低於該第一訊框率之一第二訊框率之一第二影像流；基於該第一影像流及該第二影像流之現有訊框而復原該第二影像流之額外訊框；及利用該等額外訊框來提供該第二影像流之一增加之訊框率。僅藉由實例之方式，基於該第一影像流及該第二影像流之現有訊框而復原該第二影像流之額外訊框可說明性地包括判定若干組一或多個額外訊框以用於插入於該第二影像流中之各別連續現有訊框對之間。

本發明之其他實施例包含但不限於方法、裝置、系統、處理器件、積體電路及其中體現有之電腦程式碼之電腦可讀儲存媒體。

100‧‧‧影像處理系統/系統

102‧‧‧影像處理器

104‧‧‧網路

106‧‧‧處理器件

107-1‧‧‧高速率之影像源/高訊框率之影像源/單獨影像源/第一影像源

107-2‧‧‧低訊框率之影像源/單獨影像源/第二影像源

108‧‧‧訊框擷取模組/模組

110‧‧‧仿射變換模組/模組

112‧‧‧叢集模組/模組

114‧‧‧叢集對應模組/模組

116‧‧‧深度填充模組/模組

118‧‧‧後處理模組/模組

120‧‧‧處理器

122‧‧‧記憶體

124‧‧‧網路介面

300‧‧‧過程

302‧‧‧步驟

304‧‧‧步驟

306‧‧‧步驟

308‧‧‧步驟

310‧‧‧步驟

312‧‧‧步驟

400‧‧‧過程

402‧‧‧訊框/輸入訊框組

404‧‧‧訊框/輸入訊框

406‧‧‧經復原額外訊框/輸出訊框

410-1、410-2、...410-(R-1)‧‧‧仿射變換區塊

412‧‧‧叢集/叢集區塊

414‧‧‧叢集對應/叢集對應區塊

416‧‧‧深度填充/深度填充區塊

418-1、418-2、...418-(R-1)‧‧‧後處理區塊

500‧‧‧過程

502‧‧‧步驟

504‧‧‧步驟

506‧‧‧步驟

508‧‧‧步驟

510‧‧‧步驟

600‧‧‧過程

602‧‧‧步驟

604‧‧‧步驟

606‧‧‧步驟

608‧‧‧步驟

610‧‧‧步驟

612‧‧‧步驟

614‧‧‧步驟

616‧‧‧步驟

618‧‧‧步驟

700‧‧‧過程

702‧‧‧步驟

704‧‧‧步驟

706‧‧‧步驟

708‧‧‧步驟

710‧‧‧步驟

Fs₁‧‧‧第一影像流/第一影像流序列/影像流/高訊框率之影像流

Fs₂‧‧‧第二影像流/第二影像流序列/影像流/低訊框率之影像流

圖1係一項實施例中之一影像處理系統之一方塊圖。

圖2圖解說明將經復原額外訊框插入至一低訊框率之影像流中以便增加圖1系統中之彼影像流之一訊框率。

圖3係用於增加圖1系統中之一低訊框率之影像流之一訊框率之一例示性過程之一流程圖。

圖4係展示用於增加圖1系統中之一低訊框率之影像流之一訊框率之另一例示性過程之一流程圖。

圖5至圖7係圖解說明圖1系統中之一影像處理器之一叢集對應模組之操作之流程圖。

本文中將連同例示性影像處理系統圖解說明本發明之實施例，該等例示性影像處理系統包含影像處理器或其他類型之處理器件且實施用於使用至少一個較高速率之影像流增加一深度影像流或其他類型之影像流之一訊框率之技術。然而應理解，本發明之實施例更一般而言適用於涉及處理具有不同訊框率之多個影像流的任何影像處理系統或相關聯之器件或技術。

圖1展示本發明之一實施例中之一影像處理系統100。影像處理系統100包括經由一網路104與複數個處理器件106通信之一影像處理器102。影像處理器102自各別影像源107接收至少兩個不同影像流。更特定而言，影像處理器102自一高速率之影像源107-1接收具有一第一訊框率之一第一影像流Fs₁，且自一低訊框率之影像源107-2接收具有低於該第一訊框率之一第二訊框率之一第二影像流Fs₂。可不具限制地假定影像源107提供自一既定場景之相同或類似視角所取之影像流，以使得類似像素叢集或其他影像片段可存在於高訊框率之影像流及低訊框率之影像流兩者中。如在此上下文中應用於訊框率之術語「高」及「低」係相對術語，且不應被解釋為需要任何特定絕對訊框率。

藉由實例之方式，高訊框率之影像源107-1可包括提供一2D影像序列之一視訊攝影機或其他視訊源，且低訊框率之影像源107-1可包括提供一深度影像序列之一深度成像器(諸如一SL相機或一ToF相機)。

在其他實施例中可使用產生多個影像流的各種各樣之其他類型之影像源，包含呈任何組合之經組態以產生2D紅外影像、灰階影像、彩色影像或其他類型之2D影像的2D成像器以及諸如SL相機及ToF相機之3D成像器。

影像源107可說明性地包括其中之每一者產生一單獨影像流之各別影像感測器。該等感測器可單獨經安裝且遠離彼此經配置或可包括一統一感測器之不同部分，該統一感測器具有用於產生一第一影像流之一第一感測器單元組及用於產生一第二影像流之一第二感測器單元組。因此，可自經組態以用於使一既定場景成像之各別不同影像感測器獲得該第一影像流及該第二影像流。本文中通常假定此等不同影像感測器實質上擷取同一場景，但在不同訊框率下。

儘管由單獨影像源107-1及107-2供應圖1實施例中之第一影像流Fs₁及第二影像流Fs₂，但在其他實施例中可使用僅一單個成像器或其他類型之影像源供應不同訊框率之多個影像流。因此，舉例而言，第一影像源107-1及第二影像源107-2可表示一單個多流成像器之不同部分，諸如如上文所指示之不同感測器。一既定影像源(如本文中廣泛使用之彼術語)可包括儲存先前擷取之影像流以供由影像處理器102檢索或為了影像處理器102之一記憶體或其他儲存器件。作為另一實例，一影像源可包括將一或多個影像流提供至影像處理器102以用於處理之一伺服器。

此外，儘管僅處理兩個輸入影像流以增加圖1中之影像流中之一者之一訊框率，但在其他實施例中可使用不只是第一影像流及第二影像流。舉例而言，可處理各自具有一不同訊框率之三個或三個以上單獨影像流以復原額外訊框以便增加影像流中之至少一者之訊框率。

在本發明實施例中，影像處理器102經組態以：基於第一影像流Fs₁及第二影像流Fs₂之現有訊框而復原第二影像流Fs₂之額外訊框；及利用該等額外訊框來提供第二影像流Fs₂之一增加之訊框率。舉例而言，影像處理器102可增加第二影像流之訊框率直至該訊框率實質上等於第一影像流之訊框率為止，以使得可由一或多個目的器件更容易地處理該第一影像流及該第二影像流。

更特定而言，影像處理器102經組態以判定若干組一或多個額外訊框以用於插入於第二影像流中之各別連續現有訊框對之間。每一此類判定可被視為將連同圖3及圖4之流程圖闡述之例示性過程中之一者之一反覆。針對一既定此類反覆，基於該第一影像流中之複數個對應現有訊框及該第二影像流中之該等連續現有訊框對中之一對應者而判定一特定組一或多個額外訊框以用於插入於該第二影像流中之該對應連續現有訊框對之間。

圖2中圖解說明此技術，圖2展示第一影像流Fs₁之現有訊框與第二影像流Fs₂之現有訊框之間的對應之一項實例。假定此實例中之第二影像流係包括一深度影像流之一深度流。由於第一影像流具有高於第二影像流之一訊框率，因此第一影像流在圖中所圖解說明之時間週期內包含比第二影像流多之訊框。第二影像流之在圖中標記為未知之訊框係由影像處理器102針對第二影像流Fs₂經復原以提供第二影像流Fs₂之一增加之訊框率之額外訊框之實例。

第二影像流Fs₂中之兩個連續現有訊框對應於第一影像流Fs₁中之R+1個連續現有訊框，以使得第一影像流中之一第N個現有訊框對應於第二影像流中之一第M個現有訊框，且第一影像流中之一第(N+R)個現有訊框對應於第二影像流中之一第(M+1)個現有訊框。因此，在此實例中針對第一影像流中之每R+1個連續現有訊框，僅存在第二影像序列中之兩個連續現有訊框。

第一影像流Fs₁及第二影像流Fs₂中之對應訊框可係由各別影像感測器在實質上相同之時間例項處擷取之訊框。然而，意欲更廣泛地解釋在此上下文中之術語「對應」，以便囊括第一影像流之訊框與第二影像流之訊框之間的其他類型之時間關係。

在復原第二影像流Fs₂之額外訊框中，影像處理器102判定R+1個額外訊框以用於插入於第二影像流中之第M個現有訊框與第(M+1)個現有訊框之間。如下文將更詳細地闡述，經判定以用於插入於第二影像流中之第M個現有訊框與第(M+1)個現有訊框之間的R+1個額外訊框係基於第一影像流中之對應R+1個連續現有訊框及第二影像流中之第M個及第(M+1)個現有訊框而判定的。舉例而言，額外訊框之復原可涉及識別第一影像流之現有訊框中之一或多者之部分與第二影像流之現有訊框中之一或多者之部分之間的對應，及利用來自所識別部分之影像資訊形成額外訊框中之至少一者。在某些實施例中，此等部分更特定而言稱為「叢集」。

如依據上文明瞭，本發明實施例中之影像處理器102經組態以產生一經修改第二影像流Fs₂ '，該經修改第二影像流在一既定時間週期內包含一或多個額外訊框且因此具有高於原始輸入第二影像流Fs₂之一訊框率。

應理解，僅藉由說明性實例之方式呈現圖2中所展示之特定配置，且在其他實施例中可存在第一影像流之訊框與第二影像流之訊框之間的其他類型之對應。所揭示技術可以一直接方式適應於具有一訊框率比之任何多流配置，其中Fr₁表示第一影像流Fs₁之訊框率且Fr₂表示第二影像流Fs₂之訊框率。

如圖1中所圖解說明之影像處理器102包含經組態以自輸入第一影像序列Fs₁及第二影像序列Fs₂擷取訊框以用於進一步處理之一訊框擷取模組108。應注意，此上下文中之「訊框擷取」通常係指獲得第一影像序列及第二影像序列之特定訊框以由影像處理器進一步處理之一種方式。此不同於由相關聯之感測器進行的影像之原始擷取。

處理所擷取訊框以復原第二影像序列之額外訊框以為第二影像序列提供一較高訊框率。如上文所指示，較高速率之第二影像序列在本文中亦稱為一經修改之第二影像序列Fs₂ '，此乃因其包含並非原始輸入第二影像序列之部分的經復原之額外訊框。

使用影像處理器102之仿射變換模組110、叢集模組112、叢集對應模組114、深度填充模組116及後處理模組118執行第二影像序列之額外訊框之復原。將連同圖3至圖7之流程圖更詳細地闡述此等模組之操作。儘管在圖1實施例中單獨地展示此等例示性模組，但在其他實施例中可將此等模組中之兩者或兩者以上組合成較少數目個模組。

由影像處理器102產生之經修改第二影像流Fs₂ '可經由網路104提供至處理器件106中之一或多者。舉例而言，處理器件106可包括呈任何組合之電腦、行動電話、伺服器或儲存器件。舉例而言，一或多個此等器件亦可包含用以呈現由影像處理器102產生之影像之顯示螢幕或其他使用者介面。因此，處理器件106可包括經由網路104接收來自影像處理器102之經處理影像流的各種各樣之不同目的器件，藉由實例之方式包含接收來自影像處理器102之一或多個經處理影像流的至少一個伺服器或儲存器件。

儘管在本發明實施例中展示為與處理器件106分離，但影像處理器102可至少部分地與處理器件中之一或多者組合。因此，舉例而言，可至少部分地使用處理器件106中之一既定者實施影像處理器102。藉由實例之方式，一電腦或行動電話可經組態以併入有影像處理器102及可能地影像源107中之一或多者。因此，影像源107可包括與一電腦、行動電話或其他處理器件相關聯之相機或其他成像器。因此明瞭，影像處理器102可在一共同處理器件上至少部分地與影像源或影像目的中之一或多者組合。

本發明實施例中之影像處理器102假定為使用至少一個處理器件來實施且包括耦合至一記憶體122之一處理器120。處理器120執行儲存於記憶體122中之軟體碼以控制影像處理操作之效能。影像處理器102亦包括經由網路104支援通信之一網路介面124。

舉例而言，處理器120可包括呈任何組合之一微處理器、一特殊應用積體電路(ASIC)、一場可程式化閘極陣列(FPGA)、一中央處理單元(CPU)、一算數邏輯單元(ALU)、一數位信號處理器(DSP)或其他類似處理器件組件以及其他類型及配置之影像處理電路。

記憶體122儲存軟體碼以供在實施影像處理器102之功能性之部分(諸如模組110、112、114、116及118之部分)中由處理器120執行。儲存軟體碼以供由一對應處理器執行之一既定此類記憶體係更一般而言在本文中稱為其中體現有電腦程式碼之一電腦可讀媒體或其他類型之電腦程式產品之一實例，且可包括(舉例而言)呈任何組合之諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)之電子記憶體、磁性記憶體、光學記憶體或其他類型之儲存器件。如上文所指示，處理器可包括一微處理器、ASIC、FPGA、CPU、ALU、DSP或其他影像處理電路之部分或組合。

亦應瞭解，可以積體電路之形式實施本發明之實施例。在一既定此類積體電路實施方案中，相同晶粒通常依一重複型樣形成於一半導體晶圓之一表面上。每一晶粒包含如本文中所闡述之影像處理電路，且可包含其他結構或電路。自該晶圓分割或切割個別晶粒，然後將該個別晶粒封裝為一積體電路。熟習此項技術者將知曉如何切割晶圓及封裝晶粒以產生積體電路。將如此製造之積體電路視為本發明之實施例。

如圖1中所展示之影像處理系統100之特定組態僅係例示性的，且其他實施例中之系統100可包含除具體展示之彼等元件之外或取代具體展示之彼等元件之其他元件，包含常見於此一系統之一習用實施方案中之一類型之一或多個元件。

舉例而言，在某些實施例中，影像處理系統100實施為一視訊遊戲系統或處理影像流以辨識使用者手勢的其他類型之基於手勢之系統。所揭示之技術可類似地經調適以供在需要一基於手勢之人機介面之各種各樣之其他系統中使用，且亦可應用於除手勢辨識以外之應用(諸如機器人學中之機器視覺系統)及其他工業應用。

現在參考圖3，展示用於增加第二影像流Fs₂之訊框率之一例示性過程300。假定由影像處理器102使用至少其模組108、110、112、114、116及118實施該過程。此實施例中之過程包含針對多個反覆中之每一者而重複之步驟302至步驟312。在每一反覆期間，該過程獲得R+3個訊框，包含來自第一影像流Fs₁之R+1個訊框及來自第二影像流Fs₂之兩個訊框，且復原R-1個額外訊框以用於插入於第二影像流Fs₂之兩個訊框之間以增加彼影像流之訊框率。藉由該過程復原之該等額外訊框在本文中亦稱為第二影像流之「連接」訊框。另外，此實施例中之訊框稱為各別影像。意欲廣泛地解釋如本文中所使用之術語「訊框」，以便囊括一影像或其他類型及配置之影像資訊。

在步驟302中，圖3過程之一既定反覆中之影像處理器102自Fs₁影像流及Fs₂影像流「得到」或以其他方式獲得特定經指定影像。此等影像包含來自第一影像流Fs₁之表示Im₁(N)至Im₁(N+R)之R+1個影像及來自第二影像流Fs₂之表示Im₂(M)及Im₂(M+1)之兩個影像。為說明之清晰及簡潔起見而假定，所有影像Im_i(j)在像素方面具有同一大小或解析度，儘管在其他實施例中可使用不同大小或解析度之影像。

在步驟302之上下文中提及之R+3個影像在本文中更一般而言稱為來自第一影像流Fs₁之上文所述R+1個訊框及來自第二影像流Fs₂之兩個訊框。該等影像可使用訊框擷取模組108自其各別影像流經獲得。

在步驟304中，施加一仿射變換至在步驟302中獲得之R+3個影像之至少一子組。舉例而言，可僅施加仿射變換至來自第一影像流Fs₁之R+1個影像，或僅施加仿射變換至來自第二影像流Fs₂之兩個影像。仿射變換係用於使該等影像之視角實質上相等以促進隨後叢集操作之一校準變換類型之一實例。仿射變換可基於在感測器製造或設置時執行之影像感測器校準之結果，且使用影像處理器102之仿射變換模組110施加仿射變換。在其中來自第一影像流及第二影像流之影像之視角已係實質上相等(舉例而言，由於第一影像流及第二影像流之影像感測器之放置或配置)之實施例中，可省去仿射變換操作。

在步驟306中，藉由施加一叢集操作至此等影像而將R+3個影像切分成叢集。使用影像處理器102之叢集模組112實施此操作。更特定而言，叢集操作涉及針對R+3個影像中之每一者產生一單獨叢集映射。更特定而言，針對輸入影像組{Im₁(N),Im₁(N+1),...,Im₁(N+R)；Im₂(M),Im₂(M+1)}中之每一影像產生一單獨叢集映射。不同影像之叢集映射可具有不同特性，諸如不同叢集數目及不同叢集編號次序。

藉由實例之方式，可以以下方式定義影像Im_i(j)之一既定叢集映射Cm_i(j)。假定將來自影像Im_i(j)之所有像素之組切分成不交叉像素子組，其中每一此類子組表示一叢集。在此情形中之叢集映射可呈與影像Im_i(j)具有相同大小之一矩陣Cm_i(j)之形式。來自Cm_i(j)之元素(m,n)對應於具有座標(m,n)之影像像素所屬之一特定Im_i(j)叢集之索引。在其他實施例中可使用其他類型之叢集映射。因此，意欲廣泛地解釋如本文中所使用之術語「叢集映射」。舉例而言，亦可以一或多個叢集映射之形式產生由叢集對應模組114產生之叢集對應資訊之至少一部分。

在實施步驟306中可使用各種不同叢集技術。將在本文中別處闡述基於統計區域合併(SRM)之此一叢集技術之一詳細實例。在R.Nock及F.Nielsen之「Statistical region merging」IEEE Transactions on Pattern Analysis and Machine Intelligence(2004年11月第26卷第11期)中揭示SRM之習用態樣，該期刊以引用方式併入本文中。此實施例中之叢集技術通常試圖確保，所識別叢集之邊界包含經成像場景中之對應目標之顯著邊界，即使彼等目標可位於距各別第一影像流及第二影像流之影像感測器之不同距離處，或可以不同色彩或以兩個影像流中之其他相異特性出現。

在步驟308中，基於在步驟306中針對各別影像產生之叢集映射而判定叢集對應資訊。由影像處理器102之叢集對應模組114執行此判定。叢集對應資訊指示在步驟306中產生之叢集映射之叢集之間的對應，且如上文所述可使用其他類型之叢集映射(諸如在本文中別處表示為Cg₁及Cg₂之叢集映射)至少部分地表達自身。

作為一項說明，步驟308中之叢集對應操作可接收來自步驟306之叢集映射Cm₁(N)、...、Cm₁(N+R)；Cm₂(M)、Cm₂(M+1)及輸入影像組{Im₁(N),Im₁(N+1),...,Im₁(N+R)；Im₂(M),Im₂(M+1)}作為其輸入。此情形中之判定叢集對應涉及找出不同影像中之叢集之組之間的關係，以使得(舉例而言)來自第一影像流之一個輸入影像Im₁(j)之叢集之不交叉組對應於來自第二影像流之另一輸入影像Im₂(k)之叢集之不交叉組。

因此，叢集對應可識別如對應於Im₂(k)中之多個叢集之一組的Im₁(j)中之多個叢集之一不同組，其中兩個叢集與同一或相同經成像目標相關聯。假定Im₁(j)及Im₂(k)之叢集之組實質上涵蓋彼等各別影像之影像像素之整個組。此外，假定由各別影像感測器實質上同時擷取影像Im₁(j)及Im₂(k)，諸如圖2實例中之訊框N及M或訊框N+R及M+1。下文將連同圖5至圖7闡述例示性叢集對應判定之額外細節。

在步驟310中，使用在步驟308中獲得之叢集對應資訊施加一深度填充操作。此通常涉及將來自第一影像流及第二影像流之影像中之對應叢集之深度資料合併至額外訊框中之一或多者中。更特定而言，如圖中所指示，在復原訊框N+i中，用來自出自第二影像流Fs₂之訊框M及M+1之對應叢集之深度資料填充來自第一影像流Fs₁之訊框N+i之至少一個叢集。可以將在本文中別處闡述之一方式預處理在深度填充操作中填充至經復原訊框中之深度資料。在其他實施例中，在基於叢集對應資訊而復原額外訊框中可使用不同於深度資料或除深度資料之外之影像資訊。

如步驟312處所指示，針對i=1至R-1重複步驟310之深度填充操作以復原R-1個額外訊框之全部組以用於增加第二影像流Fs₂之訊框率。由影像處理器102之深度填充模組116執行此等深度填充操作。

儘管未在圖3實施例中明確地圖解說明，但可在步驟310及312之深度填充操作之後施加後處理操作以增強經復原額外訊框之品質。使用影像處理器102之後處理模組118實施此等後處理操作。在其他實施例中，後處理可省去，或至少部分地與深度填充操作組合。此外，在實施過程300中可使用其他額外或替代操作組，且因此圖中所展示之特定操作應被視為僅例示性的。

圖4中展示用於增加低訊框率之影像流Fs₂之訊框率之另一例示性過程400。如所展示之此過程將來自第一影像流Fs₁之R+1個訊框402及來自第二影像流Fs₂之兩個訊框404取作其輸入，且產生第二影像流Fs₂之R-1個經復原額外訊框406作為其輸出。在圖中，來自第一影像流之R+1個訊框402表示為訊框N至N+R，來自第二影像流之兩個訊框404表示為訊框M及M+1，且R-1個輸出訊框406表示為經復原訊框1至R-1。再次，在其他實施例中可使用其他數目個及類型之輸入及輸出訊框。

過程400包含在圖中圖解說明為假定由影像處理器102之各別模組110、112、114、116及118實施之各別區塊的仿射變換410、叢集412、叢集對應414、深度填充416及後處理418之處理操作。如先前所提及，此等處理操作僅係例示性的，且其他實施例可使用額外或替代操作組以增加一影像流之訊框率。

僅施加本發明實施例中之仿射變換至來自第一影像流Fs₁之R+1個訊框402。圖中藉由擁有來自輸入訊框組402之各別輸入訊框N、N+1、...N+R之仿射變換區塊410-1、410-2、...410-(R-1)圖解說明此。直接施加包括第二影像流Fs₂之兩個訊框M及M+1之輸入訊框404至叢集區塊412及深度填充區塊416。亦施加在仿射變換區塊410-1、410-2、...410-(R-1)之輸出處的仿射變換之訊框至叢集區塊412及深度填充區塊416，如圖中所指示。叢集區塊412以先前所闡述之方式產生叢集映射，且叢集對應區塊414判定來自第一輸入流及第二輸入流之訊框中之叢集之間的對應。將如上文所述可包含額外叢集映射之所得叢集對應資訊提供至利用彼資訊來復原第二影像流之R-1個額外訊框之深度填充區塊416。單獨施加後處理至此等額外訊框中之每一者，如由後處理區塊418-1、418-2、...418-(R-1)所指示。此等後處理區塊418在其各別輸出處提供R-1個輸出訊框406。

如在圖3實施例中，針對複數個反覆中之每一者重複圖4實施例之處理操作，其中每一此類反覆判定一額外訊框組以用於插入於第二影像流Fs₂之一既定連續現有訊框對之間以增加彼影像流之訊框率。

現在將更詳細地闡述由影像處理器102之仿射變換模組110執行之例示性仿射變換操作。

讓Im_i(N)為影像流Fs_i(其中i=1、2)之第N個訊框中之一所擷取影像。可判定一仿射變換T以使得將T(Im₁(N))放置至Im₂(N)之座標系統中。

在其中影像感測器相對於彼此固定且其搭配係提前知曉之一實施例中，仿射變換T可在感測器製造或設置時定義為T₁=T(T₂)，其中T_i係3D空間中之第i個影像感測器之一基底向量且仿射變換T係一放大矩陣，其中一放大矩陣通常提供將一個向量組映射至另一向量組之一線性變換。因此，可使用一既定放大矩陣(舉例而言)來將一第一影像感測器之一基底向量變換至一第二影像感測器之一基底向量，其中基底向量考量為在一單個3D空間中。

取決於所使用之影像感測器之類型而預期與仿射變換T相關聯之關鍵點在2D或3D空間中，且可手動地或藉由一自動技術(例如，使用邊緣分析)選擇該等關鍵點。用於諸多實際應用之關鍵點之一適合數目將近似為大約20，儘管在其他實施例中可使用其他數目個關鍵點。

可藉由使用最小平方法求解一超定線性方程式組而判定仿射變換，如現在將闡述。讓m表示關鍵點之數目，將D_xyz定義為含有逐行寫入之來自Im₁(N)之每m個點之座標的一2xm或3xm矩陣，且將T_xyz定義為含有逐行寫入之來自Im₂(N)之對應m個點的一2xm或3xm矩陣。讓 A及TR分別表示在一最小均方意義上係最佳之一仿射變換矩陣及一相關聯之平移向量。針對3D情形：其中(x_i ^j，y_i ^j，z_i ^j)係Im_j(N)之第i個關鍵點之座標且矩陣A及向量TR共同地定義仿射變換：T_xyz=A．D_xyz+TR，可發現矩陣A及向量TR為以下最佳化問題之一解：∥A．D_xyz+TR-T_xyz∥²→最小。

使用元素式標記法A=(a_ij)(其中(i,j)=(1,1)...(3,3))及TR=(tr_k)(其中k=1...3)，在最小均方意義上之此最佳化問題之解基於以下線性方程式組，該線性方程式組包括總計12個變數及12m個方程式：dR/da_ij=0，i=1、2、3，j=1、2、3，dR/dtr_k=0，k=1、2、3。

在以上文所闡述之方式判定仿射變換參數A及TR之後，將影像Im₁(N)變換至Im₂(N)之座標系統中，如下：D_1xyz=A．D_xyz+TR。

由於仿射變換之施加，因此所得經變換影像D₁中之像素之(x,y)座標並非總是整數，而是更一般而言有理數。可使用諸如最近相鄰或內插之技術將此等有理數座標映射至Im₂(N)之一規則等距正交整數格。此一映射提供與Im₂(N)具有相同解析度之一影像Im₁(N)，儘管可能具有空缺之像素位置(亦即，未定義資料)，此乃因映射可使規則格中之某些點未填充。

前文僅係可由影像處理器102實施之一仿射變換之一項實例，且其他實施例可使用其他類型之變換或技術以對準用於產生第一影像流及第二影像流之影像感測器之座標系統。

現在將更詳細地闡述由影像處理器102之叢集模組112執行之例示性叢集操作。最初應注意，叢集模組可實施需要不同層級之計算資源之數種不同叢集技術且基於影像處理器102之當前計算負荷而在彼等技術之間切換。

如先前所提及，適合用於叢集模組112中之叢集技術可基於統計區域合併或SRM。此等技術通常係抵抗隨機雜訊的且具有適度計算複雜性以及良好定量誤差界。此外，可以允許動態控制計算要求之一方式調節切分程度。

在一基於SRM之叢集技術之一更特定實例中，由與一最佳影像Id_i(j)相關之一族獨立分配之隨機變數表示一實際影像Im_i(j)之每一像素，其中實際影像Im_i(j)認為最佳影像Id_i(j)之一特定觀察。使用一同質性規則將實際影像Id_i(j)及最佳影像Im_i(j)各自被分離成最佳統計區域，該同質性規則規定在每一統計區域內像素具有相同期望值，且毗鄰區域之期望值係不同的。

此例示性基於SRM之技術使用一指定合併述詞P實施遞歸合併。考量一任意影像Im_i(j)。讓Im_i(j)之每一像素由Q個隨機變數表示。然後，可如下表達Im_i(j)之兩個任意區域R₁、R₂之合併述詞P：，其中其中|R|表示區域R中之像素之數目，G表示當前影像之一既定像素之最大可能值(例如，針對一影像來自一Kinect影像感測器，G=2¹²)，且δ係小於1之一正值。因此，|R₁-R₂|表示區域R₁中之像素之數目與區域R₂中之像素之數目之間的差之量值。若P(R₁,R₂)=真，則此技術將區域R₁及R₂合併成一單個叢集。

該技術開始於像素層級，其中每一像素最初被認為一個別區域。對照述詞P測試區域合併之次序遵循一不變量A，不變量A指示兩個不同區域之兩個部分之間的任何測試何時發生，彼意指先前已發生在此兩個區域內之所有測試。可使用一函數f(pix₁,pix₂)=|pix₁-pix₂|達成此不變量A，其中pix_i係一影像像素值。

然後，基於SRM之技術以以下方式繼續。首先，以函數f(pix₁,pix₂)=|pix₁-pix₂|之遞增次序排序所有可能像素對(pix₁,pix₂)，且所得次序僅遍歷一次。針對對於其R(pix₁)≠R(pix₂)(其中R(pix)表示pix所屬之當前區域)之任何當前像素對(pix₁,pix₂)，執行測試P(R(pix₁),R(pix₂))且若並僅若測試返回真，則合併R(pix₁)及R(pix₂)。在完成當前影像之合併過程時，已將影像像素分離成多個叢集，其中叢集之特徵在於先前所闡述類型之一叢集映射。

在此實施例中使用函數f(pix₁,pix₂)=|pix₁-pix₂|作為不變量A之一近似值，儘管可使用其他函數。此外，在上文所闡述之基於SRM之技術中合併述詞及其他參數可變化。此外，可使用並非基於SRM之各種叢集技術。

現在將參考圖5至圖7更詳細地闡述由影像處理器102之叢集對應模組114執行之例示性叢集對應操作。圖5圖解說明包含表示為在圖6及圖7之各別過程600及700中所圖解說明之(1)及(2)之部分的一總體叢集對應過程500。存在步驟502中之部分(1)之一單個例項及各別步驟504、506、508及510中之部分(2)之多個單獨例項。部分(1)通常涉及判定兩個叢集映射之間的對應，且部分(2)之一既定例項通常涉及將叢集之一個組映射至叢集之另一組。然而，應瞭解，在其他實施例中可使用額外或替代叢集對應操作。

最初參考圖5，叢集對應過程500包含與部分(1)相關聯之步驟502及各自與部分(2)之一例項相關聯之步驟504、506、508及510。

在步驟502中，判定叢集映射Cm₂(M)與Cm₂(M+1)之間的對應且形成叢集映射Cg₂(M)及Cg₂(M+1)。

在步驟504中，將叢集映射Cg₂(M)映射至叢集映射Cm₁(N)以得到叢集映射Cg₁(N)。

在步驟506中，將叢集映射Cg₂(M+1)映射至叢集映射Cm₁(N+R)以得到叢集映射Cg₁(N+R)。

在步驟508中，將叢集映射Cg₁(N)映射至叢集映射Cm₁(N+1)以得到叢集映射Cg₁(N+1)。

在步驟510中，將叢集映射Cg₁(N+R)映射至叢集映射Cm₁(N+R-1)以得到叢集映射Cg₁(N+R-1)。

由步驟504及508圖解說明之映射操作序列針對一或多個剩餘訊框繼續。

類似地，由步驟506及510圖解說明之映射操作序列針對一或多個剩餘訊框繼續。

如所指示，過程500在完成上文所述之映射操作序列之後旋即產生叢集映射Cg₁(N)、Cg₁(N+1)、...、Cg₁(N+R)、Cg₂(M)及Cg₂(M+1)以及此等叢集映射中之每一者中之叢集數目k。

叢集映射Cg1及Cg2亦稱為經對準叢集映射，且可被視為更一般而言在本文中稱為「叢集對應資訊」之實例。如同本文中所揭示之其他叢集映射，Cg1及Cg2叢集映射可表示為各別矩陣。在本發明之其他實施例中可使用眾多其他類型之叢集對應資訊。

現在將參考圖6闡述用於執行圖5之步驟502中之部分(1)之例示性過程600。如上文所述，部分(1)通常涉及判定兩個叢集映射之間的對應。用於實施此功能性之過程600包含步驟602至步驟618。

讓C₁及C₂表示應使用待闡述之過程600彼此映射之兩個叢集映射。在圖5之步驟502之上下文中，C₁=Cm₂(M)且C₂=Cm₂(M+1)。讓N₁表示C₁中之叢集之數目且讓N₂表示C₂中之叢集之數目。

考量來自C₁之一任意叢集CL₁及來自C₂之一任意叢集CL₂。若滿足以下條件則叢集CL₂應與叢集CL₁交叉：ρ(CL ₁,CL ₂)>threshold ₁.

此處0 ρ(CL ₁,CL ₂)1表示兩個像素組之一相對交叉量測。舉例而言，可使用以下對稱及不對稱交叉量測中之一既定者：

臨限值threshold ₁對應於可控制為過程之一參數之一預定義臨限值(例如，0.1)。

過程600中之叢集映射自可以零矩陣之形式表示之空的叢集映射Cg₁及Cg₂開始。初始化三個額外變數，包含叢集數目k，及表示分別來自C₁及C₂之已使用叢集之組的變數Used₁及Used₂。

在步驟602中，過程之一全域初始化設定Used₁={}、Used₂={}、Cg₁=0、Cg₂=0及k=0。

在步驟604中，基於每一叢集中之像素之數目依遞減大小之次序排序來自C₁之叢集。

在步驟606中，做出關於來自C₁之所有叢集是否已用於分組成組之一判定。若已使用來自C₁之所有叢集，則過程600後處理Cg₁及Cg₂中之叢集，如步驟607中所指示，且然後退出該過程，如所指示。若未使用來自C₁之所有叢集，則過程600移動至步驟608。

在步驟608中，找出來自C₁之一未使用叢集CL₁。

在步驟610中，藉由將組g₁初始化為{CL₁}且將對應組g₂初始化為一空組而執行一組搜尋初始化。然後，過程透過步驟612、614、616及617循環。

在步驟612中，將g₂定義為與來自g₁之叢集交叉之來自CL₂之叢集之一組，如下：

在步驟614中，將定義為與來自在步驟612中定義之新g₂之叢集交叉之來自CL₁之叢集之一組，如下：

在步驟616中，做出關於g₁是否等於之一判定。若g₁不等於，則過程移動至步驟617，且若g₁等於，則過程移動至步驟618。

在步驟617中，設定g₁等於，且重複步驟612、614及616直至滿足條件g₁=為止，此時過程移動至步驟618。將在包括步驟612、614、616及617之循環之有限數目次重複之後滿足此條件，此乃因在C₁及C₂中存在有限數目個叢集。

在步驟618中，使k增加1且更新所使用叢集之組，以使得k=k+1，Used₁=Used₁ g₁，且Used₂=Used₂ g₂。此外，藉由將Cg₁(g₁)及Cg₂(g₂)兩者設定為皆等於k而將g₁及g₂添加至所得叢集映射Cg₁及Cg₂，其中Cg₁(g₁)=k意指叢集映射Cg₁之矩陣中之對應於來自叢集g₁之像素的所有元素設定為k且類似地Cg₂(g₂)=k意指叢集映射Cg₂之矩陣中之對應於來自叢集g₂之像素的所有元素設定為k。

然後該過程返回至步驟606，如所指示。如上文所述，若在步驟606中判定已使用來自C₁之所有叢集，則過程600後處理Cg₁及Cg₂中之叢集，如步驟607中所指示。藉由實例之方式，不同於由圖4中之後處理區塊418執行之後處理的此後處理可涉及識別具有Cg₂中之對應空叢集的Cg₁中之任何叢集及未指派給Cg₁中之叢集中之任何者的Cg₂中之任何叢集。在此等情形中之兩種情形中，將所識別叢集中之每一者組合至與其共用最長邊界之鄰近叢集中，其中兩個叢集之間的邊界長度定義為此等叢集之邊界像素之數目，且其中一既定邊界像素係具有來自兩個叢集之一或多個相鄰者的一像素。

步驟607中之後處理可涉及使用叢集之間的一深度距離量測之額外操作。舉例而言，此一深度距離量測可定義為兩個叢集之平均深度之間的絕對差，或定義為兩個叢集之邊界像素之平均深度之間的絕對距離。若Cg₁中之鄰近叢集之間的對應深度距離量測小於一預定義臨限值threshold2，則該等額外操作可包含合併該等叢集。可施加圖5過程中之部分(2)以判定Cg₂之對應合併程序。

可使用取代過程600之替代技術。舉例而言，可能施加第二影像流之兩個影像M及M+1中之所有叢集組之一竭盡式搜尋。

現在將參考圖7闡述用於執行圖5之步驟504、506、508及510中之一特定步驟中之部分(2)之一既定例項之例示性過程700。如上文所述，部分(2)之一既定例項通常涉及將叢集之一個組映射至叢集之另一組，且可被視為過程600之一簡化版本。在此簡化版本中，舉例而言，來自Cg之叢集保持不變，且僅來自Cm之叢集分組成組。當Cm中之叢集之數目大於Cg中之叢集之數目時此一配置係尤其有用的。用於實施此功能性之過程700包含步驟702至步驟710。

在步驟702中，過程之一全域初始化設定Used₁={}、Used₂={}、Cg₁=Cm₁、Cg₂=0及k=0。

在步驟704中，做出關於來自C₁之所有叢集是否已用於分組成組之一判定。若已使用來自C₁之所有叢集，則過程700後處理Cg₂中之叢集，如步驟705中所指示，且然後退出該過程，如所指示。若未使用來自C₁之所有叢集，則過程700移動至步驟706。

在步驟706中，找出來自C₁之一未使用叢集g₁。

在步驟708中，將g₂定義為與來自g₁之叢集交叉之來自CL₂之叢集之一組，如下：

在步驟710中，使k增加1且更新所使用叢集之組，以使得k=k+1，Used₁=Used₁ g₁，且Used₂=Used₂ g₂。此外，藉由將Cg₂(g₂)設定為等於k而將g₂添加至所得叢集映射Cg₂，其中Cg₂(g₂)=k意指叢集映射Cg₂之矩陣中之對應於來自叢集g₂之像素之所有元素設定為k。

然後該過程返回至步驟704，如所指示。如上文所述，若在步驟704中判定已使用來自C₁之所有叢集，則過程700後處理Cg₂中之叢集，如步驟705中所指示。

應瞭解，圖3至圖7之流程圖中所使用之特定過程步驟僅係例示性的，且其他實施例可利用不同類型及配置之影像處理操作。舉例而言，在其他實施例中特定類型之叢集操作可變化。此外，在一既定流程圖中指示為連續執行之步驟在其他實施例中可至少部分地與一或多個其他步驟並行執行。

現在將更詳細地闡述由影像處理器102之深度填充模組116執行之例示性深度填充操作。

在叢集對應模組114以上文所闡述之方式判定叢集對應資訊之後，將彼資訊傳遞至深度填充模組116，此復原額外訊框以用於插入於第二影像流Fs₂之現有訊框M與M+1之間。深度填充模組將來自此等現有訊框之深度資料添加至額外訊框中之特定叢集。

藉由實例之方式，使用叢集對應資訊，深度填充模組可處理Cm₁(N+i)(i=1、2、...、R-1)以判定叢集之組{CL₁,...,CL_P}及{CL₁',...,CL_T'}，其中P小於來自Im₂(M)之Cm₂(M)中之不同元素之最大數目且T小於來自Im₂(M+1)之Cm₂(M+1)中之不同元素之最大數目。

如先前所指示，深度資料可在由深度填充模組116填充至額外訊框中之前經預處理。舉例而言，可以以下方式擴展深度資料：其中dData(i,j)表示具有座標(i,j)之深度資料且pix(i,j)係具有座標(i,j)之影像像素之一值。另外或另一選擇係，可如下平滑化深度資料：dData=smooth(dData，smooth_str)其中此平滑技術藉由鄰近像素之一加權深度資料總和替換一既定像素之深度資料dData(i,j)。藉由smooth_str(例如，smooth_str=5)給出鄰近模板大小。應理解，此等特定預處理操作僅係例示性的，且在其他實施例中可使用在深度填充之前之其他類型之預處理。

在構造來自Im₁(N+i)(i=1、2、...、R-1)之一既定叢集之深度資料dData之後，深度填充模組116使用彼深度資料來填充一既定經復原影像中之一對應叢集。當自高訊框率之影像流Fs₁之一影像提取實例中之既定叢集時，其可比低訊框率之影像流Fs₂之影像提供一相關聯之經成像目標之更加準確定位及邊緣。

經復原影像可如下表達為在來自與Im₁(N+i)相關之叢集映射之所有叢集上指示符Ind之一總和：其中一既定指示符Ind由以下公式給出：且其中p、q呈現由大小(Im₂(M))給出之所有值。假定此情形中之第二影像流Fs₂之經復原影像與第一影像流Fs₁之對應影像具有相同大小。

現在將更詳細地闡述由影像處理器102之後處理模組118執行之例示性後處理操作。此等後處理操作通常經組態以增強經復原影像之品質，且可涉及施加一或多個濾波器至經復原影像以增強清晰度或消除不期望之冗餘陰影。

作為一更特定實例，可藉由施加以下後處理操作而消除冗餘陰影且增強總體經復原影像品質。將一既定經復原影像Im₂(N)劃分成不交叉叢集以使得每一陰影區域屬於一特定叢集。假定，若來自Im₂(N)之叢集CL與其來自Im₂(N+1)之對應叢集CL'之間的相關性小於或等於一預定義臨限值乘以CL區，則CL不顯著改變。因此，假定，若係以下情形則叢集CL不改變：其中change_thr表示一預定義實值(例如，0.95)，且C及C'分別係與叢集CL及CL'有關之矩陣。明瞭，不隨時間而顯著改變之叢集滿足此條件。

若來自Im₂(N)之叢集CL包含一陰影區，則保留該叢集CL。然而，若Im₂(N+1)及Im₂(N+2)中之對應叢集不針對兩個連續訊框而改變，則使用來自CL之深度資料以減小Im₂(N+2)中之陰影區。更特定而言，讓iData為基於Im₂(N+2)叢集之一經復原影像且讓iData含有陰影區域，且亦讓具有矩陣C之CL為來自Im₂(N)之一叢集以使得CL不顯著改變且針對時間N+2之相關叢集含有陰影區域。後處理識別所有(i,j)座標以使得pix(i,j)=Inf，其中pix(i,j)係來自iData之一像素，且然後針對C(i,j)>0，所識別(i,j)座標之CL像素係不同於Inf之指派值m，以使得pix(i,j)=m。此驅迫iData含有較少陰影區域。用於Inf之特定值取決於用於產生對應影像之成像器之類型(此乃因陰影區域針對不同成像器可具有不同值)，且通常表示可用於指示一既定像素作為一陰影區域之部分的任何值。舉例而言，其可係一大的負數。

此例示性後處理引發憑感知不顯著且因此可在實際應用中被接納的1/Fr₂秒之一額外處理延時或一個訊框延時。再次，在其他實施例中可使用各種各樣之其他類型之預處理操作。

本發明之實施例提供用於使用至少一個較高速率之影像流增加一較低訊框率之影像流之訊框率之特定高效技術。舉例而言，所揭示之技術允許增加一影像流之訊框率，即使經成像場景包含未必跟隨線性軌跡之靜止及移動目標之一組合。否則使用諸如內插動之習用技術將難以處理此等流。

再次，應強調，如本文中所闡述之本發明之實施例意欲僅係說明性的。舉例而言，可利用不同於本文中所闡述之特定實施例中利用之彼等影像處理電路、模組及處理操作的各種各樣之類型及配置之影像處理電路、模組及處理操作來實施本發明之其他實施例。另外，本文中在闡述特定實施例之上下文中做出之特定假定不必適用於其他實施例中。熟習此項技術者將容易地明瞭在以下申請專利範圍之範疇內之此等及眾多其他替代實施例。