TWI406187B - 快速高畫質視頻影像內插方法及裝置 - Google Patents
快速高畫質視頻影像內插方法及裝置 Download PDFInfo
- Publication number
- TWI406187B TWI406187B TW99127730A TW99127730A TWI406187B TW I406187 B TWI406187 B TW I406187B TW 99127730 A TW99127730 A TW 99127730A TW 99127730 A TW99127730 A TW 99127730A TW I406187 B TWI406187 B TW I406187B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- pixels
- resolution image
- weight
- pixel difference
- Prior art date
Links
Landscapes
- Image Processing (AREA)
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
Description
本發明係關於影像處理之技術領域，尤指一種快速高畫質視頻影像內插方法及裝置。
隨著顯示面板技術的高速發展，大型超高解析度(Quad Full HD，即3841×2160解析度)多媒體平面電視及播放器將成未來重點開發的電子產品項目之一。為使現有的高解析度影像及視頻媒體能在這些超高解析度顯示面板上播放，快速高畫質影像內插方法之研發則是未來研發趨勢。
美國第US5,001,563號專利案公告中，利用欲插值點的鄰近影像進行濾波以產生插值點，其係著重在濾波器的設計上。然而此種利用濾波器方法由於只參考插值點之鄰近影像，而對於需要較遠之影像訊息才能進行插值的影像，例如傾斜度比較低以及細斜線的影像，由於影像訊息不足，因此所插值的影像會因誤判，而將原本細斜線的影像產生鋸齒狀(zigzag)及影像模糊。
為了彌補因影像訊息不足而造成影像誤判以及模糊等問題，美國第US6,133,957號專利案公告中，提出使用紋路變化最小法(Least texture variance method)之設計，其係利用尋找欲插值影像中紋路變化最小者當作插值的影像來源。同時，為了彌補因影像訊息不足而造成影像誤判以及模糊的缺失，紋路變化最小法則藉由尋找影像中紋路變化最小者，當作插值的影像來源的方式。可是由於該法則往往會出現一些混亂的情形，如出現多於一個紋路變化最小者等，在此情形下，影像誤判的機率也大增，因而產生不自然的影像。而為避免誤判，其加入了可信度(Confidence)判斷的機制，此機制利用紋路變化複雜度的高低而給予可信度的大小，當可信度小時則採用垂直方向做插值的影像來源，以避免可能的誤判。然而此方法對於複雜的影像，由於其大多採用垂直方向做插值，因此造成影像的不連續性。
由前述可知，習知影像內插方法只針對畫質的追求，往往忽略對運算量的考慮，加上近年顯示面板技術進歩快速，面板的解析度越來越高，使得習知高運算量的內插法在即時的應用上的可行性越來越低。因此，習知增加影像解析度之內插技術有諸多缺失而有予以改進之必要。
本發明之主要目的係在提供一種快速高畫質視頻影像內插法，可利用加權平均內插法，依著影像圖案之紋理計算出該空白像素之內插值，並反覆地利用原始輸入低解析度影像與內插後高解析度影像模擬出來之低解析影像之間的誤差，對高解析度影像進行修正，令輸出影像更清晰、自然及像真。
依據本發明之一特色，本發明提出一種快速高畫質視頻影像內插法，係使用於一倍頻器(SCALER)中，以於一低解析度影像中插入像素而增加該低解析度影像的解析度，俾產生一高解析度影像，該低解析度影像係由排列成二維陣列的多數個像素所組成，其中包含像素X 2 i ,2 j
、X 2 i ,2 j +2
、X 2 i +2,2 j +2
及X 2 i +2,2 j
，i
,j
為正整數，該影像內插法包含下列步驟：(A)計算一斜向空白像素X 2 i +1,2 j +1
其鄰近的向左上、向右上、向右下及向左下四個方向之絕對像素差；(B)依據步驟(A)中的絕對像素差及一非線性函數以計算該斜向空白像素X 2 i +1,2 j +1
的向左上、向右上、向右下及向左下四個方向之權重；(C)依據步驟(B)中的權重以計算該斜向空白像素之值；(D)計算一餘下空白像素X 2 i ,2 j +1
其鄰近四角已知像素方向之絕對像素差；(E)依據步驟(D)中的絕對像素差及該非線性函數以計算該餘下空白像素X 2 i ,2 j +1
之向上權重、向下權重W D
、向左權重W L
及向右權重W R
；(F)計算該餘下空白像素X 2 i ,2 j +1
的水平方向絕對像素差(ΔH
)及垂直方向絕對像素差(ΔV
)；(G)依據步驟(F)中的水平方向絕對像素差(ΔH
)及垂直方向絕對像素差(ΔV
)以計算該餘下空白像素X 2 i ,2 j +1
之值。
依據本發明之另一特色，本發明提出一種快速高畫質視頻影像內插裝置，係接收一低解析度影像並於該低解析度影像中插入像素而增加其解析度，俾產生一高解析度影像，該低解析度影像係由排列成二維陣列的多數個像素所組成，其中包含像素X 2 i ,2 j
，i
,j
為正整數，該影像內插裝置包含一視頻影像內插處理器、一線緩衝器、一表格裝置、及一影像強化後處理器。該視頻影像內插處理器接收該低解析度影像，並使用一非線性指數函數(exponential function)及一斜向空白像素X 2 i +1,2 j +1
其鄰近的向左上、向右上、向右下及向左下四個方向之絕對像素差，計算出該斜向空白像素X 2 i +1,2 j +1
及鄰近像素之權值，並根據該權值及該斜向空白像素X 2 i +1,2 j +1
鄰近之像素值，對該斜向空白像素X 2 i +1,2 j +1
作加權平均內插。該線緩衝器連接至該視頻影像內插處理器，以暫存該視頻影像內插處理器所產生之資料。該表格裝置連接至該視頻影像內插處理器，依據視頻影像內插處理器輸出之指標，利用查表方式，以對該指數函數作即時運算。該影像強化後處理器連接至該線緩衝裝置，以對該高解析度影像進行影像強化後處理。
本發明提供一快速視頻影像內插方法。本發明首先利用一像素提升技術，對輸入低解析度影像進行放大，然後利用一影像強化後處理技術，對放大後之高解析度影像反覆進行修正。
圖1係本發明一種快速高畫質視頻影像內插裝置之方塊圖。該內插裝置100接收一低解析度影像I L
並於該低解析度影像中插入像素而增加其解析度，俾產生一高解析度影像I H
(0)，該低解析度影像I L
如圖2A所示，係由排列成二維陣列的多數個像素X 0,0
、X 0,2
、X 0,4
...;X 2,0
、X 2,2
、X 2,4
...;X 4,0
、X 4,2
、X 4,4
...所組成，其中包含像素X 2 i ,2 j
、X 2 i ,2 j +2
、X 2 i +2,2 j +2
及X 2 i +2,2 j
，i
,j
為正整數，而經插入像素所產生之高解析度影像I H
(0)如圖2B所示，則成為由排列成二維陣列的多數個像素X 0,0
、X 0,1
、X 0,2
...;X 1,0
、X 1,1
、X 1,2
...;X 2,0
、X 2,1
、X 2,2
...;X 3,0
、X 3,1
、X 3,2
...;X 4,0
、X 4,1
、X 4,2
...所組成，該影像內插裝置包含一視頻影像內插處理器110、一線緩衝器120、一表格裝置130、及一影像強化後處理器140。
該視頻影像內插處理器110接收該低解析度影像I L
，並使用一非線性指數函數(exponential function)及一斜向空白像素X 2 i +1,2 j +1
其鄰近的向左上、向右上、向右下及向左下四個方向之絕對像素差，計算出該斜向空白像素X 2 i +1,2 j +1
及鄰近像素之權值，並根據該權值及該斜向空白像素X 2 i +1,2 j +1
鄰近之像素值，對該斜向空白像素X 2 i +1,2 j +1
作加權平均內插。
該線緩衝器120連接至該視頻影像內插處理器110，以暫存該視頻影像內插處理器110所產生之資料。該表格裝置130連接至該視頻影像內插處理器110，依據視頻影像內插處理器110輸出之指標，利用查表方式，以對該指數函數作即時運算。該影像強化後處理器140連接至該線緩衝裝置120，以對該高解析度影像I H
(0)進行影像強化後處理。
本發明所使用之像素提升技術是利用一非線性指數函數(exponential function)及鄰近像素間之絕對差，計算出空白像素向鄰近四方已知像素之權值，並跟據該權值及其鄰近已知之像素值，對該空白像素作加權平均內插。為使內插過程更有效率，本內插法首先對斜向之空白像素進行內插，然後跟據其內插結果及原始圖像之像素，對餘下之空白像素進行內插。
圖2係本發明一種快速高畫質視頻影像內插法的流程圖。該影像內插法係使用於一倍頻器(SCALER)中，以於一低解析度影像I L
中插入像素而增加該低解析度影像的解析度，俾產生一高解析度影像I H
(0)，該低解析度影像I L
係由排列成二維陣列的多數個像素所組成，其中包含像素X 2 i ,2 j
、X 2 i ,2 j +2
、X 2 i +2,2 j +2
及X 2 i +2,2 j
，i
,j
為正整數。
一併參照圖4係本發明一高解析度影像I H
(0)中一斜向空白像素X 2 i +1,2 j +1
及其鄰近已知像素的示意圖。在本內插法中，該斜向空白像素X 2 i +1,2 j +1
的內插值為其鄰近四角已知像素X 2 i ,2 j
、X 2 i ,2 j +2
、X 2 i +2,2 j +2
和X 2 i + 2,2 j
加權平均內插後之所得其中，該像素X 2 i ,2 j
、X 2 i ,2 j +2
、X 2 i +2,2 j +2
和X 2 i +2,2 j
係為低解析度影像I L
中已知的像素。
首先於步驟(A)中，計算該空白像素X 2 i + 1,2 j +1
其鄰近四角已知像素方向之絕對像素差，即向左上絕對像素差D UL
、向右上絕對像素差D UR
、向右下絕對像素差D DR
及向左下絕對像素差D DL
。其算式分別為：
D UL
=|X 2 i ,2 j
-X 2 i +2,2 j +2
|+|X 2 i ,2 j -2
-X 2 i +2,2 j
|+|X 2 i -2,2 j
-X 2 i ,2 j +2
|、
D UR
=|X 2 i ,2 j +2
-X 2 i +2,2 j
|+|X 2 i -2,2 j +2
-X 2 i ,2 j
|+|X 2 i ,2 j +4
-X 2 i +2,2 j +2
|、
D DR
=|X 2 i ,2 j
-X 2 i +2,2 j +2
|+|X 2 i +2,2 j
-X 2 i +4,2 j +2
|+|X 2 i ,2 j +2
-X 2 i +2,2 j +4
|、
D DL
=|X 2 i ,2 j +2
-X 2 i +2,2 j
|+|X 2 i ,2 j
-X 2 i +2,2 j -2
|+|X 2 i +2,2 j +2
-X 2 i +4,2 j
|。
於步驟(B)中，依據步驟(A)中的絕對像素差及一非線性函數以計算該斜向空白像素X 2 i +1,2 j +1
的向左上、向右上、向右下及向左下四個方向之權重。其中，該步驟(B)中之非線性函數係一指數函數。
亦即，依據步驟(A)之計算結果，利用一指數函數，計算該空白像素X 2 i +1,2 j +1
其鄰近四角已知像素方向之權重，即向左上權重W UL
、向右上權重W UR
、向右下權重W DR
及向左下權重W DL
。其算式分別為
W UL
=exp(-D UL
/h
)、
W UR
=exp(-D UR
/h
)、
W DR
=exp(-D DR
/h
)、
W DL
=exp(-D DL
/h
)，
當中，h
為一調節參數，0<h
，於本較佳實施例中，h
之值為48。
於步驟(C)中，依據步驟(B)中的權重以計算該斜向空白像素之值。該斜向空白像素X 2 i +1,2 j +1
的內插值為：
從上述步驟可知，權重與像素差之間是成非線性反比關係，故鄰近已知之像素會因其對應方向之絕對像素差變大，而使其自己參與該內插之比重降低，反之亦然。
因此，本發明之內插法能自動沿著影像之邊緣對斜向之空白像素作內插，令影像之圖案紋理在影像放大後仍能保持清晰完整。另外，也由於使用非線性反比函數作權重計算之原故，本發明之內插法所輸出之高解析度影像會比傳統利用線性反比函數之加權平均內插法所輸出之高解析度影像更清晰銳利。
依據前述步驟(A)至步驟(C)，對所有斜向之空白像素執行內插運算後，本發明的內插法接著對餘下之空白像素進行內插。圖5係本發明一高解析度影像I H
(0)中一每個餘下之空白像素X 2 i ,2 j +1
及其鄰近已知像素的示意圖。如圖5所示，該高解析度影像I H
(0)經過步驟(A)至步驟(C)，而對所有斜向之空白像素X 2 i +1,2 j +1
執行內插運算後的像素之排列。如圖5所示，每個餘下之空白像素X 2 i ,2 j +1
均已被四個鄰近已知之像素從上下左右四個方向所包圍。為免邊緣在影像放大後出現拉鍊效應(zipper effect)，本發明之內差法會首先跟據鄰近地區水平及垂直方向之絕對像素差，決定該餘下之空白像素X 2 i ,2 j +1
之內插方向，然後利用權平均內插法，沿著該已決定的方向，對該餘下之空白像素X 2 i ,2 j +1
進行內插。
於步驟(D)中，計算該餘下空白像素X 2 i , 2 j +1
其鄰近四角已知像素方向之絕對像素差。其中，該步驟(D)中係使用下列公式，以計算該餘下空白像素X 2 i ,2 j +1
其鄰近的向上絕對像素差D U
、向下絕對像素差D D
、向左絕對像素差D L
及向右絕對像素差D R
：
D U
=|X 2 i -1,2 j +1
-X 2 i +1,2 j +1
|+|X 2 i -2,2 j
-X 2 i ,2 j
|+|X 2 i -2,2 j +2
-X 2 i ,2 j +2
|、
D D
=|X 2 i -1,2 j +1
-X 2 i +1,2 j + 1
|+|X 2 i ,2 j
-X 2 i +2,2 j
|+|X 2 i ,2 j +2
-X 2 i +2,2 j +2
|、
D L
=|X 2 i ,2 j
-X 2 i ,2 j +2
|+|X 2 i -1,2 j -1
-X 2 i -1,2 j +1
|+|X 2 i +1,2 j -1
-X 2 i +1,2 j +1
|、
D R
=|X 2 i ,2 j
-X 2 i ,2 j +2
|+|X 2 i -1,2 j +1
-X 2 i -1,2 j +3
|+|X 2 i +1,2 j +1
-X 2 i +1,2 j +3
|，
當中，X 2 i - 1,2 j +1
、X 2 i +1,2 j -1
、X 2 i -1,2 j -1
、X 2 i +1,2 j +1
、X 2 i -1,2 j +3
、X 2 i +1,2 j +3
係該步驟(C)中所算出該斜向空白像素之值。
於步驟(E)中，依據步驟(D)中的絕對像素差及該非線性函數以計算該餘下空白像素X 2 i ,2 j +1
之向上權重W U
、向下權重W D
、向左權重W L
及向右權重W R
。其算式分別為：
W U
=exp(-D U
/h
)、
W D
=exp(-D D
/h
)、
W L
=exp(-D L
/h
)、
W R
=exp(-D R
/h
)，
當中，h
為前述之調節參數。
於步驟(F)中，計算該餘下空白像素X 2 i ,2 j +1
的水平方向絕對像素差(ΔH
)及垂直方向絕對像素差(ΔV
)。其中，該步驟(F)中係使用下列公式，以計算該餘下空白像素X 2 i ,2 j +1
的水平方向絕對像素差(ΔH
)及垂直方向之絕對像素差(ΔV
)：
於步驟(G)中，依據步驟(F)中的水平方向絕對像素差(ΔH
)及垂直方向絕對像素差(ΔV
)以計算該餘下空白像素X 2 i ,2 j + 1
之值。其中，該步驟(G)中係比較水平方向絕對像素差(ΔH
)及垂直方向絕對像素差(ΔV
)之數值，決定該餘下空白像素X 2 i ,2 j +1
之內插方向及其內插值。
當水平方向絕對像素差(ΔH
)大於垂直方向絕對像素差(ΔV
)，則該餘下空白像素X 2 i ,2 j +1
以垂直方向作內插，其內插值為：
當水平方向絕對像素差(ΔH
)小於垂直方向絕對像素差(ΔV
)，則該餘下空白像素X 2 i ,2 j + 1
以水平方向作內插，
其內插值為：
當水平方向絕對像素差(ΔH
)等於垂直方向絕對像素差(ΔV
)，則該餘下空白像素X 2 i ,2 j +1
之內插值為：
重複執行該步驟(A)至步驟(G)，則可產生該高解析度影像I H
(0)。為了達到實際應用時低運算量之要求，本發明避免對該指數函數作即時運算，取而代之為利用一查表法來獲得內插時所需要的權重值。
以一8位元(8-bit)影像為例，從上述步驟(A)及步驟(D)中，可得知每個絕對像素差的有效範圍為0-765，故本發明只需利用一個766欄位的該表格裝置130作查詢，便可在不需要運算量的情形下即時獲得所需要之權重，其中查找該表格裝置130中每一欄位為exp(-k
/h
)之運算結果，k
為0,1,2,...,765。
另外，若輸入影像為一16位元(16-bit)影像，本發明先將從步驟(A)及步驟(D)中所獲得的絕對像素差除以256，並將其結果四捨五入至整數，然後利用該整數作索引，從該表格裝置130找出所需要之權重值作內插。
依據以上步驟(D)至步驟(G)對所有餘下之空白像素內插後，所有高解析度影像I H
(0)中空白之像素均已被獲得，整個像素提升過程亦因此而完成。
接著，本發明執行步驟(H)，以對該放大後高解析度影像執行一強化後處理，本發明之強化後處理技術反覆進行修正，以增強輸出影像之清晰度及像真度。
本發明之強化後處理技術是一種疊代的(iterative)影像修正技術，它反覆地利用放大後高解析度影像模擬出來之低解析影像與原始輸入低解析度影像之間的誤差，對高解析度影像進行修正。
圖6係本發明所使用之影像強化後處理技術之運作原理之示意圖。為方便說明，本發明以I L
代表原始輸入之低解析度影像，I H
(n
)代表第n次修正後之高解析度影像輸出，其中n
=0,1,2,...,N
，N
為疊代總次數。在本方法中，為降低運算量，N
之預設值為5。圖7係本發明步驟(H)的詳細流程圖。
於步驟(H1)中，設定一初始高解析度影像I H
(0)，其中I H
(0)為前述步驟(A)至步驟(G)輸出的高解析度影像。
於步驟(H2)中，計算該低解析度影像I L
與一由該高解析度影像I H
(n
)模擬出來之一模擬低解析影像之間的誤差e
，當中，I H
(n
)為第n
次疊代時的高解析度影像。
其中，步驟(H2)係利用下列公式，以計算該誤差e
：
e
=I L
-(f
*I H
(n
))↓2，
當中，(‧)↓2為降冪取樣(down-sampling)程序，f
為一2×2平均濾波器(averaging filter)。
於步驟(H3)中，依據該誤差e
，對高解析度影像I H
(n
)進行修正，並產生一修正高解析度影像I H
(n
+1)。其中，步驟(H3)係利用下列公式，以對該高解析度影像I H
(n
)進行修正，並產生該修正高解析度影像I H
(n
+1)：
I H
(n
+1)=I H
(n
)+g
*(e
)↑2，
當中，運算函數↑2為零次升冪取樣(zero order up-sampling)程序，g
為一5×5高斯濾波器(Gaussian filter)，其數值為：
於步驟(H4)中，重覆步驟(H1)至步驟(H3)直至一預定運算次數。於本實施例中，該預定運算次數為5。
隨著本發明之強化後處理步驟完成，整個快速高畫質視頻影像內插過程亦告完結。
由前述說明可知，本發明揭示一種快速視頻影像內插方法，其方法包括一像素提升技術及一影像強化後處理技術。該像素提升技術首先對斜向之空白像素進行內插，然後依據其內插結果及原始圖像之像素值，對餘下之空白像素進行內插。它利用一非線性函數及鄰近像素間之絕對差，計算出對一空白像素鄰近四方已知像素之權值，並根據該權值及其鄰近已知之像素值，利用加權平均內插法，依著影像圖案之紋理計算出該空白像素之內插值。該影像強化後處理技術則反覆地利用原始輸入低解析度影像與內插後高解析度影像模擬出來之低解析影像之間的誤差，對高解析度影像進行修正，令輸出影像更清晰、自然及像真。
為了達到實際應用時高畫質低運算量的要求，本發明之內插法一改其傳統純內插的設計模式，以先內插後強化的概念為大綱，並在這大綱下，對每個技術部分再以簡單高效能的設計為目標。故跟現有的內插法相比，本內插法不單能提供即時的影像放大，而且還提供一個比較清晰及自然之影像輸出，達到高畫質低運算量之要求。
由上述可知，本發明無論就目的、手段及功效，在在均顯示其迥異於習知技術之特徵，極具實用價值。惟應注意的是，上述諸多實施例僅係為了便於說明而舉例而已，本發明所主張之權利範圍自應以申請專利範圍所述為準，而非僅限於上述實施例。
100．．．內插裝置
110．．．視頻影像內插處理器
120．．．線緩衝器
130．．．表格裝置
140．．．影像強化後處理器
步驟(A)~步驟(H)
步驟(H1)~步驟(H4)
圖1係本發明一種快速高畫質視頻影像內插裝置之方塊圖。
圖2A本發明低解析度影像的示意圖。
圖2B本發明高解析度影像的示意圖。
圖3係本發明一種快速高畫質視頻影像內插法的流程圖。
圖4係本發明一高解析度影像中一斜向空白像素及其鄰近已知像素的示意圖。
圖5係本發明一高解析度影像中一餘下之空白像素及其鄰近已知像素的示意圖。
圖6係本發明所使用之影像強化後處理技術之運作原理之示意圖。
圖7係本發明快速高畫質視頻影像內插法之影像強化後處理的詳細流程圖。
100．．．內插裝置
110．．．視頻影像內插處理器
120．．．線緩衝器
130．．．表格裝置
140．．．影像強化後處理器
Claims (12)
- 一種快速高畫質視頻影像內插法，係使用於一倍頻器(SCALER)中，以於一低解析度影像中插入像素而增加該低解析度影像的解析度，俾產生一高解析度影像，該低解析度影像係由排列成二維陣列的多數個像素所組成，其中包含像素X 2 i ,2 j 、X 2 i ,2 j +2 、X 2 i +2,2 j +2 及X 2 i +2,2 j ，i ,j 為正整數，該影像內插法包含下列步驟：(A) 計算一斜向空白像素X 2 i +1,2 j +1 其鄰近的向左上、向右上、向右下及向左下四個方向之絕對像素差；(B) 依據步驟(A)中的絕對像素差及一非線性函數以計算該斜向空白像素X 2 i +1,2 j +1 的向左上、向右上、向右下及向左下四個方向之權重；(C) 依據步驟(B)中的權重以計算該斜向空白像素之值；(D) 計算一餘下空白像素X 2 i ,2 j +1 其鄰近四角已知像素方向之絕對像素差；(E) 依據步驟(D)中的絕對像素差及該非線性函數以計算該餘下空白像素X 2 i ,2 j +1 之向上權重W U 、向下權重W D 、向左權重W L 及向右權重W R ；(F) 計算該餘下空白像素X 2 i ,2 j +1 的水平方向絕對像素差(ΔH )及垂直方向絕對像素差(ΔV )；以及(G) 依據步驟(F)中的水平方向絕對像素差(ΔH )及垂直方向絕對像素差(ΔV )以計算該餘下空白像素X 2 i ,2 j +1 之值。
- 如申請專利範圍第1項所述之快速高畫質視頻影像內插法，其更包含步驟：(H) 對該高解析度影像執行影像強化後處理。
- 如申請專利範圍第2項所述之快速高畫質視頻影像內插法，其中，該步驟(A)至步驟(H)係重複執行。
- 如申請專利範圍第3項所述之快速高畫質視頻影像內插法，其中，該步驟(A)中係使用下列公式，以計算該斜向空白像素X 2 i +1,2 j +1 其鄰近的向左上絕對像素差D UL 、向右上絕對像素差D UR 、向右下絕對像素差D DR 及向左下絕對像素差D DL ：D UL =|X 2 i ,2 j -X2 i +2,2 j +2 |+|X 2 i ,2 j -2 -X 2 i +2,2 j |+|X 2 i -2,2 j -X 2 i ,2 j +2 |、D UR =|X 2 i ,2 j +2 -X 2 i +2,2 j |+|X 2 i -2,2 j +2 -X 2 i ,2 j |+|X 2 i ,2 j +4 -X 2 i +2,2 j +2 |、D DR =|X 2 i ,2 j -X 2 i +2,2 j +2 |+|X 2 i +2,2 j -X 2 i +4,2 j +2 |+|X 2 i ,2 j +2 -X 2 i +2,2 j +4 |、D DL =|X 2 i ,2 j +2 -X 2 i +2,2 j |+|X 2 i ,2 j -X 2 i +2,2 j -2 |+|X 2 i +2,2 j +2 -X 2 i +4,2 j |。
- 如申請專利範圍第4項所述之快速高畫質視頻影像內插法，其中，該步驟(B)中之非線性函數係一指數函數，即該斜向空白像素X 2 i +1,2 j +1 的向左上權重W UL 、向右上權重W UR 、向右下權重W DR 及向左下權重W DL 之計算分別為：W UL =exp(-D UL /h )、W UR =exp(-D UR /h )、W DR =exp(-D DR /h )、W DL =exp(-D DL /h )，當中，h 為一調節參數，0<h 。
- 如申請專利範圍第5項所述之快速高畫質視頻影像內插法，其中，該步驟(C)中係使用下列公式，以計算該斜向空白像素之值X 2 i +1,2 j +1 ：
- 如申請專利範圍第6項所述之快速高畫質視頻影像內插法，其中，該步驟(D)中係使用下列公式，以計算該餘下空白像素X 2 i ,2 j +1 其鄰近的向上絕對像素差D U 、向下絕對像素差D D 、向左絕對像素差D L 及向右絕對像素差D R ：D U =|X 2 i - 1,2 j +1 -X 2 i +1,2 j +1 |+|X 2 i - 2,2 j -X 2 i ,2 j |+|X 2 i -2,2 j +2 -X 2 i ,2 j +2 |、D D =|X 2 i -1,2 j +1 -X 2 i + 1,2 j +1 |+|X 2 i ,2 j -X 2 i +2,2 j |+|X 2 i ,2 j +2 -X 2 i +2,2 j +2 |、D L =|X 2 i ,2 j -X 2 i ,2 j +2 |+|X 2 i -1,2 j -1 -X 2 i -1,2 j +1 |+|X 2 i +1,2 j -1 -X 2 i +1,2 j +1 |、D R =|X 2 i ,2 j -X 2 i ,2 j +2 |+|X 2 i -1,2 j +1 -X 2 i -1,2 j +3 |+|X 2 i +1,2 j +1 -X 2 i +1,2 j + 3 |，當中，X 2 i -1,2 j +1 、X 2 i +1,2 j -1 、X 2 i -1,2 j -1 、X 2 i +1,2 j +1 、X 2 i -1,2 j +3 、X 2 i +1,2 j +3 係該步驟(C)中所算出該斜向空白像素之值。
- 如申請專利範圍第7項所述之快速高畫質視頻影像內插法，其中，該步驟(E)中係使用下列公式，以計算該餘下空白像素X 2 i ,2 j +1 的向上權重W U 、向下權重W D 、向左權重W L 及向右權重W R ：W U =exp(-D U /h )、W D =exp(-D D /h )、W L =exp(-D L /h )、W R =exp(-D R /h )，當中，h 為該調節參數。
- 如申請專利範圍第8項所述之快速高畫質視頻影像內插法，其中，該步驟(F)中係使用下列公式，以計算該餘下空白像素X 2 i ,2 j +1 的水平方向絕對像素差(ΔH )及垂直方向之絕對像素差(ΔV )：
- 如申請專利範圍第9項所述之快速高畫質視頻影像內插法，其中，該步驟(G)中係比較水平方向絕對像素差(ΔH )及垂直方向絕對像素差(ΔV )之數值，決定該餘下空白像素X 2 i ,2 j +1 之內插方向及其內插值。
- 如申請專利範圍第10項所述之快速高畫質視頻影像內插法，其中，步驟(H)更包含下列步驟：(H1) 設定一初始高解析度影像I H (0)；(H2) 計算該低解析度影像I L 與一由該高解析度影像I H (n )模擬出來之一模擬低解析影像之間的誤差e ；(H3) 依據該誤差e ，對高解析度影像I H (n )進行修正，並產生一修正高解析度影像I H (n +1)；以及(H4) 重覆步驟(H1)至步驟(H3)直至一預定運算次數。
- 一種快速高畫質視頻影像內插裝置，係接收一低解析度影像並於該低解析度影像中插入像素而增加其解析度，俾產生一高解析度影像，該低解析度影像係由排列成二維陣列的多數個像素所組成，其中包含像素X 2 i ,2 j ，i ,j 為正整數，該影像內插裝置包含：一視頻影像內插處理器，其接收該低解析度影像，並使用一非線性指數函數(exponential function)及一斜向空白像素X 2 i +1,2 j +1 其鄰近的向左上、向右上、向右下及向左下四個方向之絕對像素差，計算出該斜向空白像素X 2 i + 1,2 j + 1 及鄰近像素之權值，並根據該權值及該斜向空白像素X 2 i +1,2 j +1 鄰近之像素值，對該斜向空白像素X 2 i +1,2 j +1 作加權平均內插；一線緩衝器，連接至該視頻影像內插處理器，以暫存該視頻影像內插處理器所產生之資料；一表格裝置，連接至該視頻影像內插處理器，依據視頻影像內插處理器輸出之指標，利用查表方式，以對該指數函數作即時運算；以及一影像強化後處理器，連接至該線緩衝裝置，以對該高解析度影像進行影像強化後處理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW99127730A TWI406187B (zh) | 2010-08-19 | 2010-08-19 | 快速高畫質視頻影像內插方法及裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW99127730A TWI406187B (zh) | 2010-08-19 | 2010-08-19 | 快速高畫質視頻影像內插方法及裝置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201209755A TW201209755A (en) | 2012-03-01 |
| TWI406187B true TWI406187B (zh) | 2013-08-21 |
Family
ID=46763748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW99127730A TWI406187B (zh) | 2010-08-19 | 2010-08-19 | 快速高畫質視頻影像內插方法及裝置 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI406187B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402943B2 (en) | 2016-10-20 | 2019-09-03 | Htc Corporation | Image enhancement device and method for convolutional network apparatus |
| CN111200755A (zh) * | 2018-11-20 | 2020-05-26 | 晨星半导体股份有限公司 | 影像像素提升装置与方法 |
| GB2617220A (en) * | 2022-09-30 | 2023-10-04 | Imagination Tech Ltd | Upsampling blocks of pixels |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5001563A (en) * | 1988-09-27 | 1991-03-19 | U.S. Philips Corporation | Method of and circuit for processing a picture signal |
| US5125042A (en) * | 1989-06-16 | 1992-06-23 | Eastman Kodak Company | Digital image interpolator using a plurality of interpolation kernals |
| WO2000060532A1 (en) * | 1999-04-01 | 2000-10-12 | University Of Maryland Baltimore County | Method and apparatus for restoration of low resolution images |
| US6133957A (en) * | 1997-10-14 | 2000-10-17 | Faroudja Laboratories, Inc. | Adaptive diagonal interpolation for image resolution enhancement |
| WO2005008589A1 (en) * | 2003-07-16 | 2005-01-27 | Hewlett-Packard Development Company, L.P. | High resolution image reconstruction |
| TW200513984A (en) * | 2003-10-13 | 2005-04-16 | Leadtek Research Inc | Fast edge-oriented image interpolation algorithm |
| TW200514429A (en) * | 2003-10-06 | 2005-04-16 | Sunplus Technology Co Ltd | Directional interpolation method and device for increasing resolution of an image |
| EP2045773A1 (en) * | 2007-10-02 | 2009-04-08 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
-
2010
- 2010-08-19 TW TW99127730A patent/TWI406187B/zh active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5001563A (en) * | 1988-09-27 | 1991-03-19 | U.S. Philips Corporation | Method of and circuit for processing a picture signal |
| US5125042A (en) * | 1989-06-16 | 1992-06-23 | Eastman Kodak Company | Digital image interpolator using a plurality of interpolation kernals |
| US6133957A (en) * | 1997-10-14 | 2000-10-17 | Faroudja Laboratories, Inc. | Adaptive diagonal interpolation for image resolution enhancement |
| WO2000060532A1 (en) * | 1999-04-01 | 2000-10-12 | University Of Maryland Baltimore County | Method and apparatus for restoration of low resolution images |
| WO2005008589A1 (en) * | 2003-07-16 | 2005-01-27 | Hewlett-Packard Development Company, L.P. | High resolution image reconstruction |
| TW200514429A (en) * | 2003-10-06 | 2005-04-16 | Sunplus Technology Co Ltd | Directional interpolation method and device for increasing resolution of an image |
| TW200513984A (en) * | 2003-10-13 | 2005-04-16 | Leadtek Research Inc | Fast edge-oriented image interpolation algorithm |
| EP2045773A1 (en) * | 2007-10-02 | 2009-04-08 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method and apparatus for changing the spatial resolution of a digital image |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201209755A (en) | 2012-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4351394B2 (ja) | 拡大あるいは縮小画像解像度変換の非線形および線形方法 | |
| JP6016061B2 (ja) | 画像生成装置、画像表示装置及び画像生成方法並びに画像生成プログラム | |
| US7881563B2 (en) | Distortion correction of images using hybrid interpolation technique | |
| CN103500435B (zh) | 一种边缘导向的自适应图像插值方法及其vlsi实现装置 | |
| CN104284126B (zh) | 影像插补方法以及应用该方法的影像插补装置与影像装置 | |
| JP2003274157A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取可能な記録媒体 | |
| CN106780336B (zh) | 一种图像缩小方法及装置 | |
| KR100860968B1 (ko) | 해상도 향상 장치 및 방법 | |
| TWI406187B (zh) | 快速高畫質視頻影像內插方法及裝置 | |
| US6961479B1 (en) | Image processing device, image processing method, image-processing program recorded medium | |
| CN109325909B (zh) | 一种图像放大方法和图像放大装置 | |
| US20180218477A1 (en) | Data interpolation device, method therefor, and image processing apparatus | |
| Gour et al. | Hardware accelerator for real-time image resizing | |
| JP4582666B2 (ja) | 画像を補間および補正する方法および装置ならびに該装置を有するスキャナ | |
| US9741095B2 (en) | Method for electronic zoom with sub-pixel offset | |
| JP2016115318A (ja) | ぼやけ補正装置、超解像装置およびプログラム | |
| CN101281641B (zh) | 一种外插法改进的基于eno的图像插值方法 | |
| JP2000187726A (ja) | デ―タ補間方法および装置及び記憶媒体 | |
| JP5085589B2 (ja) | 画像処理装置および方法 | |
| JP5387289B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
| JP6326914B2 (ja) | 補間装置及び補間方法 | |
| JP5387288B2 (ja) | 画像処理装置、画像処理方法およびそのプログラム | |
| CN110299123B (zh) | 音频处理器的自适应分辨率显示方法 | |
| JP2017215941A (ja) | 画像処理装置及びその制御方法 | |
| JP2009245159A (ja) | 画像処理装置、画像処理プログラムおよび画像処理方法 |