JP3986945B2

JP3986945B2 - Image enlargement device

Info

Publication number: JP3986945B2
Application number: JP2002327111A
Authority: JP
Inventors: 良充稲森; 正幸江澤; 秀紀桑島
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2002-11-11
Filing date: 2002-11-11
Publication date: 2007-10-03
Anticipated expiration: 2022-11-11
Also published as: JP2004165827A

Description

【０００１】
【発明の属する技術分野】
この発明は、画像拡大装置に関し、特に、ビットストリームで入力される画像データを拡大する画像拡大装置に関する。
【０００２】
【従来の技術】
従来、画像を拡大する方法は、種々のものが提案されている。その代表的な例として、フレームメモリを用いた方法がある（たとえば、特許文献１）。特許文献１では、デジタル画像信号を蓄積するメモリと、メモリから画素データを順次読み出すメモリ読出し手段と、メモリ読出し手段によって読み出された画像Ｓ_nを遅らせて夫々画素信号Ｓ_n-1、Ｓ_n-2、Ｓ_n-3を形成するための連続した第１、第２、第３の遅延手段と、画素信号Ｓ_n-1と画素信号Ｓ_n-2との間にある補間画素Ｓ’の位置から、Ｎ次の関数で求められる、画素信号Ｓ_n、画素信号Ｓ_n-1、画素信号Ｓ_n-2、画素信号Ｓ_n-3に夫々対応する補間係数を発生する第１、第２、第３、第４の係数発生回路と、各画素信号Ｓ_nと補間係数Ｋ_nの乗算の総和を取る信号合成回路とを備えた画像補間装置が記載されている。
【０００３】
【特許文献１】
特開平１１−５３５３０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１では、画像データを一旦格納する大規模なフィールドメモリが必要であり、フィールドメモリ分のコストがかかる。また、フィールドメモリに原画像の書き込み中はフィールドメモリからの拡大画像の読み出しができない。逆に、フィールドメモリからの拡大画像読み出し中はフィールドメモリへの画像の書き込みができない。このため、拡大された画像のフレームのＦＰＳ（１秒間当たりの転送コマ数）が、入力される画像のＦＰＳの１／２以下になってしまうといった問題がある。
【０００５】
この問題を解決するため、データの書き込みと読込みとが同じに可能なデュアルポート（Ｄｕａｌ−ＰＯＲＴ）メモリをフィールドメモリとして用いることで、ＦＰＳが低減する問題を解決することができるが、デュアルポートメモリは高価なためさらにコストアップとなる。
【０００６】
この発明は上述の問題点を解決するためになされたもので、この発明の目的の１つは、フレームバッファを設けることなく、少ないメモリで画像を拡大することが可能な画像拡大装置を提供することである。
【０００７】
【課題を解決するための手段】
上述の目的を達成するためにこの発明のある局面によれば、画像拡大装置は、画素データが所定の順序で配列された画像データを拡大する画像拡大装置であって、水平同期信号で区切られた水平同期期間内に１ライン分の画素データが順次入力され、入力された画素データを記憶するための少なくとも１つのドットバッファと、水平方向データを記憶するための少なくとも１つのラインバッファと、ドットバッファに記憶された画素データに基づき新たな画素データを生成して、入力された画素データに追加してラインバッファに出力する水平方向拡大手段と、ラインバッファに記憶された水平方向データに基づき新たな水平方向データを生成し、生成された新たな水平方向データを記憶された水平方向データに追加して出力する垂直方向拡大手段とを備え、垂直方向拡大手段は、生成された新たな水平方向データを、ドットバッファに画素データが入力されていない期間に出力する。
【０００８】
この発明に従えば、生成された新たな水平方向データを、画素データが入力されていない期間に出力するので、フレームバッファを設けることなく、少ないメモリで画像を拡大することが可能な画像拡大装置を提供することができる。
【０００９】
好ましくは、ドットバッファには、水平ブランキング期間を拡大した水平同期期間内に１ライン分の画素データを出力する機器から画素データが入力され、垂直方向拡大手段は、記憶された水平方向データを出力する転送速度で垂直方向拡大手段により生成された新たな水平方向データを出力する。
【００１０】
この発明に従えば、水平ブランキング期間を拡大した水平同期期間内に１ライン分の画素データを出力する機器から画素データが入力される。このため、水平ブランキング期間内に生成された新たな水平方向データを記憶された水平方向データが出力される転送速度で出力することができる。
【００１１】
好ましくは、ドットバッファには、垂直同期信号で区切られ、垂直ブランキング期間を拡大した垂直同期期間内に複数ラインからなる１フレーム分の画素データを出力する機器から画素データが入力され、垂直同期期間は、生成された水平方向データと、該生成された水平方向データの生成に用いられた前記ラインバッファに記憶された水平方向データとが出力される期間を超える垂直ブランキング期間を含む。
【００１２】
この発明に従えば、垂直同期信号で区切られ、垂直ブランキング期間を拡大した垂直同期期間内に複数ラインからなる１フレーム分の画素データを出力する機器から画素データが入力され、垂直同期期間は、生成された水平方向データと、該生成された水平方向データの生成に用いられた前記ラインバッファに記憶された水平方向データとが出力される期間を超える垂直ブランキング期間を含む。このため、入力される画素データの垂直同期期間内に、拡大された画素データを出力することができる。
【００１３】
好ましくは、ドットバッファには、水平同期期間を固定して画素データを出力する機器から画素データが入力され、垂直方向拡大手段は、記憶された水平方向データを出力する転送速度よりも速い転送速度で垂直方向拡大手段により生成された新たな水平方向データを出力する。
【００１４】
この発明に従えば、水平同期期間を固定して画素データを出力する機器から画素データが入力され、水平方向データが出力される転送速度よりも速い転送速度で垂直方向拡大手段により生成された新たな水平方向データが出力される。このため、単位時間当りのフレーム数を低下させることなく画像を拡大することができる。
【００１５】
好ましくは、ドットバッファには、水平同期期間を固定して画素データを出力する機器から水平同期期間に１ライン分の画素データが入力され、垂直方向拡大手段が画素データを出力する転送速度は、ドットバッファに画素データが入力される転送速度に応じて定められる。
【００１６】
この発明に従えば、水平同期期間を固定して画素データを出力する機器から水平同期期間に１ライン分の画素データが入力され、垂直方向拡大手段が画素データを出力する転送速度は、ドットバッファに画素データが入力される転送速度に応じて定められる。このため、水平同期期間の画素データが入力されていない期間に、生成された新たな水平方向データが出力されるので、単位時間当りのフレーム数を低下させることなく画像を拡大することができる。
【００１７】
好ましくは、ドットバッファには、垂直同期信号で区切られた垂直同期期間を固定して画素データを出力する機器から垂直同期期間内に複数ラインからなる１フレーム分の画素データが入力され、垂直方向拡大手段は、ドットバッファに１フレーム分の画素データが入力されたときは、垂直同期期間の垂直ブランキング期間内に生成された水平方向データと、該生成された水平方向データの生成に用いられたラインバッファに記憶された水平方向データとを出力する。
【００１８】
この発明に従えば、垂直同期信号で区切られた垂直同期期間を固定して画素データを出力する機器から垂直同期期間内に複数ラインからなる１フレーム分の画素データが入力され、１フレーム分の画素データが入力されたときは、垂直同期期間の垂直ブランキング期間内に生成された水平方向データと、該生成された水平方向データの生成に用いられたラインバッファに記憶された水平方向データとが出力される。このため、入力される画素データの垂直同期期間内に、拡大された画素データを出力することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。なお、図中において、同一符号は同一または相当する部材を示し、重複する説明は繰返さない。
【００２０】
＜第１の実施の形態＞
図１は、転送画像の拡大例を示す図である。図１（Ａ）に拡大される前の転送画像１０を示し、図１（Ｂ）に拡大後の拡大画像１０Ａを示す。転送画像１０は、複数の画素データが、水平方向（図面横方向）および垂直方向（図面上下方向）に配列されたデータである。この転送画像１０がビットストリームデータＳとして、画像拡大装置に入力される。転送画像１０のビットストリームデータＳは、画素データが１次元に配列されたデータであり、その配列順は水平方向、垂直方向の順に定められる。水平方向の配列順は、図面左側から右側に向かう順、垂直方向の配列順は、図面上側から下側に向かう順である。すなわち、転送画像１０のビットストリームデータは、１ライン目の最も左の画素データ、その右の画素データの順に最も右の画素データまで配列され、次に２ライン目の最も左の画素データ、その右の画素データの順に最も右の画素データまで配列される。このようにして、画素データが１次元に配列されて、最終ラインの最も右の画素データが最後の画素データとなる。
【００２１】
ここでは、１画面（１フレーム）のみを示しているが、転送画像１０が複数のフレームを有する場合には、ビットストリームデータＳは、最初のフレームの画素データに続き、次のフレームの画素データが配列される。
【００２２】
図１（Ｂ）を参照して、拡大画像１０Ａは、転送画像１０を水平方向および垂直方向に拡大された場合を示している。拡大画像１０ＡのビットストリームデータＳ２もまた、転送画像１０のビットストリームと同様に画素データが配列される。
【００２３】
ここでは、説明のため転送画像１０の左上隅を基準にして、転送画像１０を水平方向および垂直方向に３／２倍に拡大する例を示す。なお、本実施の形態においては、拡大の基準を転送画像１０の左上隅とするが、他の画素を基準にしてもよい。
【００２４】
転送画像１０の第１ラインのビットストリームデータＳ（Ｌ１）が水平方向に拡大されて拡大画像１０Ａの第１ラインのビットストリームデータＳ２（Ｌ１）とされ、転送画像１０の第２ラインのビットストリームデータＳ（Ｌ２）が水平方向に拡大されて拡大画像１０Ａの第２ラインのビットストリームデータＳ２（Ｌ２）とされ、転送画像１０の第３ラインのビットストリームデータＳ（Ｌ３）が水平方向に拡大されて拡大画像１０Ａの第４ラインのビットストリームデータＳ２（Ｌ４）とされ、転送画像１０の第４ラインのビットストリームデータＳ（Ｌ４）が水平方向に拡大されて拡大画像１０Ａの第５ラインのビットストリームデータＳ２（Ｌ５）とされる。一方、拡大画像１０Ａの第３ラインのビットストリームデータＳ２（Ｌ３）は、拡大画像１０Ａの第１ラインのビットストリームデータＳ２（Ｌ１）、第２ラインのビットストリームデータＳ２（Ｌ２）、第４ラインのビットストリームデータＳ２（Ｌ４）、第５ラインのビットストリームデータＳ２（Ｌ５）から生成される。
【００２５】
以下同様にして、ｎを正数とすれば、転送画像１０の第（２ｎ−１）ラインのビットストリームデータＳ（Ｌ（２ｎ−１））は水平方向に拡大されて拡大画像１０Ａの第（３ｎ−２）ラインのビットストリームデータＳ２（Ｌ（３ｎ−２））とされ、転送画像１０の第（２ｎ）ラインのビットストリームデータＳ（Ｌ（２ｎ））は水平方向に拡大されて拡大画像１０Ａの第（３ｎ−１）ラインのビットストリームデータＳ２（Ｌ（３ｎ−１））とされる。そして、拡大画像１０Ａの第３ｎラインのビットストリームデータＳ２（Ｌ３ｎ）は、拡大画像１０Ａの第（３ｎ−２）ラインのビットストリームデータＳ２（Ｌ（３ｎ−２））、第（３ｎ−１）ラインのビットストリームデータＳ２（Ｌ（３ｎ−１））、第（３ｎ＋１）ラインのビットストリームデータＳ２（Ｌ（３ｎ＋１））、第（３ｎ＋２）ラインのビットストリームデータＳ２（Ｌ（３ｎ＋２））から生成される。
【００２６】
図２は、第１の実施の形態における画像拡大装置の概略構成を示すブロック図である。図２を参照して、画像拡大装置１００は、ビットストリームデータＳを出力する画像出力装置１０２と、画像拡大部１０１とを含む。
【００２７】
画像出力装置１０２は、図１（Ａ）に示した転送画像１０の各画素の画素データを１次元に配列したビットストリームデータＳを画像拡大部１０１に出力する。
【００２８】
画像拡大部１０１は、水平方向拡大回路１１０と、垂直方向拡大回路１２０とを含む。水平方向拡大回路１１０は、入力されるビットストリームデータＳを順に格納するためのシフトレジスタ１１１と、係数を記憶する係数記憶部１１２と、乗算器１１３Ａ〜１１３Ｄと、加算器１１４とを含む。
【００２９】
シフトレジスタ１１１は、４画素分の画素データを記憶するためのバッファであり、シフトレジスタ構成である。画像拡大部１０１に入力されるビットストリームデータＳは、シフトレジスタ１１１に順に格納される。そして、４画素分の画素データがシフトレジスタの４つのバッファに格納される。４画素分の画素データが格納される間に、最初の２つの画素が垂直方向拡大回路１２０に、加算器１１４を介して順に出力される。このとき、出力される画素データは加算器１１４で何ら処理されることない、すなわち、画素データはそのまま出力される。
【００３０】
４画素分の画素データがシフトレジスタ１１１に格納された段階で、シフトレジスタ１１１に格納された画素データが、一度に出力される。ここで、第４番目のバッファに第ｎ番目の画素データが格納されており、第３番目のバッファに第（ｎ＋１）番目の画素データが格納されており、第２番目のバッファに第（ｎ＋２）番目の画素データが格納されており、第１番目のバッファに第（ｎ＋３）番目の画素データが格納されているとして説明する。第４番目のバッファに格納されている第ｎ番目の画素データ（Ｓ（ｎ−３））が、乗算器１１３Ｄに出力され、第３番目のバッファに格納されている第（ｎ＋１）番目の画素データ（Ｓ（ｎ−２））が、乗算器１１３Ｃに出力され、第２番目のバッファに格納されている第（ｎ＋２）番目の画素データ（Ｓ（ｎ−１））が、乗算器１１３Ｂに出力され、第１番目のバッファに格納されている第（ｎ＋１）番目の画素データ（Ｓ（ｎ−３））が、乗算器１１３Ａに出力される。各乗算器１１３Ａ，１１３Ｂ，１１３Ｃ，１１３Ｄには、係数記憶部１１２から予め定められた係数が入力される。そして、乗算器では、入力された係数と、画素データとを乗算して求めた値を加算器１１４に出力する。加算器１１４では、各乗算器１１３Ａ，１１３Ｂ，１１３Ｃ，１１３Ｄから入力された値を加算して、求めた総和を垂直方向拡大回路１２０に出力する。このようにして、最初の２つの画素に続く新たな画素の画素データが水平方向拡大回路１１０で生成される。
【００３１】
なお、ここでは、新たな画素データを前後の４画素の画素データと係数記憶部１１２に記憶された係数とを用いて生成する例を説明したが、この生成処理により拡大画像１０Ａの品質が決定される。水平方向拡大回路１１０で実行される拡大方法は、他の方法を用いることができる。また、シフトレジスタ１１１が有するバッファの数は、４つに限定されることなく、少なくとも１つあればよい。
【００３２】
上述したように水平方向拡大回路１１０は、シフトレジスタ１１１を用いて入力されるビットストリームデータＳを水平方向に拡大する。水平方向拡大回路１１０は、ビットストリームデータＳが連続して入力されるため、シフトレジスタに２画素分の画素データが格納される間に、垂直方向拡大回路１２０に３画素分の画素データを出力する。このため、水平方向拡大回路１１０は、ビットストリームデータＳが入力される転送クロックの３／２倍以上のクロックで処理を実行し、水平方向に拡大した画素データを出力することになる。
【００３３】
水平方向拡大回路１１０は、シフトレジスタ１１１が４画素分のバッファを有するので、隣接する４画素の画素データに基づき水平方向に拡大するための新たな画素データを出力するとともに、入力されるビットストリームデータＳを失うことなくすべてのビットストリームデータＳを出力することができる。このため、シフトレジスタ１１１は、水平方向拡大回路１１０に入力されるビットストリームデータＳの連続性を失うことなく、水平方向に拡大処理するための緩衝材的な役割を果たす。
【００３４】
なお、水平方向拡大回路１１０は、シフトレジスタ１１１が４画素分のバッファを有するため、垂直方向拡大回路１２０に出力されるビットストリームデータＳ１は、水平方向拡大回路１１０に入力されるビットストリームデータＳよりもバッファに蓄積された画素データを出力するために遅延して出力される。
【００３５】
垂直方向拡大回路１２０は、水平方向拡大回路１１０から出力されるビットストリームデータＳ１を順に格納して１ライン分の画素データを記憶するための第１〜第４ラインバッファ１２１Ａ〜１２１Ｄと、係数を記憶する係数記憶部１２２と、乗算器１２３Ａ〜１２３Ｄと、加算器１２４とを含む。
【００３６】
第１〜第４ラインバッファ１２１Ａ〜１２１Ｄは、水平方向拡大回路１１０から出力されてくるビットストリームデータＳ１の１ライン分の画素データをそれぞれ記憶するためのバッファであり、シフトレジスタ構成である。
【００３７】
ビットストリームデータＳ１の画素データは、第１ラインバッファ１２１Ａから、第２ラインバッファ１２１Ｂ、第３ラインバッファ１２１Ｃ、第４ラインバッファ１２１Ｄの順に格納される。そして、４ライン分の画素データが第１〜第４のラインバッファ１２１Ａ〜１２Ｄに格納される。４ライン分の画素データが格納される間に、最初の２ラインの画素データが加算器１２４を介して垂直方向拡大回路１２０から出力される。このとき、出力される画素データは加算器１２４で何ら処理されることない。すなわち、画素データはそのまま出力される。
【００３８】
４ライン分の画素データが第１〜第４ラインバッファ１２１Ａ〜１２Ｄに格納された段階で、第１〜第４ラインバッファ１２１Ａ〜１２Ｄからそれぞれに格納された１ライン分の画素データが、各ラインバッファに格納された順に出力される。ここで、第４ラインバッファ１２１Ｄに第ｎラインの画素データ（Ｓ１（Ｌｎ））が格納されており、第３ラインバッファ１２１Ｃに第（ｎ＋１）ラインの画素データ（Ｓ１（Ｌ（ｎ＋１））が格納されており、第２番ラインバッファ１２２Ｂに第（ｎ＋２）ラインの画素データ（Ｓ１（Ｌ（ｎ＋２））が格納されており、第１ラインバッファ１２１Ａに第（ｎ＋３）ラインの画素データ（Ｓ１（Ｌ（ｎ＋３））が格納されているとして説明する。
【００３９】
第４ラインバッファ１２１Ｄに格納されている第ｎラインの画素データ（Ｓ１（Ｌ（ｎ））が格納された順に乗算器１２３Ｄに出力され、第３ラインバッファ１２１Ｃに格納されている第（ｎ＋１）ラインの画素データ（Ｓ１（Ｌ（ｎ＋１））が格納された順に乗算器１２３Ｃに出力され、第２ラインバッファ１２１Ｂに格納されている第（ｎ＋２）ラインの画素データ（Ｓ１（Ｌ（ｎ＋２））が格納された順に乗算器１２３Ｂに出力され、第３ラインバッファ１２１Ｃに格納されている第（ｎ＋２）ラインの画素データ（Ｓ１（Ｌ（ｎ＋２））が格納された順に乗算器１２３Ａに出力される。そして、乗算器１２３Ａ〜１２３Ｄでは、係数記憶部１２２から入力された係数と、各ラインバッファ１２１Ａ〜１２１Ｄから入力された画素データとを乗算して求めた値を加算器１２４に出力する。加算器１２４では、各乗算器１２３Ａ，１２３Ｂ，１２３Ｃ，１２３Ｄから入力された値を加算して、求めた総和を出力する。このようにして、最初の２つのラインに続く新たなラインの画素データが垂直方向拡大回路１２０で生成される。
【００４０】
垂直方向拡大回路１２０は、カウンタを備えており、新たなラインの画素データを生成するタイミングをカウントする。すなわち、垂直方向に３／２倍に拡大する場合には、カウンタは、０→１→２→０…とカウントする。カウンタは、１ライン分の画素データを出力するごとにカウントアップされ、カウンタの値が「２」となった後は、リセットされて「０」となる。また、カウンタの値が「２」となった時点で新たなラインの画素データが出力される。これにより、２ラインが３ラインに拡張された画素データが出力される。また、垂直方向に４／３倍に拡大する場合には、カウンタは、０→１→２→３→０…とカウントする。カウンタの値が「３」となった後はリセットされて「０」となる。また、カウンタの値が「３」となった時点で新たなラインの画素データが出力される。これにより、３ラインが４ラインに拡張された画素データが出力される。
【００４１】
乗算器１２３Ａ，１２３Ｂ，１２３Ｃ，１２３Ｄと加算器１２４とでは、次式（１）の演算が実行されることになる。なお、式（１）では、垂直方向拡大回路１２０から出力されるビットストリームデータＳ２を、第ｎラインの画素データをＳ２（Ｌ（ｎ））（ｎは正数）で表している。
【００４２】
Ｓ２（Ｌ（３ｎ））＝Ｓ１（Ｌ（２ｎ−１））×１／６＋Ｓ１（Ｌ（２ｎ））×１／３＋Ｓ１（Ｌ（２ｎ＋１））×１／３＋Ｓ１（Ｌ（２ｎ＋２））×１／６
… （１）
なお、ここでは、新たなラインの画素データを前後の４ラインの画素データと係数記憶部１２２を用いて生成する例を説明したが、この生成処理により拡大画像１０Ａの品質が決定される。垂直方向拡大回路１２０で新たなラインの画素データを生成する方法は、これに限られず、他の方法を用いることができる。また、ラインバッファの数もこれに限られるわけでなく、転送画像１０のライン数より少なく、少なくとも１つあればよい。
【００４３】
上述したように垂直方向拡大回路１２０は、第１〜第４ラインバッファ１２１Ａ〜１２１Ｄを用いて、入力されるビットストリームデータＳ１を垂直方向に拡大する。垂直方向拡大回路１２０は、ビットストリームデータＳ２が連続して入力されるため、第１〜第４ラインバッファ１２１Ａ〜１２１Ｄに２ライン分の画素データが格納される間に、３ライン分の画素データを出力する。
【００４４】
垂直方向拡大回路１２０は、第１〜第４ラインバッファ１２１Ａ〜１２Ｄに４ライン分の画素データを記憶するので、隣接する４ラインの画素データに基づき垂直方向に拡大するための新たなラインの画素データを出力するとともに、入力されるビットストリームデータＳ１を失うことなくすべてのビットストリームデータＳ１を出力することができる。このため、、第１〜第４ラインバッファ１２１Ａ〜１２Ｄは、垂直方向拡大回路１２０に入力されるビットストリームデータＳ１の連続性を失うことなく、垂直方向に拡大処理するための緩衝材的な役割を果たす。
【００４５】
なお、垂直方向拡大回路１２０は、、第１〜第４ラインバッファ１２１Ａ〜１２Ｄを有するため、出力されるビットストリームデータＳ２は、垂直方向拡大回路１２０に入力されるビットストリームデータＳ１よりも、ラインバッファに蓄積された画素データを出力するために遅延して出力される。
【００４６】
次に、画像出力装置１０２から画像拡大部１０１に出力されるビットストリームデータＳについて説明する。図３は、ビットストリームデータを説明するための図である。ビットストリームデータは、１次元に配列された画素データである。そして、画像出力装置１０２から画像拡大部１０１に送信される際に、両者間で同期をとるために、画像出力装置１０２から画像拡大部１０１に垂直同期信号（ＶＳＹＮＣ）と水平同期信号（ＨＳＹＮＣ）が送信される。
【００４７】
２つの垂直同期信号（ＶＳＹＮＣ）の間に１フレーム分の画素データが含まれ、２つの水平同期信号（ＨＳＹＮＣ）の間に１ライン分の画素データが含まれる。２つの水平同期信号（ＨＳＹＮＣ）の間の期間を前の水平同期信号を含めて水平同期期間といい、２つの垂直同期信号（ＶＳＹＮＣ）の間の期間を垂直同期期間という。
【００４８】
水平同期期間は、水平同期信号ＨＳＹＮＣ有効期間（ＨＳＹＮＣ＝Ｈｉｇｈ時）と、フロントポーチ（ＨＳＹＮＣ解除時からデータ転送期間までの期間）と、入力される１ライン分のビットストリームデータＳの転送期間と、バックポーチ（データ転送期間終了時から次のＨＳＹＮＣ開始までの期間）の和である。水平ブランキング期間は、厳密にはフロントポーチとバックポーチとを含むが、ここでは特に断わらない限り、水平ブランキング期間はバックポーチを示す。
【００４９】
図３では、ビットストリームデータＳを２次元で示しており、転送期間と、水平ブランキング期間および垂直ブランキング期間のみを示している。図３に示すビットストリームデータＳが、画像出力装置１０２から画像拡大部１０１に出力された場合、画像拡大部１０１では、画像を拡大することができない。これについて図４を用いて説明する。図４は、画像拡大部１０１に入力されるビットストリームデータＳと画像拡大部１０１から出力されるビットストリームデータＳ２とを時系列で示す図である。
【００５０】
図４を参照して、画像拡大部１０１に入力されるビットストリームデータＳは、１水平同期期間内に１ライン分の画素データが画像拡大部１０１に入力される。また、この場合の水平同期期間内には、水平ブランキング期間（Ａ）が含まれる。画像拡大部１０１で水平拡大した後のビットストリームデータＳ１は、１ラインに含まれる画素データの数がビットストリームデータＳのそれの３／２倍である。
【００５１】
この水平ブランキング期間（Ａ）内に、画像拡大部１０１が生成した新たなラインの画素データ、たとえば第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力しなければならない。しかしながら、図４に示すように、水平ブランキング期間（Ａ）が短いがために、画像拡大部１０１が第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力してしまう以前に、第５ラインのビットストリームデータＳ（Ｓ（Ｌ５））が入力されてしまう。このため、第４ラインのビットストリームデータＳ２（Ｓ２（Ｌ４）を出力する必要があり、第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力することができない。
【００５２】
また、水平方向と同じように第１〜第４ラインバッファ１２１Ａ〜１２１Ｄに４ライン分の画素データを格納しているために、１フレーム分のビットストリームデータＳが入力された後の垂直ブランキング期間内に第１〜第４ラインバッファ１２１Ａ〜１２１Ｄに格納されている２ライン分の画素データと、それらから生成された新たなラインの画素データを出力しなければならない。本実施の形態における画像拡大部１０１の垂直方向拡大回路１２０では、前後それぞれ２ラインの計４ラインから新たなラインを生成するようにした。しかしながら、最終ラインについては、前２ラインから新たなラインを生成するようにしている。また、入力される画像データが奇数ラインからなる場合には、最終ラインを生成するための２ラインを確保できないため、新たなラインを生成しない。したがって、垂直ブランキング期間は、第１ラインバッファ１２１Ａと第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データを出力するための期間を超える期間が必要である。画像拡大部１０１に画像出力装置１０２から次のフレームの画素データが入力されるからである。
【００５３】
しかしながら、入力されるビットストリームデータＳの垂直ブランキング期間が短いがために、画像拡大部１０１が第１ラインバッファ１２１Ａと第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データを出力してしまう以前に、次のフレームの画素データが入力されてしまう。このため、次のフレームから拡大されたビットストリームデータＳ２（Ｓ２（Ｌ１））を出力する必要があり、第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力することができない。
【００５４】
このため、本実施の形態における画像拡大装置１００では、画像出力装置１０２からは、水平ブランキング期間と垂直ブランキング期間を拡大してビットストリームデータＳを出力するようにしている。
【００５５】
図５は、本実施の形態における画像出力装置１０２が出力するビットストリームデータＳを説明するための図である。図５では、ビットストリームデータＳを２次元で示しており、転送期間と、水平ブランキング期間および垂直ブランキング期間のみを示している。図５を参照して、水平ブランキング期間（Ｂ）が水平ブランキング期間（Ａ）よりも長くなっている。水平ブランキング期間（Ｂ）が拡大されたのに伴って、水平同期期間が拡大されている。水平同期期間は、水平方向に拡大された画素データを２ライン分出力するのに必要な期間に設定される。
【００５６】
また、垂直ブランキング期間が拡大されている。垂直ブランキング期間は、第１ラインバッファ１２１Ａと第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データを出力するのに必要な期間である。
【００５７】
図６は、画像拡大部１０１に入力されるビットストリームデータＳと画像拡大部１０１から出力されるビットストリームデータＳ２とを時系列で示す図である。図６を参照して、画像拡大部１０１に入力されるビットストリームデータＳは、１水平同期期間ごとに１ライン分の画素データが画像拡大部１０１に入力される。また、この場合の水平同期期間内には、水平ブランキング期間（Ｂ）が含まれる。画像拡大部１０１で水平拡大した後のビットストリームデータＳ１は、１ラインの画素データの数がビットストリームデータＳのそれよりも３／２倍の画素データからなる。
【００５８】
水平ブランキング期間（Ｂ）内に、画像拡大部１０１が生成した新たなラインの画素データ、たとえば第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））が出力される。したがって、図６に示すように、水平ブランキング期間（Ｂ）が拡大されているので、水平ブランキング期間（Ｂ）内に画像拡大部１０１が第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力することができる。
【００５９】
また、垂直ブランキング期間が拡大されているため、次のフレームのビットストリームデータＳが入力される以前に、第１ラインバッファ１２１Ａと第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データを出力することができる。
【００６０】
また、画像出力装置１０２は、画素データが所定の順序で配列された画像データ（ビットストリームデータＳ）を出力する。そして、図５に示したように、水平同期信号を出力し、水平同期信号で区切られた水平同期期間内に１ライン分の画素データ（例えばＳ（Ｌ１））を出力する。さらに、図６に示したように、１ライン分の画素データが出力された後（たとえばＳ（Ｌ４））、その画素データを出力した期間を超える水平ブランキング期間（水平ブランキング期間（Ｂ））が経過した後次の水平同期信号を出力する。このため、上述したように画像拡大部１０１において、水平ブランキング期間（Ｂ）内に第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力することが可能となる。
【００６１】
また、画像出力装置１０２は、図６に示したように、水平ブランキング期間を確保するために、水平同期期間の半分に満たない期間に１ライン分の画素データ（例えばＳ（Ｌ１））を出力するようにしてもよい。
【００６２】
以上説明したように、本実施の形態における画像拡大装置１００においては、画像出力装置１０２から画像拡大部１０１にビットストリームデータＳを、水平ブランキング期間と垂直ブランキング期間とを拡大して出力するので、画像拡大部１０１では、ビットストリームデータＳを失うことなく、１フレーム分のビットストリームデータＳが入力される間に、拡大処理したビットストリームデータＳ２を出力することが可能となる。
【００６３】
また、フレームバッファを設けることなく、４つの画素データを有するシフトレジスタおよび４ライン分の第１〜第４ラインバッファ１２３Ａ〜１２Ｄだけで、水平方向および垂直方向の拡大を可能としている。このため、少ないメモリで画像を拡大することが可能である。
【００６４】
＜第２の実施の形態＞
第１の実施の形態における画像拡大装置１００が、画像出力装置１０２でビットストリームデータＳを出力する際に、垂直ブランキング期間と水平ブランキング期間を拡大するようにしたが、第２の実施の形態における画像拡大装置１００は、画像出力装置１０２からは図３に示したタイミングでビットストリームデータＳを出力するとともに、画像拡大部１０１の処理速度を高速にしたものである。すなわち、画像拡大部１０１の処理速度を高速にして、新たに生成した画素データを出力する転送速度を高速に（転送クロックを高く）したものである。その他の点については、第１の実施の形態における画像拡大装置と同様なので、ここでは異なる点について主に説明する。
【００６５】
図４を用いて説明したように、画像出力装置１０２から図３に示したタイミングでビットストリームデータＳが出力される場合には、新たに生成されたライン（たとえば第３ライン）の画素データ（Ｓ２（Ｌ３））を出力することができなかった。しかしながら、画像拡大部１０１の処理速度を高速にして、新たに生成したラインの画素データの転送速度を水平拡大されたラインの画素データの転送速度よりも速くすることにより、前のラインの画素データ（Ｓ２（Ｌ２））の出力が終了した後、後のラインの画素データ（Ｓ２（Ｌ４））が出力される前に、新たに生成されたラインの画素データ（Ｓ２（Ｌ３））を出力することが可能となる。また、画像拡大部１０１の処理速度を高速にして、次のフレームの画素データが入力される以前の垂直ブランキング期間に画素データを出力する転送速度を速くすることにより、第１ラインバッファ１２１Ａと第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データを出力することが可能となる。
【００６６】
このため、垂直方向拡大回路１２０は、処理速度を高速にして、新たに生成したラインの画素データの転送速度をラインバッファ１２１Ａ〜１２１Ｄに記憶された水平拡大されたラインの画素データの転送速度よりも速くする。この転送速度は、水平ブランキング期間（Ａ）内に新たに生成したラインの画素データを出力することができる転送速度である。
【００６７】
また、垂直方向拡大回路１２０は、処理速度を高速にして、垂直ブランキング期間における画素データを出力する転送速度を速くする。この転送速度は、第１ラインバッファ１２１Ａおよび第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データを、垂直ブランキング期間内に出力することができる転送速度である。
【００６８】
図７は、第２の実施の形態における画像拡大部１０１に入力されるビットストリームデータＳと画像拡大部１０１から出力されるビットストリームデータＳ２とを時系列で示す図である。図７を参照して、画像拡大部１０１に入力されるビットストリームデータＳは、１水平同期期間ごとに１ライン分の画素データが画像拡大部１０１に入力される。また、この場合の水平同期期間内には、水平ブランキング期間（Ａ）が含まれる。画像拡大部１０１で水平拡大した後のビットストリームデータＳ１は、１ラインがビットストリームデータＳよりも３／２倍の画素データからなる。
【００６９】
画像拡大部１０１の処理速度が高速で、画素データの転送速度が高速なため、この期間内に生成した新たなラインの画素データ、たとえば第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力することが可能である。また、画像拡大部１０１の垂直ブランキング期間の転送速度が高速なため、次のフレームのビットストリームデータＳが入力される以前に、第１ラインバッファ１２１Ａおよび第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データとを出力することができる。
【００７０】
このように第２の実施の形態における画像拡大装置１００では、ビットストリームデータで入力される画素データの転送速度で、入力された画素データを水平方向に拡大処理した画素データを出力し、垂直方向に拡大するために新たに生成されたラインの画素データを、入力される画素データの転送速度よりも速い転送速度で出力する。このため、第１の実施の形態における画像拡大装置１００が有する効果に加えて、水平同期期間および垂直同期期間を拡大することなく水平方向および垂直方向に画像を拡大することができる。さらに、水平同期期間および垂直同期期間を拡大しないため、単位時間当りに出力されるフレーム数を低下させることなく画像を拡大することができる。
【００７１】
さらに、画像出力装置１０２が転送画像１０をビットストリームデータＳで出力する際に、水平ブランキング期間および垂直ブランキング期間を拡張できない場合にも適用することができる。
【００７２】
＜第３の実施の形態＞
第２の実施の形態における画像拡大装置１００が、画像出力装置１０２が図３に示したタイミングでビットストリームデータＳを出力するものであったが、第３の実施の形態における画像拡大装置１００では、画像出力装置１０２が水平同期期間および垂直同期期間を拡大することなく、転送期間を短縮したタイミングでビットストリームデータＳを出力するものである。これに伴い、画像拡大部１０１の処理速度を高速化して、出力するビットストリームデータＳ２の転送速度を短縮する。その他の点については、第２の実施の形態における画像拡大装置と同様なので、ここでは異なる点について主に説明する。
【００７３】
図８は、本実施の形態における画像出力装置１０２が出力するビットストリームデータＳを説明するための図である。図８では、ビットストリームデータＳを２次元で示しており、転送期間と、水平ブランキング期間および垂直ブランキング期間のみを示している。図８を図３と比較すると、転送速度が高速に（転送クロックが高く）なり転送期間が短縮されるため、水平同期期間が同じにも係わらず水平ブランキング期間（Ｃ）が水平ブランキング期間（Ａ）よりも長くなっている。水平同期期間（Ｃ）は、水平方向に拡大された画素データを高速化された転送速度で２ライン分出力するのに必要な期間に設定される。
【００７４】
また、垂直ブランキング期間が拡大されている。なお、垂直同期期間を拡大することなく垂直ブランキング期間を拡大する場合には、水平同期期間を短縮するようにすればよい。垂直ブランキング期間は、第１ラインバッファ１２１Ａおよび第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データとを高速化された転送速度で出力するのに必要な期間である。
【００７５】
図９は、画像拡大部１０１に入力されるビットストリームデータＳと画像拡大部１０１から出力されるビットストリームデータＳ２とを時系列で示す図である。図９を参照して、画像拡大部１０１に入力されるビットストリームデータＳは、１水平同期期間ごとに１ライン分の画素データが画像拡大部１０１に入力される。また、この場合の水平同期期間内には、水平ブランキング期間（Ｃ）が含まれる。画像拡大部１０１で水平拡大した後のビットストリームデータＳ１は、１ラインがビットストリームデータＳよりも３／２倍の画素データからなる。
【００７６】
水平ブランキング期間（Ｃ）内に、画像拡大部１０１が生成した新たなラインの画素データ、たとえば第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））が出力される。したがって、図９に示すように、入力される画素データの転送速度を高速にすることにより、水平同期期間を拡大することなく水平ブランキング期間（Ｃ）が拡大されているので、水平ブランキング期間（Ｃ）内に画像拡大部１０１が第３ライン（Ｌ３）の画素データ（Ｓ２（Ｌ３））を出力することができる。
【００７７】
また、垂直ブランキング期間が拡大されているため、次のフレームのビットストリームデータＳが入力される以前に、第１ラインバッファ１２１Ａおよび第２ラインバッファ１２１Ｂに記憶されている画素データと、それらの画素データから生成されたラインの画素データとを出力することができる。また、画像出力装置１０２は、画素データが所定の順序で配列された画像データ（ビットストリームデータＳ）を出力する。そして、図３に示したように、水平同期信号を出力し、図９に示したように、水平同期期間の半分に満たない期間に１ライン分の画素データ（例えばＳ（Ｌ１））を出力する。
【００７８】
以上説明したように第３の実施の形態における画像拡大装置１００は、第２の実施の形態における画像拡大装置１００の画像拡大部１０１の処理速度ほど高速化する必要なく、第２の実施の形態における画像拡大装置１００と同様の効果を奏することができる。
【００７９】
本発明には、以下に示す発明も含まれる。
（１）画像拡大装置は、水平同期信号で区切られた水平同期期間内に１ライン分の画素データを出力する画像出力手段と、
前記画像出力手段から出力された画素データを順次記憶するための少なくとも１つのドットバッファと、
水平方向データを記憶するための少なくとも１つのラインバッファと、
前記ドットバッファに記憶された画素データに基づき新たな画素データを生成して、前記出力手段から出力された画素データに追加して前記ラインバッファに出力する水平方向拡大手段と、
前記ラインバッファに記憶された水平方向データに基づき新たな水平方向データを生成し、生成された新たな水平方向データを前記記憶された水平方向データに追加して出力する垂直方向拡大手段とを備え、
前記画像出力手段は、前記垂直方向拡大手段が生成した新たな水平方向データを出力している間は画素データを出力しない。
【００８０】
（２）前記画像出力手段は、垂直同期信号を出力する垂直同期信号出力手段を含み、
垂直同期信号で区切られた垂直同期期間内に複数ラインからなる１フレーム分の画素データを出力し、
前記垂直同期信号出力手段は、１フレーム分の画素データを出力した後、前記垂直方向拡大手段により前記ラインバッファに記憶された水平方向データおよび該ラインバッファに記憶された水平方向データに基づき新たに生成された水平方向データが出力された後、次の垂直同期信号を出力する。
【００８１】
（３）好ましくは、前記画像出力手段は、固定された水平同期期間内に画素データを出力し、
前記垂直方向拡大手段は、前記記憶された水平方向データを出力する転送速度よりも速い転送速度で生成された新たな水平方向データを出力する。
【００８２】
（４）好ましくは、前記画像出力手段は、固定された水平同期期間に１ライン分の画素データを出力し、
前記垂直方向拡大手段は、前記画像出力手段が画素データを出力する転送速度に応じて定められる転送速度で画素データを出力する。
【００８３】
（５）画素データが所定の順序で配列された画像データを出力する画像出力装置であって、
水平同期信号を出力する水平同期信号出力手段と、
水平同期信号で区切られた水平同期期間内に１ライン分の画素データを出力する画像出力手段とを備え、
前記水平同期信号出力手段は、１ライン分の画素データが出力された後、その画素データを出力した期間を超える水平ブランキング期間が経過した後次の水平同期信号を出力する。
【００８４】
（６）画素データが所定の順序で配列された画像データを出力する画像出力装置であって、
予め定められた水平同期期間の間隔で水平同期信号を出力する水平同期信号出力手段と、
前記水平同期期間の半分に満たない期間に１ライン分の画素データを出力する画像出力手段とを備える。
【００８５】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【図１】転送画像の拡大例を示す図である。
【図２】第１の実施の形態における画像拡大装置の概略構成を示すブロック図である。
【図３】ビットストリームデータを説明するための図である。
【図４】画像拡大部１０１に入力されるビットストリームデータＳと画像拡大部１０１から出力されるビットストリームデータＳ２とを時系列で示す図である。
【図５】第１の実施の形態における画像出力部が出力するビットストリームデータＳを説明するための図である。
【図６】第１の実施の形態における画像拡大部に入力されるビットストリームデータＳと画像拡大部から出力されるビットストリームデータＳ２とを時系列で示す図である。
【図７】第２の実施の形態における画像拡大部に入力されるビットストリームデータＳと画像拡大部から出力されるビットストリームデータＳ２とを時系列で示す図である。
【図８】第３の実施の形態における画像出力部が出力するビットストリームデータＳを説明するための図である。
【図９】第３の実施の形態における画像拡大部に入力されるビットストリームデータＳと画像拡大部から出力されるビットストリームデータＳ２とを時系列で示す図である。
【符号の説明】
１００画像拡大装置、１０１画像拡大部、１０２画像出力装置、１１０水平方向拡大回路、１１１シフトレジスタ、１１２，１２２係数記憶部、１１３Ａ〜１１３Ｄ，１２３Ａ〜１２３Ｄ乗算器、１１４、１２４加算器、１２０垂直方向拡大回路、１２１Ａ〜１２１Ｄラインバッファ、Ｓ，Ｓ１，Ｓ２ビットストリームデータ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image enlargement apparatus, and more particularly to an image enlargement apparatus that enlarges image data input as a bit stream.
[0002]
[Prior art]
Conventionally, various methods for enlarging an image have been proposed. A typical example is a method using a frame memory (for example, Patent Document 1). In Patent Document 1, a memory that stores digital image signals, a memory reading unit that sequentially reads pixel data from the memory, and an image S that is read by the memory reading unit. _n Each of the pixel signals S _n-1 , S _n-2 , S _n-3 Successive first, second and third delay means for forming a pixel signal S _n-1 And pixel signal S _n-2 The pixel signal S is obtained from the position of the interpolated pixel S ′ between _n , Pixel signal S _n-1 , Pixel signal S _n-2 , Pixel signal S _n-3 1st, 2nd, 3rd and 4th coefficient generation circuits for generating interpolation coefficients respectively corresponding to each of the pixel signals S _n And interpolation coefficient K _n An image interpolating apparatus including a signal synthesizing circuit that takes the sum of multiplications of the above is described.
[0003]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-53530
[0004]
[Problems to be solved by the invention]
However, in Patent Document 1, a large-scale field memory for temporarily storing image data is required, and the cost for the field memory is required. Further, the enlarged image cannot be read from the field memory while the original image is being written to the field memory. On the other hand, while the enlarged image is being read from the field memory, the image cannot be written to the field memory. For this reason, there is a problem that the FPS (the number of frames transferred per second) of the frame of the enlarged image becomes 1/2 or less of the FPS of the input image.
[0005]
In order to solve this problem, the dual port memory can be solved by using a dual port (dual-port) memory capable of writing and reading data as a field memory. Is expensive and further increases the cost.
[0006]
The present invention has been made to solve the above-described problems, and one object of the present invention is to provide an image enlarging apparatus capable of enlarging an image with a small amount of memory without providing a frame buffer. That is.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, according to one aspect of the present invention, an image enlarging device is an image enlarging device for enlarging image data in which pixel data is arranged in a predetermined order, and is delimited by a horizontal synchronization signal. Pixel data for one line is sequentially input within the horizontal synchronization period, at least one dot buffer for storing the input pixel data, at least one line buffer for storing horizontal data, and dots Horizontal expansion means for generating new pixel data based on the pixel data stored in the buffer, adding to the input pixel data and outputting to the line buffer, and new horizontal data based on the horizontal data stored in the line buffer Horizontal direction data is generated, and the newly generated horizontal direction data is added to the stored horizontal direction data and output. And means, vertical expansion means, the generated new horizontal data, and outputs the period you do not enter the pixel data into a dot buffer.
[0008]
According to the present invention, since the generated new horizontal data is output during a period in which no pixel data is input, an image enlarging apparatus capable of enlarging an image with a small memory without providing a frame buffer Can be provided.
[0009]
Preferably, pixel data is input to the dot buffer from a device that outputs pixel data for one line within the horizontal synchronization period in which the horizontal blanking period is expanded, and the vertical expansion means stores the stored horizontal direction data. New horizontal data generated by the vertical enlargement means is output at the output transfer rate.
[0010]
According to the present invention, pixel data is input from a device that outputs pixel data for one line within a horizontal synchronization period in which the horizontal blanking period is expanded. Therefore, new horizontal data generated within the horizontal blanking period can be output at a transfer rate at which the stored horizontal data is output.
[0011]
Preferably, the pixel data is input to the dot buffer from a device that outputs pixel data for one frame consisting of a plurality of lines within a vertical synchronization period that is divided by a vertical synchronization signal and in which the vertical blanking period is extended, and the vertical synchronization is performed. The period includes a vertical blanking period exceeding a period in which the generated horizontal data and the horizontal data stored in the line buffer used for generating the generated horizontal data are output.
[0012]
According to the present invention, pixel data is input from a device that outputs pixel data for one frame composed of a plurality of lines within a vertical synchronization period that is divided by a vertical synchronization signal and in which the vertical blanking period is expanded. And a vertical blanking period exceeding a period during which the generated horizontal data and the horizontal data stored in the line buffer used for generating the generated horizontal data are output. For this reason, the enlarged pixel data can be output within the vertical synchronization period of the input pixel data.
[0013]
Preferably, pixel data is input to the dot buffer from a device that outputs pixel data with a fixed horizontal synchronization period, and the vertical expansion means has a transfer rate that is faster than the transfer rate for outputting the stored horizontal data The new horizontal data generated by the vertical enlargement means is output.
[0014]
According to the present invention, pixel data is input from a device that outputs pixel data with a fixed horizontal synchronization period, and a new one generated by the vertical enlargement means at a transfer rate faster than the transfer rate at which the horizontal data is output. Horizontal data is output. For this reason, it is possible to enlarge an image without reducing the number of frames per unit time.
[0015]
Preferably, the dot buffer receives pixel data for one line in the horizontal synchronization period from a device that outputs the pixel data while fixing the horizontal synchronization period, and the transfer rate at which the vertical enlargement unit outputs the pixel data is: It is determined according to the transfer rate at which pixel data is input to the dot buffer.
[0016]
According to the present invention, the transfer rate at which the pixel data for one line is input in the horizontal synchronization period from the device that outputs the pixel data with the horizontal synchronization period fixed, and the vertical enlargement means outputs the pixel data is the dot buffer. It is determined in accordance with the transfer rate at which pixel data is input to. For this reason, since the generated new horizontal direction data is output during the period when the pixel data of the horizontal synchronization period is not input, the image can be enlarged without reducing the number of frames per unit time.
[0017]
Preferably, the dot buffer is supplied with pixel data for one frame composed of a plurality of lines within a vertical synchronization period from a device that outputs pixel data while fixing a vertical synchronization period divided by a vertical synchronization signal. The enlarging means is used to generate horizontal data generated in the vertical blanking period of the vertical synchronization period and the generated horizontal data when pixel data for one frame is input to the dot buffer. The horizontal data stored in the line buffer is output.
[0018]
According to the present invention, pixel data for one frame consisting of a plurality of lines is input within a vertical synchronization period from a device that outputs pixel data while fixing the vertical synchronization period divided by the vertical synchronization signal. When pixel data is input, horizontal data generated during the vertical blanking period of the vertical synchronization period, and horizontal data stored in the line buffer used to generate the generated horizontal data Is output. For this reason, the enlarged pixel data can be output within the vertical synchronization period of the input pixel data.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same reference numerals indicate the same or corresponding members, and redundant description will not be repeated.
[0020]
<First Embodiment>
FIG. 1 is a diagram illustrating an enlarged example of a transfer image. FIG. 1A shows the transferred image 10 before being enlarged, and FIG. 1B shows the enlarged image 10A after being enlarged. The transfer image 10 is data in which a plurality of pixel data are arranged in a horizontal direction (horizontal direction in the drawing) and a vertical direction (vertical direction in the drawing). This transfer image 10 is input as bit stream data S to the image enlargement apparatus. The bit stream data S of the transfer image 10 is data in which pixel data is arranged one-dimensionally, and the arrangement order is determined in the order of the horizontal direction and the vertical direction. The horizontal arrangement order is from the left side to the right side of the drawing, and the vertical arrangement order is from the upper side to the lower side of the drawing. That is, the bit stream data of the transfer image 10 is arranged from the leftmost pixel data of the first line to the rightmost pixel data in the order of the right pixel data, and then the leftmost pixel data of the second line, The rightmost pixel data is arranged in order of the right pixel data. In this way, the pixel data is arranged one-dimensionally, and the rightmost pixel data on the last line becomes the last pixel data.
[0021]
Here, only one screen (one frame) is shown, but when the transfer image 10 has a plurality of frames, the bit stream data S follows the pixel data of the first frame and then the pixel data of the next frame. Are arranged.
[0022]
Referring to FIG. 1B, the enlarged image 10A shows a case where the transfer image 10 is enlarged in the horizontal direction and the vertical direction. In the bit stream data S2 of the enlarged image 10A, pixel data is arranged in the same manner as the bit stream of the transfer image 10.
[0023]
Here, for explanation, an example is shown in which the transfer image 10 is enlarged 3/2 times in the horizontal direction and the vertical direction with the upper left corner of the transfer image 10 as a reference. In this embodiment, the enlargement standard is the upper left corner of the transfer image 10, but other pixels may be used as the standard.
[0024]
The bit stream data S (L1) of the first line of the transfer image 10 is expanded in the horizontal direction to become the bit stream data S2 (L1) of the first line of the enlarged image 10A, and the bit stream of the second line of the transfer image 10 The data S (L2) is expanded in the horizontal direction to form the second-line bit stream data S2 (L2) of the enlarged image 10A, and the third-line bit stream data S (L3) of the transferred image 10 is expanded in the horizontal direction. As a result, the bit stream data S2 (L4) of the fourth line of the enlarged image 10A is obtained, and the bit stream data S (L4) of the fourth line of the transfer image 10 is enlarged in the horizontal direction to display the fifth line of the enlarged image 10A. The bit stream data S2 (L5) is used. On the other hand, the bit stream data S2 (L3) of the third line of the enlarged image 10A includes the bit stream data S2 (L1) of the first line, the bit stream data S2 (L2) of the second line, and the fourth line of the enlarged image 10A. Bit stream data S2 (L4) and the fifth line bit stream data S2 (L5).
[0025]
Similarly, if n is a positive number, the bit stream data S (L (2n−1)) of the (2n−1) -th line of the transfer image 10 is expanded in the horizontal direction and the ( 3n-2) -bit bit stream data S2 (L (3n-2)), and the (2n) -th line bit stream data S (L (2n)) of the transfer image 10 is enlarged in the horizontal direction. The bit stream data S2 (L (3n-1)) of the 10Ath (3n-1) th line is used. The bit stream data S2 (L3n) of the third n line of the enlarged image 10A is the bit stream data S2 (L (3n-2)) and (3n-1) of the (3n-2) line of the enlarged image 10A. Generated from the bit stream data S2 (L (3n-1)) of the line, the bit stream data S2 (L (3n + 1)) of the (3n + 1) th line, and the bit stream data S2 (L (3n + 2)) of the (3n + 2) line Is done.
[0026]
FIG. 2 is a block diagram illustrating a schematic configuration of the image enlargement apparatus according to the first embodiment. Referring to FIG. 2, image enlargement apparatus 100 includes an image output apparatus 102 that outputs bit stream data S, and an image enlargement unit 101.
[0027]
The image output apparatus 102 outputs the bit stream data S in which the pixel data of each pixel of the transfer image 10 illustrated in FIG.
[0028]
The image enlargement unit 101 includes a horizontal direction enlargement circuit 110 and a vertical direction enlargement circuit 120. The horizontal enlargement circuit 110 includes a shift register 111 for sequentially storing input bit stream data S, a coefficient storage unit 112 that stores coefficients, multipliers 113A to 113D, and an adder 114.
[0029]
The shift register 111 is a buffer for storing pixel data for four pixels, and has a shift register configuration. The bit stream data S input to the image enlargement unit 101 is stored in order in the shift register 111. Pixel data for four pixels is stored in four buffers of the shift register. While the pixel data for four pixels is stored, the first two pixels are sequentially output to the vertical enlargement circuit 120 via the adder 114. At this time, the output pixel data is not processed at all by the adder 114, that is, the pixel data is output as it is.
[0030]
When the pixel data for four pixels is stored in the shift register 111, the pixel data stored in the shift register 111 is output at a time. Here, the nth pixel data is stored in the fourth buffer, the (n + 1) th pixel data is stored in the third buffer, and the (n + 2) th data is stored in the second buffer. ) Pixel data is stored, and the (n + 3) th pixel data is stored in the first buffer. The nth pixel data (S (n-3)) stored in the fourth buffer is output to the multiplier 113D and the (n + 1) th pixel stored in the third buffer. The data (S (n−2)) is output to the multiplier 113C, and the (n + 2) th pixel data (S (n−1)) stored in the second buffer is supplied to the multiplier 113B. The (n + 1) th pixel data (S (n−3)) output and stored in the first buffer is output to the multiplier 113A. Predetermined coefficients from the coefficient storage unit 112 are input to the multipliers 113A, 113B, 113C, and 113D. Then, the multiplier outputs a value obtained by multiplying the input coefficient and the pixel data to the adder 114. The adder 114 adds the values input from the multipliers 113 </ b> A, 113 </ b> B, 113 </ b> C, and 113 </ b> D, and outputs the obtained sum to the vertical direction expansion circuit 120. In this way, pixel data of a new pixel following the first two pixels is generated by the horizontal direction expansion circuit 110.
[0031]
Here, an example has been described in which new pixel data is generated using the pixel data of the previous and subsequent four pixels and the coefficients stored in the coefficient storage unit 112, but the quality of the enlarged image 10A is determined by this generation process. Is done. Other methods can be used as the enlargement method executed by the horizontal enlargement circuit 110. Further, the number of buffers included in the shift register 111 is not limited to four, and at least one buffer may be provided.
[0032]
As described above, the horizontal expansion circuit 110 expands the bit stream data S input using the shift register 111 in the horizontal direction. Since the bit direction data S is continuously input, the horizontal direction enlargement circuit 110 outputs the pixel data for three pixels to the vertical direction enlargement circuit 120 while the pixel data for two pixels is stored in the shift register. To do. For this reason, the horizontal expansion circuit 110 executes processing with a clock that is at least 3/2 times the transfer clock to which the bit stream data S is input, and outputs pixel data expanded in the horizontal direction.
[0033]
Since the shift register 111 has a buffer for four pixels, the horizontal enlargement circuit 110 outputs new pixel data for horizontal enlargement based on pixel data of four adjacent pixels, and an input bit stream All bit stream data S can be output without losing data S. For this reason, the shift register 111 plays a role of a buffer material for performing the enlargement process in the horizontal direction without losing the continuity of the bit stream data S input to the horizontal enlargement circuit 110.
[0034]
In the horizontal expansion circuit 110, since the shift register 111 has a buffer for four pixels, the bit stream data S1 output to the vertical expansion circuit 120 is the bit stream data S input to the horizontal expansion circuit 110. In order to output the pixel data accumulated in the buffer, the output is delayed.
[0035]
The vertical enlargement circuit 120 sequentially stores the bit stream data S1 output from the horizontal enlargement circuit 110 to store pixel data for one line, and the coefficients are stored in the first to fourth line buffers 121A to 121D. A coefficient storage unit 122 for storing, multipliers 123A to 123D, and an adder 124 are included.
[0036]
The first to fourth line buffers 121A to 121D are buffers for storing pixel data for one line of the bit stream data S1 output from the horizontal enlargement circuit 110, and have a shift register configuration.
[0037]
The pixel data of the bit stream data S1 is stored in the order of the first line buffer 121A, the second line buffer 121B, the third line buffer 121C, and the fourth line buffer 121D. Then, the pixel data for four lines are stored in the first to fourth line buffers 121A to 12D. While the pixel data for four lines are stored, the first two lines of pixel data are output from the vertical enlargement circuit 120 via the adder 124. At this time, the output pixel data is not processed at all by the adder 124. That is, the pixel data is output as it is.
[0038]
At the stage where the pixel data for four lines are stored in the first to fourth line buffers 121A to 12D, the pixel data for one line stored in each of the first to fourth line buffers 121A to 12D is stored in each line. Output in the order stored in the buffer. Here, pixel data (S1 (Ln)) of the nth line is stored in the fourth line buffer 121D, and pixel data (S1 (L (n + 1)) of the (n + 1) th line is stored in the third line buffer 121C. The pixel data (S1 (L (n + 2)) of the (n + 2) -th line is stored in the second line buffer 122B, and the pixel data (S1 of the (n + 3) -th line is stored in the first line buffer 121A. Description will be made assuming that (L (n + 3)) is stored.
[0039]
The nth line pixel data (S1 (L (n))) stored in the fourth line buffer 121D is output to the multiplier 123D in the order stored, and the (n + 1) th pixel data stored in the third line buffer 121C. The pixel data (S1 (L (n + 2)) of the (n + 2) th line that is output to the multiplier 123C and stored in the second line buffer 121B in the order in which the pixel data (S1 (L (n + 1))) of the line is stored. Are output to the multiplier 123B in the order in which they are stored, and the pixel data (S1 (L (n + 2)) of the (n + 2) th line stored in the third line buffer 121C is output to the multiplier 123A in the order in which they are stored. In the multipliers 123A to 123D, the coefficients input from the coefficient storage unit 122 and the pixel data input from the line buffers 121A to 121D are displayed. Is added to the adder 124. The adder 124 adds the values input from the multipliers 123A, 123B, 123C, and 123D, and outputs the obtained sum. Thus, pixel data of a new line following the first two lines is generated by the vertical direction enlargement circuit 120.
[0040]
The vertical enlargement circuit 120 includes a counter and counts the timing for generating pixel data of a new line. That is, when the image is enlarged 3/2 times in the vertical direction, the counter counts 0 → 1 → 2 → 0. The counter is counted up every time pixel data for one line is output, and is reset to “0” after the counter value becomes “2”. Further, when the value of the counter reaches “2”, pixel data of a new line is output. Thereby, pixel data in which two lines are expanded to three lines is output. When the image is enlarged 4/3 times in the vertical direction, the counter counts 0 → 1 → 2 → 3 → 0. After the counter value reaches “3”, it is reset to “0”. Further, when the value of the counter reaches “3”, pixel data of a new line is output. Thereby, pixel data in which 3 lines are expanded to 4 lines is output.
[0041]
In the multipliers 123A, 123B, 123C, 123D and the adder 124, the calculation of the following equation (1) is executed. In equation (1), the bit stream data S2 output from the vertical enlargement circuit 120 is represented by S2 (L (n)) (n is a positive number) pixel data of the nth line.
[0042]
S2 (L (3n)) = S1 (L (2n-1)) * 1/6 + S1 (L (2n)) * 1/3 + S1 (L (2n + 1)) * 1/3 + S1 (L (2n + 2)) * 1 / 6
(1)
Here, an example has been described in which pixel data of a new line is generated using the pixel data of the preceding and subsequent four lines and the coefficient storage unit 122, but the quality of the enlarged image 10A is determined by this generation process. The method of generating pixel data of a new line by the vertical enlargement circuit 120 is not limited to this, and other methods can be used. Further, the number of line buffers is not limited to this, and it is less than the number of lines of the transfer image 10 and it is sufficient that there is at least one.
[0043]
As described above, the vertical expansion circuit 120 expands the input bit stream data S1 in the vertical direction using the first to fourth line buffers 121A to 121D. Since the bit stream data S2 is continuously input to the vertical enlargement circuit 120, pixel data for three lines is stored while pixel data for two lines is stored in the first to fourth line buffers 121A to 121D. Is output.
[0044]
Since the vertical direction enlargement circuit 120 stores the pixel data for four lines in the first to fourth line buffers 121A to 12D, the pixels in a new line for expanding in the vertical direction based on the pixel data of the four adjacent lines. In addition to outputting data, all the bit stream data S1 can be output without losing the input bit stream data S1. Therefore, the first to fourth line buffers 121A to 121D function as a buffer material for performing the expansion process in the vertical direction without losing the continuity of the bit stream data S1 input to the vertical expansion circuit 120. Fulfill.
[0045]
Since the vertical expansion circuit 120 includes the first to fourth line buffers 121A to 12D, the output bit stream data S2 is more line-up than the bit stream data S1 input to the vertical expansion circuit 120. In order to output the pixel data accumulated in the buffer, it is output with a delay.
[0046]
Next, the bit stream data S output from the image output apparatus 102 to the image enlargement unit 101 will be described. FIG. 3 is a diagram for explaining the bit stream data. The bit stream data is pixel data arranged in one dimension. Then, when transmitting from the image output apparatus 102 to the image enlarging unit 101, in order to synchronize between the two, a vertical synchronization signal (VSYNC) and a horizontal synchronization signal (HSYNC) are sent from the image output apparatus 102 to the image enlarging unit 101. Is sent.
[0047]
One frame of pixel data is included between the two vertical synchronization signals (VSYNC), and one line of pixel data is included between the two horizontal synchronization signals (HSYNC). A period between two horizontal synchronization signals (HSYNC) including a previous horizontal synchronization signal is called a horizontal synchronization period, and a period between two vertical synchronization signals (VSYNC) is called a vertical synchronization period.
[0048]
The horizontal synchronization period includes a horizontal synchronization signal HSYNC effective period (when HSYNC = High), a front porch (a period from when HSYNC is released to the data transfer period), and a transfer period of the input bit stream data S for one line. , The back porch (the period from the end of the data transfer period to the start of the next HSYNC). Strictly speaking, the horizontal blanking period includes a front porch and a back porch. Here, unless otherwise specified, the horizontal blanking period indicates a back porch.
[0049]
In FIG. 3, the bit stream data S is shown two-dimensionally, and only the transfer period, the horizontal blanking period, and the vertical blanking period are shown. When the bit stream data S shown in FIG. 3 is output from the image output device 102 to the image enlargement unit 101, the image enlargement unit 101 cannot enlarge the image. This will be described with reference to FIG. FIG. 4 is a diagram showing the bit stream data S input to the image enlargement unit 101 and the bit stream data S2 output from the image enlargement unit 101 in time series.
[0050]
Referring to FIG. 4, as for bit stream data S input to image enlargement unit 101, pixel data for one line is input to image enlargement unit 101 within one horizontal synchronization period. In this case, a horizontal blanking period (A) is included in the horizontal synchronization period. In the bit stream data S1 horizontally expanded by the image enlargement unit 101, the number of pixel data included in one line is 3/2 times that of the bit stream data S.
[0051]
Within the horizontal blanking period (A), pixel data of a new line generated by the image enlargement unit 101, for example, pixel data (S2 (L3)) of the third line (L3) must be output. However, as shown in FIG. 4, since the horizontal blanking period (A) is short, before the image enlargement unit 101 outputs the pixel data (S2 (L3)) of the third line (L3), The bit stream data S (S (L5)) of the fifth line is input. Therefore, it is necessary to output the bit stream data S2 (S2 (L4) of the fourth line, and it is not possible to output the pixel data (S2 (L3)) of the third line (L3).
[0052]
Since the pixel data for four lines are stored in the first to fourth line buffers 121A to 121D as in the horizontal direction, the vertical blanking after the bit stream data S for one frame is input. Within a period, pixel data for two lines stored in the first to fourth line buffers 121A to 121D and pixel data of a new line generated from them must be output. In the vertical enlargement circuit 120 of the image enlargement unit 101 according to the present embodiment, a new line is generated from a total of 4 lines, ie, two lines before and after. However, for the final line, a new line is generated from the previous two lines. In addition, when the input image data is composed of odd lines, two lines for generating the final line cannot be secured, so that no new line is generated. Therefore, the vertical blanking period is a period exceeding the period for outputting the pixel data stored in the first line buffer 121A and the second line buffer 121B and the pixel data of the line generated from the pixel data. is necessary. This is because the pixel data of the next frame is input from the image output device 102 to the image enlargement unit 101.
[0053]
However, since the vertical blanking period of the input bit stream data S is short, the image enlarging unit 101 uses the pixel data stored in the first line buffer 121A and the second line buffer 121B and the pixel data thereof. Before the pixel data of the generated line is output, the pixel data of the next frame is input. Therefore, it is necessary to output the enlarged bit stream data S2 (S2 (L1)) from the next frame, and the pixel data (S2 (L3)) of the third line (L3) cannot be output.
[0054]
For this reason, in the image enlarging apparatus 100 in the present embodiment, the image output apparatus 102 outputs the bit stream data S by enlarging the horizontal blanking period and the vertical blanking period.
[0055]
FIG. 5 is a diagram for explaining the bit stream data S output from the image output apparatus 102 according to the present embodiment. In FIG. 5, the bit stream data S is shown two-dimensionally, and only the transfer period, the horizontal blanking period, and the vertical blanking period are shown. Referring to FIG. 5, the horizontal blanking period (B) is longer than the horizontal blanking period (A). As the horizontal blanking period (B) is expanded, the horizontal synchronization period is expanded. The horizontal synchronization period is set to a period necessary for outputting two lines of pixel data expanded in the horizontal direction.
[0056]
In addition, the vertical blanking period is extended. The vertical blanking period is a period necessary for outputting pixel data stored in the first line buffer 121A and the second line buffer 121B and pixel data of a line generated from the pixel data.
[0057]
FIG. 6 is a diagram showing the bit stream data S input to the image enlargement unit 101 and the bit stream data S2 output from the image enlargement unit 101 in time series. Referring to FIG. 6, for bit stream data S input to image enlargement unit 101, pixel data for one line is input to image enlargement unit 101 for each horizontal synchronization period. In this case, a horizontal blanking period (B) is included in the horizontal synchronization period. The bit stream data S1 horizontally expanded by the image enlarging unit 101 is composed of pixel data in which the number of pixel data in one line is 3/2 times that of the bit stream data S.
[0058]
Within the horizontal blanking period (B), pixel data of a new line generated by the image enlargement unit 101, for example, pixel data (S2 (L3)) of the third line (L3) is output. Therefore, as shown in FIG. 6, since the horizontal blanking period (B) is expanded, the image enlarging unit 101 performs pixel data (S2 (L3) of the third line (L3) within the horizontal blanking period (B). )) Can be output.
[0059]
Further, since the vertical blanking period is expanded, before the bit stream data S of the next frame is input, the pixel data stored in the first line buffer 121A and the second line buffer 121B, and their Pixel data of a line generated from the pixel data can be output.
[0060]
The image output device 102 outputs image data (bit stream data S) in which pixel data is arranged in a predetermined order. Then, as shown in FIG. 5, a horizontal synchronization signal is output, and pixel data (for example, S (L1)) for one line is output within a horizontal synchronization period divided by the horizontal synchronization signal. Further, as shown in FIG. 6, after pixel data for one line is output (for example, S (L4)), a horizontal blanking period (horizontal blanking period (B)) exceeding the period in which the pixel data is output. ), The next horizontal sync signal is output. Therefore, as described above, the image enlargement unit 101 can output the pixel data (S2 (L3)) of the third line (L3) within the horizontal blanking period (B).
[0061]
Further, as shown in FIG. 6, the image output apparatus 102 supplies pixel data (for example, S (L1)) for one line in a period less than half of the horizontal synchronization period in order to secure the horizontal blanking period. You may make it output.
[0062]
As described above, in the image enlarging apparatus 100 according to the present embodiment, the bit stream data S is output from the image output apparatus 102 to the image enlarging unit 101 while enlarging the horizontal blanking period and the vertical blanking period. Therefore, the image enlarging unit 101 can output the enlarged bit stream data S2 while the bit stream data S for one frame is input without losing the bit stream data S.
[0063]
Further, without providing a frame buffer, only the shift register having four pixel data and the first to fourth line buffers 123A to 12D for four lines can be expanded in the horizontal direction and the vertical direction. For this reason, it is possible to enlarge an image with a small amount of memory.
[0064]
<Second Embodiment>
When the image enlarging apparatus 100 according to the first embodiment outputs the bit stream data S by the image output apparatus 102, the vertical blanking period and the horizontal blanking period are expanded. The image enlarging apparatus 100 in the embodiment outputs the bit stream data S from the image output apparatus 102 at the timing shown in FIG. 3 and increases the processing speed of the image enlarging unit 101. That is, the processing speed of the image enlargement unit 101 is increased, and the transfer speed for outputting newly generated pixel data is increased (the transfer clock is increased). The other points are the same as those of the image enlargement apparatus according to the first embodiment, and therefore, different points will be mainly described here.
[0065]
As described with reference to FIG. 4, when the bit stream data S is output from the image output device 102 at the timing shown in FIG. 3, pixel data (for example, the third line) of the newly generated line ( S2 (L3)) could not be output. However, by increasing the processing speed of the image enlarging unit 101 and making the transfer speed of the pixel data of the newly generated line faster than the transfer speed of the pixel data of the horizontally expanded line, the pixel data of the previous line After the output of (S2 (L2)) is completed, the pixel data (S2 (L3)) of the newly generated line is output before the pixel data (S2 (L4)) of the subsequent line is output. It becomes possible. Further, by increasing the processing speed of the image enlargement unit 101 and increasing the transfer speed for outputting pixel data during the vertical blanking period before the pixel data of the next frame is input, the first line buffer 121A It is possible to output pixel data stored in the second line buffer 121B and pixel data of a line generated from the pixel data.
[0066]
Therefore, the vertical enlargement circuit 120 increases the processing speed, and transfers the newly generated line pixel data transfer rate from the horizontally expanded line pixel data transfer rate stored in the line buffers 121A to 121D. Also make it faster. This transfer rate is a transfer rate at which pixel data of a newly generated line can be output within the horizontal blanking period (A).
[0067]
Further, the vertical enlargement circuit 120 increases the processing speed and the transfer speed for outputting pixel data in the vertical blanking period. With this transfer speed, the pixel data stored in the first line buffer 121A and the second line buffer 121B and the pixel data of the line generated from the pixel data can be output within the vertical blanking period. Transfer rate.
[0068]
FIG. 7 is a diagram illustrating, in time series, the bit stream data S input to the image enlargement unit 101 and the bit stream data S2 output from the image enlargement unit 101 according to the second embodiment. Referring to FIG. 7, for bit stream data S input to image enlargement unit 101, pixel data for one line is input to image enlargement unit 101 for each horizontal synchronization period. In this case, a horizontal blanking period (A) is included in the horizontal synchronization period. The bit stream data S1 horizontally expanded by the image enlarging unit 101 is composed of pixel data in which one line is 3/2 times that of the bit stream data S.
[0069]
Since the processing speed of the image enlargement unit 101 is high and the transfer speed of pixel data is high, pixel data of a new line generated within this period, for example, pixel data of the third line (L3) (S2 (L3)) Can be output. Further, since the transfer speed of the image enlargement unit 101 in the vertical blanking period is high, the bit stream data S of the next frame is stored in the first line buffer 121A and the second line buffer 121B before being input. Pixel data and pixel data of a line generated from the pixel data can be output.
[0070]
As described above, the image enlarging apparatus 100 according to the second embodiment outputs pixel data obtained by enlarging the input pixel data in the horizontal direction at the transfer speed of the pixel data input as the bit stream data, and performs the vertical direction. The pixel data of the line newly generated for enlarging the image data is output at a transfer rate faster than the transfer rate of the input pixel data. For this reason, in addition to the effect of the image enlarging apparatus 100 in the first embodiment, an image can be enlarged in the horizontal direction and the vertical direction without enlarging the horizontal synchronization period and the vertical synchronization period. Furthermore, since the horizontal synchronization period and the vertical synchronization period are not expanded, the image can be expanded without reducing the number of frames output per unit time.
[0071]
Furthermore, when the image output apparatus 102 outputs the transfer image 10 as the bit stream data S, the present invention can also be applied when the horizontal blanking period and the vertical blanking period cannot be extended.
[0072]
<Third Embodiment>
The image enlargement apparatus 100 according to the second embodiment is one in which the image output apparatus 102 outputs the bit stream data S at the timing shown in FIG. 3. In the image enlargement apparatus 100 according to the third embodiment, The image output device 102 outputs the bit stream data S at a timing at which the transfer period is shortened without expanding the horizontal synchronization period and the vertical synchronization period. Accordingly, the processing speed of the image enlargement unit 101 is increased, and the transfer speed of the output bit stream data S2 is shortened. The other points are the same as those of the image enlargement apparatus according to the second embodiment, and therefore, different points will be mainly described here.
[0073]
FIG. 8 is a diagram for explaining the bit stream data S output from the image output apparatus 102 according to the present embodiment. In FIG. 8, the bit stream data S is shown two-dimensionally, and only the transfer period, the horizontal blanking period, and the vertical blanking period are shown. Comparing FIG. 8 with FIG. 3, since the transfer rate is high (transfer clock is high) and the transfer period is shortened, the horizontal blanking period (C) is equal to the horizontal blanking period even though the horizontal synchronization period is the same. It is longer than (A). The horizontal synchronization period (C) is set to a period necessary to output two lines of pixel data expanded in the horizontal direction at a high transfer rate.
[0074]
In addition, the vertical blanking period is extended. Note that when the vertical blanking period is expanded without increasing the vertical synchronization period, the horizontal synchronization period may be shortened. In the vertical blanking period, the pixel data stored in the first line buffer 121A and the second line buffer 121B and the pixel data of the line generated from the pixel data are output at a high transfer rate. It is a necessary period.
[0075]
FIG. 9 is a diagram showing the bit stream data S input to the image enlargement unit 101 and the bit stream data S2 output from the image enlargement unit 101 in time series. Referring to FIG. 9, for the bit stream data S input to the image enlargement unit 101, pixel data for one line is input to the image enlargement unit 101 for each horizontal synchronization period. In this case, the horizontal synchronization period includes a horizontal blanking period (C). The bit stream data S1 horizontally expanded by the image enlarging unit 101 is composed of pixel data in which one line is 3/2 times that of the bit stream data S.
[0076]
Within the horizontal blanking period (C), pixel data of a new line generated by the image enlargement unit 101, for example, pixel data (S2 (L3)) of the third line (L3) is output. Accordingly, as shown in FIG. 9, since the horizontal blanking period (C) is expanded without increasing the horizontal synchronization period by increasing the transfer rate of the input pixel data, the horizontal blanking period In (C), the image enlargement unit 101 can output the pixel data (S2 (L3)) of the third line (L3).
[0077]
Further, since the vertical blanking period is extended, before the bit stream data S of the next frame is input, the pixel data stored in the first line buffer 121A and the second line buffer 121B, and their The pixel data of the line generated from the pixel data can be output. The image output device 102 outputs image data (bit stream data S) in which pixel data is arranged in a predetermined order. Then, as shown in FIG. 3, a horizontal synchronization signal is output, and as shown in FIG. 9, one line of pixel data (for example, S (L1)) is output in a period less than half of the horizontal synchronization period. To do.
[0078]
As described above, the image enlargement apparatus 100 according to the third embodiment does not need to be as fast as the processing speed of the image enlargement unit 101 of the image enlargement apparatus 100 according to the second embodiment, and the second embodiment. The same effects as those of the image enlargement apparatus 100 can be obtained.
[0079]
The invention shown below is also included in the present invention.
(1) An image enlarging apparatus includes: an image output unit that outputs pixel data for one line within a horizontal synchronization period divided by a horizontal synchronization signal;
At least one dot buffer for sequentially storing pixel data output from the image output means;
At least one line buffer for storing horizontal data;
Horizontal enlargement means for generating new pixel data based on the pixel data stored in the dot buffer, adding to the pixel data output from the output means, and outputting to the line buffer;
Vertical expansion means for generating new horizontal data based on the horizontal data stored in the line buffer, and adding the generated new horizontal data to the stored horizontal data for output. ,
The image output means does not output pixel data while outputting new horizontal data generated by the vertical enlargement means.
[0080]
(2) The image output means includes a vertical synchronization signal output means for outputting a vertical synchronization signal,
Output pixel data for one frame consisting of multiple lines within the vertical synchronization period delimited by the vertical synchronization signal,
The vertical synchronizing signal output means outputs pixel data for one frame and then newly outputs the horizontal direction data stored in the line buffer by the vertical enlargement means and the horizontal direction data stored in the line buffer. After the generated horizontal data is output, the next vertical synchronization signal is output.
[0081]
(3) Preferably, the image output means outputs pixel data within a fixed horizontal synchronization period,
The vertical direction enlargement means outputs new horizontal direction data generated at a transfer rate faster than the transfer rate for outputting the stored horizontal direction data.
[0082]
(4) Preferably, the image output means outputs pixel data for one line in a fixed horizontal synchronization period,
The vertical enlargement unit outputs pixel data at a transfer rate determined according to a transfer rate at which the image output unit outputs pixel data.
[0083]
(5) An image output device that outputs image data in which pixel data is arranged in a predetermined order,
Horizontal synchronization signal output means for outputting a horizontal synchronization signal;
Image output means for outputting pixel data for one line within a horizontal synchronization period divided by a horizontal synchronization signal;
The horizontal synchronizing signal output means outputs the next horizontal synchronizing signal after the pixel data for one line is output and after the horizontal blanking period exceeding the period for outputting the pixel data elapses.
[0084]
(6) An image output device that outputs image data in which pixel data is arranged in a predetermined order,
Horizontal synchronizing signal output means for outputting a horizontal synchronizing signal at a predetermined interval of a horizontal synchronizing period;
Image output means for outputting pixel data for one line in a period less than half of the horizontal synchronization period.
[0085]
The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an enlarged example of a transfer image.
FIG. 2 is a block diagram showing a schematic configuration of an image enlargement apparatus according to the first embodiment.
FIG. 3 is a diagram for explaining bit stream data;
4 is a diagram showing, in time series, bit stream data S input to the image enlargement unit 101 and bit stream data S2 output from the image enlargement unit 101. FIG.
FIG. 5 is a diagram for explaining bit stream data S output by an image output unit according to the first embodiment.
FIG. 6 is a diagram showing, in time series, bit stream data S input to an image enlargement unit and bit stream data S2 output from the image enlargement unit in the first embodiment.
FIG. 7 is a diagram showing, in time series, bit stream data S input to an image enlargement unit and bit stream data S2 output from the image enlargement unit in the second embodiment.
FIG. 8 is a diagram for explaining bit stream data S output by an image output unit according to a third embodiment.
FIG. 9 is a diagram showing, in time series, bit stream data S input to an image enlargement unit and bit stream data S2 output from an image enlargement unit in the third embodiment.
[Explanation of symbols]
100 image enlargement device, 101 image enlargement unit, 102 image output device, 110 horizontal enlargement circuit, 111 shift register, 112, 122 coefficient storage unit, 113A-113D, 123A-123D multiplier, 114, 124 adder, 120 vertical Direction expanding circuit, 121A to 121D line buffer, S, S1, S2 bit stream data.

Claims

An image enlarging apparatus for enlarging image data in which pixel data is arranged in a predetermined order,
One line of pixel data is sequentially input within a horizontal synchronization period delimited by a horizontal synchronization signal, and at least one dot buffer for storing the input pixel data;
A plurality of serially connected line buffers for storing horizontal data;
New pixel data is generated based on the pixel data stored in the dot buffer, the generated new pixel data is added to the input pixel data, and the most upstream line of the plurality of line buffers. A horizontal enlargement means for outputting to the buffer ,
Each of the plurality of line buffers holds horizontal data for one line and outputs the horizontal data according to the input order from the dot buffer.
Vertical expansion that generates new horizontal data based on the horizontal data stored in each of the plurality of line buffers , and outputs the generated new horizontal data in addition to the stored horizontal data further comprising means,
The vertical enlargement unit outputs the generated new horizontal data during a period in which no pixel data is input to the dot buffer.

Pixel data is input to the dot buffer from a device that outputs pixel data for one line within a horizontal synchronization period in which a horizontal blanking period is expanded,
The vertical expansion means outputs new horizontal data generated by the vertical expansion means at a transfer rate for outputting the stored horizontal data ;
The image enlarging apparatus according to claim 1, wherein the horizontal blanking period is longer than a period in which pixel data for one line is output from the dot buffer .

Pixel data is input to the dot buffer from a device that outputs pixel data for one frame consisting of a plurality of lines within a vertical synchronization period divided by a vertical synchronization signal and extending a vertical blanking period,
The vertical synchronization period includes a vertical blanking period that exceeds a period in which the generated horizontal data and the horizontal data stored in the line buffer used for generating the generated horizontal data are output. The image enlarging apparatus according to claim 2, further comprising:

Pixel data is input to the dot buffer from a device that outputs pixel data with a fixed horizontal synchronization period,
2. The image according to claim 1, wherein the vertical direction enlargement unit outputs new horizontal direction data generated by the vertical direction enlargement unit at a transfer rate faster than a transfer rate of outputting the stored horizontal direction data. Enlarging device.

The dot buffer receives pixel data for one line in the horizontal synchronization period from a device that outputs pixel data with a fixed horizontal synchronization period.
The image enlargement apparatus according to claim 1, wherein a transfer rate at which the vertical direction enlargement unit outputs pixel data is determined according to a transfer rate at which pixel data is input to the dot buffer.

The dot buffer receives pixel data for one frame consisting of a plurality of lines within a vertical synchronization period from a device that outputs pixel data while fixing a vertical synchronization period divided by a vertical synchronization signal,
When the pixel data for one frame is input to the dot buffer, the vertical enlargement means generates the horizontal direction data generated during the vertical blanking period of the vertical synchronization period, and the generated horizontal direction data. 6. The image enlargement apparatus according to claim 4, wherein the horizontal direction data stored in the line buffer used for generation is output.

The image enlarging apparatus according to claim 1, wherein each of the plurality of line buffers has a shift register configuration.

An image enlargement method using an image enlargement device for enlarging image data in which pixel data is arranged in a predetermined order,
  The image enlarging device is:
  At least one dot buffer for storing input pixel data;
  A plurality of line buffers having a shift register configuration connected in series for storing horizontal data;
  New pixel data is generated based on the pixel data stored in the dot buffer, the generated new pixel data is added to the input pixel data, and the most upstream line of the plurality of line buffers. A horizontal enlargement means for outputting to the buffer,
  Each of the plurality of line buffers holds horizontal data for one line and outputs the horizontal data according to the input order from the dot buffer.
  Vertical expansion that generates new horizontal data based on the horizontal data stored in each of the plurality of line buffers, and outputs the generated new horizontal data in addition to the stored horizontal data Further comprising means,
  The image enlargement method includes:
  A step of sequentially inputting pixel data for one line into the dot buffer within a horizontal synchronization period divided by a horizontal synchronization signal;
  The vertical expansion means includes outputting the generated new horizontal data within the horizontal blanking period; and
  The image enlarging method using an image enlarging apparatus, wherein the horizontal synchronization period includes a horizontal blanking period longer than a period during which pixel data for one line is output from the dot buffer to the line buffer.

An image enlargement method using an image enlargement device for enlarging image data in which pixel data is arranged in a predetermined order,
  The image enlarging device is:
  At least one dot buffer for storing input pixel data;
  A plurality of line buffers having a shift register configuration connected in series for storing horizontal data;
  New pixel data is generated based on the pixel data stored in the dot buffer, the generated new pixel data is added to the input pixel data, and the most upstream line of the plurality of line buffers. A horizontal enlargement means for outputting to the buffer,
  Each of the plurality of line buffers holds horizontal data for one line and outputs the horizontal data according to the input order from the dot buffer.
  Vertical expansion that generates new horizontal data based on the horizontal data stored in each of the plurality of line buffers, and outputs the generated new horizontal data in addition to the stored horizontal data Further comprising means,
  The image enlargement method includes:
  A step of sequentially inputting pixel data for one frame consisting of a plurality of lines within a vertical synchronization period divided by a vertical synchronization signal to the dot buffer;
  In the vertical blanking period, the vertical enlargement means generates the generated horizontal data and the horizontal data stored in the plurality of line buffers used to generate the generated horizontal data. A step of outputting,
  The vertical synchronization period is longer than a period during which the generated horizontal data and the horizontal data stored in the plurality of line buffers used for generating the generated horizontal data are output. An image enlargement method using an image enlargement device including a vertical blanking period.