WO1999048285A1

WO1999048285A1 - Systeme et procede de remplacement d'image

Info

Publication number: WO1999048285A1
Application number: PCT/JP1999/001353
Authority: WO
Inventors: Satoshi Miyabayashi; Toru Koguma
Original assignee: Nippon Television Network Corporation
Priority date: 1998-03-18
Filing date: 1999-03-18
Publication date: 1999-09-23
Also published as: CA2287926A1; AU2853099A; US6327004B1

Description

明細書

画像置換システム及びその方法

技術分野

本発明は所定のエリアの画像をロゴに置換する技術に関し、特に置換される口ゴは現画像の変化に対応して現画像の一部であるように置換される技術に関する。近年、テレビ放送の隆盛に伴い、多くの広告がテレビ放送を通して放送されている。例えば、野球中継の場合、選手の動きを撮影すると共に、選手の背後にある広告、例えばフェンスに書かれた企業名、ロゴ、スローガン等が一緒に撮影されて放送される。

ところで、なんらかの事情により、テレビ中継中のみ、元からあるロゴを消して別のロゴに置換し、放送したい場合があった。又、中継中のみ、元から何も描かれていない場所にロゴを描きたい場合もあった。

しかし、従来の技術では、ある画像のうち、所定のエリアのみを特定のロゴに置換することは容易にできたが、あたかも元からそのロゴがそこに存在していたかのように置換することは出来なかった。例えば、上述した野球中継を例にとると、バックフェンスに描かれたロゴを別のロゴに置換しょうとすれば、描かれたロゴの前に立った選手までそのロゴに置換されてしまい、放送に耐えうるものではなかった。

そこで、本発明の目的は、現画像の変化に対応して、現画像の一部であるように現画像の一部をロゴに置換する技術を提供することにある。発明の開示

上記本発明の目的は、現画像のうち所定エリアの画像を所望のロゴ画像に置換する画像置換システムであって、雲台と、

前記雲台上に設置された力メラと、

前記雲台に内蔵され、カメラの移動量を検出し、検出された移動量を移動情報として出力する口一夕リーエンコーダと、

置換されるエリアの基準となる基準画像が格納された基準画像記憶手段と、置換する口ゴ画像が格納された口ゴ画像記憶手段と、

前記移動情報に基づいて、前記カメラで撮影された現画像における置換エリアの位置を検出する位置検出手段と、

前記位置検出手段で検出された置換エリァ内の現画像と、前記基準画像記憶手段に記憶されている前記置換エリア内の基準画像とを比較し、現画像と基準画像とが同一の部分又は異なる部分を示すキー信号を生成するキー信号生成手段と、前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記ロゴ画像のうち前記同一の部分に対応する口ゴ画像に置換する置換手段と

を有することを特徴とする画像置換システムによって達成される。

尚、上記基準画像記憶手段には、基準画像が 1画素単位で格納されていると共に、基準画像の大きさも格納され、上記位置検出手段は、移動情報を画面のアドレス情報に変換する変換手段と、前記アドレス情報と基準画像の大きさとに基づいて、現画像における置換エリアを検出する位置エリア検出手段とを有することが好ましい。

また、上記置換手段は、キー信号に基づいて 1画素単位で切換可能なスィッチであり、このスィッチは、キー信号が現画像と基準画像とが同一画像を示している場合には対応するロゴ画像を入力する側に切り換え、キー信号が現画像と基準画像とが異なる画像を示している場合には現画像を入力する側に切り換え、現画像の置換エリア内のうち現画像と基準画像とが同一の部分のみ、ロゴ画像に置換するように構成されることが好ましい。

また、撮影倍率が変化可能であり、撮影倍率に応じた倍率情報を出力' ズと、前記倍率情報に基づいて、前記位置検出手段が検出した置換エリアを補正する置換エリア補正手段と、前記倍率情報に基づいて、前記ロゴ画像記憶手段に記憶されているロゴ画像を変化させる手段とを更に有すれば、撮影倍率がかわる撮影にも適用可能である。

上記本発明の目的は、現画像のうち所定エリアの画像を所望のロゴ画像に置換する画像置換システムであって、

雲台と、

前記雲台上に設置されたカメラと、

前記雲台に内蔵され、カメラの二次元の移動量を検出し、検出された移動量を移動情報として出力するロータリ一エンコーダと、

置換エリアの基準となる基準画像が格納されると共に、前記置換エリアの基準位置と、前記基準位置を基準とした置換ェリァの縦方向及び横方向の長さとが格納された基準画像記憶手段と、

置換する口ゴ画像が格納された口ゴ画像記憶手段と、

前記移動情報に基づいて、現画像における前記置換エリアの基準位置のァドレスを計算する計算手段と、

前記計算されたァドレスを基準位置として、前記置換エリアの縦方向及び横方向の長さから、現画像における置換エリアを検出する置換エリア検出手段と、前記検出された置摸ェリァ内の現画像と、前記置換ェリァ内の基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキ一信号を生成するキー信号生成手段と、

前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記ロゴ画像のうち前記同一の部分に対応する口ゴ画像に置換する置換手段と

尚、上記計算手段は、置換エリアが画面の第 1の位置にある時の移動情報（α， β ) 及び置換エリアの基準位置のアドレス（A, Β ) と、置換エリアが画面の第 2の位置にある時の移動情報（ァ， δ) 及び置換エリアの基準位置のアドレス（C， D) とを予め記憶しておき、置換エリアが現画像の任意の位置に移動した時に入手される移動情報（λ， ίΐ) を、

χ=Α+ (λ - ) X (C一 A) / (τ~ )

y = B+ ( - 3) X (D-B) Z ( δ~β)

で示される式に代入することにより、置換ェリァが任意の位置に移動した時における置換エリアの基準位置のアドレス（x， y) を計算する。

また、置換エリア検出手段は、基準位置のアドレスを中心として検出された置換エリア内の各画素のアドレスが、画面フレーム内にあるか否かを判断し、前記フレーム内にあると判断されたァドレスの画素のみで構成されるエリアを置換ェリアとして検出する手段を更に有することが好ましい。

また、置換手段は、キー信号に基づいて 1画素単位で切換可能なスィッチであり、このスィッチは、キー信号が現画像と基準画像とが同一画像を示している場合には対応するロゴ画像を入力する側に切り換え、キー信号が現画像と基準画像とが異なる画像を示している場合には現画像を入力する側に切り換え、現画像の置換エリア内のうち現画像と基準画像とが同一の部分のみ、口ゴ画像に置換するように構成されていることが好ましい。

また、撮影倍率が変化可能であり、撮影倍率に応じた倍率情報を出力するレンズと、

前記倍率情報に基づいて、記憶されているロゴ画像と、記憶されている基準画像及び基準画像の大きさとを、撮影倍率に応じた大きさに変化させる画像変換手段と、前記倍率情報に基づいて、計算された置換エリアの基準位置のアドレスを補正する補正手段と、前記補正された基準位置のアドレスと、前記変化された基準画像の大きさとから、置換エリアを検出する置換エリア検出手段と、前記検出された置摸エリア内の現画像と、前記大きさが変化された基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキー信号を生成するキー信号生成手段と、前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記大きさが変化されたロゴ画像のうち前記同一の部分に対応するロゴ画像に置換する置換手段とを更に有すれば、撮影倍率が変化する撮影にも適用することが可能である。

尚、上記補正手段は、計算されたアドレスデ一夕を（X, y)、撮影倍率を f (z)、水平方向の画素数を H、垂直方向の画素数を Lとしたとき、下記式

X= (x-H/2) X f (z) +H/2

Y= (y-L/ 2 ) X f (z) +Lズ 2

により、新たな置換エリアの基準位置 Rのアドレスデ一夕（X， Y) を計算することが好ましい。

上記本発明の目的は、現画像のうち所定エリアの画像を所望のロゴ画像に置換する画像置換方法であって、

被写体を撮影し、被写体の中からロゴ画像に置換する置換エリアを選択する選択ステップと、

前記置換エリア内の画像を基準画像として記憶すると共に、前記置換エリア内の基準位置と前記基準位置を基準とした前記置換ェリァの縦方向及び横方向の長さとを記憶するステップと、

置換するロゴ画像を生成し、記憶する工程と、現画像を撮影しているカメラの二次元の移動量を検出し、この移動量を移動情報として出力するステップと、前記移動情報に基づいて、現画像における前記置換エリアの基準位置のァドレスを計算するステップと、

前記計算されたアドレスを基準位置として、前記記憶されている置換エリアの縦方向及び横方向の長さから、現画像における置換エリアを検出するステップと、前記検出された置換ェリァ内の現画像と、前記置換ェリァ内の基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキー信号を生成するステップと、前記キ一信号に基づいて、現画像と基準画像とが同一の部分を、前記ロゴ画像のうち前記同一の部分に対応する画像に置換するステップと

を有することを特徴とする画像置換方法によって達成される。

尚、上記置換ェリァの基準位置のァドレスを計算するステツプは、

置換エリアが画面の第 1の位置にある時の移動情報（α, β) 及び置換エリアの基準位置のアドレス（Α， Β) を予め記憶するステップと、

置換エリアが画面の第 2の位置にある時の移動情報（ァ， (5) 及び置換エリアの基準位置のアドレス（C, D) とを予め記憶するステップと、

置換エリアが現画像の任意の位置に移動した時に入手される移動情報（λ， ) を、式

χ=Α+ (λ - ) X (C一 A) Z (r— a)

y = B+ ( - β) X (D— B) Z (δ— β)

に代入し、置換エリアが任意の位置に移動した時における置換エリアの基準位置のアドレス（x， y) を求めるステップと

から置換エリアの基準位置のアドレス（x， y) を求めることが好ましい。

また、上記置換エリアを検出するステップは、基準位置のアドレスを中心として検出された置換エリア内の各画素のァドレスが、画面フレーム内にあるか否かを判断し、前記フレーム内にあると判断されたァドレスの画素のみで構成されるェリァを置換ェリアとして検出することが好ましい。

また、上記ロゴ画像に置換するステップは、キ一信号に墓づいて、現画像と基準画像とが同一画像の画素をこの画素に対応するロゴ画像の画素データに置換し、現画像と基準画像とが異なる画像の画素はそのまま現画像の画素データとすることが好ましい。

また、撮影倍率を検出するステップと、

前記撮影倍率に基づいて、記憶されているロゴ画像と、記憶されている基準画像及び基準画像の大きさとを、撮影倍率に応じた大きさに変化させるステップと、前記倍率情報に基づいて、計算された置換エリアの基準位置のァドレスを補正するステップと、

前記補正された基準位置のァドレスと、前記変化された基準画像の大きさとから、置換エリアを検出するステップと、

前記検出された置摸ェリァ内の現画像と、前記大きさが変化された基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキー信号を生成する前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記大きさが変化されたロゴ画像のうち前記同一の部分に対応するロゴ画像に置換するステップと

を更に有すれば、撮影倍率が変化する撮影にも本発明を適用することが可能である。

尚、基準位置のアドレスを補正するステップは、計算されたアドレスデータを (X, y)、撮影倍率を f (z)、水平方向の画素数を H、垂直方向の画素数を L としたとき、下記式

X= (x-H/2) f (z) +H/2

Y= (y-L/2) f (z) +L/2

により、新たな置換エリアの基準位置 Rのアドレスデータ（X， Y) を計算することが好ま図面の簡単な説明

図 1は本発明の方法を説明する為の図であり、図 2は本発明の方法を説明する為の図であり、図 3は本発明の方法を説明する為の図であり、図 4は本発明の方法を説明する為の図であり、図 5は本発明の方法を説明する為の図であり、図 6 は本発明の方法を説明する為の図であり、図 7は本発明の方法を説明する為の図であり、図 8は本発明の方法を説明する為の図であり、図 9は本発明の方法を説明する為の図であり、図 1 0は本発明の方法を説明する為の図であり、図 1 1は本発明の方法を説明する為の図であり、図 1 2は本発明の方法を説明する為の図であり、図 1 3は本発明のシステムのブロック図であり、図 1 4はズームレンズから送信されるパルスと倍率との関係を示す図であり、図 1 5は本発明のシステムのブロック図である。発明を実施するための最良の形態

本発明をより詳細に説述するために、添付された図面に従ってこれを説明する。本説明においては、カメラが現在撮影している画像を現画像とし、現画像における所定エリアの画像に換えて置換される画像をロゴ画像と称する。又、口一夕リ一エンコーダから出力されるカメラのパン ·チルトのデータ（移動量）を雲台デ一夕と称し、二次元のひ \°ン，チルト） = ( α , β ) の形で表現する。更に、画面上の任意の位置を決定する為のデ一夕をアドレスデータと称し、二次元の（x， y ) の形で表現する。尚、 1画面（フレーム）の大きさ（画素数）は、図 1に示される如く、左上の頂点を原点（0， 0 ) とし、右下の頂点を（7 2 0 , 4 8 0 ) とする。

本発明のシステムの説明を述べる前に、図面を参照して本発明の方法について説明する。

まず、基本的なカメラポジションに設置されたカメラにより、基準となる基準画像を撮影する。図 1は、基準画像の撮影方法を説明する為の図である。尚、基準画像は、後述する置換エリア内の画像を遮るものがない状態で撮影される。例えば、置換エリア内の画像の前に人が立ち、画像の一部が欠けてしまうことがない状態で撮影される。

次に、基準画像（図 1 ) の中から、所望のロゴに置換しょうとする置換エリアを選択する。本説明では、図 1中の斜線で示された四角形のエリアを置換エリアとする。そして、置換エリアの大きさ及び置換エリア内の画像を基準画像として 1画素単位で記憶しておく。尚、置換エリアの大きさは、置換エリア内の所定位置 R (以下、基準位置と称する）を中心（原点）として縦方向及び横方向の長さを記憶する。図 2では、置換エリアの大きさが、基準位置を Rとし、縦方向の長さが m、横方向の長さが nであることを示している。

続いて、図 3に示される如く、置換エリアが画面の左上に写る位置にカメラを移動させる。そして、この位置での雲台データ（ひ， ) と、置換エリアの基準位置 Rのアドレスデ一夕（Α， Β) とを記憶する。同様にして、図 4に示される如く、置換エリアが画面の右下に写る位置にカメラを移動させる。そして、この位置での雲台デ一夕 (了， δ) と、置換エリアの基準位置 Rのアドレスデ一夕（C, D) とを記憶する。

このようにする理由は、ロータリーエンコーダから得られる雲台データを画面内のアドレスに変換する必要があるからである。つまり、画面左上に置換エリアがある時の雲台デ一夕（α, β) と、置換エリアの基準位置 Rのアドレスデータ (A, Β) と、画面右下に置換エリアがある時の雲台デ一夕（ァ， δ) と、置換エリアの基準位置 Rのアドレスデータ（C， D) とを事前に記憶しておけば、その後に入力されてくる雲台データ（λ , ) より、その時の置換エリアの基準位置 Rのアドレスデ一夕（X, y) 力下記の式（1)、式（2) により求められるからである。

χ=Α+ (λ - α) X (C一 A) / (r— ) 式（1)

y = B+ (u - β) x (D-B) Z (δ— β) 式（2)

上述の如くの準備を完了してから、本番の撮影を開始する。

本番の撮影が開始されると、カメラで撮影された本番の画像（現画像）の中から、置換エリアの基準位置 Rのアドレスデータを求める。この計算は、入手される雲台データに基づいて、上述の式（1)、式（2) により計算される。

次に、求めたアドレスデータから現画像上の置換エリアを特定する。例えば、図 5に示される如く、置換エリアが画面の右上にある場合を考える。 5

まず、求めたアドレスデータ（X , y ) に対応する現画像の位置を、基準位置 Rとする。そして、基準位置 Rを中心として、記憶されている縦方向の長さ m及び横方向の長さ nで一義的に決定される四角形のェリアを置換ェリアとして検出する。すなわち、置換エリアの大きさは既に記憶されているので、現画像に重ねる為の位置決め位置となる基準位置 Rのアドレスデータ（x， y ) が解れば、自ずと置換エリアの現画像における位置が決定される。

ここで、図 6に示すように、置換エリアの前に人物が立っている場合を想定する。この場合、検出された置換エリア内の現画像データ（例えば輝度、色差等）と、記憶されている基準画像データ（例えば輝度、色差等）とを画素単位で減算していくと、現画像と基準画像とが同一画像の画素では減算結果が 0となり、画像が異なる画素では 0とはならない。すなわち、現画像のうち人物の画像部分は 0とはならず、その他の画像部分は 0となる。

この結果を用いて、キー信号を生成する。このキー信号は、現画像と基準画像とが同一画像の画素と、画像が異なる画素とを識別する信号であり、通常同一画像の画素を 0、画像が異なる画素を 1として示される。図 7は、キー信号の概念図である。図 7中、黒色の部分は現画像と基準画像とが同一画像の画素部分であり、白抜きの部分は基準画像と現画像とが異なる画素の部分を示している。図 7 に示される如く、現画像と基準画像との相違が識別できる。すなわち、置換エリァ内の画像のうち、人の背後となる画像部分がわかるのである。

最後に、キー信号を用いて、置換エリア内の画像を所定のロゴに置換する。ここでは、図 8に示されるロゴに置換するものとする。尚、置換するロゴは、予めロゴ画像として生成しておく。例えば、図 8に示される L O G Oの画像と、この L O G Oの周りの画像とをセットで生成しておく。置換する方法としては、キー信号が 0のとき、すなわち現画像と基準画像とが同一画像の画素である場合には、予め生成しておいたロゴ画像のうち対応する画素の画像に置換する。又、キー信号が 1のとき、すなわち現画像と基準画像とが異なる画像の画素の場合には、現画像のままにしておく。

このようにすれば、図 9、図 1 0のように、人に遮られて見えない部分はロゴに置換されず、人に遮られずにロゴが見える部分はロゴに置換され、人の背後に自然とロゴが存在しているような画像を生成することができるのである。

最後に置換エリアの全部又は一部がフレームァゥトしてしまった場合について説明する。

図 1 1は置換エリアの一部がフレームアウトしてしまった場合を説明する為の図である。

まず、雲台デ一夕を式（1 )、式（2 ) に代入して求めた基準位置 Rのアドレスデータが、（7 5 0， 2 4 0 ) とする。すなわち、基準位置 Rがフレームの外にある場合である。しかし、この場合であっても、上述の如く、基準位置 Rを中心として、記憶されている縦方向の長さ m及び横方向の長さ nで一義的に決定される四角形のエリアを置換エリアとして検出する。そして、この置換エリアのうちフレームから外れている部分については除外する。この除外方法は、置換エリア内の画素のァドレスデータがフレーム内にあるか否かを判断する。

すなわち、置換エリア内の画素のアドレスデータを（P， q ) とすれば、下記の式（3 )、式（4 ) を満足するものでなければ、フレームアウトしているアドレスと判断する。

0 < p < 7 2 0 式（3 )

0 < q < 4 8 0 式（4 )

そして、図 1 2に示されるフレーム内にある置換エリアについてのみキー信号を生成し、このキ一信号をもちいてロゴを挿入する。

このようにすれば、置換エリアの全部又は一部がフレームアウトしてしまった場合でも、置換エリアを検出することが出来る。

次に、本発明におけるシステムの実施形態を説明する。

図 1 3は本実施形態のブロック図である。図 1 3中、 1は被写体を撮影するカメラである。 2はカメラ 1に据えられた口一夕リエンコーダが内蔵された雲台である。 3は雲台 2から出力されたデータを音声トランク線（R S 4 2 2 ) により伝送出来るようにデ一夕変換するデ一夕変換装置である。 4は雲台 2のデータを画面上のァドレスデ一夕に変換するァドレスデータ計算装置である。 5はアドレスデ一夕計算装置 4からのアドレスデータに基づいて、画像合成を行う画像合成装置である。

各部について、更に詳細に説明する。

雲台 2にはロータリーエンコーダが内蔵されている。このロー夕リーェンコ一ダにはカメラ 1の初期位置がセッ卜されており、カメラ 1を動かすとそれに伴い移動位置を出力する。この移動位置は、パン 'チルトの二次元で表現され、例えばひ \°ン，チルト） = ( , β ) と言うように出力される。尚、通常、テレビ画像は、一走査線の水平方向の有効画素数は 7 2 0である。そこから 2倍のオーバサンプリング以上の精度を確保する為のロータリ一ェンコ一ダに必要な精度は、 7 2 0 X 2 / 3 = 5 0 0、すなわち 1度当たり約 5 0 0パルスであることが解る。そこで、本実施例においては、 1度当たり 9 0 0パルスださせる雲台を用いた。ァドレスデータ計算装置 4はコンピュータであり、入力された雲台データに基づいて、上述した式（1 )、 ( 2 ) よりアドレスデータを計算する。

画像合成装置 5は、基準画像記憶部 5 1と、位置検出部 5 2と、ロゴ画像記憶部 5 3と、キー信号生成部 5 4と、画像合成部 5 5とから構成される。

基準画像記憶部 5 1は、カメラ 1で撮影された基準画像を記憶するものである。記憶される内容は、基準画像の画像内容（1画素単位）と、基準画像（置換エリァ）の大きさである。基準画像の大きさは、中心となる基準位置を中心として、図 5に示される如く、縦方向及び横方向の長さで決定される。すなわち大きさのデータとしては縦方向及び横方向の長さが記憶されている。

位置検出部 5 2は、アドレスデータ計算装置 4から出力されたアドレスデ一夕に基づいて、現画像における置換エリアを検出するものである。この位置検出は、上述した方法で行われる。すなわち、入力されたアドレスデータ（x， y ) の位置を現画像上で検出し、この位置を中心として予め記憶されている基準画像（置換ェリァ）の縦方向及び横方向の長さで決定される置換ェリァを重ね合わせて、現画像における置換エリアを検出する。

ロゴ画像記憶部 5 3は、所望のロゴ、すなわち置換したいロゴ画像を記憶しておくものである。尚、ロゴ画像の生成は、コンピュータグラフイク等により、基準画像の大きさと同じ大きさで、画素単位で生成される。

キー信号生成部 5 4は、減算器と、キー信号生成回路とから構成される。減算器は、位置検出部 5 2で検出された置換エリア内の現画像と、基準画像記憶部 5 1に記憶されている基準画像との差分を求める。キ一信号生成回路は、減算器の差分結果に基づいて、キー信号を生成する回路である。すなわち、キー信号生成回路は、減算器からの差分が 0である場合には " 0 " のキー信号を生成し、減算器 5 4 1からの差分が 0以外である場合には " 1 " とするキー信号を 1画素単位で生成する。

画像合成部 5 5は、キー信号に基づいて、 1画素単位で切り替わるスィッチである。この画像合成部 5 5は、カメラ 1からの現画像と口ゴ画像記憶部 5 3からのロゴ画像とが入力され、キー信号が " 0 " である場合にはロゴ画像を出力し、キー信号が " 1 " である場合には現画像を出力する。又、置換エリア以外の画像はそのまま出力される。従って、画像合成部 5 5が出力される画像は、現画像のうち置換エリア内の所定部分が口ゴに置換された画像となる。

このように構成されたシステムにより、上記した方法を達成することができる。次に、本発明の他の形態について説明する。

前述の発明の形態では、ズームレンズなどの撮影倍率が変化するレンズを用いず撮影された現画像について、所定のエリアの画像を他の画像、例えばロゴに置換する場合を説明した。本発明の他の形態では、前述の変化に加えて、ズームレンズなどの撮影倍率が変化するレンズを用いて、現画像が撮影された場合について説明する。尚、カメラが 2次元方向、すなわちパン、チルト方向に動かされた場合については前述の形態と同様なものなので、詳細な説明は省略する。

本形態においては、撮影倍率の変化に応じてパルスを発生するズームレンズを用いる。このズームレンズにおけるパルスと倍率との関数 f (z) は、図 14に示される曲線で表せられるものとする。例えば、その関数 f (z) によれば、ズームレンズから 541000のパルスを受けた場合には撮影倍率が 1であることがわかる。このようにズームレンズからパルスを受けることにより、現画像の倍率を検出する。

検出されたデータは、上述した方法により求められた置換エリアの基準位置 R のアドレスデ一タ（X, y) の補正に用いられる。

より具体的に説明すると、検出された撮影倍率 f (z) と既に求められた置換エリアの基準位置 Rのアドレスデータ（X, y) と力下記式（5)、 (6) に代入され、新たな置換エリアの基準位置 Rのアドレスデータ（X， Y) が求められる。

X= (x- 360) f (z) + 360 式（5)

Y= (y- 240) f (z) + 240 式（6)

式（5)、 (6) から分かるように倍率が 1の場合は、 X=x、 Y=yとなり、二次元方向にカメラを動かした場合のアドレスデ一夕に一致する。すなわち、ズームレンズの撮影倍率に応じて基準位置 Rのアドレスデータ（X, y) が補正されるのである。

次に置換エリアの検出について説明する。

まず、置換エリアの大きさ、基準画像及び置換されるロゴは、検出された撮影倍率のデータを用いて DVE (ディジタル · ビデオ ·エフェクト）により、撮影倍率に応じた大きさの画像に変換される。尚、この DVEについては公知の技術なので、詳細な説明は省略する。次に、補正された基準位置 Rのアドレスデータ (X, y) を中心として、撮影倍率に応じた大きさに変換された置換エリアを当てはめる。そして、置換エリア内の現画像を抽出する。尚、置換エリアがフレームアウトしてしまう場合は、上述した方法と同様な処理を行う。

最後に、撮影倍率に応じた大きさの画像に変換された置換エリア内の現画像と基準画像とは上述の形態と同様な方法で差分が取られ、キー信号が生成される。そして、キー信号により、置換エリア内に倍率に応じて変換されたロゴ画像が挿入される。

続いて、上述の方法を実現するためのシステムについて説明する。

図 1 5はシステムのブロック図である。尚、図 1 5において、図 1 3と同様な構成のものについては同じ図番を付して、詳細な説明は省略する。

図 1 5中、 1 0 0は、ズームレンズ 1 0 3からのパルスを受けて撮影倍率を検出する倍率検出装置である。 1 0 1は、アドレスデータ計算部 4で求められたァドレスデ一夕を検出された倍率に基づいて補正するアドレスデータ補正装置である。 1 0 2は置換エリア、基準画像及びロゴ画像を検出された撮影倍率に応じた大きさに変換する D V Eである。 1 0 3はカメラ 1に取り付けられたズームレンズである。

このように構成されたシステムにおいて、現画像は以下に述べられる動作によりロゴに置換される。

ます、倍率検出装置 1 0 0は、カメラ 1に取り付けられたズームレンズ 1 0 3 からのパルスを受けて、撮影倍率を検出する。尚、検出方法は上述したとおりである。求められた撮影倍率は、アドレスデ一夕補正装置 1 0 1及び D V E 1 0 2 に送信される。

一方、雲台 2より得られたデータにより、上述したようにデータ変換装置 3及びァドレスデ一夕計算装置 4により、 2次元におけるァドレスデータが算出される。

アドレスデータ補正装置 1 0 1は、検出された撮影倍率に基づいて、アドレスデータ計算装置 4により求められたアドレスデータを、式（5 )、 ( 6 ) により補 99/01353

正する。

また、 D V E 1 0 2では、基準画像記憶部 5 1に記憶されている置換エリアの大きさ及び基準画像と、口ゴ画像記憶部 5 3に記憶されているロゴ画像とを、検出された撮影倍率に応じた大きさに変換する。

位置検出部 5 2では、アドレスデータ補正装置 1 0 1で補正された基準位置 R のアドレスデータと、撮影倍率に応じた置換ェリアの大きさから置換エリアを検出し、この検出された置換エリアをキ一信号生成部 5 4に送信する。

キー信号生成部 5 4では、倍率に応じた基準画像と検出された置換エリア内の現画像とが比較され、キー信号が生成される。

そして、生成されたキ一信号により、画像合成部 5 5において、倍率に応じた大きさに変換されたロゴ画像が、上述した動作と同様に現画像の置換エリア内に挿入される。

このようにして、現画像の変化に対応して、置換エリアの画像が現画像の一部であるようにロゴに置換される。

産業上の利用可能性

本発明によれば、現画像の変化に対応して、置換エリアの画像を現画像の一部であるようにロゴに置換することができる。すなわち、ロゴに置換すべき画像のうち、人、物等に遮られて本来見えない部分はロゴに置換されず、現画像そのままの画像となり、その他の部分はロゴに置換されるので、置換されたロゴがあたかも元からその場所に存在していたかのように表示される。従って、本発明は放送分野等に適している。

Claims

請求の範囲

1 . 現画像のうち所定エリアの画像を所望のロゴ画像に置換する画像置換システムであって、

雲台と、

前記雲台上に設置された力メラと、

前記雲台に内蔵され、カメラの移動量を検出し、検出された移動量を移動情報として出力するロータリーエンコーダと、

前記位置検出手段で検出された置換エリァ内の現画像と、前記基準画像記憶手段に記憶されている前記置換エリア内の基準画像とを比較し、現画像と基準画像とが同一の部分又は異なる部分を示すキー信号を生成するキー信号生成手段と、前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記ロゴ画像のうち前記同一の部分に対応するロゴ画像に置換する置換手段と

を有することを特徴とする画像置換システム。

2 . 基準画像記憶手段は、基準画像が 1画素単位で格納されていると共に、基準画像の大きさも格納されていることを特徴とする請求項 1に記載の画像置換システム。

3 . 位置検出手段は、移動情報を画面のァドレス情報に変換する変換手段と、前記ァドレス情報と基準画像の大きさとに基づいて、現画像における置換ェリァを検出する位置エリア検出手段とを有することを特徴とする請求項 1又は請求項 2に記載の画像置換システム。

4. 置換手段は、キー信号に基づいて 1画素単位で切換可能なスィツチであり、このスィツチは、キー信号が現画像と基準画像とが同一画像を示している場合には対応するロゴ画像を入力する側に切り換え、キー信号が現画像と基準画像とが異なる画像を示している場合には現画像を入力する側に切り換え、現画像の置換エリア内のうち現画像と基準画像とが同一の部分のみ、ロゴ画像に置換することを特徴とする請求項 1から請求項 3のいずれかに記載の画像置換システム。

5 . 撮影倍率が変化可能であり、撮影倍率に応じた倍率情報を出力するレンズと、前記倍率情報に基づいて、前記位置検出手段が検出した置換エリアを補正する置換エリア補正手段と、前記倍率情報に基づいて、前記ロゴ画像記憶手段に記憶されているロゴ画像を変化させる手段とを更に有することを特徴とする請求項 1から請求項 4のいずれかに記載の画像置換システム。

6 . 現画像のうち所定エリアの画像を所望のロゴ画像に置換する画像置換システムであって、

雲台と、

前記雲台上に設置された力メラと、

前記雲台に内蔵され、カメラの二次元の移動量を検出し、検出された移動量を移動情報として出力する口一タリ一エンコーダと、

置換ェリアの基準となる基準画像が格納されると共に、前記置換ェリアの基準位置と、前記基準位置を基準とした置換エリアの縦方向及び横方向の長さとが格納された基準画像記憶手段と、

置換する口ゴ画像が格納された口ゴ画像記憶手段と、

前記計算されたアドレスを基準位置として、前記置換ェリァの縦方向及び横方向の長さから、現画像における置換エリアを検出する置換エリア検出手段と、前記検出された置摸ェリァ内の現画像と、前記置換ェリァ内の基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキ一信号を生成するキ一信号生成手段と、前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記ロゴ画像のうち前記同一の部分に対応する口ゴ画像に置換する置換手段と

を有することを特徴とする画像置換システム。

7. 計算手段は、置換エリアが画面の第 1の位置にある時の移動情報（α， β ) 及び置換エリアの基準位置のアドレス（Α， Β) と、置換エリアが画面の第 2の位置にある時の移動情報 (Ύ , δ ) 及び置換エリアの基準位置のアドレス（C， D) とを予め記憶しておき、

置換エリアが現画像の任意の位置に移動した時に入手される移動情報（λ , ίΐ) を、

χ=Α+ (λ - a) X (C— A) / (ァ一 a)

y = B+ ( - ) X (D-B) / ( δ— β )

で示される式に代入することにより、置換エリァが任意の位置に移動した時における置換エリアの基準位置のアドレス（x， y) を計算することを特徴とする請求項 6に記載の画像置換システム。

8. 置換エリア検出手段は、基準位置のアドレスを中心として検出された置換エリア内の各画素のアドレスが、画面フレーム内にあるか否かを判断し、前記フレーム内にあると判断されたァドレスの画素のみで構成されるエリアを置換エリァとして検出する手段を更に有することを特徴とする請求項 6又は請求項 7に記載の画像置換システム。

9. 置換手段は、キー信号に基づいて 1画素単位で切換可能なスィッチであり、このスィツチは、キー信号が現画像と基準画像とが同一画像を示している場合には対応する口ゴ画像を入力する側に切り換え、キー信号が現画像と基準画像とが異なる画像を示している場合には現画像を入力する側に切り換え、現画像の置換エリア内のうち現画像と基準画像とが同一の部分のみ、ロゴ画像に置換することを特徴とする請求項 6から請求項 8のいずれかに記載の画像置換システム。

10. 撮影倍率が変化可能であり、撮影倍率に応じた倍率情報を出力するレンズと、

前記倍率情報に基づいて、記憶されているロゴ画像と、記憶されている基準画像及び基準画像の大きさとを、撮影倍率に応じた大きさに変化させる画像変換手段と、

前記倍率情報に基づいて、計算された置換エリアの基準位置のアドレスを補正する補正手段と、

前記補正された基準位置のァドレスと、前記変化された基準画像の大きさとから、置換エリアを検出する置換エリア検出手段と、

前記検出された置摸エリア内の現画像と、前記大きさが変化された基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキー信号を生成するキー信号生成手段と、

前記キ一信号に基づいて、現画像と基準画像とが同一の部分を、前記大きさが変化された口ゴ画像のうち前記同一の部分に対応する口ゴ画像に置換する置換手段と

を更に有することを特徴とする請求項 6から請求項 9のいずれかに記載の画像置換システム。

1 1. 補正手段は、計算されたアドレスデ一夕を（X, y)、撮影倍率を f (z)、水平方向の画素数を H、垂直方向の画素数を Lとしたとき、下記式

X= (x-H/2) X f (z) +H/2

Y= (y-L/2) X f (z) +L/2

により、新たな置換エリアの基準位置 Rのアドレスデータ（X, Y) を計算することを特徴とする請求項 1 0に記載の画像置換システム。

12. 現画像のうち所定エリアの画像を所望のロゴ画像に置換する画像置換方法であって、

被写体を撮影し、被写体の中からロゴ画像に置換する置換エリアを選択する選択ステップと、前記置換ェリア内の画像を基準画像として記憶すると共に、前記置換ェリア内の基準位置と前記基準位置を基準とした前記置換エリアの縦方向及び横方向の長さとを記憶するステップと、

前記計算されたァドレスを基準位置として、前記記憶されている置換ェリアの縦方向及び横方向の長さから、現画像における置換エリアを検出するステップと、前記検出された置換エリア内の現画像と、前記置換エリア内の基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキー信号を生成するステップと、

前記キ一信号に基づいて、現画像と基準画像とが同一の部分を、前記ロゴ画像のうち前記同一の部分に対応する画像に置換するステップと

を有することを特徴とする画像置換方法。

1 3. 置換エリアの基準位置のアドレスを計算するステップは、

置換エリアが画面の第 1の位置にある時の移動情報（ひ， ) 及び置換エリアの基準位置のアドレス（Α， Β) を予め記憶するステップと、

置換エリアが画面の第 2の位置にある時の移動情報 (τ, δ) 及び置換エリアの基準位置のアドレス（C， D) とを予め記憶するステップと、

置換エリアが現画像の任意の位置に移動した時に入手される移動情報（λ, ) を、式

χ=Α+ ( λ - a ) X (C-A) / (r~a)

y = B+ ( - β) X (D-B) / ((5-/3)

に代入し、置換エリアが任意の位置に移動した時における置換エリアの基準位置のアドレス（X, y) を求めるステップとを有することを特徴とする請求項 1 2に記載の画像置換方法。

1 4. 置換エリアを検出するステップは、基準位置のアドレスを中心として検出された置換エリア内の各画素のァドレスが、画面フレーム内にあるか否かを判断し、前記フレーム内にあると判断されたァドレスの画素のみで構成されるエリァを置換エリアとして検出することを特徴とする請求項 1 2又は請求項 1 3に記載の画像置換方法。

1 5 . ロゴ画像に置換するステップは、キー信号に墓づいて、現画像と基準画像とが同一画像の画素をこの画素に対応するロゴ画像の画素データに置換し、現画像と基準画像とが異なる画像の画素はそのまま現画像の画素データとすることを特徴とする請求項 1 2から請求項 1 4のいずれかに記載の画像置換方法。

1 6 . 撮影倍率を検出するステップと、

前記検出された置摸ェリァ内の現画像と、前記大きさが変化された基準画像とを比較し、現画像と基準画像とが同一又は異なる画素を示すキー信号を生成する前記キー信号に基づいて、現画像と基準画像とが同一の部分を、前記大きさが変化されたロゴ画像のうち前記同一の部分に対応するロゴ画像に置換するステツプと

を更に有することを特徴とする請求項 1 2から請求項 1 5のいずれかに記載の画像置換方法。

1 7 . 基準位置のアドレスを補正するステップは、計算されたアドレスデータを（x， y)、撮影倍率を f (z)、水平方向の画素数を H、垂直方向の画素数を Lとしたとき、下記式

X= (x-H/2) f (z) +H/2

Y= (y -L/2) f (z) +L/2

により、新たな置換エリアの基準位置 Rのアドレスデータ（X, Y) を計算することを特徴とする請求項 16に記載の画像置換：