JP4802012B2

JP4802012B2 - Camera control apparatus and camera control method

Info

Publication number: JP4802012B2
Application number: JP2006056268A
Authority: JP
Inventors: 雄三小川
Original assignee: Toa Corp
Current assignee: Toa Corp
Priority date: 2006-03-02
Filing date: 2006-03-02
Publication date: 2011-10-26
Anticipated expiration: 2026-03-02
Also published as: WO2007100043A1; JP2007235696A

Description

この発明は、カメラ制御装置およびカメラ制御方法に関し、特に例えば、旋回型のカメラの向きを制御するカメラ制御装置およびカメラ制御方法に関する。 The present invention relates to a camera control device and a camera control method, and more particularly to a camera control device and a camera control method for controlling the orientation of a turning type camera, for example.

旋回型のカメラの向きを制御する技術として、ポイントビューと呼ばれる技術がある。これは、図１５（ａ）に示すように、モニタ装置の表示画面に映し出された撮影画像上において任意のポイントＰがマウス等のポインティングデバイスによって指定されると、この指定されたポイントＰが同図（ｂ）に示す如く画面の中央Ｏに位置するように、カメラの向きを制御する技術である。そして、このポイントビュー技術の一実現例として、従来、特許文献１に開示されたものがある。 There is a technique called point view as a technique for controlling the orientation of a revolving camera. As shown in FIG. 15 (a), when an arbitrary point P is designated by a pointing device such as a mouse on the captured image displayed on the display screen of the monitor device, the designated point P is the same. This is a technique for controlling the orientation of the camera so that it is positioned at the center O of the screen as shown in FIG. As an example of realization of this point view technique, there is one disclosed in Patent Document 1 conventionally.

この従来技術によれば、図１６（ａ）に示すように、指定されたポイントＰの座標（ｘ、ｙ）と画面中央Ｏの座標（ａ，ｂ）との差（ΔＸ，ΔＹ）が、求められる。そして、この座標差（ΔＸ，ΔＹ）に撮影レンズのズーミング位置に応じた変換係数ｋが乗ぜられることで、カメラのパン（水平）方向およびチルト（垂直）方向のそれぞれの移動量ΔＸｒおよびΔＹｒが求められ、この移動量ΔＸｒおよびΔＹｒに基づいて当該カメラが旋回される。 According to this prior art, as shown in FIG. 16A, the difference (ΔX, ΔY) between the coordinates (x, y) of the designated point P and the coordinates (a, b) of the screen center O is Desired. Then, the coordinate difference (ΔX, ΔY) is multiplied by a conversion coefficient k corresponding to the zooming position of the photographing lens, so that the movement amounts ΔXr and ΔYr in the pan (horizontal) direction and tilt (vertical) direction of the camera can be obtained. The camera is turned based on the movement amounts ΔXr and ΔYr.

具体的に数値を挙げて説明すると、例えば、今、図１６（ｂ）に示すように、撮影画像全体の水平方向の画素数が６４０であり、垂直方向の画素数が４８０であるとする。そして、ポイントＰの座標（ｘ、ｙ）が、画素数換算で（５５０，３５０）であるとする。この場合、画面中央Ｏの座標が、同画素数換算で（３２０，２４０）であることから、座標差（ΔＸ，ΔＹ）は、（２３０，１１０）となる。従って、カメラの向きが現在の向きから右方にΔＸ＝２３０［画素］分だけ変更されると共に、下方にΔＹ＝１１０［画素］分だけ変更されれば、当該カメラの向きがポイントＰに対応する方向に向くようになる。 Specifically, for example, assume that the number of pixels in the horizontal direction of the entire captured image is 640 and the number of pixels in the vertical direction is 480 as shown in FIG. The coordinates (x, y) of the point P are assumed to be (550, 350) in terms of the number of pixels. In this case, since the coordinates of the screen center O are (320, 240) in terms of the same number of pixels, the coordinate difference (ΔX, ΔY) is (230, 110). Therefore, if the camera orientation is changed from the current orientation to the right by ΔX = 230 [pixels] and is changed downward by ΔY = 110 [pixels], the camera orientation corresponds to the point P. It comes to face in the direction to do.

ただし、ΔＸおよびΔＹのそれぞれが実際にどのくらいの移動量に相当するのかは、撮影レンズのズーミング位置、つまり画角、によって変わる。このために、上述の如くΔＸおよびΔＹのそれぞれに当該画角（ズーミング位置）に応じた変換係数ｋが乗ぜられ、実際に必要とされる移動量ΔＸｒおよびΔＹｒが求められる。言い換えれば、変換係数ｋは、今現在の画角における１画素当たりの必要移動量を表す。 However, the amount of movement that each of ΔX and ΔY actually corresponds to depends on the zooming position of the photographing lens, that is, the angle of view. For this purpose, as described above, ΔX and ΔY are each multiplied by the conversion coefficient k corresponding to the angle of view (zooming position), and the movement amounts ΔXr and ΔYr that are actually required are obtained. In other words, the conversion coefficient k represents a necessary movement amount per pixel at the current angle of view.

かかる変換係数ｋは、今現在の水平方向の画角を当該水平方向の全画素数で除するか、若しくは、今現在の垂直方向の画角を当該垂直方向の全画素数で除することによって、求められる。例えば、今現在の水平方向の画角が、４０［ｄｅｇ］であるとすると、変換係数ｋは、ｋ＝４０／６４０＝０．０６２５［ｄｅｇ／画素］となる。従って、この場合、パン方向において実際に必要とされる移動量ΔＸｒは、ΔＸｒ＝ｋ・ΔＸ＝０．０６２５×２３０＝１４．３７５［ｄｅｇ］となり、チルト方向において実際に必要とされる移動量ΔＹｒは、ΔＹｒ＝ｋ・ΔＹ＝０．０６２５×１１０＝６．８７５［ｄｅｇ］となる。よって、カメラは、現在の向きから右方にΔＸｒ＝１４．３７５［ｄｅｇ］だけパンされると共に、下方にΔＹｒ＝６．８７５［ｄｅｇ］だけチルトされることになる。 The conversion factor k is obtained by dividing the current horizontal field angle by the total number of pixels in the horizontal direction or dividing the current vertical field angle by the total number of pixels in the vertical direction. ,Desired. For example, if the current horizontal field angle is 40 [deg], the conversion coefficient k is k = 40/640 = 0.0625 [deg / pixel]. Accordingly, in this case, the movement amount ΔXr actually required in the pan direction is ΔXr = k · ΔX = 0.0625 × 230 = 14.375 [deg], and the movement amount actually required in the tilt direction. ΔYr is ΔYr = k · ΔY = 0.0625 × 110 = 6.875 [deg]. Therefore, the camera is panned by ΔXr = 14.375 [deg] to the right from the current direction and tilted downward by ΔYr = 6.875 [deg].

特開平７−４６５６６号公報JP 7-46566 A

しかし、上述の従来技術では、指定されたポイントＰが必ずしも画面中央Ｏに位置する保証はなく、言わば誤差が発生する、という問題がある。これは、カメラによる撮影画像上で求められた移動量ΔＸｒおよびΔＹｒが、そのまま当該カメラ（厳密には雲台）の旋回制御に適用されることに、起因する。換言すれば、撮影画像上における水平方向および垂直方向が、カメラのパン方向およびチルト方向と、必ずしも一致するわけではないからである。そして、この誤差は、チルト方向への角度、いわゆるチルト角（俯角または仰角）が大きいほど、顕著になる。 However, the above-described conventional technology has a problem that the designated point P is not necessarily guaranteed to be located at the center O of the screen, and an error occurs. This is because the movement amounts ΔXr and ΔYr obtained on the captured image by the camera are applied as they are to the turning control of the camera (strictly, the platform). In other words, the horizontal direction and the vertical direction on the captured image do not necessarily coincide with the pan direction and tilt direction of the camera. This error becomes more prominent as the angle in the tilt direction, the so-called tilt angle (the depression angle or the elevation angle) is larger.

より詳しく説明すると、今、カメラが真下を向いており、つまりチルト角が直角であるとする。そして、この状態で、図１７（ａ）に示すように、撮影画像上において画面中央Ｏ以外のポイント、例えば当該画面中央Ｏよりも右下のポイントＰが、指定されるとする。すると、まず、上述した要領で、座標差（ΔＸ，ΔＹ）が求められる。そして、この座標差（ΔＸ，ΔＹ）に今現在の画角に応じた変換係数ｋが乗ぜられることで、必要な移動量ΔＸｒおよびΔＹｒが求められ、求められた移動量ΔＸｒおよびΔＹｒに相当する分だけ、カメラが旋回される。ところが、このとき、カメラは真下を向いた状態にあるので、例えばカメラが移動量ΔＸｒ分だけパンされると、同図（ｂ）に示すように、カメラの視野１００が時計回りに当該移動量ΔＸｒに相当する分だけ回転する。そして、カメラが移動量ΔＹｒ分だけチルトされると、同図（ｃ）に示すように、カメラの視野１００が左下方に向かって当該移動量ΔＹｒに相当する分だけスライドする。この結果、指定されたポイントＰが画面中央Ｏに位置するどころか、制御自体が破綻した状態になる。 More specifically, it is assumed that the camera is now facing down, that is, the tilt angle is a right angle. In this state, as shown in FIG. 17A, it is assumed that a point other than the screen center O on the captured image, for example, a point P at the lower right of the screen center O is designated. Then, first, the coordinate difference (ΔX, ΔY) is obtained in the manner described above. Then, by multiplying the coordinate difference (ΔX, ΔY) by a conversion coefficient k corresponding to the current angle of view, necessary movement amounts ΔXr and ΔYr are obtained, which corresponds to the obtained movement amounts ΔXr and ΔYr. The camera is turned by the amount. However, at this time, since the camera is in a state of being directed downward, for example, when the camera is panned by an amount of movement ΔXr, as shown in FIG. It rotates by the amount corresponding to ΔXr. When the camera is tilted by the movement amount ΔYr, as shown in FIG. 5C, the field of view 100 of the camera slides toward the lower left by an amount corresponding to the movement amount ΔYr. As a result, rather than the designated point P being positioned at the center O of the screen, the control itself is broken.

そこで、この発明は、期待通りにカメラの向きを正確に制御することができるカメラ制御装置およびカメラ制御方法を提供することを、目的とする。 Therefore, an object of the present invention is to provide a camera control device and a camera control method that can accurately control the orientation of a camera as expected.

かかる目的を達成するために、この発明のうち、第１の発明は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算手段と、当該カメラによって撮影された画像を表示する表示手段と、この表示手段によって表示された画像上の任意のポイントを指定する指定手段と、を具備する。さらに、この指定手段によって指定されたポイントの撮影画像上における座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、当該ポイントの座標に対応する絶対座標系での原点からの方向を求める目標方向演算手段を、備える。そして、この目標方向演算手段によって求められた方向にカメラが向くように当該カメラを旋回させる旋回制御手段をも、具備する、カメラ制御装置である。 In order to achieve such an object, among the present inventions, the first invention is a current direction calculation means for obtaining a current direction of the camera in a fixed absolute coordinate system having the origin of rotation of the camera as an origin, and the camera Display means for displaying an image captured by the display means, and designation means for designating an arbitrary point on the image displayed by the display means. Further, based on the coordinate information on the captured image of the point designated by the designation means, the angle of view of the camera, and the current camera orientation in the absolute coordinate system obtained by the current direction calculation means, the point Target direction calculation means for obtaining a direction from the origin in the absolute coordinate system corresponding to the coordinates of. The camera control apparatus further includes a turning control means for turning the camera so that the camera faces the direction obtained by the target direction calculating means.

即ち、この第１の発明では、カメラの旋回中心を原点とする絶対座標系という概念が導入される。そして、この絶対座標系における現在のカメラの向きが、現方向演算手段によって求められる。その一方で、カメラによって撮影された画像が、表示手段によって表示される。ここで、表示手段によって表示された撮影画像上において、任意のポイントが、指定手段によって指定される、とする。すると、この指定手段によって指定されたポイントの撮影画像上における座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、目標方向演算手段が、当該ポイントの座標に対応する絶対座標系での原点からの方向、つまりこれからカメラを向けようとする当該絶対座標系での言わば目標となる方向を、求める。そして、この目標方向演算手段によって求められた目標方向にカメラが向くように、旋回制御手段によって、当該カメラが機械的に旋回される。つまり、撮影画像上で指定されたポイントの座標が、カメラの旋回中心を原点とする絶対座標系での当該原点からの方向に、置き換えられる。そして、この絶対座標系上に置き換えられた方向に、カメラが向けられる。この結果、撮影画像上で指定されたポイントが、当該撮影画像（表示画面）の中央に正確に位置するようになる。 In other words, in the first invention, the concept of an absolute coordinate system having the origin of rotation of the camera as the origin is introduced. Then, the current camera direction in the absolute coordinate system is obtained by the current direction calculation means. On the other hand, an image taken by the camera is displayed by the display means. Here, it is assumed that an arbitrary point is designated by the designation unit on the captured image displayed by the display unit. Then, based on the coordinate information on the captured image of the point designated by the designation means, the angle of view of the camera, and the current camera direction in the absolute coordinate system obtained by the current direction calculation means, the target direction The calculation means obtains a direction from the origin in the absolute coordinate system corresponding to the coordinates of the point, that is, a so-called target direction in the absolute coordinate system from which the camera is to be directed. Then, the camera is mechanically turned by the turning control means so that the camera faces the target direction obtained by the target direction calculating means. That is, the coordinates of the point designated on the captured image are replaced with the direction from the origin in the absolute coordinate system with the center of rotation of the camera as the origin. Then, the camera is directed in the direction replaced on the absolute coordinate system. As a result, the point designated on the captured image is accurately positioned at the center of the captured image (display screen).

なお、指定手段は、撮影画像上の任意の領域をも指定可能であってもよい。そして、このように指定手段によって任意の領域が指定されたときは、目標方向演算手段は、当該領域の特定の位置、例えば中心位置やこれに近い位置、または周縁上の或る位置を、上述のポイントとして取り扱うものとしてもよい。このようにすれば、指定手段によって任意の領域が指定されたとき、その指定された領域の特定の位置が、撮影画像の中央になる。 Note that the designation means may be able to designate any area on the captured image. Then, when an arbitrary area is designated by the designation means in this way, the target direction calculation means calculates a specific position of the area, for example, the center position, a position close thereto, or a certain position on the periphery. It may be handled as a point. In this way, when an arbitrary area is specified by the specifying means, the specific position of the specified area becomes the center of the captured image.

また、カメラがズーム機能を備えている場合には、上述の指定手段によって指定された領域の大きさに合わせて当該ズーム機能によるズーム倍率を制御するズーム制御手段を、さらに設けてもよい。このようにすれば、指定手段によって任意の領域が指定されると、その指定された領域全体が拡大表示（ズーム表示）される。 In addition, when the camera has a zoom function, zoom control means for controlling the zoom magnification by the zoom function according to the size of the area specified by the specifying means may be further provided. In this way, when an arbitrary area is specified by the specifying means, the entire specified area is enlarged (zoomed).

さらに、絶対座標系においては、カメラの基準となる方向が予め定められているのが、望ましい。この場合、当該基準方向から目標方向までの角度を求める角度演算手段を備え、旋回制御手段は、この角度演算手段によって求められた角度に基づいてカメラを旋回させるものとする。 Furthermore, in the absolute coordinate system, it is desirable that a direction serving as a camera reference is determined in advance. In this case, angle calculation means for obtaining an angle from the reference direction to the target direction is provided, and the turning control means turns the camera based on the angle obtained by the angle calculation means.

また、カメラは、パン方向およびチルト方向のそれぞれに旋回可能であるのが、望ましい。 Moreover, it is desirable that the camera can be rotated in each of the pan direction and the tilt direction.

そして、この場合、カメラは、水平方向よりも下方に向けられるもの、例えば監視用途において天井等の高い位置に取り付けられるもの、であってもよい。 In this case, the camera may be directed downward relative to the horizontal direction, for example, attached to a high position such as a ceiling in monitoring applications.

この第１の発明の別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算手段と、当該カメラによって撮影された画像を表示する表示手段と、この表示手段によって表示された画像の所定の特徴部分を抽出する抽出手段と、を具備する。さらに、この抽出手段によって抽出された特徴部分の撮影画像上における座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特徴部分の座標に対応する絶対座標系での原点からの方向を求める目標方向演算手段を、備える。そして、この目標方向演算手段によって求められた方向にカメラが向くように当該カメラを旋回させる旋回制御手段をも、具備するものである。 According to another aspect of the first aspect of the present invention, a current direction calculating means for obtaining a current direction of the camera in a fixed absolute coordinate system having the rotation center of the camera as an origin, and an image photographed by the camera are displayed. Display means, and extraction means for extracting a predetermined feature portion of the image displayed by the display means. Further, based on the coordinate information on the photographed image of the feature portion extracted by the extracting means, the angle of view of the camera, and the current camera orientation in the absolute coordinate system obtained by the current direction calculating means, Target direction calculation means for obtaining a direction from the origin in the absolute coordinate system corresponding to the coordinates of the feature portion is provided. And it also has a turning control means for turning the camera so that the camera faces the direction obtained by the target direction calculating means.

即ち、先に説明した態様では、言わば手動の指定手段によって撮影画像上の任意のポイントが指定されるのに対して、この別の態様では、抽出手段によって撮影画像の所定の特徴部分が抽出される。そして、抽出手段によって抽出された特徴部分の座標が、絶対座標系での原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、言わば自動的にカメラが向けられる。この結果、撮影画像上の特徴部分が、当該撮影画像（表示画面）の中央に正確に位置するようになる。 That is, in the aspect described above, an arbitrary point on the photographed image is designated by manual designation means, whereas in this another aspect , a predetermined characteristic portion of the photographed image is extracted by the extraction means. The Then, the coordinates of the feature portion extracted by the extracting means are replaced with the direction from the origin in the absolute coordinate system, and the camera is automatically directed in the direction replaced on the absolute coordinate system. As a result, the characteristic portion on the photographed image is accurately positioned at the center of the photographed image (display screen).

なお、ここで言う抽出手段としては、例えば撮影画像の時間的な変化を捉えることで、当該撮影画像上で移動する被写体像を上述の特徴部分として抽出（検出）するという、いわゆる移動体抽出を行う手段がある。かかる移動体抽出手段が採用された場合には、常に移動体にカメラが向けられるという、いわゆる自動追尾が実現される。 In addition, as an extraction means said here, what is called moving body extraction of extracting (detecting) the to-be-photographed object image as the above-mentioned characteristic part, for example by catching the temporal change of a picked-up image. There are means to do it. When such moving body extraction means is employed, so-called automatic tracking is realized in which the camera is always directed to the moving body.

また、抽出手段として、撮影画像上で人間の顔に相当する部分を抽出するという、いわゆる顔抽出を行う手段を採用してもよい。さらに、撮影画像上で所定の色を抽出するという色抽出や、所定の形状を抽出するという形状抽出を行う手段等を、当該抽出手段として採用してもよい。 Further, as the extracting means, a so-called face extracting means for extracting a portion corresponding to a human face on the photographed image may be employed. Furthermore, a means for performing color extraction for extracting a predetermined color from a photographed image, shape extraction for extracting a predetermined shape, or the like may be adopted as the extraction means.

この第１の発明のさらに別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算手段と、当該カメラによって撮影された画像を表示する表示手段と、を具備する。そして、所定の旋回指令を入力する指令入力手段をも、備える。さらに、この指令入力手段によって入力された旋回指令に対応する撮影画像上の特定の座標情報と、カメラの画角と、現方向演算手段によって求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特定の座標に対応する絶対座標系での原点からの方向を求める目標方向演算手段を、備える。そして、この目標方向演算手段によって求められた方向にカメラが向くように当該カメラを旋回させる旋回制御手段をも、具備するものである。 According to still another aspect of the first aspect of the present invention, a current direction calculation means for obtaining a current direction of the camera in a fixed absolute coordinate system having the rotation center of the camera as an origin, and an image photographed by the camera are displayed. Display means. And command input means for inputting a predetermined turning command is also provided. Furthermore, the specific coordinate information on the captured image corresponding to the turning command input by the command input means, the angle of view of the camera, the current camera orientation in the absolute coordinate system determined by the current direction calculation means, And a target direction calculation means for obtaining a direction from the origin in the absolute coordinate system corresponding to the specific coordinate. And it also has a turning control means for turning the camera so that the camera faces the direction obtained by the target direction calculating means.

即ち、この態様では、言わば手動の入力手段によって旋回指令が入力されると、これに応答して、当該旋回指令に対応する撮影画像上の特定の座標が、絶対座標系での原点からの方向に置き換えられる。そして、この絶対座標系上に置き換えられた方向に、カメラが向けられる。この結果、旋回指令に対応する特定の座標部分が、撮影画像（表示画面）の中央に正確に位置するようになる。 That is, in this aspect , when a turn command is input by manual input means, in response to this, a specific coordinate on the captured image corresponding to the turn command is a direction from the origin in the absolute coordinate system. Is replaced by Then, the camera is directed in the direction replaced on the absolute coordinate system. As a result, the specific coordinate portion corresponding to the turning command is accurately positioned at the center of the captured image (display screen).

なお、ここで言う特定の座標は、撮影画像から外れた位置にも設定可能としてもよい。このようにすれば、旋回指令の入力によって、より大きく（つまり大きな角度で）カメラを旋回させることができる。 It should be noted that the specific coordinates mentioned here may be set at a position deviating from the captured image. In this way, the camera can be turned larger (that is, at a larger angle) by inputting the turning command.

また、複数種類の旋回指令が用意されていてもよい。このようにすれば、旋回指令の種類に応じて、カメラを旋回させることができる。換言すれば、旋回指令に従うカメラの旋回パターンを、複数種類の中から任意に選択することができる。 A plurality of types of turning commands may be prepared. In this way, the camera can be turned according to the type of turn command. In other words, the turning pattern of the camera according to the turning command can be arbitrarily selected from a plurality of types.

第２の発明は、カメラ制御方法に関する発明であって、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算過程と、当該カメラによって撮影された画像を表示する表示過程と、この表示過程で表示された画像上の任意のポイントを指定する指定過程と、を具備する。さらに、この指定過程で指定されたポイントの撮影画像上における座標情報と、カメラの画角と、現方向演算過程で求められた絶対座標系におけるカメラの現在の向きと、に基づいて、当該ポイントの座標に対応する絶対座標系での原点からの方向を求める目標方向演算過程を、備える。そして、この目標方向演算過程で求められた方向にカメラが向くように当該カメラを旋回させる旋回制御過程をも、具備することを特徴とするものである。 The second invention relates to a camera control method, and is a current direction calculation process for obtaining the current direction of the camera in a fixed absolute coordinate system with the camera's center of rotation as the origin, and is photographed by the camera. A display process for displaying an image, and a designation process for designating an arbitrary point on the image displayed in the display process. Furthermore, based on the coordinate information on the captured image of the point specified in this specification process, the angle of view of the camera, and the current orientation of the camera in the absolute coordinate system determined in the current direction calculation process, the point A target direction calculation process for obtaining a direction from the origin in the absolute coordinate system corresponding to the coordinates of. In addition, a turn control process for turning the camera so that the camera faces the direction obtained in the target direction calculation process is also provided.

即ち、この第２の発明は、第１の発明に対応する方法発明である。従って、この第２の発明が実施されると、第１の発明と同様の作用が奏される。 That is, the second invention is a method invention corresponding to the first invention. Therefore, when the second invention is implemented, the same operation as the first invention is achieved.

この第２の発明の別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算過程と、当該カメラによって撮影された画像を表示する表示過程と、この表示過程で表示された画像の所定の特徴部分を抽出する抽出過程と、を具備する。さらに、抽出過程で抽出された特徴部分の撮影画像上における座標情報と、カメラの画角と、現方向演算過程で求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特徴部分の座標に対応する絶対座標系での原点からの方向を求める目標方向演算過程を、備える。そして、この目標方向演算過程で求められた方向にカメラが向くように当該カメラを旋回させる旋回制御過程をも、具備するものである。 Another aspect of the second aspect of the present invention displays a current direction calculation process for obtaining the current direction of the camera in a fixed absolute coordinate system with the origin of rotation of the camera as an origin, and an image taken by the camera. A display process, and an extraction process for extracting a predetermined feature portion of the image displayed in the display process. Furthermore, based on the coordinate information on the captured image of the feature portion extracted in the extraction process, the angle of view of the camera, and the current camera orientation in the absolute coordinate system obtained in the current direction calculation process, the feature A target direction calculation process for obtaining a direction from the origin in the absolute coordinate system corresponding to the coordinates of the portion; A turning control process for turning the camera so that the camera faces the direction obtained in the target direction calculation process is also provided.

この第２の発明のさらに別の態様は、カメラの旋回中心を原点とする固定された絶対座標系における当該カメラの現在の向きを求める現方向演算過程と、カメラによって撮影された画像を表示する表示過程と、を具備する。そして、所定の旋回指令を入力する指令入力過程をも、備える。さらに、この指令入力過程で入力された旋回指令に対応する撮影画像上の特定の座標情報と、カメラの画角と、現方向演算過程で求められた絶対座標系における現在のカメラの向きと、に基づいて、当該特定の座標に対応する絶対座標系での原点からの方向を求める目標方向演算過程を、備える。そして、この目標方向演算過程で求められた方向にカメラが向くように当該カメラを旋回させる旋回制御過程をも、具備するものである。 According to still another aspect of the second aspect of the present invention, a current direction calculation process for obtaining the current direction of the camera in a fixed absolute coordinate system with the rotation center of the camera as the origin, and an image photographed by the camera are displayed. A display process. And the command input process which inputs a predetermined turning command is also provided. Furthermore, specific coordinate information on the captured image corresponding to the turning command input in this command input process, the angle of view of the camera, the current camera orientation in the absolute coordinate system determined in the current direction calculation process, And a target direction calculation process for obtaining a direction from the origin in the absolute coordinate system corresponding to the specific coordinate. A turning control process for turning the camera so that the camera faces the direction obtained in the target direction calculation process is also provided.

上述したように、第１の発明によれば、撮影画像上で任意のポイントが指定されると、その指定されたポイントの座標が、カメラを原点とする絶対座標系での当該原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、カメラが向けられる。従って、撮影画像上で求められた移動量ΔＸｒおよびΔＹｒがそのままカメラの旋回制御に適用されるがゆえに誤差が発生するという上述した従来技術とは異なり、撮影画像上で指定された通りにカメラの向きを常に正確に制御することができる。このことは、方法発明に係る第２の発明についても、同様である。 As described above, according to the first invention, when an arbitrary point is designated on the captured image, the coordinates of the designated point are directions from the origin in the absolute coordinate system with the camera as the origin. And the camera is pointed in the direction replaced on the absolute coordinate system. Therefore, unlike the above-described conventional technique in which an error occurs because the movement amounts ΔXr and ΔYr obtained on the captured image are applied as they are to the turning control of the camera, the camera movement as specified on the captured image is performed. The direction can always be controlled accurately. The same applies to the second invention according to the method invention .

そして、別の態様によれば、撮影画像上で抽出された特徴部分の当該撮影画像上での座標が、カメラを原点とする絶対座標系での当該原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、カメラが向けられる。従って、特徴部分に対応する撮影対象に、カメラの向きを常に正確に合わせることができる。 According to another aspect , the coordinates on the photographed image of the feature portion extracted on the photographed image are replaced with directions from the origin in the absolute coordinate system with the camera as the origin. The camera is pointed in the direction replaced on the system. Therefore, the camera can always be accurately aligned with the subject to be photographed corresponding to the characteristic portion .

さらに別の態様によれば、旋回指令が入力されると、これに応答して、当該旋回指令に対応する撮影画像上の特定の座標が、カメラを原点とする絶対座標系での当該原点からの方向に置き換えられ、この絶対座標系上に置き換えられた方向に、カメラが向けられる。従って、旋回指令に従う方向に、カメラの向きを正確に合わせることができる。 According to yet another aspect , when a turning command is input, in response to this, a specific coordinate on the captured image corresponding to the turning command is determined from the origin in the absolute coordinate system with the camera as the origin. The camera is pointed in the direction replaced on the absolute coordinate system. Therefore, the direction of the camera can be accurately adjusted to the direction according to the turning command .

この発明の一実施形態について、図１に示す監視システム１０を例に挙げて説明する。 An embodiment of the present invention will be described by taking the monitoring system 10 shown in FIG. 1 as an example.

同図に示すように、この実施形態に係る監視システム１０は、監視対象エリアに設置された旋回型のカメラ２０と、監視対象エリアから離れた場所、例えば監視センタ、に設置されたパーソナルコンピュータ（以下、ＰＣと言う。）３０と、を備えている。 As shown in the figure, a monitoring system 10 according to this embodiment includes a turning camera 20 installed in a monitoring target area, and a personal computer installed in a place away from the monitoring target area, for example, a monitoring center ( (Hereinafter referred to as PC) 30.

このうち、カメラ２０は、ドーム状の窓部２２を有するドームカメラと呼ばれるものであり、当該窓部２２を真下に向けた状態で監視対象エリアの天井４０に取り付けられている。そして、図には示さないが、このカメラ２０は、窓部２２を介して被写体の光学像が入射されるズームレンズ付きのＣＣＤ（Charge Coupled Device）カメラと、このＣＣＤカメラをパン方向およびチルト方向のそれぞれに旋回可能な旋回手段としての雲台と、を内蔵している。 Among these, the camera 20 is called a dome camera having a dome-shaped window portion 22, and is attached to the ceiling 40 of the monitoring target area with the window portion 22 facing directly below. Although not shown in the figure, the camera 20 includes a CCD (Charge Coupled Device) camera with a zoom lens into which an optical image of a subject is incident through the window 22 and the CCD camera in the pan and tilt directions. And a pan head as a pivoting means capable of pivoting.

一方、ＰＣ３０は、自身にインストールされたカメラ制御プログラムを実行することで、上述したポイントビューを実現するためのカメラ制御装置として機能する。即ち、カメラ制御装置としてのＰＣ３０は、図示しない同軸ケーブルを介してカメラ２０から送られてくる映像信号に基づいて、当該カメラ２０による撮影画像を表示手段としてのディスプレイ３２に表示させる。そして、このディスプレイ３２に表示された画像上において、指示手段としてのポインティングデバイス、例えばマウス３４、によって任意のポイントＰが指定されると、ＰＣ３０は、指定されたポイントＰがディスプレイ３２の表示画面の中央Ｏに位置するようにカメラ２０の向きを制御し、詳しくはそのための制御信号を図示しない制御用ケーブルを介してカメラ２０に送る。なお、ＰＣ３０は、指令入力手段としてのキーボード３６をも、備えている。 On the other hand, the PC 30 functions as a camera control device for realizing the above-described point view by executing a camera control program installed in itself. That is, the PC 30 as a camera control device displays a photographed image by the camera 20 on a display 32 as a display unit based on a video signal sent from the camera 20 via a coaxial cable (not shown). When an arbitrary point P is designated on the image displayed on the display 32 by a pointing device as an instruction means, for example, the mouse 34, the PC 30 displays the designated point P on the display screen of the display 32. The direction of the camera 20 is controlled so as to be positioned at the center O, and specifically, a control signal for that purpose is sent to the camera 20 via a control cable (not shown). The PC 30 is also provided with a keyboard 36 as command input means.

ところで、この実施形態におけるポイントビューは、次の手順によって実現される。 Incidentally, the point view in this embodiment is realized by the following procedure.

即ち、この実施形態においては、図２に示すような機械軸座標系という概念が導入される。この機械軸座標系は、カメラ２０の旋回中心を原点Ｏｍ（ｍ；機械軸座標系を表すインデックス）とする固定された３次元の絶対座標系（ワールド座標系）であり、当該原点Ｏｍにおいて互いに直交する３つの座標軸Ｘｍ，ＹｍおよびＺｍによって形成されている。なお、Ｘｍ軸は、水平方向に延伸し、Ｙｍ軸は、垂直方向に延伸する。そして、Ｚｍ軸は、これらＸｍ軸およびＹｍ軸のそれぞれと直交すると共に、水平方向に延伸する。 That is, in this embodiment, the concept of a mechanical axis coordinate system as shown in FIG. 2 is introduced. This mechanical axis coordinate system is a fixed three-dimensional absolute coordinate system (world coordinate system) with the turning center of the camera 20 as the origin Om (m: index representing the mechanical axis coordinate system). It is formed by three orthogonal coordinate axes Xm, Ym and Zm. The Xm axis extends in the horizontal direction and the Ym axis extends in the vertical direction. The Zm axis is orthogonal to each of the Xm axis and the Ym axis and extends in the horizontal direction.

かかる機械軸座標系において、Ｚｍ軸上の正の方向が、カメラ２０の基準となる方向、言わば基準方向Ｚ０、とされる。そして、Ｙｍ軸を中心とする基準方向Ｚ０からの回転角が、パン角αとされ、Ｘｍ軸を中心とする基準方向Ｚ０からの回転角が、チルト角βとされる。つまり、パン角αおよびチルト角βによって、カメラ２０の向きが規定される。 In such a machine axis coordinate system, the positive direction on the Zm axis is a direction serving as a reference for the camera 20, that is, a reference direction Z0. The rotation angle from the reference direction Z0 centered on the Ym axis is the pan angle α, and the rotation angle from the reference direction Z0 centered on the Xm axis is the tilt angle β. That is, the orientation of the camera 20 is defined by the pan angle α and the tilt angle β.

ここで、上述のポイントＰの座標をこの機械軸座標系上で表すことができれば、当該機械軸座標系上での表記から、ポイントＰの座標に応じた新たなパン角αｎｅｗおよびチルト角βｎｅｗを求めることができ、ひいては正確なポイントビューを実現することができる、と期待される。 Here, if the coordinates of the point P described above can be expressed on the machine axis coordinate system, a new pan angle αnew and tilt angle βnew corresponding to the coordinates of the point P can be obtained from the notation on the machine axis coordinate system. It is expected that it will be possible to obtain an accurate point view.

そこで、まず、機械軸座標系において、今現在のカメラ２０の向きを表す光軸ベクトルＺｃ（ｃ；後述するカメラ座標系を表すインデックス）が、求められる。具体的には、まず、図３に示すように、基準方向Ｚ０のベクトルを、Ｙｍ軸を中心として今現在のパン角α分だけ回転させた仮の光軸ベクトルＺｃ’が、求められる。なお、この回転演算には、公知の四元数（Quaternion）が用いられる。 Therefore, first, in the machine axis coordinate system, an optical axis vector Zc (c: index representing a camera coordinate system described later) representing the current orientation of the camera 20 is obtained. Specifically, first, as shown in FIG. 3, a temporary optical axis vector Zc ′ obtained by rotating the vector in the reference direction Z0 by the current pan angle α about the Ym axis is obtained. A known quaternion is used for this rotation calculation.

即ち、或る四元数Ｑは、次の数１によって表される。 That is, a certain quaternion Q is represented by the following equation 1.

この数１において、ｔは、実部であり、ｘ，ｙおよびｚは、虚部である。また、この四元数Ｑは、Ｖ＝（ｘ，ｙ，ｚ）というベクトルを用いることによって、次の数２で表すこともできる。 In Equation 1, t is a real part, and x, y, and z are imaginary parts. Further, the quaternion Q can also be expressed by the following equation 2 by using a vector V = (x, y, z).

ここで、基準方向Ｚ０をベクトルで表すと、Ｚ０＝（０，０，１）となる。そして、この基準ベクトルＺ０を数２に適用すると、当該基準ベクトルＺ０を含む四元数Ｑｚ０は、次の数３のように表される。 Here, when the reference direction Z0 is represented by a vector, Z0 = (0, 0, 1). When this reference vector Z0 is applied to Equation 2, the quaternion Qz0 including the reference vector Z0 is expressed as the following Equation 3.

一方、Ｙｍ軸の方向ベクトルＶｙｍは、Ｖｙｍ＝（０，１，０）と表すことができる。そして、このＹｍ軸ベクトルＶｙｍを中心とする今現在のパン角α分の回転四元数Ｑｙｍは、次の数４によって求められる。 On the other hand, the direction vector Vym of the Ym axis can be expressed as Vym = (0, 1, 0). Then, the current rotation quaternion Qym for the pan angle α around the Ym-axis vector Vym is obtained by the following equation (4).

そして、この回転四元数Ｑｙｍと共役な四元数Ｑｙｍ^＊を用いて、次の数５を計算することで、Ｙｍ軸ベクトルＶｙｍを中心として上述の数３の四元数Ｑｚ０を今現在のパン角α分だけ回転させた四元数Ｑｚｃ’が、求められる。 Then, by using the quaternion Qym ^* conjugate with the rotation quaternion Qym, the following equation 5 is calculated to obtain the quaternion Qz0 of the above equation 3 around the Ym-axis vector Vym. A quaternion Qzc ′ rotated by the pan angle α is obtained.

この数５によって求められた四元数Ｑｚｃ’の虚部が、Ｙｍ軸を中心として基準ベクトルＺ０を今現在のパン角α分だけ回転させた仮の光軸ベクトルＺｃ’となる。このように四元数によれば、３次元の数値を一纏めに取り扱うことができるので、当該３次元の回転計算を効率的に行うことができる。 The imaginary part of the quaternion Qzc ′ obtained by Equation 5 becomes a temporary optical axis vector Zc ′ obtained by rotating the reference vector Z0 about the Ym axis by the current pan angle α. As described above, according to the quaternion, three-dimensional numerical values can be handled together, so that the three-dimensional rotation calculation can be performed efficiently.

続いて、図４に示すように、仮の光軸ベクトルＺｃ’がＸｃ軸を中心として今現在のチルト角β分だけ回転される。これによって、今現在の光軸ベクトルＺｃが求められる。なお、ここで言うＸｃ軸とは、カメラ２０から見た空間の座標系、いわゆるカメラ座標系（ビュー座標系）において、光軸ベクトルＺｃを垂直方向に回転させる際に中心となる概念的な軸である。このＸｃ軸は、光軸ベクトルＺｃに対して直角を成し、かつ絶対座標系のＸｍ軸−Ｚｍ軸平面に沿って延伸する。また、これらＸｃ軸および光軸ベクトルＺｃのそれぞれと直角を成すように、後述するＹｃ軸も概念的に存在する。 Subsequently, as shown in FIG. 4, the temporary optical axis vector Zc ′ is rotated by the current tilt angle β about the Xc axis. Thus, the current optical axis vector Zc is obtained. The Xc axis referred to here is a conceptual axis that becomes the center when the optical axis vector Zc is rotated in the vertical direction in a space coordinate system viewed from the camera 20, that is, a so-called camera coordinate system (view coordinate system). It is. The Xc axis is perpendicular to the optical axis vector Zc and extends along the Xm axis-Zm axis plane of the absolute coordinate system. Further, a Yc axis, which will be described later, also conceptually exists so as to form a right angle with each of the Xc axis and the optical axis vector Zc.

さて、かかる仮の光軸ベクトルＺｃ’から今現在の光軸ベクトルＺｃへの回転演算にも、上述した四元数が用いられる。即ち、まず、Ｘｃ軸の方向ベクトルＶｘｃが、求められる。このＸｃ軸ベクトルＶｘｃは、Ｙｍ軸ベクトルＶｙｍおよび仮の光軸ベクトルＺｃ’のそれぞれと直角であるので、次の数６によって求めることができる。 The quaternion described above is also used for the rotation calculation from the temporary optical axis vector Zc 'to the current optical axis vector Zc. That is, first, the direction vector Vxc of the Xc axis is obtained. Since this Xc-axis vector Vxc is perpendicular to each of the Ym-axis vector Vym and the provisional optical axis vector Zc ′, it can be obtained by the following equation (6).

なお、この数６において、演算子“×”は、ベクトルの外積を表す。そして、この数６によって求められたＸｃ軸ベクトルＶｘｃを中心とする今現在のチルト角β分の回転四元数Ｑｘｃが、次の数７によって求められる。 In Equation 6, the operator “x” represents the outer product of vectors. Then, the current rotation quaternion Qxc corresponding to the tilt angle β centered on the Xc-axis vector Vxc obtained by Equation 6 is obtained by the following Equation 7.

そして、この回転四元数Ｑｘｃと共役な四元数Ｑｘｃ^＊を用いて、次の数８を計算することで、Ｘｃ軸ベクトルＶｘｃを中心として仮の光軸ベクトルＺｃ’を含む四元数Ｑｚｃ’を今現在のチルト角β分だけ回転させた四元数Ｑｚｃが、求められる。 Then, by using the quaternion Qxc ^* conjugate with the rotation quaternion Qxc, the following equation 8 is calculated, whereby the quaternion Qzc including the temporary optical axis vector Zc ′ around the Xc axis vector Vxc. A quaternion Qzc obtained by rotating 'by the current tilt angle β is obtained.

この数８によって求められた四元数Ｑｚｃの虚部が、今現在の光軸ベクトルＺｃとなる。従って、図４に符号５０で示すように、この光軸ベクトルＺｃが指す方向を中心とし、かつ今現在のカメラ２０の画角に応じた範囲が、当該今現在のカメラ２０の視野となる。そして、この視野５０の撮影画像が、ディスプレイ３２に表示される。 The imaginary part of the quaternion Qzc obtained by Equation 8 becomes the current optical axis vector Zc. Accordingly, as indicated by reference numeral 50 in FIG. 4, a range corresponding to the angle of view of the current camera 20 centering on the direction indicated by the optical axis vector Zc is the current field of view of the camera 20. Then, the captured image of the visual field 50 is displayed on the display 32.

ここで、このディスプレイ３２に表示されている撮影画像上において、図５に示すように、任意のポイントＰが指定されると、今度は、このポイントＰの座標に対応する機械軸座標系上での新たなベクトル、言わば目標ベクトルＺｎｅｗが、求められる。 Here, when an arbitrary point P is designated on the captured image displayed on the display 32 as shown in FIG. 5, this time, on the machine axis coordinate system corresponding to the coordinates of the point P. A new vector, that is, a target vector Znew, is obtained.

具体的には、まず、撮影画像上において、当該撮影画像の中心ＯからポイントＰまでの水平方向の距離ｄｕが、画素数換算で求められる。そして、Ｙｃ軸を中心として今現在の光軸ベクトルＺｃを当該距離ｄｕ分だけ回転させるのに必要な回転角度θが、求められる。なお、この水平方向への回転角度は、次の数９によって求められる。 Specifically, first, on the captured image, a horizontal distance du from the center O of the captured image to the point P is obtained in terms of the number of pixels. Then, the rotation angle θ required to rotate the current optical axis vector Zc about the Yc axis by the distance du is obtained. The rotation angle in the horizontal direction is obtained by the following equation (9).

この数９において、Ｆａは、カメラ２０の今現在の水平方向の画角であり、Ｎａは、同水平方向の全画素数である。なお、これら水平方向の画角Ｆａおよび全画素数Ｎａに代えて、垂直方向の画角Ｆｂおよび全画素数Ｎｂを用いてもよい。 In Equation 9, Fa is the current horizontal angle of view of the camera 20, and Na is the total number of pixels in the horizontal direction. Instead of the horizontal field angle Fa and the total pixel number Na, the vertical field angle Fb and the total pixel number Nb may be used.

さらに、今現在のＹｃ軸の方向ベクトルＶｙｃが、求められる。このＹｃ軸ベクトルＶｙｃは、今現在の光軸ベクトルＺｃおよびＸｃ軸ベクトルＶｘｃのそれぞれと直角であるので、次の数１０によって求めることができる。 Furthermore, the current direction vector Vyc of the Yc axis is obtained. Since this Yc-axis vector Vyc is perpendicular to each of the current optical axis vector Zc and the Xc-axis vector Vxc, it can be obtained by the following equation (10).

そして、この数１０で求められたＹｃ軸を中心として今現在の光軸ベクトルＺｃを上述の数９で求められた回転角度θ分だけ回転させたベクトル、言わば仮の目標ベクトルＺｎｅｗ’が、求められる。これには、まず、Ｙｃ軸ベクトルＶｙｃを中心とする角度θ分の回転四元数Ｑｙｃが、次の数１１によって求められる。 Then, a vector obtained by rotating the present optical axis vector Zc by the rotation angle θ obtained by the above-mentioned equation 9 centering on the Yc axis obtained by the equation 10 is obtained as a temporary target vector Znew ′. It is done. For this purpose, first, a rotation quaternion Qyc corresponding to an angle θ centered on the Yc-axis vector Vyc is obtained by the following equation (11).

そして、この回転四元数Ｑｙｃと共役な四元数Ｑｙｃ^＊を用いて、次の数１２を計算することで、Ｙｃ軸ベクトルＶｙｃを中心として光軸ベクトルＺｃを含む四元数Ｑｚｃを角度θ分だけ回転させた四元数Ｑｚｎｅｗ’が、求められる。 Then, by using the quaternion Qyc ^* conjugate with the rotation quaternion Qyc, the following equation 12 is calculated, and the quaternion Qzc including the optical axis vector Zc with the Yc axis vector Vyc as the center is converted into an angle θ. A quaternion Qznew ′ rotated by an amount is obtained.

この数１２によって求められた四元数Ｑｚｎｅｗ’の虚部が、仮の目標ベクトルＺｎｅｗ’となる。 The imaginary part of the quaternion Qznew 'obtained by the equation 12 becomes a temporary target vector Znew'.

次に、撮影画像の中心ＯからポイントＰまでの垂直方向の距離ｄｖが、画素数換算で求められる。そして、Ｘｃ軸を中心として仮の目標ベクトルＺｎｅｗ’を当該距離ｄｖ分だけ回転させるのに必要な回転角度ρが、求められる。なお、この垂直方向への回転角度は、上述の数９と同様、次の数１３によって求められる。 Next, a vertical distance dv from the center O of the captured image to the point P is obtained in terms of the number of pixels. Then, a rotation angle ρ necessary for rotating the temporary target vector Znew 'about the Xc axis by the distance dv is obtained. The rotation angle in the vertical direction is obtained by the following equation 13 as in the above equation 9.

そして、Ｘｃ軸ベクトルＶｘｃを中心とする角度ρ分の回転四元数Ｑｘｃ’が、次の数１４によって求められる。 Then, a rotation quaternion Qxc ′ corresponding to an angle ρ centered on the Xc-axis vector Vxc is obtained by the following equation (14).

さらに、この回転四元数Ｑｘｃ’と共役な四元数Ｑｘｃ’^＊を用いて、次の数１５を計算することで、Ｘｃ軸ベクトルＶｘｃを中心として仮の目標ベクトルＺｎｅｗ’を含む四元数Ｑｚｎｅｗ’を角度ρ分だけ回転させた四元数Ｑｚｎｅｗが、求められる。 Further, by using the quaternion Qxc ′ ^* conjugate with the rotation quaternion Qxc ′, the following equation 15 is calculated, and the quaternion including the temporary target vector Znew ′ around the Xc axis vector Vxc. A quaternion Qznew obtained by rotating Qznew ′ by an angle ρ is obtained.

この数１５によって求められた四元数Ｑｚｎｅｗの虚部が、目標ベクトルＺｎｅｗとなる。 The imaginary part of the quaternion Qznew obtained by this equation 15 becomes the target vector Znew.

そして、この目標ベクトルＺｎｅｗが、機械軸座標系において基準ベクトルＺ０からどれくらいの角度を成すのかによって、新たなパン角αｎｅｗおよびパン角βｎｅｗが、求められる。 Then, a new pan angle αnew and a pan angle βnew are obtained depending on how much the target vector Znew forms from the reference vector Z0 in the machine axis coordinate system.

具体的には、図６に示すように、目標ベクトルＺｎｅｗがＸｍ軸−Ｚｍ軸平面に投射されることによって形成されるベクトルＺｎｅｗ”を考える。この場合、新たなパン角αｎｅｗは、当該投射ベクトルＺｎｅｗ”と基準ベクトルＺ０とが成す角になる。従って、目標ベクトルＺｎｅｗが、Ｚｎｅｗ＝（ｘｎ，ｙｎ，ｚｎ）であるとすると、投射ベクトルＺｎｅｗ”は、Ｚｎｅｗ”＝（ｘｎ，０，ｚｎ）と表すことができるので、新たなパン角αｎｅｗは、次の数１６によって求められる。 Specifically, as shown in FIG. 6, a vector Znew "formed by projecting the target vector Znew onto the Xm-axis-Zm-axis plane is considered. In this case, the new pan angle αnew is the projection vector. This is the angle formed by Znew "and the reference vector Z0. Therefore, if the target vector Znew is Znew = (xn, yn, zn), the projection vector Znew "can be expressed as Znew" = (xn, 0, zn), so that the new pan angle αnew is The following equation 16 is obtained.

一方、新たなチルト角βｎｅｗは、図７に示すように、目標ベクトルＺｎｅｗと上述の投射ベクトルＺｎｅｗ”とが成す角になるので、次の数１７によって求められる。 On the other hand, the new tilt angle βnew is an angle formed by the target vector Znew and the above-described projection vector Znew ″ as shown in FIG.

このようにして新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められると、これら新たなパン角αｎｅｗおよびチルト角βｎｅｗに基づいて、カメラ２０のパン角αおよびチルト角βが制御される。これによって、カメラ２０のパン角αおよびチルト角βは、それぞれ新たなパン角αｎｅｗおよびチルト角βｎｅｗに設定され、当該カメラ２０（光軸）の向きが指定されたポイントＰの座標に対応する方向に向けられる。 When the new pan angle αnew and tilt angle βnew are obtained in this way, the pan angle α and tilt angle β of the camera 20 are controlled based on the new pan angle αnew and tilt angle βnew. As a result, the pan angle α and the tilt angle β of the camera 20 are set to the new pan angle αnew and the tilt angle βnew, respectively, and the direction corresponding to the coordinates of the point P at which the direction of the camera 20 (optical axis) is designated. Directed to.

かかる一連の手順によりポイントビューを実現するために、ＰＣ３０（厳密にはＰＣ３０内のＣＰＵ；Central Processing Unit）は、上述したカメラ制御プログラムに従って、次のように動作する。 In order to realize the point view by such a series of procedures, the PC 30 (strictly, the CPU in the PC 30; Central Processing Unit) operates as follows according to the camera control program described above.

即ち、図８を参照して、撮影画像上で任意のポイントＰが指定されると、ＰＣ３０は、ステップＳ１に進む。そして、このステップＳ１において、上述した数９に基づいて、当該ポイントＰにカメラ２０を向けるためのカメラ座標系における水平方向の必要回転角度θを、算出する。なお、この必要回転角度θの算出には、今現在の光軸ベクトルＺｃが必要となるが、ＰＣ３０は、カメラ制御プログラムを起動した直後に、まず、上述した数３〜数８に基づいて、当該光軸ベクトルＺｃを算出する。 That is, referring to FIG. 8, when an arbitrary point P is designated on the captured image, the PC 30 proceeds to step S1. Then, in step S1, a necessary rotation angle θ in the horizontal direction in the camera coordinate system for directing the camera 20 to the point P is calculated based on Equation 9 described above. The calculation of the necessary rotation angle θ requires the current optical axis vector Zc, but the PC 30 first starts immediately after starting the camera control program based on the above equations 3 to 8. The optical axis vector Zc is calculated.

このステップＳ１の実行後、ＰＣ３０は、ステップＳ３に進む。そして、このステップＳ３において、上述した数１０〜数１２に基づいて、仮の目標ベクトルＺｎｅｗ’を算出する。 After executing step S1, the PC 30 proceeds to step S3. In step S3, a temporary target vector Znew 'is calculated based on the above-described equations 10 to 12.

さらに、ＰＣ３０は、ステップＳ５に進み、上述した数１３に基づいて、ポイントＰにカメラ２０を向けるためのカメラ座標系における垂直方向の必要回転角度ρを、算出する。そして、ステップＳ５の実行後、ステップＳ７に進み、上述した数１４および数１５に基づいて、目標ベクトルＺｎｅｗを算出する。 Further, the PC 30 proceeds to step S5, and calculates the necessary rotation angle ρ in the vertical direction in the camera coordinate system for directing the camera 20 to the point P based on the above-described equation 13. And after execution of step S5, it progresses to step S7 and calculates target vector Znew based on the formula 14 and the formula 15 mentioned above.

そしてさらに、ＰＣ３０は、ステップＳ９に進み、数１６に基づいて新たなパン角αｎｅｗを算出した後、ステップＳ１１に進む。そして、このステップＳ１１において、数１７に基づいて新たなチルト角βｎｅｗを算出した後、ステップＳ１３に進む。 Further, the PC 30 proceeds to step S9, calculates a new pan angle αnew based on Expression 16, and then proceeds to step S11. In step S11, a new tilt angle βnew is calculated based on Equation 17, and then the process proceeds to step S13.

ステップＳ１３において、ＰＣ３０は、上述のステップＳ９で算出された新たなパン角αｎｅｗに基づいて、カメラ２０のパン角αを制御し、詳しくはそのための制御信号をカメラ２０に送る。これによって、カメラ２０のパン角αが、新たなパン角αｎｅｗに設定される。 In step S <b> 13, the PC 30 controls the pan angle α of the camera 20 based on the new pan angle αnew calculated in step S <b> 9 described above, and sends a control signal for that purpose to the camera 20 in detail. As a result, the pan angle α of the camera 20 is set to a new pan angle αnew.

そして、ＰＣ３０は、ステップＳ１５に進み、上述のステップＳ１１で算出された新たなチルト角βｎｅｗに基づいて、カメラ２０のチルト角βを制御し、詳しくはそのための制御信号をカメラ２０に送る。これによって、カメラ２０のチルト角βが、新たなチルト角βｎｅｗに設定される。 Then, the PC 30 proceeds to step S15 to control the tilt angle β of the camera 20 based on the new tilt angle βnew calculated in step S11 described above, and sends a control signal for that purpose to the camera 20 in detail. As a result, the tilt angle β of the camera 20 is set to a new tilt angle βnew.

このステップＳ１５の実行後、ＰＣ３０は、ステップＳ１７に進み、上述のステップＳ７で算出された目標ベクトルＺｎｅｗを、現在の光軸ベクトルＺｃとして設定する。そして、このステップＳ１７の実行をもって、一連（１回）のポイントビューを終了する。 After executing step S15, the PC 30 proceeds to step S17, and sets the target vector Znew calculated in step S7 described above as the current optical axis vector Zc. Then, with the execution of step S17, a series of (one time) point views are ended.

以上のように、この実施形態におけるポイントビューによれば、撮影画像上で指定されたポイントＰの座標が、カメラ２０を原点Ｏｍとする機械軸座標系において目標ベクトルＺｎｅｗに変換され、この目標ベクトルＺｎｅｗに基づいて新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められる。そして、この求められた新たなパン角αｎｅｗおよびチルト角βｎｅｗに基づいて、実際のパン角αおよびチルト角βが制御される。従って、撮影画像という２次元空間で求められた移動量ΔＸｒおよびΔＹｒがそのままカメラの旋回制御という３次元空間での制御に適用されるがゆえに誤差が生じていた上述した従来技術とは異なり、撮影画像上で指定されたポイントＰの座標に対応する方向にカメラ２０を正確に向けることができる。 As described above, according to the point view in this embodiment, the coordinates of the point P designated on the captured image are converted to the target vector Znew in the mechanical axis coordinate system with the camera 20 as the origin Om. A new pan angle αnew and tilt angle βnew are obtained based on Znew. Based on the obtained new pan angle αnew and tilt angle βnew, the actual pan angle α and tilt angle β are controlled. Therefore, unlike the above-described conventional technique in which an error occurs because the movement amounts ΔXr and ΔYr obtained in the two-dimensional space called the photographed image are directly applied to the control in the three-dimensional space such as the turning control of the camera. The camera 20 can be accurately pointed in the direction corresponding to the coordinates of the point P designated on the image.

特に、上述の従来技術においては、チルト角が大きくなるに連れて誤差が顕著になるのに対して、この実施形態では、そのような不都合は生じない。従って、この実施形態で説明した監視システム１０のように、カメラ２０が天井４０等の高所に取り付けられ、そこから下方に向けられるような用途に、この発明は、極めて有効である。 In particular, in the above-described prior art, an error becomes conspicuous as the tilt angle increases, but in this embodiment, such inconvenience does not occur. Therefore, like the monitoring system 10 described in this embodiment, the present invention is extremely effective for an application in which the camera 20 is mounted at a high place such as the ceiling 40 and directed downward therefrom.

なお、この実施形態においては、ポイントＰの指定のみならず、例えば図９（ａ）に示すように、ディスプレイ３２に表示された撮影画像上で矩形のエリア６０を指定することもできる。そして、このようにエリア６０が指定された場合には、同図（ｂ）に示すように、当該指定されたエリア６０の撮影画像がディスプレイ３２の表示画面（厳密には当該撮像画像を表示させるための領域）一杯に映し出されるように、カメラ２０の向きおよびズームレンズの倍率が、制御される。 In this embodiment, not only the point P can be specified, but also a rectangular area 60 can be specified on the captured image displayed on the display 32 as shown in FIG. 9A, for example. When the area 60 is designated in this way, as shown in FIG. 5B, the captured image of the designated area 60 is displayed on the display screen of the display 32 (strictly, the captured image is displayed. The direction of the camera 20 and the magnification of the zoom lens are controlled so that the image is fully projected.

具体的には、上述したマウス３４の操作（例えば左ボタンのクリックおよびドラッグ・アンド・ドロップ操作）によって、図１０（ａ）に示すように、撮影画像上の任意の２点ＡおよびＢが指定される、とする。すると、指定されたこれらの２点ＡおよびＢを対角とする矩形のエリア６０が、一時的に設定される。そして、このエリア６０の特定の頂点、例えば左上の頂点Ａ、を基点として、同図（ｂ）に示すように、表示画面（カメラ２０の視野）と同じ縦横比であり、かつ当該エリア６０内に一杯（キリギリ）に入る、矩形の目標ズームエリア６２が、一時的に設定される。さらに、同図（ｃ）に示すように、目標ズームエリア６２の中心点Ｃが、求められる。そして、この中心点Ｃが上述のポイントＰとして取り扱われる。つまり、このポイントＰ（Ｃ）の座標に対応する方向にカメラ２０が向くように、上述と同じ要領で新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められ、実際のパン角αおよびチルト角βが変更される。そしてさらに、目標ズームエリア６２の大きさと表示画面の大きさとの比率が求められ、この比率に応じてズームレンズの倍率が変更され、いわゆるズームインされる。なお、このズームインが完了すると、エリア６０および目標ズームエリア６２の設定が、解除される。また、マウス３４の右ボタンがクリックされると、ズームレンズの焦点距離が最短となり、言わば最大限にズームアウトされる。そして、改めてエリア６０の指定が可能となる。 Specifically, as shown in FIG. 10A, two arbitrary points A and B on the photographed image are designated by the above-described operation of the mouse 34 (for example, click of the left button and drag and drop operation). Suppose that Then, a rectangular area 60 whose diagonals are these two designated points A and B is temporarily set. Then, with the specific vertex of this area 60, for example, the top left vertex A, as the base point, the aspect ratio is the same as that of the display screen (field of view of the camera 20) as shown in FIG. A rectangular target zoom area 62, which is completely filled, is temporarily set. Furthermore, as shown in FIG. 5C, the center point C of the target zoom area 62 is obtained. The center point C is handled as the above-described point P. That is, the new pan angle αnew and tilt angle βnew are obtained in the same manner as described above so that the camera 20 faces in the direction corresponding to the coordinates of the point P (C), and the actual pan angle α and tilt angle β are obtained. Be changed. Further, the ratio between the size of the target zoom area 62 and the size of the display screen is obtained, and the magnification of the zoom lens is changed according to this ratio, so-called zoom-in is performed. When this zoom-in is completed, the settings of the area 60 and the target zoom area 62 are cancelled. When the right button of the mouse 34 is clicked, the focal length of the zoom lens becomes the shortest, that is, the zoom out is maximized. Then, the area 60 can be designated again.

ここでは、目標ズームエリア６２の中点Ｃが、ポイントＰとして取り扱われることとしたが、これに限らない。例えば、エリア６０の中点や、当該エリア６０の頂点ＡおよびＢのいずれかが、当該ポイントＰとして取り扱われることとしてもよい。また、目標ズームエリア６２は、頂点Ａ以外の頂点、例えば頂点Ｂを、基点として設定されてもよいし、エリア６０の中央に設定されてもよい。 Here, the midpoint C of the target zoom area 62 is handled as the point P, but the present invention is not limited to this. For example, the midpoint of the area 60 or any one of the vertices A and B of the area 60 may be handled as the point P. In the target zoom area 62, a vertex other than the vertex A, for example, the vertex B may be set as a base point, or may be set at the center of the area 60.

さらに、この実施形態においては、上述したキーボード３６の操作によって、カメラ２０を所定量だけ旋回させることもできる。 Furthermore, in this embodiment, the camera 20 can be turned by a predetermined amount by operating the keyboard 36 described above.

例えば、キーボード３６を構成する上向き矢印（↑）キーが押下されると、図１１（ａ）に示すように、撮影画像の上側端縁の中点Ｐ１がポイントＰとして指定されたものと、認識される。そして、このポイントＰ（Ｐ１）の座標に対応する方向にカメラ２０が向くように、上述と同じ要領で新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められ、実際のパン角αおよびチルト角βが変更される。この結果、当該ポイントＰ（Ｐ１）がディスプレイ３２の表示画面の中央Ｏに位置するようになる。換言すれば、カメラ２０の視野が、その上方に向かって当該視野の半分だけスライドした状態になる。 For example, when the upward arrow (↑) key constituting the keyboard 36 is pressed, it is recognized that the middle point P1 of the upper edge of the photographed image is designated as the point P as shown in FIG. Is done. Then, the new pan angle αnew and tilt angle βnew are obtained in the same manner as described above so that the camera 20 faces in the direction corresponding to the coordinates of the point P (P1), and the actual pan angle α and tilt angle β are obtained. Be changed. As a result, the point P (P1) is positioned at the center O of the display screen of the display 32. In other words, the field of view of the camera 20 is slid upward by half of the field of view.

また、キーボード３６の右向き矢印（→）キーが押下されると、図１１（ｂ）に示すように、撮影画像の右側端縁の中点Ｐ２がポイントＰとして指定されたものと、認識される。そして、このポイントＰ（Ｐ２）の座標に対応する方向にカメラ２０が向くように、上述と同じ要領でパン角αおよびチルト角βが制御される。この結果、当該ポイントＰ（Ｐ２）が表示画面の中央Ｏに位置するようになり、換言すれば、カメラ２０の視野が、その右横方に向かって当該視野の半分だけスライドした状態になる。 When the right arrow (→) key on the keyboard 36 is pressed, it is recognized that the midpoint P2 of the right edge of the photographed image is designated as the point P as shown in FIG. 11B. . Then, the pan angle α and the tilt angle β are controlled in the same manner as described above so that the camera 20 faces in the direction corresponding to the coordinates of the point P (P2). As a result, the point P (P2) is positioned at the center O of the display screen. In other words, the field of view of the camera 20 is slid by half of the field of view toward the right side.

さらに、キーボード３６の下向き矢印（↓）キーが押下されると、図１１（ｃ）に示すように、撮影画像の下側端縁の中点Ｐ３がポイントＰとして指定されたものと、認識される。そして、上述と同じ要領でパン角αおよびチルト角βが制御され、この結果、カメラ２０の視野が、その下方に向かって当該視野の半分だけスライドした状態になる。 Furthermore, when the down arrow (↓) key of the keyboard 36 is pressed, it is recognized that the midpoint P3 of the lower edge of the photographed image is designated as the point P as shown in FIG. The Then, the pan angle α and the tilt angle β are controlled in the same manner as described above. As a result, the field of view of the camera 20 is slid downward by half of the field of view.

そしてさらに、キーボード３６の左向き矢印（←）キーが押下されると、図１１（ｄ）に示すように、撮影画像の左側端縁の中点Ｐ４がポイントＰとして指定されたものと認識され、上述と同じ要領でパン角αおよびチルト角βが制御される。この結果、カメラ２０の視野が、その左横方に向かって当該視野の半分だけスライドした状態になる。 Further, when the left arrow (←) key of the keyboard 36 is pressed, it is recognized that the middle point P4 of the left edge of the photographed image is designated as the point P, as shown in FIG. The pan angle α and tilt angle β are controlled in the same manner as described above. As a result, the visual field of the camera 20 is slid by half of the visual field toward the left lateral direction.

このように、この実施形態によれば、マウス３４の操作のみならず、キーボード３６（矢印キー）の操作によっても、カメラ２０を旋回させることができるので、利便性が向上する。そして、この場合も、機械軸座標系に準拠した正確な旋回制御が行われる。 Thus, according to this embodiment, since the camera 20 can be turned not only by the operation of the mouse 34 but also by the operation of the keyboard 36 (arrow key), convenience is improved. Also in this case, accurate turning control based on the machine axis coordinate system is performed.

なお、ここでは、撮影画像の各端縁の中点Ｐ１〜Ｐ４が、ポイントＰとして認識されることとしたが、これに限らない。例えば、図１２（ａ）に示すように、撮影画像の各端縁よりも内側に、各点Ｐ１〜Ｐ４が設定されてもよい。このようにすれば、１回のキー操作に対するカメラ２０の旋回量（旋回角度）が、図１１の場合よりも小さくなる。 Here, the midpoints P1 to P4 of each edge of the captured image are recognized as the points P, but the present invention is not limited to this. For example, as illustrated in FIG. 12A, the points P <b> 1 to P <b> 4 may be set inside each edge of the captured image. In this way, the turning amount (turning angle) of the camera 20 with respect to one key operation is smaller than in the case of FIG.

また、図１２（ｂ）に示すように、撮像画像から外れた位置に、各点Ｐ１〜Ｐ４が設定されてもよい。このようにすれば、１回のキー操作に対するカメラ２０の旋回量が、図１１の場合よりも大きくなる。なお、このように撮影画像外に各点Ｐ１〜Ｐ４が設定された場合には、当該撮影画像よりも大きい面積の２次元座標系上で、当該各点Ｐ１〜Ｐ４の座標が求められる。そして、この２次元座標系上での座標が、上述した機械軸座標系での目標ベクトルＺｎｅｗに置き換えられ、この目標ベクトルＺｎｅｗに基づいて新たなパン角αｎｅｗおよびチルト角βｎｅｗが求められ、ひいては実際のパン角αおよびチルト角βが制御される。 Moreover, as shown in FIG.12 (b), each point P1-P4 may be set in the position remove | deviated from the captured image. In this way, the turning amount of the camera 20 with respect to one key operation becomes larger than in the case of FIG. When the points P1 to P4 are set outside the captured image in this way, the coordinates of the points P1 to P4 are obtained on a two-dimensional coordinate system having a larger area than the captured image. Then, the coordinates on the two-dimensional coordinate system are replaced with the target vector Znew in the mechanical axis coordinate system described above, and a new pan angle αnew and tilt angle βnew are obtained based on the target vector Znew. The pan angle α and tilt angle β are controlled.

さらに、図１２（ｃ）に示すように、撮影画像上または当該撮影画像外の任意の位置に、各点Ｐ１〜Ｐ４が設定されてもよい。 Further, as shown in FIG. 12C, the points P1 to P4 may be set at arbitrary positions on the photographed image or outside the photographed image.

そして、矢印キー以外のキーが押下されたときに、上述の如くカメラ２０が旋回するようにしてもよい。つまり、矢印キー以外のキーを、各点Ｐ１〜Ｐ４に対応させて（割り当てて）もよい。 Then, as described above, the camera 20 may be turned when a key other than the arrow key is pressed. That is, keys other than the arrow keys may be associated (assigned) to the points P1 to P4.

また、４つの点Ｐ１〜Ｐ４に限らず、これよりも多数の点、または少数の点を、設定可能としてもよい。 Further, the number of points is not limited to the four points P1 to P4, and a larger number or a smaller number of points may be set.

さらに、矢印キー等の操作キーを模擬した操作子をディスプレイ３２に表示させ、このディスプレイ３２上の操作子がマウス３４によって操作（クリック）されたときに、カメラ２０が旋回するようにしてもよい。 Further, an operation element that simulates an operation key such as an arrow key may be displayed on the display 32, and the camera 20 may be turned when the operation element on the display 32 is operated (clicked) by the mouse 34. .

そしてさらに、音声認識技術を利用して、カメラ２０が旋回するようにしてもよい。即ち、音声入力手段としてのマイクロホンを設け、このマイクロホンに、例えば「上」という音声が入力されたときに、カメラ２０が上方に所定量だけ旋回し、「右」という音声が入力されたときに、カメラ２０が右方に所定量だけ旋回するようにする。そして、「下」という音声がマイクロホンに入力されたときに、カメラが下方に所定量だけ旋回し、「左」という音声が入力されたときに、カメラが左方に所定量だけ旋回するようにしてもよい。勿論、これ以外の音声（文言）の入力に応答して、カメラが適宜旋回するようにしてもよい。 Further, the camera 20 may be turned using a voice recognition technique. That is, a microphone is provided as a voice input means, and when a voice “up”, for example, is input to the microphone, the camera 20 turns upward by a predetermined amount and a voice “right” is input. The camera 20 is turned to the right by a predetermined amount. When the “down” voice is input to the microphone, the camera turns downward by a predetermined amount, and when the “left” voice is input, the camera turns leftward by a predetermined amount. May be. Of course, the camera may be rotated as appropriate in response to input of other voices (words).

また、この実施形態では、いわゆる自動追尾機能を付加することもできる。 In this embodiment, a so-called automatic tracking function can be added.

即ち、この自動追尾機能によれば、図１３（ａ）に示すように、撮影画像上で移動する被写体像７０が存在するとき、この被写体像７０が、特徴抽出処理の１つである公知の移動体検出処理によって捕捉される。そして、捕捉された被写体像７０が、同図（ｂ）に示すように、表示画面の中央Ｏに位置するように、上述のポイントビューによってカメラ２０の向きが制御される。 That is, according to this automatic tracking function, as shown in FIG. 13A, when there is a subject image 70 that moves on the captured image, this subject image 70 is a known feature extraction process. Captured by the moving object detection process. Then, the orientation of the camera 20 is controlled by the above-described point view so that the captured subject image 70 is positioned at the center O of the display screen as shown in FIG.

なお、ここでは、図１４に示すように、被写体像（移動体像）７０全体の重心Ｇが求められ、この重心Ｇがポイントとして認識される例を示す。勿論、重心Ｇに限らず、その他の適当な点が、ポイントＰとして認識されるようにしてもよい。 Here, as shown in FIG. 14, an example in which the center of gravity G of the entire subject image (moving body image) 70 is obtained and the center of gravity G is recognized as a point is shown. Of course, not only the center of gravity G but also other appropriate points may be recognized as the point P.

さらに、移動体検出処理に代えて、他の特徴抽出処理を採用してもよい。例えば、人間の顔に相当する部分を検出する顔検出処理や、所定の色を検出する色検出処理、或いは所定の形状を検出する形状検出処理等の、当該移動体検出処理以外の特徴抽出処理を採用してもよい。このようにすれば、かかる特徴抽出処理によって抽出された部分に対応する方向に、自動的にカメラ２０が向けられる。 Furthermore, instead of the moving object detection process, another feature extraction process may be employed. For example, feature extraction processing other than the moving object detection processing, such as face detection processing for detecting a portion corresponding to a human face, color detection processing for detecting a predetermined color, or shape detection processing for detecting a predetermined shape May be adopted. In this way, the camera 20 is automatically pointed in the direction corresponding to the portion extracted by the feature extraction process.

この実施形態で説明した内容は、飽くまでこの発明を実現するための一例であり、この発明の範囲を限定するものではない。 The content described in this embodiment is an example for realizing the present invention until it is tired, and does not limit the scope of the present invention.

例えば、カメラ２０は、ドームカメラに限らず、いわゆる固定カメラと雲台とを組み合わせたものでもよい。また、雲台を含むカメラは、パンのみ可能なもの、或いはチルトのみ可能なものであってもよい。 For example, the camera 20 is not limited to a dome camera, and may be a combination of a so-called fixed camera and a pan head. The camera including the pan head may be a camera that can only pan or tilt.

そして、ＰＣ３０は、インターネット等の電気通信回線（ネットワーク）を介して、カメラ２０を制御可能としてもよい。さらに、ＰＣ３０に代えて、専用のコントローラを用いてもよい。 The PC 30 may be able to control the camera 20 via an electric communication line (network) such as the Internet. Further, a dedicated controller may be used instead of the PC 30.

また、マウス３４に代えて、ペンタブレットやジョイスティック等の当該マウス３４以外のポインティングデバイスを採用してもよい。 Further, instead of the mouse 34, a pointing device other than the mouse 34 such as a pen tablet or a joystick may be employed.

さらに、ディスプレイ３２として、いわゆるタッチディスプレイを採用し、このタッチディスプレイ上でポイントＰ（および矩形エリア６０）を指定可能としてもよい。 Further, a so-called touch display may be adopted as the display 32, and the point P (and the rectangular area 60) may be designated on the touch display.

そしてさらに、ＰＣ３０によってカメラ２０の旋回制御が成されることとしたが、これに限らない。例えば、ＰＣ３０からカメラ２０へはマウス３４やキーボード３６による操作内容のみが伝えられ、カメラ２０側で当該操作内容に従う旋回制御（つまり図８のフローチャートに従う処理等）が成されることとしてもよい。 Further, although the turning control of the camera 20 is performed by the PC 30, it is not limited to this. For example, only the operation content by the mouse 34 or the keyboard 36 is transmitted from the PC 30 to the camera 20, and turning control (that is, processing according to the flowchart of FIG. 8) according to the operation content may be performed on the camera 20 side.

また、上述した各ベクトルの回転を演算するのに四元数を用いたが、これに限らない。例えば、３次元回転行列等の当該四元数以外の演算法を用いてもよい。 Further, although the quaternion is used to calculate the rotation of each vector described above, the present invention is not limited to this. For example, an arithmetic method other than the quaternion such as a three-dimensional rotation matrix may be used.

この発明の一実施形態に係る監視システムの概略構成を示す図である。It is a figure which shows schematic structure of the monitoring system which concerns on one Embodiment of this invention. 同実施形態において導入される機械軸座標系の概念的に示す図解図である。It is an illustration figure which shows notionally the mechanical axis coordinate system introduced in the embodiment. 同実施形態においてポイントビューを実現するための手順の一過程を示す図解図である。It is an illustration figure which shows 1 process of the procedure for implement | achieving a point view in the embodiment. 図３に続く過程を示す図解図である。It is an illustration figure which shows the process following FIG. 図４に続く過程を示す図解図である。FIG. 5 is an illustrative view showing a process following FIG. 4. 図５に続く過程を示す図解図である。FIG. 6 is an illustrative view showing a process following FIG. 5. 図６に続く過程を示す図解図である。FIG. 7 is an illustrative view showing a process following FIG. 6. 同実施形態におけるＰＣの動作を示すフローチャートである。It is a flowchart which shows operation | movement of PC in the same embodiment. 同実施形態の別の例を示す図解図である。It is an illustration figure which shows another example of the embodiment. 図９の動作を実現するための手順を示す図解図である。It is an illustration figure which shows the procedure for implement | achieving the operation | movement of FIG. 同実施形態においてキーボードが操作されたときの動作を示す図解図である。It is an illustration figure which shows operation | movement when the keyboard is operated in the same embodiment. 図１１の別の例を示す図解図である。It is an illustration figure which shows another example of FIG. 同実施形態に追加可能な自動追尾機能の概略を示す図解図である。It is an illustration figure which shows the outline of the automatic tracking function which can be added to the same embodiment. 図１３の動作を実現するための手順を示す図解図である。It is an illustration figure which shows the procedure for implement | achieving the operation | movement of FIG. ポイントビュー技術の概略を示す図解図である。It is an illustration figure which shows the outline of a point view technique. 従来技術の概略を示す図解図である。It is an illustration figure which shows the outline of a prior art. 従来技術の問題点を示す図解図である。It is an illustration figure which shows the problem of a prior art.

Explanation of symbols

１０監視システム
２０カメラ
３０ＰＣ
３２ディスプレイ
３４マウス
３６キーボード 10 surveillance system 20 camera 30 PC
32 Display 34 Mouse 36 Keyboard

Claims

In a camera control device for controlling the orientation of a revolving camera that can be swung in each of a pan direction and a tilt direction ,
Current direction calculation means for determining the current direction of the camera in a fixed three-dimensional absolute coordinate system in which the camera is the origin and a reference direction from the origin is predetermined ;
Display means for displaying an image taken by the camera;
When a certain point on the image displayed by the display means is designated, the coordinate information of the point on the image, the angle of view of the camera, and the current direction of the camera obtained by the current direction calculating means Target direction calculation means for obtaining a direction from the origin in the absolute coordinate system corresponding to the point based on
Angle calculating means for determining angles in the pan direction and the tilt direction from the reference direction of the target direction determined by the target direction calculating means;
A turning control means for turning the camera based on the angle obtained by the angle calculating means ;
A camera control device comprising:

A designating unit for designating any of the above points;
The camera control device according to claim 1.

The designation means can also designate an arbitrary area on the image,
The target direction calculation means treats a specific position of the area as the point when the area is designated by the designation means.
The camera control device according to claim 2 .

The camera has a zoom function,
Zoom control means for controlling the zoom magnification by the zoom function according to the size of the area when the area is designated by the designation means;
The camera control device according to claim 3 .

An extraction means for extracting a predetermined feature portion on the image displayed by the display means;
The target direction calculating means treats a specific position in the feature portion extracted by the extracting means as the point.
The camera control device according to claim 1.

Command input means for inputting a predetermined turning command is further provided,
The target direction calculation means treats a specific position on the image corresponding to the turning command input by the command input means as the point.
The camera control device according to claim 1.

The specific position can also be set at a position outside the image .
The camera control device according to claim 6 .

Multiple types of turning commands are prepared,
The camera control device according to claim 6 or 7 .

In a camera control method for controlling the orientation of a revolving camera that can be swung in each of a pan direction and a tilt direction ,
A current direction calculation process for obtaining a current direction of the camera in a fixed three-dimensional absolute coordinate system in which the camera is set as an origin and a reference direction from the origin is predetermined ;
A display process for displaying an image taken by the camera;
When a certain point on the image displayed in the display process is specified, the coordinate information of the point on the image, the angle of view of the camera, and the current direction of the camera obtained in the current direction calculation process A target direction calculation process for obtaining a direction from the origin in the absolute coordinate system corresponding to the point based on
An angle calculation process for determining angles in the pan direction and the tilt direction from the reference direction of the target direction determined in the target direction calculation process;
A turning control process for turning the camera based on the angle obtained in the angle calculation process ;
A camera control method comprising: