CN112073630A - 摄像装置、摄像装置的控制方法及记录介质 - Google Patents
摄像装置、摄像装置的控制方法及记录介质 Download PDFInfo
- Publication number
- CN112073630A CN112073630A CN202010530853.1A CN202010530853A CN112073630A CN 112073630 A CN112073630 A CN 112073630A CN 202010530853 A CN202010530853 A CN 202010530853A CN 112073630 A CN112073630 A CN 112073630A
- Authority
- CN
- China
- Prior art keywords
- image
- unit
- image pickup
- imaging
- image capturing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 claims abstract description 277
- 230000007246 mechanism Effects 0.000 claims abstract description 34
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 24
- 230000005540 biological transmission Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 7
- 239000000203 mixture Substances 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 21
- 238000004091 panning Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 11
- 230000015572 biosynthetic process Effects 0.000 description 10
- 238000003786 synthesis reaction Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Abstract
本发明提供摄像装置、摄像装置的控制方法及记录介质。为了提供用于控制多个摄像单元的摄像范围的摄像装置,该摄像装置包括:第一摄像单元和第二摄像单元;驱动机构,用于控制第一摄像单元和第二摄像单元中至少之一的摄像范围;合成单元,用于将第一摄像单元所获取的第一图像和第二摄像单元所获取的第二图像进行合成以生成广角图像;显示单元,用于显示图像;用户界面,用于供用户在显示单元所显示的图像中指定区域或位置;以及控制单元,用于根据所指定的区域或位置,控制第一摄像单元和第二摄像单元中至少之一的摄像范围并且控制合成单元是否进行合成。
Description
技术领域
本发明涉及适合诸如监视等的用途的摄像装置等。
背景技术
近年来,提出了如下的摄像装置,该摄像装置能够通过对并排布置的多个照相机(以下称为多眼照相机)所拍摄的图像进行合成来获取具有与使用单个照相机的情况相比更宽的摄像范围的图像(广角图像)。在日本特开2004-118786中,提出了如下的摄像装置,该摄像装置可以通过在使各多眼照相机所拍摄的图像偏移的同时进行匹配处理以获得多个图像之间的偏移量来生成广角图像。
此外,提出了能够控制被称为平摇俯仰变焦(PTZ)照相机的摄像装置的方向的摄像装置,作为用于在安装了摄像装置之后改变其摄像方向等的摄像装置。
在日本特开2004-118786中所公开的摄像装置中,各多眼照相机的位置是固定的。另一方面,通过添加用于控制各多眼照相机的摄像方向的机构,可以改变用户期望监视的位置。
然而,为了使各多眼照相机的摄像方向与用户期望监视的位置一致,需要进行在检查各多眼照相机的摄像范围的同时控制该多眼照相机的摄像方向的试错。
根据本发明的方面,本发明的目的是提供能够容易地控制多个摄像单元的摄像范围的摄像装置。
发明内容
根据本发明的方面,一种摄像装置,用于经由网络连接至外部设备,所述摄像装置包括:第一摄像单元和第二摄像单元;驱动机构,其被配置为控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围;以及至少一个处理器或电路,其用作:合成单元,其被配置为将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成以生成广角图像;接收单元,其被配置为从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;控制单元,其被配置为根据用户所指定的区域或位置,控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围、并且控制所述合成单元是否进行合成;以及发送单元,其被配置为将所述第一图像、所述第二图像和所述广角图像发送至所述外部设备。
一种摄像装置,用于经由网络连接至外部设备,所述摄像装置包括:第一摄像单元和第二摄像单元;驱动机构,其被配置为能够控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围;至少一个处理器或电路,其用作:合成单元,其被配置为将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成并生成广角图像;接收单元,其被配置为从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;以及控制单元,其被配置为确定用于指示根据所指定的区域或位置如何控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围的引导。
一种用于控制摄像装置的控制方法,所述摄像装置用于经由网络连接至外部设备,所述摄像装置具有:第一摄像单元和第二摄像单元;驱动机构,其被配置为控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围,其中,所述控制方法包括:将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成以生成广角图像;从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;根据所指定的区域或位置,控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围并且判断是否进行合成;以及将所述第一图像、所述第二图像和所述广角图像发送至所述外部设备。
一种非暂时性计算机可读存储介质,其存储用以控制摄像装置的计算机程序,所述摄像装置经由网络连接至外部设备,所述摄像装置具有:第一摄像单元和第二摄像单元;驱动机构,其被配置为控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围;合成单元,其被配置为将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成并生成广角图像;以及接收单元,其被配置为从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;其中,所述计算机程序包括用于执行以下处理的指令:根据所指定的区域或位置,控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围并且判断所述合成单元是否进行合成;以及将所述第一图像、所述第二图像和所述广角图像发送至所述外部设备。
根据以下参考附图对典型实施方式的说明,本发明的其它特征将变得明显。
附图说明
图1是示出根据实施例1的从上侧观察时的摄像装置的布局图。
图2是示出根据实施例1的摄像装置的功能框图。
图3A和3B是示出根据实施例1的摄像装置的摄像范围和合成图像显示状态的图。
图4A至4C是示出根据实施例1的摄像装置的其它摄像范围和图像显示状态的图。
图5A至5C是示出根据实施例1的摄像装置的另外的其它摄像范围和图像显示状态的图。
图6A和6B是示出根据实施例2的摄像装置的摄像范围和合成图像显示状态的图。
图7A至7C是示出根据实施例2的摄像装置的其它摄像范围和图像显示状态的图。
图8A至8C是示出根据实施例2的摄像装置的另外的其它摄像范围和图像显示状态的图。
图9A至9D是示出根据实施例3的摄像装置的用户界面的图。
图10A至10D是示出根据实施例4的摄像装置的用户界面的图。
图11A至11C是示出根据实施例5的摄像装置的用户界面的图。
图12A至12C是示出根据实施例5的摄像装置的用户界面的其它示例的图。
图13A至13D是示出根据实施例6的摄像装置的用户界面的图。
图14A至14B是示出根据实施例的摄像装置的操作的流程图。
具体实施方式
以下将参考附图来说明根据本发明的实施方式的摄像装置的实施例。为附图中具有相同功能的单元赋予相同的附图标记,并且将省略其重复说明。
在实施方式中,将说明应用网络照相机作为摄像装置的示例。然而,假定摄像装置包括电子装置,该电子装置包括诸如数字静态照相机、数字动画照相机、带照相机的智能电话或带照相机的平板电脑等的多个摄像单元。
实施例1
图1中示出使用根据本实施例的摄像装置和使用该摄像装置的监视系统。图1是示出根据本实施例的从上侧(+Z轴侧)观察时的摄像装置100的布局图,以及图2是内部功能框图。摄像装置100包括第一摄像单元110、第二摄像单元120、第一驱动机构111、第二驱动机构121、控制单元130、合成单元140和第一发送单元150。
第一驱动机构111和第二驱动机构121用作驱动单元,并且可以分别控制第一摄像单元110和第二摄像单元120在同一平面(XY平面)内的摄像方向。根据本实施例的摄像装置被配置为能够在平摇方向上控制摄像方向。
具体地,如图2所示,第一驱动机构111和第二驱动机构121各自包括马达和齿轮,并且被配置为能够通过控制用于驱动马达的电力来使第一摄像单元110和第二摄像单元120围绕作为旋转轴的图1的轴101旋转。
用于驱动马达的电力由控制单元130控制。即,摄像装置100被配置为能够改变第一摄像单元110和第二摄像单元120各自在XY平面上的摄像方向。
第一摄像单元110和第二摄像单元120分别包括成像光学系统112和122以及诸如CMOS图像传感器等的固态图像传感器113和123。通过经由成像光学系统112和122在固态图像传感器113和123上形成被摄体图像来获取图像。
固态图像传感器113和123各自的驱动和信号读取由控制单元130控制。控制单元130包含作为计算机的CPU,并基于存储器(未示出)中所存储的计算机程序来进行整个装置的各种操作。
合成单元140对第一摄像单元110所获取的第一图像114和第二摄像单元120所获取的第二图像124进行合成,以生成广角图像(全景图像、合成图像)134。
具体地,通过应用在使图像的重叠部分偏移的同时获得相关系数的所谓的“模式匹配技术”,获得多个图像之间的位置偏移量,以生成广角图像134。此外,在本实施例中,根据用户所指定的区域(图像区域)或位置,合成单元140改变是否要生成广角图像134。
在不生成广角图像134的情况下,合成单元在不对第一图像114和第二图像124进行合成的情况下将第一图像114和第二图像124发送至第一发送单元150。
此外,在本实施例中,摄像范围是摄像单元进行摄像的范围。通过控制例如摄像方向、变焦倍率或摄像面的旋转角度等来改变摄像范围。
作为接收单元和发送单元的第一发送单元150将从合成单元140发送来的图像(第一图像114或第二图像124或广角图像134)经由有线或无线网络发送至外部客户端装置(外部设备)180。
外部客户端装置180将用于控制摄像装置100的命令经由第二发送单元181和网络发送至第一发送单元150,并且摄像装置100接收命令并向客户端装置180作出对于该命令的响应。
命令例如是用于控制第一驱动机构111和第二驱动机构121的命令。即,用户可以经由网络从外部客户端装置180控制第一摄像单元110和第二摄像单元120的方向。
客户端装置例如是诸如PC等的外部装置,并且包括用于供用户指定区域或位置的用户界面160。
附图标记182表示进行客户端装置180的内部控制并且包含诸如CPU等的计算机的控制单元。控制单元182包含存储器(未示出),并且用于对控制单元内的CPU的操作进行控制的计算机程序被存储在该存储器中。
附图标记183表示显示单元,并显示从摄像装置100发送来的图像等。用户界面160包括各种开关和触摸面板。此外,用户界面160包括显示单元183上所显示的诸如按钮或图标等的GUI。用户可以通过操作用户界面160来向摄像装置100提供各种指示。
根据用户经由用户界面160指定的摄像框(区域)或(摄像)位置,根据本实施例的摄像装置100控制第一摄像单元110和第二摄像单元120的摄像范围,并控制合成单元140中的合成操作。
网络由有线LAN和无线LAN等构成。可以经由网络向摄像装置100供给电力。
在本实施例中,合成单元140被设置在摄像装置100内,但是合成单元140可被设置在客户端装置180内。
摄像装置100和客户端装置180包括在摄像系统中。
在图2所示的实施例1中,摄像装置100包括第一发送单元150,将图像发送至客户端装置180,并根据来自客户端装置180的命令进行操作。
即,在本实施例中,显示单元183、控制单元182和用户界面160与摄像装置分离。然而,摄像装置100可以一体地包括用于存储图像数据的存储器、用于显示图像的显示单元183以及用于接收用户的支持的诸如开关或触摸面板等的用户界面160。
即,摄像装置100可以一体地具有客户端装置180的功能。假定根据本实施例的摄像装置具有一体地或单独地包括客户端装置180的功能的系统结构。
图3A和3B是示出根据本实施例的摄像装置100中的用户用来指定区域或位置的用户界面、以及第一摄像单元110和第二摄像单元120的摄像方向之间的关系的图。
图3A和3B示出用户指定摄像位置之前的状态。在图3A中,通过对第一图像114和第二图像124进行合成而生成的广角图像134被显示在显示单元183上的诸如GUI等的用户界面160中。此时,假定第一摄像单元110和第二摄像单元120被定向在图3B所示的摄像方向上。
这里,假定用户在显示单元183上显示广角图像134的状态下使用鼠标或光标来指定位置(区域的中心)。
在实施例1中,示出用户使用诸如箭头等的光标来指定区域的中心的情况的示例。
首先,如图4A所示,将考虑用户将第一摄像单元110和第二摄像单元120的区域范围的两个中心161和162指定为摄像位置的情况。在这种情况下,认为用户期望对中心161的周围和中心162的周围这两者进行摄像。因此,如图4B所示,合成单元140不进行合成。
通过改变第一摄像单元110和第二摄像单元120的摄像方向以使得第一图像114和第二图像124分别显示在以中心161和162为中心的位置处来改变摄像范围。
图4C中示出移动后的第一摄像单元110和第二摄像单元120以及摄像范围115和125。通过独立地显示第一图像114和第二图像124而不是广角图像134,可以为用户提供多个摄像范围内的图像。
另一方面,如图5A所示,将考虑用户仅将区域的一个中心161指定为位置的情况。在这种情况下,认为用户期望仅对中心161的周围进行摄像。
因此,如图5B所示,合成单元140进行合成,并且第一摄像单元110和第二摄像单元120的摄像方向发生移动,使得显示以中心161为中心的摄像范围的广角图像134。
图5C中示出移动后的第一摄像单元110和第二摄像单元120以及摄像范围115和125。具体地,第一摄像单元110的摄像范围115与第二摄像单元120的摄像范围125重叠,并且重叠范围135的中心移动到中心161的位置。
通过以这种方式进行控制并且不独立地显示第一图像114和第二图像124、而是显示广角图像134,可以为用户提供在中心161周围的宽摄像范围内的图像。
如图5C所示,在摄像范围115和125的大小相等的情况下,重叠范围135的中心136与摄像范围的中心161(摄像位置)一致。因此,可以使广角图像134的显示图像的中心与摄像范围的中心161一致。
这里,重叠范围135的大小可以是足以获得第一图像114和第二图像124之间的位置偏移量的大小。具体地,重叠范围135中所包括的第一图像114和第二图像124中的像素的数量优选为100个以上。重叠范围135的大小进一步优选为第一摄像范围115和第二摄像范围125之间并非相对较宽的摄像范围的20%以上。
如上所述,根据本实施例的摄像装置100根据用户所指定的摄像位置来改变第一摄像单元110的摄像方向和第二摄像单元120的摄像方向中至少之一。
此外,合成单元中的合成处理的存在或不存在根据用户所指定的摄像位置而改变。在这样的结构中,在用户期望监视和进行适当合成控制的位置处,可以比现有技术更容易地控制摄像装置的摄像方向。
图3A示出在用户指定摄像范围时的显示状态下显示通过合成而获得的广角图像134的示例,但是第一图像114和第二图像124可以单独地显示。
在用户指定摄像范围之前,可以不显示图像。例如,可以在显示器上显示与第一摄像单元和第二摄像单元的最大范围相对应的指示,并且用户可以在指示内指定摄像范围。在显示合成的广角图像、并且平摇方向上的全方向(360度)被配置为由多个摄像单元(两个或三个以上的摄像单元)覆盖的情况下,优选显示平摇方向上的全方向。
即使在用户在指定了一次摄像范围之后再指定一次摄像范围的情况下,合成处理的存在或不存在也可以根据用户所指定的摄像范围的数量而改变。具体地,在用户指定了一个摄像范围的情况下,进行合成处理并显示广角图像134。在用户指定了两个摄像范围的情况下,可以在不进行合成处理的情况下单独显示第一图像114和第二图像124。
以如下的这种方式来判断是否指定了两个摄像范围:例如在进行了两次鼠标的点击操作并且两次点击的间隔在预定时间间隔内、并且两个摄像范围分离预定距离以上的情况下,同时指定了两个摄像范围。另一方面,在两次点击的间隔在预定时间间隔之外并且两个摄像范围没有分离预定距离以上的情况下,判断为指定了仅一个摄像范围。
实施例2
接着,将参考图6A至图8C来说明实施例2。根据实施例2的摄像装置200与实施例1中所述的摄像装置100的不同之处在于第一驱动机构和第二驱动机构的结构以及第一摄像单元和第二摄像单元的结构。
在摄像装置200中,第一摄像单元210和第二摄像单元220除了对摄像方向的控制之外,还包括用于改变变焦倍率的机构。具体地,各摄像单元的成像光学系统包括可沿光轴方向移动的变焦透镜,并且第一驱动机构211和第二驱动机构221驱动该变焦透镜,使得可以根据摄像单元的摄像方向和变焦倍率来控制摄像范围。
此外,其它结构与实施例1的结构基本上相同,并且在实施例2中为了说明将实施例1中所述的单元的编号为100系列的附图标记替换为编号为200系列的附图标记。
在摄像装置200中,除了合成单元240中的合成处理的存在或不存在之外,第一摄像单元210和第二摄像单元220的摄像方向以及第一摄像单元210和第二摄像单元220的变焦倍率也根据用户所指定的摄像框而改变。
图6A至8C是示出摄像装置200中的用户用来指定摄像框的用户界面260、以及第一摄像单元210和第二摄像单元220的摄像方向之间的关系的图。
图6A和6B示出在用户指定摄像范围时的显示状态。在图6A中,显示通过对第一图像214和第二图像224进行合成而生成的广角图像234。图6B中示出此时的第一摄像单元210、第二摄像单元220以及摄像范围215和225。在图6B中,假定用户指定摄像范围之前的状态为第一摄像单元210和第二摄像单元220的变焦倍率最小的状态(所谓的广角端)。
控制第一摄像单元210和第二摄像单元220的摄像方向,使得合成图像可以显示最大范围,即,平摇方向上的角度差在保证了生成合成图像所必需的重叠的同时最大。
这里,假定用户使用鼠标或光标在广角图像234的显示画面上指定摄像框(区域)。在实施例2中,示出用户例如利用矩形框来指定摄像框的情况的示例。
首先,如图7A所示,考虑用户使用鼠标等将摄像框指定为两个矩形摄像框261和262的情况。
在这种情况下,认为用户期望对两个矩形摄像框261和262的范围进行摄像。因此,如图7B所示,合成单元240不进行合成。然后,通过控制摄像方向并且控制变焦倍率来改变第一摄像单元210和第二摄像单元220的摄像范围,使得单独地显示与摄像框261和262相对应的被摄体范围中的第一图像214和第二图像224。
图7C中示出在对摄像方向和变焦倍率的控制之后的第一摄像单元210、第二摄像单元220以及摄像范围215和225。与图6B的状态相比,各摄像单元的摄像方向和变焦倍率(视角)这两者发生改变。此外,通过单独地显示第一图像214和第二图像224而不是广角图像234,可以为用户显示多个摄像范围中的图像。
另一方面,如图8A所示,考虑用户仅指定一个矩形摄像框261的情况。在这种情况下,认为用户期望摄像的摄像范围是仅该矩形摄像框261的范围。因此,如图8B所示,合成单元240进行合成,并通过控制第一摄像单元210和第二摄像单元220的摄像方向和变焦倍率来改变摄像范围,使得显示通过对摄像框261的范围进行摄像而获得的广角图像234。
图8C中示出在对摄像方向和变焦倍率的控制之后的第一摄像单元210、第二摄像单元220以及摄像范围215和225。与图6B的状态相比,各摄像单元的摄像方向和变焦倍率这两者发生改变。具体地,第一摄像单元210的摄像范围215与第二摄像单元220的摄像范围225重叠,并且摄像范围215和225的总集合移动以与摄像框261一致。
因此,在摄像框261的范围是利用第一摄像单元210和第二摄像单元220进行分割和摄像、并被显示为通过对所获取的第一图像214和第二图像224进行合成而获得的广角图像234的情况下,可以获得以下优点。
首先,将说明摄像框261的范围超过第一摄像单元210和第二摄像单元220的最大视角(广角端的视角)的情况。在这种情况下,摄像框261的范围不能由各单个摄像单元摄像。
因此,在没有进行合成处理的情况下显示摄像框261的范围时,摄像框261的范围的一部分被显示为第一图像214,并且另一部分被显示为第二图像224。
另一方面,为了提高重叠范围的可视性,与独立地显示第一图像214和第二图像224相比,更优选地将摄像框261的范围显示为广角图像234。
换句话说,通过即使在摄像框261的范围超过各摄像单元的广角端的视角的情况下也进行合成处理,可以提高超过广角端的视角的摄像范围被显示为单个广角图像的可视性。
接着,将说明摄像框261的范围未超过第一摄像单元210和第二摄像单元220的最宽视角(广角端的视角)的情况。在这种情况下,摄像框261的范围可以由作为单个单元的各摄像单元进行摄像。即,即使在不进行合成处理的情况下,也可以将摄像框261的范围显示为单个图像。
这里,为了提高图像的分辨率,更优选地利用第一摄像单元210和第二摄像单元220来对摄像框261的范围进行分割和摄像、并将摄像框261的范围显示为通过对所获取的第一图像214和第二图像224进行合成而获得的广角图像234。
如上所述,在仅指定一个摄像框261的范围的情况下,不独立地显示第一图像214和第二图像224。通过显示广角图像234,可以扩宽可被显示为单个图像的摄像范围或提高摄像范围的分辨率。
图6B示出在用户指定摄像框之前的状态下、第一摄像单元210和第二摄像单元220的摄像范围被设置在最大视角(所谓的广角端)处的示例,但是摄像范围可以不设置在广角端。
当用户指定摄像框并且用户期望摄像的范围从摄像范围最大的状态变窄时,可以容易地指定摄像范围。因此,优选将范围设置在广角端。
实施例3
接着,根据实施例3的摄像装置300与实施例2中所述的摄像装置200的不同之处在于第一驱动机构和第二驱动机构的结构。在摄像装置300中,第一摄像单元310和第二摄像单元320在彼此垂直的两个方向上旋转。
具体地,除了以图1的Z轴(垂直轴)为中心的转动机构(所谓的平摇驱动机构)之外,还包括能够控制相对于Z轴的角度的转动机构(所谓的俯仰驱动机构)。此外,其它结构与实施例2的结构基本上相同,但是在实施例3中为了说明将实施例2中所述的单元的编号为200系列的附图标记替换为编号为300系列的附图标记。
图9A至9D是示出摄像装置300中的用户用来指定摄像框的用户界面360的图。在摄像装置300中,用户指定摄像框之前的状态和指定摄像框的方法与摄像装置200中相同。
在用户指定了两个摄像框的情况下,显示与用户所指定的摄像框的范围相对应的第一图像314和第二图像324。以这种方式,控制第一摄像单元310和第二摄像单元320的摄像方向或变焦倍率。
另一方面,在实施例3中,将考虑用户利用仅一个矩形摄像框361指定摄像框的情况。在这种情况下,如图9A和9B所示,摄像框361的范围是利用第一摄像单元310和第二摄像单元320进行分割和摄像的,并且被显示为通过对所获取的第一图像314和第二图像324进行合成而获得的广角图像334。这里,第一摄像单元310和第二摄像单元320的摄像方向根据用户所指定的摄像框361的形式而不同。
例如,考虑如下情况(例如,纵向长的情况):摄像框361在俯仰方向(图9A的纵向方向)上的长度与其在平摇方向(图9A的横向方向)上的长度的纵横比等于或大于第一阈值。在这种情况下,如图9C那样,摄像框361的范围是利用第一摄像单元310和第二摄像单元320在俯仰方向上进行分割和摄像的。
这里,纵横比是通过将纵向长度除以横向长度而获得的值。例如,图9C中的一点划线所指示的区域是相当于第一摄像单元310的摄像范围315的区域,而两点划线所指示的区域是相当于第二摄像单元320的摄像范围325的区域。
即,在图9C中,控制第一摄像单元310和第二摄像单元320的摄像范围(摄像方向和变焦倍率),使得第一摄像单元310和第二摄像单元320在平摇方向上的摄像范围是相同的,并且仅在俯仰方向上的摄像范围是不同的。
另一方面,考虑如下情况(例如,横向长的情况):摄像框361在俯仰方向(图9B的纵向方向)上的长度与其在平摇方向(图9B的横向方向)上的长度的纵横比小于第一阈值。在这种情况下,如图9D那样,摄像框361的范围是利用第一摄像单元310和第二摄像单元320在平摇方向上进行分割和摄像的。
图9D中的一点划线所指示的区域是相当于第一摄像单元310的摄像范围315的区域,而两点划线所指示的区域是相当于第二摄像单元320的摄像范围325的区域。
即,在图9D中,控制第一摄像单元310和第二摄像单元320的摄像方向,使得第一摄像单元310和第二摄像单元320在俯仰方向上的摄像范围是相同的,并且仅在平摇方向上的摄像范围是不同的。
以这种方式,通过根据摄像范围在俯仰方向上的长度与其在平摇方向上的长度的比来改变摄像范围的分割方向,可以进一步扩宽可被显示为单个图像的范围或进一步提高摄像范围的分辨率。
上述的第一阈值可以根据各摄像单元的摄像范围的纵横比来确定。
具体地,可以将第一摄像单元310的摄像范围的纵横比和第二摄像单元320的纵横比的平均值设置为第一阈值。
第一阈值可以相对于第一摄像单元310的摄像范围的纵横比和第二摄像单元320的纵横比的平均值偏离约20%。即,第一阈值优选等于或大于第一摄像单元310的摄像范围的纵横比和第二摄像单元320的纵横比的平均值的0.8倍且等于或小于第一摄像单元310的摄像范围的纵横比和第二摄像单元320的纵横比的平均值的1.2倍。
由于各摄像单元的摄像范围的纵横比不根据变焦倍率而改变,因此不论摄像范围的大小如何,都可以唯一定义纵横比。
实施例4
根据实施例4的摄像装置400与实施例3中所述的摄像装置300的不同之处在于第一驱动机构和第二驱动机构的结构。摄像装置400可以控制第一摄像单元410和第二摄像单元420的摄像方向和摄像范围,并且包括能够使各摄像单元的摄像面围绕该摄像单元的光轴旋转的转动机构(所谓的旋转机构)。
此外,其它结构与实施例3的结构基本上相同,但是在实施例4中为了说明将实施例3中所述的单元的编号为300系列的附图标记替换为编号为400系列的附图标记。
图10A至10D是示出摄像装置400中的用户用来指定摄像框的用户界面460的图。在摄像装置400中,如摄像装置300中那样,用户在用户指定摄像框之前的状态下并且采用指定摄像框的方法指定两个摄像框的操作与摄像装置200等中的操作相同,因此将省略其说明。
另一方面,将考虑用户指定一个矩形摄像框461作为摄像框的情况。
在这种情况下,摄像框461的范围是利用第一摄像单元410和第二摄像单元420进行分割和摄像的,并且被显示为通过对所获取的第一图像414和第二图像424进行合成而获得的广角图像434。
这里,第一摄像单元410和第二摄像单元420的摄像方向根据用户所指定的摄像框461的形式而改变。此外,在本实施例中,第一摄像单元410和第二摄像单元420的摄像方向以及旋转角度(摄像面的角度)根据用户所指定的摄像框461的形式而不同。
一般来说,用于监视的摄像单元中的固态图像传感器在许多情况下在横向方向上的长度比在纵向方向上的长度长。因此,在摄像单元围绕光轴旋转的情况下,摄像单元的摄像范围改变。
因此,通过根据摄像框461在俯仰方向上的长度与其在平摇方向上的长度的比(纵横比)按照如下控制摄像方向和旋转方向,来容易地调整摄像框461的形状。
将考虑摄像框461在俯仰方向上的长度与其在平摇方向上的长度的比大于第一阈值且等于或大于第二阈值的情况。此时,如图10A那样,摄像框461的范围是利用第一摄像单元410和第二摄像单元420在俯仰方向上进行分割和摄像的。各摄像单元旋转90度以变为纵向长,使得摄像单元的摄像范围415和425在俯仰方向上的长度较长。
接着,考虑如下情况:摄像框461在俯仰方向上的长度与其在平摇方向上的长度的比等于或大于第一阈值且小于第二阈值。此时,如图10B那样,摄像框461的范围是利用第一摄像单元410和第二摄像单元420在俯仰方向上进行分割和摄像的。
在摄像单元的摄像范围415和425中,平摇方向上的长度比俯仰方向上的长度长以变为横向长,并且各摄像单元不旋转。
接着,将考虑如下情况:摄像框461在俯仰方向上的长度与其在平摇方向上的长度的比小于第一阈值且等于或大于第三阈值。第三阈值小于第一阈值。
此时,如图10C那样,摄像框461的范围是利用第一摄像单元410和第二摄像单元420在平摇方向上进行分割和摄像的。然而,各摄像单元旋转90度以变为纵向长,使得摄像单元的摄像范围415和425在俯仰方向上的长度较长。
最后,将考虑如下情况:摄像框461的俯仰方向(图10A中的纵向方向上的长度)与平摇方向(图10A中的横向方向上的长度)的纵横比小于第三阈值。
此时,如图10D那样,摄像框461的范围是利用第一摄像单元410和第二摄像单元420在平摇方向上进行分割和摄像的。
各摄像单元不旋转,其中摄像单元的摄像范围415和425在平摇方向上的长度保持横向长。
在图10A至10D中,一点划线所指示的区域是相当于第一摄像单元410的摄像范围415的区域,而两点划线所指示的区域是相当于第二摄像单元420的摄像范围425的区域。
以这种方式,通过除了各摄像单元的摄像方向和摄像范围之外还控制各摄像单元的摄像面围绕其各光轴的旋转角度,可以进一步扩宽可被显示为单个图像的范围或进一步提高摄像范围的分辨率。
上述的第二阈值和第三阈值也可以根据各摄像单元的摄像范围的纵横比来确定。具体地,第二阈值优选等于或大于第一阈值的1.4倍且等于或小于第一阈值的2.8倍,并且第三阈值优选等于或大于第一阈值的0.35倍且等于或小于第一阈值的0.7倍。
实施例5
在实施例1至4中,已经说明了包括两个摄像单元(即,第一摄像单元和第二摄像单元)的摄像装置,但是摄像装置可以包括三个或更多个摄像单元。即,除了第一摄像单元和第二摄像单元之外,还可以包括一个或多个摄像单元。这是优选的,因为随着摄像单元的数量的增多,对于来自用户的请求可以采取灵活的对策。
实施例5中所述的摄像装置500包括四个摄像单元:除了第一摄像单元510和第二摄像单元520之外还有第三摄像单元和第四摄像单元。
与实施例4中所述的摄像装置400的摄像单元一样,各摄像单元能够控制平摇、俯仰、变焦和旋转全部。
此外,其它结构与实施例4的结构基本上相同,但是在实施例5中为了说明将实施例4中所述的单元的编号为400系列的附图标记替换为编号为500系列的附图标记。
图11A至11C是示出摄像装置500中的用户用来指定摄像框的用户界面560的图。
首先,将考虑用户指定与摄像装置500中所包括的摄像单元的数量相同数量(在这种情况下为4个)的摄像框作为矩形摄像框561、562、563和564的情况。
在这种情况下,如图11A那样,控制第一摄像单元510、第二摄像单元520、第三摄像单元和第四摄像单元的摄像方向、摄像范围和旋转角度,使得各摄像框成为摄像范围。在这种情况下,合成单元不对任何图像进行合成处理。
接着,将考虑用户指定比摄像装置500中所包括的摄像单元的数量N大的数量M(其中M>N)的摄像框的情况。图11B示出用户指定五个摄像框(M=5)(即,摄像框561、562、563、564和565)的情况。在这种情况下,一个摄像单元对任意两个摄像框的范围进行摄像。
因此,如图11C那样,一个摄像单元对摄像框的中心之间的距离最近的两个摄像框561和562的范围进行摄像。控制摄像装置的摄像方向、摄像范围和旋转角度,使得剩余三个摄像单元对摄像框563、564和565进行摄像。
即,控制一个预定摄像单元的摄像范围,使得至少两个摄像框或摄像位置包括在预定摄像单元的摄像范围中。
此时,不显示对摄像框561和562进行摄像的摄像单元的所有摄像范围,而可以仅切出并显示与摄像框561和562相对应的图像部分。
在这种情况下,可以扩大并显示切出框的图像。在用户指定了六个或更多个摄像框的情况下,一个摄像单元负责的摄像框的数量可以根据用户所指定的摄像框的数量和摄像装置中所包括的摄像单元的数量之间的差而改变。
图11B示出用户所指定的框的数量可以比摄像单元的数量大了1的情况(其中M-N=1),但用户所指定的框的数量可以比摄像单元的数量大2以上。在上述实施例中,进行控制以使得由一个摄像单元来对摄像框的中心之间的距离最近的多个摄像框的范围进行摄像。
然而,例如,可以针对每多个摄像框计算这多个摄像框的矩形形状的面积,可以选择矩形面积最小的多个摄像框的范围,并且可以由一个摄像单元对这些范围进行摄像。可由多个摄像单元中的每一个控制的摄像范围(可改变摄像方向的范围或可改变变焦倍率的范围)可以存储在存储器中。
诸如多个摄像单元中的每一个的控制特性(摄像方向或变焦改变时的速度等)、像素的数量或当前摄像范围等的信息可以预先存储在存储器中。然后,基于这种信息,可以确定多个摄像框以及对该多个摄像框进行摄像的一个摄像单元,以实现最短时间或最佳图像质量。因此,可以缩短控制所需的时间,或者可以优化图像质量。
在这种情况下,可以控制摄像装置的摄像方向、摄像范围和旋转角度,使得一个摄像单元优先对从摄像框的中心之间的距离最近的范围起的范围进行摄像。即,当用户所指定的摄像框的数量与摄像单元的数量之间的差被称为第一数量时,一个摄像单元从摄像框的中心之间的距离最近的摄像框起顺次对多达第一数量的摄像框进行摄像。
然后,驱动各摄像单元,使得各摄像单元对其它摄像框中的每一个进行摄像。
即使在这种情况下,合成单元也不对任何图像进行合成处理。
即,在M-N>1的情况下,例如由一个摄像装置对M个摄像框中的彼此接近的三个或更多个摄像框的范围进行摄像。可选地,选择M个摄像框中的彼此接近的任意两个摄像框对,并且各摄像框对的范围由各相应的摄像装置进行摄像。可选地,将这两者进行合成。
接着,将考虑用户指定比摄像装置500中所包括的摄像单元的数量小的数量的摄像框的情况。在这种情况下,可以利用多个摄像单元对至少一个摄像框进行分割和摄像。可以按照如下确定利用多个摄像单元进行分割和摄像的摄像框。
第一种方法是优先对具有大的大小(面积)的框进行分割和摄像的方法。图12A示出用户指定三个摄像框(即,摄像框561、562和563)的情况。摄像框561的大小(面积)大于摄像框562和563的大小。在这种情况下,利用两个摄像单元对摄像框561进行分割和摄像,并且将通过对摄像框561的范围进行摄像所获得的图像显示为通过对两个图像进行合成所获得的图像。
另一方面,摄像框562和563分别独立地由剩余的两个摄像单元进行摄像。如实施例3或4中所述,摄像框561如何分割和摄像可以按摄像框561在俯仰方向上的长度与其在平摇方向上的长度的比来确定。
即,在用户所指定的摄像框的数量小于摄像单元的数量的情况下,用户所指定的摄像框的数量与摄像单元的数量之间的差被称为第二数量。此时,可以从用户所指定的摄像框的大小较大的摄像框起顺次对第二数量的摄像框中的各摄像框进行分割和摄像。
可选地,可以从用户所指定的摄像框起顺次对各摄像框进行分割和摄像,以提高分辨率。
在用户指定了两个摄像框(即,摄像框561和562)的情况下,可以选择是利用两个摄像单元对各摄像框进行分割和摄像、还是利用一个摄像单元对摄像框中的一个摄像框进行摄像并利用三个摄像单元对另一摄像框进行摄像。
在这种情况下,根据摄像框561的大小和摄像框562的大小,可以确定要使用的方法,或者可以对用户所指定的摄像框进行分割和摄像。
具体地,如图12B那样,在摄像框561和562的大小之差小于第四阈值的情况下,利用两个摄像单元对摄像框561和562中的每一个进行分割和摄像。
另一方面,如图12C那样,在摄像框561和562的大小之差等于或大于第四阈值的情况下,可以利用三个摄像单元对较大的摄像框(在图中为摄像框562)进行分割和摄像,并且可以利用一个摄像单元对较小的摄像框(在图中为摄像框561)进行摄像。
大小之差可被定义为两个摄像框之间的具有较小面积的摄像框的大小与具有较大面积的摄像框的大小的比。第四阈值优选大于1/3且小于1,并进一步优选为1/2。
即,在用户所指定的摄像框的数量与摄像单元的数量相比少了两个以上的情况下,针对各摄像框来获得摄像框的大小与用来对摄像框进行分割和摄像的摄像单元的数量的比。可以确定用来对各摄像框进行分割和摄像的摄像单元的数量,以使得该比的分散最小。
第二种方法是响应于来自用户的请求而确定要分割的摄像框的方法。
在用户指定了两个摄像框(即,摄像框561和562)的情况下,可以选择是利用两个摄像单元对各摄像框进行分割和摄像、还是利用一个摄像单元对摄像框中的一个摄像框进行摄像并利用三个摄像单元对另一摄像框进行摄像。此时,允许用户通过用户界面来选择要提高摄像范围的分辨率的摄像框。利用三个摄像单元对要提高分辨率的摄像框进行分割和摄像,并且利用一个摄像单元对另一摄像框进行摄像。
在这种结构中,由于可以针对来自用户的请求采取灵活的对策,例如,优先提高多个摄像框中的期望以高分辨率进行摄像的范围的分辨率,因此这是优选的。
摄像装置可以具有如下的结构,其中在该结构中,包括两个摄像单元或三个以上的摄像单元,并且当在平摇方向上将摄像范围连接时,可以对360度的全方向进行摄像。
在这种情况下,作为用户指定摄像框时的显示状态,通过对360度的全方向进行摄像而获得的广角图像是优选的。这是因为,如上所述,当用户指定摄像框并且用户期望摄像的范围从摄像范围最大的状态变窄时,可以容易地指定摄像范围。
实施例6
在上述的实施例1至5中,说明了在用户指定了摄像框的情况下摄像装置中的各摄像单元实际发生移动的示例。然而,为了在无需自动移动摄像单元的情况下根据用户所指定的摄像框对期望摄像范围进行摄像,可以显示用于指示各摄像单元应移动到何处的引导。这种引导可以包括安装在摄像装置600上的发光元件670或显示单元的画面上的引导显示。
接着,将参考图13A至13D来说明根据实施例6的摄像装置600。摄像装置600与实施例1中所述的摄像装置100不同之处在于包括多个发光元件670,该多个发光元件670用作用于向用户指示各摄像单元移动到的位置的显示元件。
发光元件670被配置为LED,并且例如16个发光元件670在XY平面中沿着摄像装置600的外周设置。控制单元控制各发光元件670,使得发光元件被打开或关闭。此外,其它结构与实施例1的结构基本上相同,并且在实施例6中为了说明将实施例1中所述的单元的编号为100系列的附图标记替换为编号为600系列的附图标记。
图13A至13D是示出摄像装置600中的用户用来指定摄像框的用户界面以及各发光元件的打开和关闭之间的关系的图。
在摄像装置600中,由于在用户指定摄像框之前的状态和指定摄像框的方法与摄像装置100的相同,因此省略图示。
如图13A所示,将考虑用户指定摄像范围的两个中心661和662作为摄像位置的情况。在这种情况下,由于认为用户对中心661的周围和中心662的周围这两者进行摄像,因此合成单元640不进行合成。
如图13B所示,在各摄像单元的方向发生改变的情况下,仅打开分别以中心661和662为中心显示第一图像612和第二图像624的位置处的LED。
在图13B中,涂黑的LED是打开的LED。用户使各摄像单元朝向LED打开的方向。
另一方面,如图13C所示,将考虑用户仅指定摄像范围的一个中心661作为摄像位置的情况。
在这种情况下,由于认为用户期望仅对中心661的周围进行摄像,因此合成单元640进行合成。如图13D所示,仅打开指示摄像单元610和620的方向的位置处的LED。
因此,在对方向改变的摄像单元610和620的图像进行合成时,显示以中心661为中心的广角图像634。在图13D中,涂黑的LED是打开的LED。
用户可以根据打开的LED将各摄像单元移动到期望的角度位置。然后,当用户实际将各摄像单元移动到第一图像614和第二图像624分别以中心661和662为中心显示的位置时,各LED被关闭。
即,在第一摄像单元和第二摄像单元中至少之一的摄像范围达到与引导的显示相对应的预定状态的情况下,引导显示状态从打开变为关闭。因此,用户可以容易地知道期望方向上的摄像单元的改变完成。
以这种方式,根据本实施例的摄像装置600根据用户指定的摄像位置或摄像框来向用户通知第一摄像单元和第二摄像单元中至少之一要移动至的位置。
此外,合成单元是否进行合成处理根据用户所指定的摄像位置或摄像框而改变。在这种结构中,在用户期望监视的位置处,与现有技术相比,可以更容易地控制各多眼照相机的摄像方向。
在上述实施例中,在摄像装置的外周配置诸如LED等的多个显示元件,并且显示摄像装置的方向如何改变。然而,例如,如图13B或图13D中的CG图像可以作为引导显示在显示单元的整个显示画面上。可选地,可以在显示单元上所显示的图像上叠加显示子画面,并且可以在该子画面上显示如图13B或图13D中的CG图像。
如上所述,摄像单元的方向如何改变可以作为引导显示在整个画面或子画面上。在这种结构中,特别地,远程操作摄像装置的用户可以容易地远程控制摄像单元的方向,从而查看显示单元的画面。
图14A至14B是示出根据实施例的摄像装置的操作的流程图。在这方面,在客户端装置处进行用于显示的步骤。
在图14A的步骤S1中,用户判断用户所指定的摄像位置或摄像框的数量M是否等于摄像单元的数量N。
在步骤S1中为“是”的情况下,在步骤S2中控制摄像单元的摄像范围,使得各摄像单元对各摄像位置或摄像框进行摄像。即,控制摄像方向、变焦倍率或摄像面的旋转等。在步骤S3中,各摄像单元所拍摄的图像在不进行合成的情况下单独显示。
相反,在步骤S1中为“否”的情况下,处理进入步骤S4,以判断摄像位置或摄像框的数量M是否大于摄像单元的数量N。在“是”的情况下,处理进入步骤S5,控制各摄像单元的摄像范围,使得彼此接近的框由同一摄像单元进行摄像,并且其它摄像位置或摄像框中的每一个由各摄像单元进行摄像。
随后,在步骤S6中,判断是否设置了菜单等以使得仅显示摄像框的内部。在“是”的情况下,在步骤S7中,在不对各摄像单元所拍摄的图像进行合成的情况下切出并显示与摄像框相对应的图像。此时切出的部分可以适当地扩大并显示。
相反,在步骤S6中为“否”的情况下,处理进入步骤S8,并且不对各摄像单元所拍摄的图像进行合成,且在不进行切出的情况下显示图像。
随后,在步骤S4中为“否”的情况下,在步骤S9中,判断是否将较大的摄像框设置为优先分割。
在“是”的情况下,在步骤S10中,控制摄像单元的摄像范围,使得利用多个摄像单元优先对最大摄像框进行分割和摄像以进行合成,并且利用各摄像单元对其它摄像框中的每一个进行摄像。
在步骤S9中为“否”的情况下,处理进入步骤S11,并且控制摄像单元的摄像范围,使得例如利用多个摄像单元对用户期望优先以高分辨率进行摄像的摄像框进行分割和摄像以进行合成,并且利用各摄像单元对其它摄像框中的每一个进行摄像。上述的步骤S4至S11的操作与实施例5的操作相对应。
在步骤S10或S11之后的步骤S12中,判断分割和摄像后的摄像框(分割框)的纵横比是否等于或大于第二阈值。在步骤S12中为“是”的情况下,处理进入步骤S13,并且旋转各摄像单元的摄像面,使得摄像框在俯仰(纵向)方向上被分割,并且各摄像单元的摄像范围在俯仰方向上的长度较长。
即,摄像框旋转90度以变为纵向长,并且对来自各摄像单元的图像进行合成和显示。
相反,在步骤S12中为“否”的情况下,在步骤S14中,判断分割和摄像后的摄像框(分割框)的纵横比是否等于或大于第一阈值。
在步骤S14中为“是”的情况下,处理进入步骤S15,并且在俯仰(纵向)方向上对摄像框进行分割。以各摄像单元的摄像范围在平摇方向上的长度较长(即,横向长)的方式对摄像框进行摄像,并对来自各摄像单元的图像进行合成和显示。
在步骤S14中为“否”的情况下,在步骤S16中,判断分割和摄像后的摄像框(分割框)的纵横比是否等于或大于第三阈值。在步骤S16中为“是”的情况下,处理进入步骤S17,并且在平摇方向上对摄像框进行分割。
各摄像单元的摄像范围在俯仰方向上的长度旋转90度以变长(即,纵向长),并对来自各摄像单元的图像进行合成和显示。
相反,在步骤S16中为“否”的情况下,在步骤S18中,在平摇方向上对摄像框进行分割并且以各摄像单元的摄像范围在平摇方向上的长度较长(即,横向长)的方式进行摄像,并且对来自各摄像单元的图像进行合成和显示。
步骤S12至S18的控制与实施例4中所述的操作相对应,并且如实施例4中所述,满足第二阈值>第一阈值>第三阈值的关系。
以上参考优选实施例对本发明进行了详细描述,但本发明不限于上述实施例,并且可以基于本发明的要旨进行各种修改,并且这些修改不排除在本发明的范围之外。
例如,在上述实施例中,各摄像单元被配置为通过驱动机构来改变各摄像范围(摄像方向、变焦倍率或摄像面围绕其光轴的旋转角度等)。然而,例如,可以包括能够控制至少一个摄像单元的摄像范围的驱动机构,因此能够相对地改变多个摄像单元的摄像范围。
可以经由网络或任何各种存储介质将用于实现这些实施例中的部分或全部控制中的上述实施例的功能的计算机程序供给至摄像装置。摄像装置中的计算机(或CPU或MPU等)可以读取并执行该程序。在这种情况下,在本发明中配置了该程序以及用于存储该程序的存储介质。
虽然已经参考典型实施方式说明了本发明,但应当理解,本发明不限于所公开的典型实施方式。以下权利要求书的范围应被给予最广泛的理解,以包含所有这样的修改以及等同结构和功能。
本申请要求2019年6月11日提交的日本专利申请2019-108881的权益,其通过引用而全文并入于此。
Claims (18)
1.一种摄像装置,用于经由网络连接至外部设备,所述摄像装置包括:
第一摄像单元和第二摄像单元;
驱动机构,其被配置为控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围;以及
至少一个处理器或电路,其用作:
合成单元,其被配置为将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成以生成广角图像;
接收单元,其被配置为从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;
控制单元,其被配置为根据用户所指定的区域或位置,控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围、并且控制所述合成单元是否进行合成;以及
发送单元,其被配置为将所述第一图像、所述第二图像和所述广角图像发送至所述外部设备。
2.根据权利要求1所述的摄像装置,其中,所述控制单元通过改变所述第一摄像单元或所述第二摄像单元的摄像方向、变焦倍率、以及摄像面的旋转角度中至少之一来控制所述摄像范围。
3.根据权利要求1所述的摄像装置,其中,在所指定的区域或位置的数量仅为1个的情况下,所述控制单元控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围,并进行控制以使得所述合成单元进行合成。
4.根据权利要求3所述的摄像装置,其中,在所指定的区域的数量仅为1个并且所述区域的形状为矩形的情况下,所述控制单元根据所述区域的纵横比来改变所述第一摄像单元和所述第二摄像单元是在纵向方向上对所述区域进行分割和摄像、还是在横向方向上对所述区域进行分割和摄像。
5.根据权利要求4所述的摄像装置,其中,所述控制单元在所述纵横比大于第一值的情况下使得在所述纵向方向上对所述区域进行分割和摄像,以及在所述纵横比小于所述第一值的情况下使得在所述横向方向上对所述区域进行分割和摄像。
6.根据权利要求1所述的摄像装置,其中,所述发送单元向所述外部设备发送在用户指定所述区域或位置的情况下、所述第一摄像单元和所述第二摄像单元的摄像范围被设置为最宽的状态下的图像。
7.根据权利要求1所述的摄像装置,其中,在所指定的区域或位置的数量为2个的情况下,所述控制单元控制所述第一摄像单元和所述第二摄像单元的摄像范围,并使所述合成单元不进行合成。
8.根据权利要求1所述的摄像装置,还包括:
除所述第一摄像单元和所述第二摄像单元以外的一个或多个摄像单元,
其中,在所指定的区域或位置的数量大于摄像单元的数量的情况下,所述控制单元控制一个预定摄像单元的摄像范围,使得所述区域或位置中的至少两个区域或位置包括在所述一个预定摄像单元的摄像范围中。
9.根据权利要求1所述的摄像装置,其中,所述控制单元对图像进行裁切,使得与所指定的区域相对应的裁切图像被发送至所述外部设备。
10.根据权利要求1所述的摄像装置,还包括:
除所述第一摄像单元和所述第二摄像单元以外的一个或多个摄像单元,
其中,在所指定的区域或位置的数量小于摄像单元的数量的情况下,所述控制单元进行控制以使得所述区域或位置中的至少一个区域是利用多个摄像单元进行分割和摄像的。
11.根据权利要求1所述的摄像装置,还包括:
包括所述第一摄像单元和所述第二摄像单元的多个摄像单元,
其中,所述发送单元向所述外部设备发送在用户指定所述区域或位置的情况下、基于从所述多个摄像单元所获得的图像的平摇方向上的广角图像。
12.一种摄像装置,用于经由网络连接至外部设备,所述摄像装置包括:
第一摄像单元和第二摄像单元;
驱动机构,其被配置为能够控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围;
至少一个处理器或电路,其用作:
合成单元,其被配置为将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成并生成广角图像;
接收单元,其被配置为从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;以及
控制单元,其被配置为确定用于指示根据所指定的区域或位置如何控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围的引导。
13.根据权利要求12所述的摄像装置,其中,所述外部设备的显示单元显示所述引导。
14.根据权利要求13所述的摄像装置,其中,所述显示单元使得与所述显示单元不同的显示元件显示所述引导。
15.根据权利要求12所述的摄像装置,其中,在所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围达到与所述引导的显示相对应的预定状态的情况下,所述显示单元改变所述引导的显示状态。
16.根据权利要求12所述的摄像装置,其中,所述控制单元根据所指定的区域或位置来控制所述合成单元是否进行合成。
17.一种用于控制摄像装置的控制方法,所述摄像装置用于经由网络连接至外部设备,所述摄像装置具有:
第一摄像单元和第二摄像单元;
驱动机构,其被配置为控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围,
其中,所述控制方法包括:
将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成以生成广角图像;
从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;
根据所指定的区域或位置,控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围并且判断是否进行合成;以及
将所述第一图像、所述第二图像和所述广角图像发送至所述外部设备。
18.一种非暂时性计算机可读存储介质,其存储用以控制摄像装置的计算机程序,所述摄像装置经由网络连接至外部设备,所述摄像装置具有:
第一摄像单元和第二摄像单元;
驱动机构,其被配置为控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围;
合成单元,其被配置为将所述第一摄像单元所获取到的第一图像和所述第二摄像单元所获取到的第二图像进行合成并生成广角图像;以及
接收单元,其被配置为从所述外部设备接收与用户所指定的区域或位置相关的信息,其中,所述区域或位置是利用所述外部设备的显示单元的画面上所显示的所述第一图像和所述第二图像其中之一、或者利用所述外部设备的显示单元的画面上所显示的用于指示摄像区域的图像来指定的;
其中,所述计算机程序包括用于执行以下处理的指令:
根据所指定的区域或位置,控制所述第一摄像单元和所述第二摄像单元中至少之一的摄像范围并且判断所述合成单元是否进行合成;以及
将所述第一图像、所述第二图像和所述广角图像发送至所述外部设备。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019-108881 | 2019-06-11 | ||
JP2019108881A JP2020202503A (ja) | 2019-06-11 | 2019-06-11 | 撮像装置、コンピュータプログラムおよび記憶媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112073630A true CN112073630A (zh) | 2020-12-11 |
CN112073630B CN112073630B (zh) | 2023-06-06 |
Family
ID=71094084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010530853.1A Active CN112073630B (zh) | 2019-06-11 | 2020-06-11 | 摄像装置、摄像装置的控制方法及记录介质 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11184547B2 (zh) |
EP (1) | EP3751838A1 (zh) |
JP (1) | JP2020202503A (zh) |
CN (1) | CN112073630B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021019228A (ja) | 2019-07-17 | 2021-02-15 | キヤノン株式会社 | 撮像装置、コンピュータプログラムおよび記録媒体 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118786A (ja) * | 2002-09-30 | 2004-04-15 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
CN102342099A (zh) * | 2009-05-29 | 2012-02-01 | (株)荣国电子 | 智能型监控摄像装置及采用该装置的影像监控系统 |
CN106060454A (zh) * | 2015-04-08 | 2016-10-26 | 安讯士有限公司 | 监视摄像头 |
CN107454309A (zh) * | 2016-04-15 | 2017-12-08 | 佳能株式会社 | 摄像系统、图像处理设备及其控制方法、程序和记录介质 |
CN109714525A (zh) * | 2017-10-26 | 2019-05-03 | 佳能株式会社 | 摄像装置、系统、摄像装置的控制方法和存储介质 |
CN109714524A (zh) * | 2017-10-26 | 2019-05-03 | 佳能株式会社 | 摄像装置、系统、摄像装置的控制方法和存储介质 |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7183549B2 (en) * | 2004-09-09 | 2007-02-27 | Flir Systems, Inc. | Multiple camera systems and methods |
JP2009010915A (ja) * | 2007-05-31 | 2009-01-15 | Takeshi Yanagisawa | 映像表示方法及び映像システム |
MX2012008878A (es) * | 2010-02-01 | 2012-11-06 | Youngkook Electronics Co Ltd | Dispositivo de camara de seguimiento y supervision y sistema remoto de supervision que usa el mismo. |
JP5593772B2 (ja) * | 2010-03-29 | 2014-09-24 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP5573349B2 (ja) * | 2010-05-17 | 2014-08-20 | パナソニック株式会社 | パノラマ展開画像撮影システムおよび方法 |
JP5672862B2 (ja) * | 2010-08-27 | 2015-02-18 | ソニー株式会社 | 撮像装置、撮像システム及び撮像方法 |
JP5574423B2 (ja) * | 2010-09-24 | 2014-08-20 | カシオ計算機株式会社 | 撮像装置、表示制御方法及びプログラム |
JP6075066B2 (ja) * | 2012-12-28 | 2017-02-08 | 株式会社リコー | 画像管理システム、画像管理方法、及びプログラム |
CN103916582B (zh) * | 2013-01-07 | 2017-09-29 | 华为技术有限公司 | 一种图像处理方法及装置 |
JP6292227B2 (ja) * | 2013-04-30 | 2018-03-14 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
CN107980221B (zh) * | 2015-04-01 | 2021-10-29 | 猫头鹰实验室股份有限公司 | 合成并缩放角度分离的子场景 |
JP6335395B2 (ja) * | 2015-09-30 | 2018-05-30 | 富士フイルム株式会社 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
JP6554162B2 (ja) | 2017-12-20 | 2019-07-31 | 東北電力株式会社 | 発電プラント性能評価方法及び発電プラント性能評価プログラム |
JP7163057B2 (ja) * | 2018-04-26 | 2022-10-31 | キヤノン株式会社 | 撮像装置、撮像方法、プログラムおよび記録媒体 |
JP7182935B2 (ja) | 2018-07-30 | 2022-12-05 | キヤノン株式会社 | 撮像装置、制御方法およびプログラム |
KR102525000B1 (ko) * | 2018-08-08 | 2023-04-24 | 삼성전자 주식회사 | 복수의 이미지들이 합성된 이미지를 깊이 정보에 기반하여 흐림 처리하는 전자 장치 및 상기 전자 장치의 구동 방법 |
JP7210199B2 (ja) | 2018-09-20 | 2023-01-23 | キヤノン株式会社 | 撮像装置、制御方法、コンピュータプログラム、及び記憶媒体 |
JP7271132B2 (ja) | 2018-10-26 | 2023-05-11 | キヤノン株式会社 | 撮像装置および監視システム |
KR102619271B1 (ko) * | 2018-11-01 | 2023-12-28 | 한화비전 주식회사 | 복수의 카메라들을 포함하는 영상 촬영 장치 및 영상 촬영 시스템 |
JP7250483B2 (ja) | 2018-11-12 | 2023-04-03 | キヤノン株式会社 | 撮像装置、コンピュータプログラム、及び記憶媒体 |
JP7316809B2 (ja) | 2019-03-11 | 2023-07-28 | キヤノン株式会社 | 画像処理装置、画像処理装置の制御方法、システム、及び、プログラム |
JP2020188349A (ja) | 2019-05-14 | 2020-11-19 | キヤノン株式会社 | 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体 |
JP7286412B2 (ja) | 2019-05-22 | 2023-06-05 | キヤノン株式会社 | 画像処理装置およびその制御方法、撮像装置、監視システム |
-
2019
- 2019-06-11 JP JP2019108881A patent/JP2020202503A/ja not_active Ceased
-
2020
- 2020-06-01 US US16/889,101 patent/US11184547B2/en active Active
- 2020-06-09 EP EP20179047.4A patent/EP3751838A1/en not_active Withdrawn
- 2020-06-11 CN CN202010530853.1A patent/CN112073630B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004118786A (ja) * | 2002-09-30 | 2004-04-15 | Sony Corp | 画像処理装置および方法、記録媒体、並びにプログラム |
US20060008176A1 (en) * | 2002-09-30 | 2006-01-12 | Tatsuya Igari | Image processing device, image processing method, recording medium, and program |
CN102342099A (zh) * | 2009-05-29 | 2012-02-01 | (株)荣国电子 | 智能型监控摄像装置及采用该装置的影像监控系统 |
CN106060454A (zh) * | 2015-04-08 | 2016-10-26 | 安讯士有限公司 | 监视摄像头 |
CN107454309A (zh) * | 2016-04-15 | 2017-12-08 | 佳能株式会社 | 摄像系统、图像处理设备及其控制方法、程序和记录介质 |
CN109714525A (zh) * | 2017-10-26 | 2019-05-03 | 佳能株式会社 | 摄像装置、系统、摄像装置的控制方法和存储介质 |
CN109714524A (zh) * | 2017-10-26 | 2019-05-03 | 佳能株式会社 | 摄像装置、系统、摄像装置的控制方法和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
EP3751838A1 (en) | 2020-12-16 |
US20200396385A1 (en) | 2020-12-17 |
US11184547B2 (en) | 2021-11-23 |
CN112073630B (zh) | 2023-06-06 |
JP2020202503A (ja) | 2020-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3792901B2 (ja) | カメラ制御システム及びその制御方法 | |
KR101760142B1 (ko) | 카메라 장치, 카메라 시스템, 제어 장치 및 컴퓨터로 판독가능한 기록 매체 | |
CN110022431B (zh) | 摄像装置、摄像方法、显示装置和显示方法 | |
KR101685418B1 (ko) | 3차원 영상을 생성하는 감시 시스템 | |
KR101677303B1 (ko) | 카메라 장치, 카메라 시스템, 제어 장치 및 프로그램 | |
JPH118844A (ja) | 撮像装置コントローラおよび撮像システム | |
US20050100087A1 (en) | Monitoring system and method, program, and recording medium | |
KR20120108747A (ko) | 3차원 영상을 생성하는 감시 카메라 및 그 방법 | |
CN110351475B (zh) | 摄像系统、信息处理设备及其控制方法和存储介质 | |
JP2020188349A (ja) | 撮像装置、撮像方法、コンピュータプログラム及び記憶媒体 | |
US8692879B2 (en) | Image capturing system, image capturing device, information processing device, and image capturing method | |
US11140327B2 (en) | Image-capturing device and method for operating image-capturing system of two cameras | |
JPH118845A (ja) | パノラマ画像生成装置および方法 | |
JP2010034652A (ja) | 多方位カメラ搭載型携帯端末装置 | |
CN112073630B (zh) | 摄像装置、摄像装置的控制方法及记录介质 | |
JP2000341574A (ja) | カメラ装置及びカメラ制御システム | |
KR102009988B1 (ko) | 초광각 카메라를 이용한 렌즈 왜곡 영상 보정 카메라 시스템의 영상 보정 방법 및 그가 적용된 tvi 장치 | |
JP5434065B2 (ja) | 撮像装置 | |
JP4448001B2 (ja) | 撮像装置 | |
US11516390B2 (en) | Imaging apparatus and non-transitory storage medium | |
KR102707798B1 (ko) | 팬틸트줌 동작이 가능한 카메라 장치와 이를 이용한 영상 감시 시스템 및 방법 | |
EP3930305A1 (en) | Control apparatus, control method, and program | |
JP2018146847A (ja) | 雲台撮像システム | |
JP2002218288A (ja) | カメラ表示システム | |
JP2024148428A (ja) | 撮像装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |