[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN112969022B - 摄像头调整方法、系统、存储介质及电子设备 - Google Patents

摄像头调整方法、系统、存储介质及电子设备 Download PDF

Info

Publication number
CN112969022B
CN112969022B CN202110129635.1A CN202110129635A CN112969022B CN 112969022 B CN112969022 B CN 112969022B CN 202110129635 A CN202110129635 A CN 202110129635A CN 112969022 B CN112969022 B CN 112969022B
Authority
CN
China
Prior art keywords
image
target
camera
target image
brightness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110129635.1A
Other languages
English (en)
Other versions
CN112969022A (zh
Inventor
麻越
陈奕名
张建鑫
马丁
王超
霍卫涛
王赛
董连杰
张赫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
New Oriental Education Technology Group Co ltd
Original Assignee
New Oriental Education Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by New Oriental Education Technology Group Co ltd filed Critical New Oriental Education Technology Group Co ltd
Priority to CN202110129635.1A priority Critical patent/CN112969022B/zh
Publication of CN112969022A publication Critical patent/CN112969022A/zh
Application granted granted Critical
Publication of CN112969022B publication Critical patent/CN112969022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/04Protocols for data compression, e.g. ROHC
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02BCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Security & Cryptography (AREA)
  • Studio Devices (AREA)

Abstract

本公开涉及一种摄像头调整方法、系统、存储介质及电子设备。该摄像头调整系统包括服务器,与该服务器相连接的一个或多个边缘设备,与该边缘设备相连接的一个或多个摄像头,通过边缘设备获取摄像头拍摄的目标图像;将该目标图像与基准图像进行比较,得到图像偏移矢量;根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角,从而实现了自动调整摄像头视角,以便通过摄像头拍摄符合预期的视频或图像。

Description

摄像头调整方法、系统、存储介质及电子设备
技术领域
本公开涉及自动控制技术领域,具体地,涉及一种摄像头调整方法、系统、存储介质及电子设备。
背景技术
随着教育水平的不断提升,线下课的录播成为教育场景中非常重要的一环。为实现线下课的录播,根据教室规格的不同,会在黑板前安装一个或多个摄像头,通过摄像头将教学过程视频完整记录下来并提供给学生。学生通过观看回放消化和掌握教学难点,从而提高授课质量。这就对教室内的摄像头视角提出了较高要求,需要在摄像头因各种因素导致视角不合适时能够及时调整,但是相关技术中对摄像头视角的调整主要依赖人工,费时费力,且不够及时。
发明内容
为了解决上述问题,本公开提供一种摄像头调整方法、系统、存储介质及电子设备。
第一方面,本公开提供了一种摄像头调整系统,所述系统包括服务器,与所述服务器相连接的一个或多个边缘设备,与所述边缘设备相连接的一个或多个摄像头;其中:
所述服务器,用于接收所述边缘设备上传的图像或视频;
所述摄像头,用于拍摄图像并将拍摄的图像发送至所述边缘设备;以及,接收所述边缘设备发送的第一控制指令并根据所述第一控制指令调整摄像头视角;
所述边缘设备,用于获取摄像头拍摄的目标图像;将所述目标图像与基准图像进行比较,得到图像偏移矢量;根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角。
可选地所述边缘设备具体用于:
使用SIFT算法分别对所述目标图像和所述基准图像进行特征点提取,获取所述目标图像的多个目标特征点和所述基准图像的多个基准特征点;
将所述目标特征点和所述基准特征点进行图像特征匹配,并获取每个所述目标特征点与相匹配的基准特征点之间的位置偏移矢量;
对所述位置偏移矢量进行平滑滤波处理以消除噪声;
根据平滑滤波后的位置偏移矢量计算得到所述图像偏移矢量。
可选地所述边缘设备具体用于:
在所述图像偏移矢量大于或等于预设矢量阈值的情况下,循环执行摄像头调整步骤,直至所述图像偏移矢量小于所述预设矢量阈值;其中,所述摄像头调整步骤包括:
根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角;
通过调整后的摄像头获取新的目标图像;
将所述新的目标图像与所述基准图像进行比较,得到新的图像偏移矢量,并将新的图像偏移矢量更新为所述图像偏移矢量。
可选地所述边缘设备具体用于:
在获取到的所述目标图像失真的情况下,对所述目标图像进行校正处理后,再将校正后的所述目标图像与基准图像进行比较,得到图像偏移矢量;其中,所述校正处理包括矩形校正、亮度分布校正和噪声消除中的一种或多种。
可选地所述边缘设备具体用于:
获取所述目标图像的亮度分布,并确认所述目标图像的亮度分布是否符合预期亮度分布;
在所述目标图像的亮度分布不符合所述预期亮度分布的情况下,使用预设亮度曲线对所述目标图像进行校正,以使得校正后的目标图像的亮度分布符合所述预期亮度分布,其中,所述预设亮度曲线使用的曲线方程包括用于对所述目标图像的像素点亮度进行调整的目标亮度调整参数矩阵,所述目标亮度调整参数矩阵通过以下方式获取:
将所述目标图像输入预设的亮度校正模型中得到第一候选亮度调整参数矩阵;
对所述第一候选亮度调整参数矩阵进行平滑后,得到所述目标亮度调整参数矩阵。
可选地所述边缘设备具体用于:
获取所述目标图像中包含的一个或多个目标边界,所述目标边界表征目标图像中的多个第一目标物体之间的边界;
根据所述目标边界从所述目标图像中获取一个或多个目标区域;
从第一候选亮度调整参数矩阵中获取与每个目标区域对应的第二亮度调整参数矩阵;
对所述第二亮度调整参数矩阵进行亮度平滑滤波处理以消除噪声;
根据平滑滤波后的第二亮度调整参数矩阵得到所述目标亮度调整参数矩阵。
可选地,所述边缘设备具体用于:
获取所述目标图像中的矩形目标物体;
确认所述矩形目标物体在所述目标图像中的形状是否为矩形;
在所述矩形目标物体在所述目标图像中的形状不是矩形的情况下,通过图像透视变换算法对所述目标图像进行校正,以使得校正后图像中的矩形目标物为规则矩形。
可选地所述边缘设备还用于:
获取调整视角后的摄像头拍摄的新的目标图像;
对所述新的目标图像进行所述校正处理,并将校正处理后的图像作为新的基准图像。
可选地其特征在于:
所述服务器,根据第一用户输入指令向所述边缘设备发送第一图像获取指令和/或第一摄像头调整指令;以及,接收所述边缘设备上传的压缩后图像,并向用户展示该压缩后图像;
所述边缘设备,还用于接收所述服务器发送的第一图像获取指令,并根据所述第一图像获取指令获取所述摄像头拍摄的图像;对所述摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像;将所述压缩后图像上传至所述服务器;以及,
接收所述服务器发送的第一摄像头调整指令,并根据所述第一摄像头调整指令向所述摄像头发送第二控制指令,以便所述摄像头根据所述第二控制指令调整摄像头视角。
第二方面,本公开提供了一种摄像头调整方法,所述方法应用于摄像头调整系统的边缘设备,所述摄像头调整系统包括服务器,与所述服务器相连接的一个或多个边缘设备,与所述边缘设备相连接的一个或多个摄像头;所述方法包括:
获取摄像头拍摄的目标图像;
将所述目标图像与基准图像进行比较,得到图像偏移矢量;
根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角。
可选地,所述将所述目标图像与基准图像进行比较,得到图像偏移矢量包括:
使用SIFT算法分别对所述目标图像和所述基准图像进行特征点提取,获取所述目标图像的多个目标特征点和所述基准图像的多个基准特征点;
将所述目标特征点和所述基准特征点进行图像特征匹配,并获取每个所述目标特征点与相匹配的基准特征点之间的位置偏移矢量;
对所述位置偏移矢量进行平滑滤波处理以消除噪声;
根据平滑滤波后的位置偏移矢量计算得到所述图像偏移矢量。
可选地,所述根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角包括:
在所述图像偏移矢量大于或等于预设矢量阈值的情况下,循环执行摄像头调整步骤,直至所述图像偏移矢量小于所述预设矢量阈值;其中,所述摄像头调整步骤包括:
根据所述图像偏移矢量向所述摄像头发送所述第一控制指令;
通过调整后的摄像头获取新的目标图像;
将所述新的目标图像与所述基准图像进行比较,得到新的图像偏移矢量,并将新的图像偏移矢量更新为所述图像偏移矢量。
可选地,将所述目标图像与基准图像进行比较,得到图像偏移矢量包括:
在获取到的所述目标图像失真的情况下,对所述目标图像进行校正处理后,再将校正后的所述目标图像与基准图像进行比较,得到图像偏移矢量;其中,所述校正处理包括矩形校正、亮度分布校正和噪声消除中的一种或多种。
可选地,所述亮度分布校正包括:
获取所述目标图像的亮度分布,并确认所述目标图像的亮度分布是否符合预期亮度分布;
在所述目标图像的亮度分布不符合所述预期亮度分布的情况下,使用预设亮度曲线对所述目标图像进行校正,以使得校正后的所述目标图像的亮度分布符合所述预期亮度分布,其中,所述预设亮度曲线使用的曲线方程包括用于对所述目标图像的像素点亮度进行调整的目标亮度调整参数矩阵,所述目标亮度调整参数矩阵通过以下方式获取:
将所述目标图像输入预设的亮度校正模型中得到第一候选亮度调整参数矩阵;
对所述第一候选亮度调整参数矩阵进行平滑后,得到所述目标亮度调整参数矩阵。
可选地,对所述第一候选亮度调整参数矩阵进行平滑后,得到所述目标亮度调整参数矩阵包括:
获取所述目标图像中包含的一个或多个目标边界,所述目标边界表征目标图像中的多个第一目标物体之间的边界;
根据所述目标边界从所述目标图像中获取一个或多个目标区域;
从第一候选亮度调整参数矩阵中获取与每个目标区域对应的第二亮度调整参数矩阵;
对所述第二亮度调整参数矩阵进行亮度平滑滤波处理以消除噪声;
根据平滑滤波后的第二亮度调整参数矩阵得到所述目标亮度调整参数矩阵。
可选地,所述矩形校正包括:
获取所述目标图像中的矩形目标物体;
确认所述矩形目标物体在所述目标图像中的形状是否为矩形;
在所述矩形目标物体在所述目标图像中的形状不是矩形的情况下,通过图像透视变换算法对所述目标图像进行校正,以使得校正后的所述目标图像中的矩形目标物为规则矩形。
可选地,在所述根据所述图像偏移矢量对所述摄像头进行调整之后,所述方法还包括:
获取调整后的摄像头拍摄的新的目标图像;
对所述新的目标图像进行所述校正处理,并将校正处理后的图像作为新的基准图像。
可选地,所述方法还包括:
接收所述服务器发送的第一图像获取指令,并根据所述第一图像获取指令获取所述摄像头拍摄的图像;
对所述摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像;
将所述压缩后图像上传至所述服务器;
接收所述服务器发送的第一摄像头调整指令,并根据所述第一摄像头调整指令向所述摄像头发送第二控制指令,以便所述摄像头根据所述第二控制指令调整摄像头视角。
第三方面,本公开提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第二方面所述方法的步骤。
第四方面,本公开提供一种电子设备,包括:存储器,其上存储有计算机程序;处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第二方面所述方法的步骤。
采用上述技术方案,本公开提供的摄像头调整系统包括服务器,与该服务器相连接的一个或多个边缘设备,与该边缘设备相连接的一个或多个摄像头,通过边缘设备获取摄像头拍摄的目标图像;将该目标图像与基准图像进行比较,得到图像偏移矢量;根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角,从而实现了自动调整摄像头视角,以便通过摄像头拍摄符合预期的视频或图像。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是本公开实施例提供的一种摄像头调整系统的结构示意图;
图2是本公开实施例提供的一种摄像头调整方法的流程图;
图3是本公开实施例提供的一种电子设备的框图;
图4是本公开实施例提供的另一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
在下文中的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
首先,对本公开的应用场景进行说明。本公开可以应用于摄像头调整场景,为了实现线下课的录播,会在教室黑板前安装一个或多个摄像头,为了清晰的记录的教学视频,需要对摄像头视角进行有效的调整,但相关技术中对摄像头视角的调整主要依赖人工进行,一般由工作人员定期巡视各个教室的摄像头,若发现有摄像头视角发生变化,进行人工调整;另外,若出现教学视频不清晰或缺少内容的情况后,工作人员对记录该教学视频的摄像头进行检查和调整。而上述人工调整的方法费时费力,且不够及时。
为了解决上述问题,本公开提供了一种摄像头调整方法、系统、存储介质及电子设备,该摄像头调整系统包括服务器,与该服务器相连接的一个或多个边缘设备,与该边缘设备相连接的一个或多个摄像头,通过边缘设备获取摄像头拍摄的目标图像;将该目标图像与基准图像进行比较,得到图像偏移矢量;根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角,从而实现了自动调整摄像头视角,以便通过摄像头拍摄符合预期的视频或图像。
以下结合附图对本公开的具体实施方式进行详细说明。
图1是本公开实施例提供的一种摄像头调整系统的结构示意图,如图1所示,该摄像头调整系统包括服务器101,与该服务器相连接的一个或多个边缘设备102,与该边缘设备相连接的一个或多个摄像头103;其中:
该服务器101,用于接收该边缘设备102上传的图像或视频。
该摄像头103,用于拍摄图像并将拍摄的图像发送至该边缘设备102;以及,接收该边缘设备102发送的第一控制指令并根据该第一控制指令调整摄像头视角。
该边缘设备102,用于获取摄像头103拍摄的目标图像;将该目标图像与基准图像进行比较,得到图像偏移矢量;根据该图像偏移矢量向该摄像头103发送该第一控制指令,以便该摄像头103根据该第一控制指令调整摄像头视角。
其中,该边缘设备102执行的上述操作可以被称为摄像头调整操作,该边缘设备102可以在用户设置的预设时间执行该摄像头调整操作,例如,可以设定在每天的8点和18点,执行该摄像头调整操作;或者设定在每周的周天早上8点,执行该摄像头调整操作。这样可以在无需人工干预的情况下,实现自动的摄像头调整。
当然,该边缘设备102也可以根据接收到的调整操作指令执行上述摄像头调整操作,该调整操作指令可以是服务器根据用户指令向边缘设备发送的。
该基准图像可以是用户通过人工调整摄像头视角至预期视角后,通过该摄像头拍摄的符合用户预期的图像。该基准图像可以存储在边缘设备中,也可以通过边缘设备上传至服务器,服务器接收该基准图像并存储,服务器也可以将该基准图像展示给用户,以便用户确认该基准图像是否符合用户的预期。
需要说明的是,传统集中式云计算服务无法满足大数据处理的实时性、安全性以及低能耗等需求,而且会占用大量带宽,而本公开中的摄像头调整系统中包含了边缘设备(Edge Device),该边缘设备可以具有处理器和存储器,以实现上述功能。示例地,该边缘设备可以是人工智能开发板,也可以是传统的电脑或服务器。
采用上述系统,通过边缘设备获取摄像头拍摄的目标图像;将该目标图像与基准图像进行比较,得到图像偏移矢量;根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角,从而实现了自动调整摄像头视角,以便通过摄像头拍摄符合预期的视频或图像。
可选地,上述摄像头103可以设置有云台。上述摄像头103可以通过该云台接收边缘设备102发送的第一控制指令并根据该第一控制指令调整摄像头视角。
需要说明的是,云台是安装和固定摄像头的支撑设备,云台的种类可以包括固定云台或电动云台。本实施例中的云台可以是电动云台,该电动云台可以接收上述第一控制指令,并根据第一控制指令调整摄像头的水平角度和/或俯仰角度,从而调整摄像头视角。
进一步地,上述第一控制指令可以包括该摄像头的水平角度调整量和/或俯仰角度调整量,该水平角度调整量和俯仰角度调整量,均可以根据上述图像偏移矢量获取。示例地,该图像偏移矢量可以包括第二目标物体在目标图像和基准图像中的水平偏移矢量和垂直偏移矢量;该第二目标物体可以是教室中的固定物体,示例地,该第二目标物体可以是教室中的黑板、白板、墙壁、地面、课桌或者椅子。该边缘设备可以获取该第二目标物体与摄像头的距离为目标距离,并通过该目标距离和该水平偏移矢量计算得到水平角度调整量,通过该目标距离和该垂直偏移矢量计算得到俯仰角度调整量。需要说明的是,上述目标距离可以是预先设置的,也可以是根据安装在摄像头上的距离检测模块获取的,该距离检测模块可以是超声波测距模块或激光测距模块。
这样,可以通过图像偏移矢量获得准确的水平角度调整量和/或俯仰角度调整量,进一步通过第一控制指令将摄像头视角调整至预期视角,以使得摄像头拍摄的目标图像与基准图像一致,提高了摄像头调整的效率。
在本公开的另外一些实施例中,该边缘设备可以通过以下方式将该目标图像与基准图像进行比较,得到图像偏移矢量:
首先,使用SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)算法分别对该目标图像和该基准图像进行特征点提取,获取该目标图像的多个目标特征点和该基准图像的多个基准特征点。
需要说明的是,对图像进行特征点提取的算法包括SIFT算法和Harris角点提取算法。而本实施例中使用SIFT算法,而不适用Harris角点提取算法的原因是:在教室场景下,每个桌子椅子的角点在Harris特征表达下是相近的,因此Harris会出现大量的角点误匹配,相比之下SIFT算法的鲁棒性更强。
上述每个特征点提取的方式可以包括:使用SIFT算法根据每个特征点的位置、尺度和方向三方面的信息得到该特征点的特征向量,该特征向量不仅包含特征点本身的信息,也包含该特征点周围相邻特征点的信息。这样,通过SIFT算法得到的该特征向量具有更高的独特性,能够将教室场景中的每个桌子椅子等信息更加明显的区分开来。
可选地,该SIFT算法使用的梯度直方图包含36个柱,每个柱代表的角度范围为10度,36个柱依次表示0度至360度的角度范围。
需要说明的是,通常的SIFT算法使用的梯度直方图一般包含8个柱,而发明人发现,使用36个柱具有更精确的方向表达,降低方向表达相近的特征点的误匹配,从而提高了特征点的匹配准确度。
其次,将该目标特征点和该基准特征点进行图像特征匹配,并获取每个该目标特征点与相匹配的基准特征点之间的位置偏移矢量。
再次,对该位置偏移矢量进行平滑滤波处理以消除噪声。
最后,根据平滑滤波后的位置偏移矢量计算得到该图像偏移矢量。
可以将每个目标特征点的位置偏移矢量的平均值作为该图像偏移矢量,也可以将每个目标特征点的位置偏移矢量求和得到该图像偏移矢量。
需要说明的是,上述对该位置偏移矢量进行平滑滤波处理以消除噪声的步骤是可选步骤,也可以直接根据上述未进行平滑滤波处理的位置偏移矢量计算得到该图像偏移矢量。
这样,通过SIFT算法可以得到较为准确的特征点,进而通过特征匹配得到较为准确的图像偏移矢量,从而提高了摄像头调整的准确性。
在本公开的另外一些实施例中,该边缘设备还可以用于:
在获取到的该目标图像失真的情况下,对该目标图像进行校正处理后,再将校正后的该目标图像与基准图像进行比较,得到图像偏移矢量;其中,该校正处理包括亮度分布校正、矩形校正和噪声消除中的一种或多种。以下分别对亮度分布校正、矩形校正和噪声消除的实现方式进行说明:
该边缘设备可以通过以下方式进行亮度分布校正:
首先,获取该目标图像的亮度分布,并确认该目标图像的亮度分布是否符合预期亮度分布。
其次,在该目标图像的亮度分布不符合该预期亮度分布的情况下,使用预设亮度曲线对该目标图像进行校正,以使得校正后的目标图像的亮度分布符合该预期亮度分布。
其中,该预设亮度曲线使用的曲线方程包括用于对该目标图像的像素点亮度进行调整的目标亮度调整参数矩阵,该目标亮度调整参数矩阵通过以下方式获取:将该目标图像输入预设的亮度校正模型中得到第一候选亮度调整参数矩阵;对该第一候选亮度调整参数矩阵进行平滑后,得到该目标亮度调整参数矩阵。
可选地,上述曲线方程可以是以下公式:
f(x)=x+a*x*(1-x),
其中,x为目标图像每个像素点的像素点亮度,a为上述目标亮度调整参数矩阵,a的取值可以通过深度曲线估计网络根据样本图像数据训练得到。
进一步地,上述预设亮度曲线可以通过将上述曲线方程自身迭代预设次数得到。由于上述曲线方程为二阶方程,通过自身迭代预设次数后,可以提高预设亮度曲线的阶数,进而提高亮度校正效果。示例地,上述预设次数可以是2次,也可以是16次,次数越多,预设亮度曲线的阶数越高,亮度校正的效果也更好。
需要说明的是,目标图像的每个像素点有3个通道,分别对应R(Red)、G(Green)、B(Blue),每个像素点的每个通道都对应有上述参数a,因此每个像素点对应的目标亮度调整参数矩阵的参数数量为上述预设次数的三倍。示例地,在上述预设次数为8次的情况下,每个像素点对应的目标亮度调整参数矩阵的参数数量为24(3个通道,8次迭代)。
进一步地,该边缘设备对该第一候选亮度调整参数矩阵进行平滑后,得到该目标亮度调整参数矩阵的实现方式可以包括:
首先,获取该目标图像中包含的一个或多个目标边界,该目标边界表征目标图像中的多个第一目标物体之间的边界。
在本步骤中,可以使用图像边缘检测算法对根据每个像素点与相邻像素点的像素值差值进行检测,得到上述目标边界。示例地,该第一目标物体可以包括教室中的黑板、白板、投影课件、墙壁、地面、课桌、椅子等物体中的一种或多种,该目标边界可以是黑板与墙壁之间的边界,也可以是课桌与地面之间的边界。
其次,根据该目标边界从该目标图像中获取一个或多个目标区域;
再次,从第一候选亮度调整参数矩阵中获取与每个目标区域对应的第二亮度调整参数矩阵;并对该第二亮度调整参数矩阵进行亮度平滑滤波处理以消除噪声。
最后,根据平滑滤波后的第二亮度调整参数矩阵得到该目标亮度调整参数矩阵。
这样,在摄像头拍摄的目标图像出现过亮或过暗的情况下,通过亮度分布校正对目标图像进行校正后得到亮度合适的目标图像,以便与基准图像进行比较,得到较为准确的图像偏移矢量。
该边缘设备可以通过以下方式进行矩形校正:
获取该目标图像中的矩形目标物体;并确认该矩形目标物体在该目标图像中的形状是否为矩形;在该矩形目标物体在该目标图像中的形状不是矩形的情况下,通过图像透视变换算法对该目标图像进行校正,以使得校正后图像中的矩形目标物为规则矩形。
其中,该矩形目标物体可以包括教室中的黑板、白板、投影课件、课桌、椅子等矩形物体中的一种或多种。
这样,在摄像头拍摄的目标图像出现矩形失真的情况下,通过矩形校正对目标图像进行校正还原,以便与基准图像进行比较,得到较为准确的图像偏移矢量。
该边缘设备还可以通过低通滤波器对目标图像进行噪声消除。其中,该低通滤波器可以采用经典均值算法或高斯滤波算法。
在本公开的另外一些实施例中,该边缘设备可以用于:
在上述图像偏移矢量大于或等于预设矢量阈值的情况下,循环执行摄像头调整步骤,直至该图像偏移矢量小于该预设矢量阈值;其中,该摄像头调整步骤包括:
首先,根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角。
其次,通过调整后的摄像头获取新的目标图像。
最后,将该新的目标图像与基准图像进行比较,得到新的图像偏移矢量,并将新的图像偏移矢量更新为该图像偏移矢量。
需要说明的是,上述图像偏移矢量大于或等于预设矢量阈值可以表征摄像头视角已经偏离预期视角,此时摄像头拍摄得到的视频或图像会存在不清晰或缺少部分内容的问题,此时需要对摄像头视角进行调整;反之,上述图像偏移矢量大于或等于预设矢量阈值可以表征摄像头视角符合预期视角,此时无需对摄像头视角进行调整。
这样,通过循环执行摄像头调整步骤,可以将摄像头视角调整至符合预期视角,以便通过摄像头拍摄符合预期的视频或图像。
进一步地,在循环执行摄像头调整步骤,直至该图像偏移矢量小于该预设矢量阈值之后,该边缘设备还用于:
获取调整视角后的摄像头拍摄的新的目标图像;对新的目标图像进行上述校正处理,并将校正处理后的图像作为新的基准图像。
同样地,该校正处理可以包括矩形校正、亮度分布校正和噪声消除中的一种或多种。
这样,在摄像头调整后,可以获取新的基准图像,并基于新的基准图像,将摄像头拍摄的目标图像与新的基准图像进行比较,得到图像偏移矢量;并根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角。
在本公开的另外一些实施例中,该摄像头调整系统中的上述服务器,用于根据第一用户输入指令向该边缘设备发送第一图像获取指令和/或第一摄像头调整指令;以及,接收该边缘设备上传的压缩后图像,并向用户展示该压缩后图像。
该边缘设备,还用于接收该服务器发送的第一图像获取指令,并根据该第一图像获取指令获取该摄像头拍摄的图像;对该摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像;将该压缩后图像上传至该服务器;以及,
接收该服务器发送的第一摄像头调整指令,并根据该第一摄像头调整指令向该摄像头发送第二控制指令,以便该摄像头根据该第二控制指令调整摄像头视角。
其中,上述预设目标分辨率可以是480P、360P或1080P,也可以是摄像头拍摄的图像的原始分辨率的1/4或1/16。上述压缩算法可以包括联合双边图像插值算法。
通过该系统,可以实现人工调整摄像头视角的功能,在上述边缘设备自动调整摄像头视角无法满足要求的情况下,通过人工调整来确保摄像头拍摄的视频或图像的质量。
需要说明的是,该摄像头调整系统应用于教室场景,服务器为远程服务器,边缘设备和摄像头安装在教室中,边缘设备和摄像头可以通过无线或有线连接。该摄像头采用高清摄像头,拍摄的图像分辨率可以达到1920*1080,因此,在服务器连接多个边缘设备的情况下,若不对图像进行压缩,会占用大量的带宽,可能带来带宽不足的问题,而服务器对用户呈现的图像的分辨率并不需要这么大,可以是较小的分辨率,因此,在本实施例中可以对图像进行压缩,通过图像压缩可以节省边缘设备和服务器之间的带宽,从而避免了带宽不足的问题。
在本公开的另外一些实施例中,该摄像头调整系统还可以包括终端,该终端与服务器相连接,该终端可以是手机、PAD或其他电子设备,其中:
该终端,用于根据第二用户输入指令向服务器发送第二图像获取指令或者第二摄像头调整指令;以及,接收该服务器发送的压缩后图像,并向用户展示该压缩后图像。
该服务器,用于响应于接收到的该第二图像获取指令,向边缘设备发送第一图像获取指令;响应于接收到的该第二摄像头调整指令,向边缘设备发送第一摄像头调整指令;以及,接收该边缘设备上传的压缩后图像,并向终端发送该压缩后图像。
该边缘设备,还用于接收该服务器发送的第一图像获取指令,并根据该第一图像获取指令获取该摄像头拍摄的图像;对该摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像;将该压缩后图像上传至该服务器;以及,
接收该服务器发送的第一摄像头调整指令,并根据该第一摄像头调整指令向该摄像头发送第二控制指令,以便该摄像头根据该第二控制指令调整摄像头视角。
这样,用户可以通过终端实现人工调整摄像头视角的功能,方便了用户操作。
图2是本公开实施例提供的一种摄像头调整方法,如图2所示,该方法的执行主体可以是摄像头调整系统的边缘设备,该摄像头调整系统包括服务器,与该服务器相连接的一个或多个边缘设备,与该边缘设备相连接的一个或多个摄像头;该方法包括:
S201、获取摄像头拍摄的目标图像。
在本步骤中,可以向摄像头发送拍摄指令,以控制该摄像头启动拍摄,并将拍摄的目标图像发送至该边缘设备;也可以是在摄像头正常拍摄过程中,获取其拍摄的目标图像。
S202、将该目标图像与基准图像进行比较,得到图像偏移矢量。
其中,该基准图像可以是用户通过人工调整摄像头视角至预期视角后,通过该摄像头拍摄的符合用户预期的图像。该基准图像可以存储在边缘设备中,也可以通过边缘设备上传至服务器,服务器接收该基准图像并存储,服务器也可以将该基准图像展示给用户,以便用户确认该基准图像是否符合用户的预期。
S203、根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角。
采用上述方法,获取摄像头拍摄的目标图像;将该目标图像与基准图像进行比较,得到图像偏移矢量;根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角,从而实现了自动调整摄像头视角,以便通过摄像头拍摄符合预期的视频或图像。
在本公开的另外一些实施例中,上述S202步骤将该目标图像与基准图像进行比较,得到图像偏移矢量的方式可以包括:
首先,使用SIFT(Scale-Invariant Feature Transform,尺度不变特征变换)算法分别对该目标图像和该基准图像进行特征点提取,获取该目标图像的多个目标特征点和该基准图像的多个基准特征点。
需要说明的是,对图像进行特征点提取的算法包括SIFT算法和Harris角点提取算法。而本实施例中使用SIFT算法,而不适用Harris角点提取算法的原因是:在教室场景下,每个桌子椅子的角点在Harris特征表达下是相近的,因此Harris会出现大量的角点误匹配,相比之下SIFT算法的鲁棒性更强。
上述每个特征点提取的方式可以包括:使用SIFT算法根据每个特征点的位置、尺度和方向三方面的信息得到该特征点的特征向量,该特征向量不仅包含特征点本身的信息,也包含该特征点周围相邻特征点的信息。这样,通过SIFT算法得到的该特征向量具有更高的独特性,能够将教室场景中的每个桌子椅子等信息更加明显的区分开来。
可选地,该SIFT算法使用的梯度直方图包含36个柱,每个柱代表的角度范围为10度,36个柱依次表示0度至360度的角度范围。
需要说明的是,通常的SIFT算法使用的梯度直方图一般包含8个柱,而发明人发现,使用36个柱具有更精确的方向表达,降低方向表达相近的特征点的误匹配,从而提高了特征点的匹配准确度。
其次,将该目标特征点和该基准特征点进行图像特征匹配,并获取每个该目标特征点与相匹配的基准特征点之间的位置偏移矢量。
再次,对该位置偏移矢量进行平滑滤波处理以消除噪声。
最后,根据平滑滤波后的位置偏移矢量计算得到该图像偏移矢量。
可以将每个目标特征点的位置偏移矢量的平均值作为该图像偏移矢量,也可以将每个目标特征点的位置偏移矢量求和得到该图像偏移矢量。
需要说明的是,上述对该位置偏移矢量进行平滑滤波处理以消除噪声的步骤是可选步骤,也可以直接根据上述未进行平滑滤波处理的位置偏移矢量计算得到该图像偏移矢量。
这样,通过SIFT算法可以得到较为准确的特征点,进而通过特征匹配得到较为准确的图像偏移矢量,从而提高了摄像头调整的准确性。
在本公开的另外一些实施例中,上述S202步骤将该目标图像与基准图像进行比较,得到图像偏移矢量的方式也可以包括:
在获取到的该目标图像失真的情况下,对该目标图像进行校正处理后,再将校正后的该目标图像与基准图像进行比较,得到图像偏移矢量;其中,该校正处理包括亮度分布校正、矩形校正和噪声消除中的一种或多种。以下分别对亮度分布校正、矩形校正和噪声消除的实现方式进行说明:
可以通过以下方式进行亮度分布校正:
首先,获取该目标图像的亮度分布,并确认该目标图像的亮度分布是否符合预期亮度分布。
其次,在该目标图像的亮度分布不符合该预期亮度分布的情况下,使用预设亮度曲线对该目标图像进行校正,以使得校正后的目标图像的亮度分布符合该预期亮度分布。
其中,该预设亮度曲线使用的曲线方程包括用于对该目标图像的像素点亮度进行调整的目标亮度调整参数矩阵,该目标亮度调整参数矩阵通过以下方式获取:将该目标图像输入预设的亮度校正模型中得到第一候选亮度调整参数矩阵;对该第一候选亮度调整参数矩阵进行平滑后,得到该目标亮度调整参数矩阵。
可选地,上述曲线方程可以是以下公式:
f(x)=x+a*x*(1-x),
其中,x为目标图像每个像素点的像素点亮度,a为上述目标亮度调整参数矩阵,a的取值可以通过深度曲线估计网络根据样本图像数据训练得到。
进一步地,上述预设亮度曲线可以通过将上述曲线方程自身迭代预设次数得到。由于上述曲线方程为二阶方程,通过自身迭代预设次数后,可以提高预设亮度曲线的阶数,进而提高亮度校正效果。示例地,上述预设次数可以是2次,也可以是16次,次数越多,预设亮度曲线的阶数越高,亮度校正的效果也更好。
需要说明的是,目标图像的每个像素点有3个通道,分别对应R(Red)、G(Green)、B(Blue),每个像素点的每个通道都对应有上述参数a,因此每个像素点对应的目标亮度调整参数矩阵的参数数量为上述预设次数的三倍。示例地,在上述预设次数为8次的情况下,每个像素点对应的目标亮度调整参数矩阵的参数数量为24(3个通道,8次迭代)。
进一步地,对该第一候选亮度调整参数矩阵进行平滑后,得到该目标亮度调整参数矩阵的实现方式可以包括:
首先,获取该目标图像中包含的一个或多个目标边界,该目标边界表征目标图像中的多个第一目标物体之间的边界。
在本步骤中,可以使用图像边缘检测算法对根据每个像素点与相邻像素点的像素值差值进行检测,得到上述目标边界。示例地,该第一目标物体可以包括教室中的黑板、白板、投影课件、墙壁、地面、课桌、椅子等物体中的一种或多种,该目标边界可以是黑板与墙壁之间的边界,也可以是课桌与地面之间的边界。
其次,根据该目标边界从该目标图像中获取一个或多个目标区域;
再次,从第一候选亮度调整参数矩阵中获取与每个目标区域对应的第二亮度调整参数矩阵;并对该第二亮度调整参数矩阵进行亮度平滑滤波处理以消除噪声。
最后,根据平滑滤波后的第二亮度调整参数矩阵得到该目标亮度调整参数矩阵。
这样,在摄像头拍摄的目标图像出现过亮或过暗的情况下,通过亮度分布校正对目标图像进行校正后得到亮度合适的目标图像,以便与基准图像进行比较,得到较为准确的图像偏移矢量。
可以通过以下方式进行矩形校正:
获取该目标图像中的矩形目标物体;并确认该矩形目标物体在该目标图像中的形状是否为矩形;在该矩形目标物体在该目标图像中的形状不是矩形的情况下,通过图像透视变换算法对该目标图像进行校正,以使得校正后图像中的矩形目标物为规则矩形。
其中,该矩形目标物体可以包括教室中的黑板、白板、投影课件、课桌、椅子等矩形物体中的一种或多种。
这样,在摄像头拍摄的目标图像出现矩形失真的情况下,通过矩形校正对目标图像进行校正还原,以便与基准图像进行比较,得到较为准确的图像偏移矢量。
可以通过低通滤波器对目标图像进行噪声消除。其中,该低通滤波器可以采用经典均值算法或高斯滤波算法。
在本公开的另外一些实施例中,上述S203步骤根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角可以包括:
在上述图像偏移矢量大于或等于预设矢量阈值的情况下,循环执行摄像头调整步骤,直至该图像偏移矢量小于该预设矢量阈值;其中,该摄像头调整步骤包括:
首先,根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角。
其次,通过调整后的摄像头获取新的目标图像。
最后,将该新的目标图像与基准图像进行比较,得到新的图像偏移矢量,并将新的图像偏移矢量更新为该图像偏移矢量。
需要说明的是,上述图像偏移矢量大于或等于预设矢量阈值可以表征摄像头视角已经偏离预期视角,此时摄像头拍摄得到的视频或图像会存在不清晰或缺少部分内容的问题,此时需要对摄像头视角进行调整;反之,上述图像偏移矢量大于或等于预设矢量阈值可以表征摄像头视角符合预期视角,此时无需对摄像头视角进行调整。
这样,通过循环执行摄像头调整步骤,可以将摄像头视角调整至符合预期视角,以便通过摄像头拍摄符合预期的视频或图像。
进一步地,在循环执行摄像头调整步骤,直至该图像偏移矢量小于该预设矢量阈值之后,该方法还可以包括:
获取调整视角后的摄像头拍摄的新的目标图像;对新的目标图像进行上述校正处理,并将校正处理后的图像作为新的基准图像。
同样地,该校正处理可以包括矩形校正、亮度分布校正和噪声消除中的一种或多种。
这样,在摄像头调整后,可以获取新的基准图像,并基于新的基准图像,将摄像头拍摄的目标图像与新的基准图像进行比较,得到图像偏移矢量;并根据该图像偏移矢量向该摄像头发送该第一控制指令,以便该摄像头根据该第一控制指令调整摄像头视角。
在本公开的另外一些实施例中,该方法还包括:
首先,接收服务器发送的第一图像获取指令,并根据该第一图像获取指令获取该摄像头拍摄的图像。
其中,该第一图像获取指令是服务器根据第一用户输入指令向该边缘设备发送的。该第一用户输入指令用于表征用户查看摄像头拍摄的目标图像的指令。
其次,对该摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像。
其中,该预设目标分辨率可以是480P、360P或1080P,也可以是摄像头拍摄的图像的原始分辨率的1/4或1/16。上述压缩算法可以包括联合双边图像插值算法。同样地,该校正处理可以包括矩形校正、亮度分布校正和噪声消除中的一种或多种。
再次,将该压缩后图像上传至该服务器。
其中,服务器接收到该边缘设备上传的压缩后图像,可以向用户展示该压缩后图像。用户根据该压缩后图像判断是否与基准图像一致,若与基准图像不一致,则发送第二用户输入指令,该第二用户输入指令中可以包括第一摄像头调整指令,服务器可以根据该第二用户输入指令向边缘设备发送第一摄像头调整指令。
最后,接收该服务器发送的第一摄像头调整指令,并根据该第一摄像头调整指令向该摄像头发送第二控制指令,以便该摄像头根据该第二控制指令调整摄像头视角。
这样,通过该方式,可以实现人工调整摄像头视角的功能,在上述边缘设备自动调整摄像头视角无法满足要求的情况下,通过人工调整来确保摄像头拍摄的视频或图像的质量;另外,通过对图像进行压缩处理,还可以节省边缘设备和服务器之间的带宽。
图3是根据一示例性实施例示出的一种电子设备300的框图。如图3所示,该电子设备300可以包括:处理器301,存储器302。该电子设备300还可以包括多媒体组件303,输入/输出(I/O)接口304,以及通信组件305中的一者或多者。
其中,处理器301用于控制该电子设备300的整体操作,以完成上述的摄像头调整方法中的全部或部分步骤。存储器302用于存储各种类型的数据以支持在该电子设备300的操作,这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件305可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的摄像头调整方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的摄像头调整方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器302,上述程序指令可由电子设备300的处理器301执行以完成上述的摄像头调整方法。
图4是根据一示例性实施例示出的一种电子设备400的框图。例如,电子设备400可以被提供为一服务器。参照图4,电子设备400包括处理器422,其数量可以为一个或多个,以及存储器432,用于存储可由处理器422执行的计算机程序。存储器432中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器422可以被配置为执行该计算机程序,以执行上述的摄像头调整方法。
另外,电子设备400还可以包括电源组件426和通信组件450,该电源组件426可以被配置为执行电子设备400的电源管理,该通信组件450可以被配置为实现电子设备400的通信,例如,有线或无线通信。此外,该电子设备400还可以包括输入/输出(I/O)接口458。电子设备400可以操作基于存储在存储器432的操作系统,例如Windows Server,Mac OS,Unix,Linux等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的摄像头调整方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器432,上述程序指令可由电子设备400的处理器422执行以完成上述的摄像头调整方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的摄像头调整方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (12)

1.一种摄像头调整系统,其特征在于,所述系统包括服务器,与所述服务器相连接的一个或多个边缘设备,与所述边缘设备相连接的一个或多个摄像头,所述摄像头调整系统应用于教室场景,所述服务器为远程服务器,所述边缘设备和所述摄像头安装在教室中,所述边缘设备和所述摄像头通过无线或有线连接;其中:
所述服务器,用于接收所述边缘设备上传的图像或视频;
所述摄像头,用于拍摄图像并将拍摄的图像发送至所述边缘设备;以及,接收所述边缘设备发送的第一控制指令并根据所述第一控制指令调整摄像头视角;
所述边缘设备,用于获取摄像头拍摄的目标图像;将所述目标图像与基准图像进行比较,得到图像偏移矢量;根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角;
所述服务器,还用于根据第一用户输入指令向所述边缘设备发送第一图像获取指令;以及,接收所述边缘设备上传的压缩后图像,并向用户展示该压缩后图像;
所述边缘设备,还用于接收所述服务器发送的第一图像获取指令,并根据所述第一图像获取指令获取所述摄像头拍摄的图像;对所述摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像;将所述压缩后图像上传至所述服务器;
所述边缘设备具体用于:
在获取到的所述目标图像失真的情况下,对所述目标图像进行校正处理后,再将校正后的所述目标图像与基准图像进行比较,得到图像偏移矢量;其中,所述校正处理包括矩形校正、亮度分布校正和噪声消除;
所述边缘设备具体用于:
获取所述目标图像的亮度分布,并确认所述目标图像的亮度分布是否符合预期亮度分布;
在所述目标图像的亮度分布不符合所述预期亮度分布的情况下,使用预设亮度曲线对所述目标图像进行校正,以使得校正后的目标图像的亮度分布符合所述预期亮度分布,其中,所述预设亮度曲线使用的曲线方程包括用于对所述目标图像的像素点亮度进行调整的目标亮度调整参数矩阵,所述目标亮度调整参数矩阵通过以下方式获取:
将所述目标图像输入预设的亮度校正模型中得到第一候选亮度调整参数矩阵;
对所述第一候选亮度调整参数矩阵进行平滑后,得到所述目标亮度调整参数矩阵;
所述边缘设备具体用于:
获取所述目标图像中包含的一个或多个目标边界,所述目标边界表征目标图像中的多个第一目标物体之间的边界,所述第一目标物体包括教室中的黑板、白板、投影课件、墙壁、地面、课桌和椅子中的一种或多种;
根据所述目标边界从所述目标图像中获取一个或多个目标区域;
从第一候选亮度调整参数矩阵中获取与每个目标区域对应的第二亮度调整参数矩阵;
对所述第二亮度调整参数矩阵进行亮度平滑滤波处理以消除噪声;
根据平滑滤波后的第二亮度调整参数矩阵得到所述目标亮度调整参数矩阵;
所述边缘设备具体用于:
获取所述目标图像中的矩形目标物体;所述矩形目标物体包括教室中的黑板、白板、投影课件、课桌和椅子中的一种或多种;
确认所述矩形目标物体在所述目标图像中的形状是否为矩形;
在所述矩形目标物体在所述目标图像中的形状不是矩形的情况下,通过图像透视变换算法对所述目标图像进行校正,以使得校正后图像中的矩形目标物为规则矩形;
所述预设亮度曲线使用的曲线方程为以下公式:
f(x)=x+a*x*(1-x),
其中,x为目标图像每个像素点的像素点亮度,所述a为上述目标亮度调整参数矩阵。
2.根据权利要求1所述的系统,其特征在于,所述边缘设备具体用于:
使用SIFT算法分别对所述目标图像和所述基准图像进行特征点提取,获取所述目标图像的多个目标特征点和所述基准图像的多个基准特征点;
将所述目标特征点和所述基准特征点进行图像特征匹配,并获取每个所述目标特征点与相匹配的基准特征点之间的位置偏移矢量;
对所述位置偏移矢量进行平滑滤波处理以消除噪声;
根据平滑滤波后的位置偏移矢量计算得到所述图像偏移矢量。
3.根据权利要求1所述的系统,其特征在于,所述边缘设备具体用于:
在所述图像偏移矢量大于或等于预设矢量阈值的情况下,循环执行摄像头调整步骤,直至所述图像偏移矢量小于所述预设矢量阈值;其中,所述摄像头调整步骤包括:
根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角;
通过调整后的摄像头获取新的目标图像;
将所述新的目标图像与所述基准图像进行比较,得到新的图像偏移矢量,并将新的图像偏移矢量更新为所述图像偏移矢量。
4.根据权利要求1所述的系统,其特征在于,所述边缘设备还用于:
获取调整视角后的摄像头拍摄的新的目标图像;
对所述新的目标图像进行所述校正处理,并将校正处理后的图像作为新的基准图像。
5.根据权利要求1至4中任一项所述的系统,其特征在于:
所述服务器,根据第一用户输入指令向所述边缘设备发送第一摄像头调整指令;
所述边缘设备,还用于接收所述服务器发送的第一摄像头调整指令,并根据所述第一摄像头调整指令向所述摄像头发送第二控制指令,以便所述摄像头根据所述第二控制指令调整摄像头视角。
6.一种摄像头调整方法,其特征在于,所述方法应用于摄像头调整系统的边缘设备,所述摄像头调整系统包括服务器,与所述服务器相连接的一个或多个边缘设备,与所述边缘设备相连接的一个或多个摄像头,所述摄像头调整系统应用于教室场景,所述服务器为远程服务器,所述边缘设备和所述摄像头安装在教室中,所述边缘设备和所述摄像头通过无线或有线连接;所述方法包括:
获取摄像头拍摄的目标图像;
将所述目标图像与基准图像进行比较,得到图像偏移矢量;
根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角;
所述方法还包括:
接收所述服务器发送的第一图像获取指令,并根据所述第一图像获取指令获取所述摄像头拍摄的图像;
对所述摄像头拍摄的图像进行校正处理并压缩至预设目标分辨率,得到压缩后图像;
将所述压缩后图像上传至所述服务器;
将所述目标图像与基准图像进行比较,得到图像偏移矢量包括:
在获取到的所述目标图像失真的情况下,对所述目标图像进行校正处理后,再将校正后的所述目标图像与基准图像进行比较,得到图像偏移矢量;其中,所述校正处理包括矩形校正、亮度分布校正和噪声消除;
所述亮度分布校正包括:
获取所述目标图像的亮度分布,并确认所述目标图像的亮度分布是否符合预期亮度分布;
在所述目标图像的亮度分布不符合所述预期亮度分布的情况下,使用预设亮度曲线对所述目标图像进行校正,以使得校正后的所述目标图像的亮度分布符合所述预期亮度分布,其中,所述预设亮度曲线使用的曲线方程包括用于对所述目标图像的像素点亮度进行调整的目标亮度调整参数矩阵,所述目标亮度调整参数矩阵通过以下方式获取:
将所述目标图像输入预设的亮度校正模型中得到第一候选亮度调整参数矩阵;
对所述第一候选亮度调整参数矩阵进行平滑后,得到所述目标亮度调整参数矩阵;
所述对所述第一候选亮度调整参数矩阵进行平滑后,得到所述目标亮度调整参数矩阵包括:
获取所述目标图像中包含的一个或多个目标边界,所述目标边界表征目标图像中的多个第一目标物体之间的边界,所述第一目标物体包括教室中的黑板、白板、投影课件、墙壁、地面、课桌和椅子中的一种或多种;
根据所述目标边界从所述目标图像中获取一个或多个目标区域;
从第一候选亮度调整参数矩阵中获取与每个目标区域对应的第二亮度调整参数矩阵;
对所述第二亮度调整参数矩阵进行亮度平滑滤波处理以消除噪声;
根据平滑滤波后的第二亮度调整参数矩阵得到所述目标亮度调整参数矩阵;
所述矩形校正包括:
获取所述目标图像中的矩形目标物体;所述矩形目标物体包括教室中的黑板、白板、投影课件、课桌和椅子中的一种或多种;
确认所述矩形目标物体在所述目标图像中的形状是否为矩形;
在所述矩形目标物体在所述目标图像中的形状不是矩形的情况下,通过图像透视变换算法对所述目标图像进行校正,以使得校正后的所述目标图像中的矩形目标物为规则矩形;
所述预设亮度曲线使用的曲线方程为以下公式:
f(x)=x+a*x*(1-x),
其中,x为目标图像每个像素点的像素点亮度,所述a为上述目标亮度调整参数矩阵。
7.根据权利要求6所述的方法,其特征在于,所述将所述目标图像与基准图像进行比较,得到图像偏移矢量包括:
使用SIFT算法分别对所述目标图像和所述基准图像进行特征点提取,获取所述目标图像的多个目标特征点和所述基准图像的多个基准特征点;
将所述目标特征点和所述基准特征点进行图像特征匹配,并获取每个所述目标特征点与相匹配的基准特征点之间的位置偏移矢量;
对所述位置偏移矢量进行平滑滤波处理以消除噪声;
根据平滑滤波后的位置偏移矢量计算得到所述图像偏移矢量。
8.根据权利要求6所述的方法,其特征在于,所述根据所述图像偏移矢量向所述摄像头发送所述第一控制指令,以便所述摄像头根据所述第一控制指令调整摄像头视角包括:
在所述图像偏移矢量大于或等于预设矢量阈值的情况下,循环执行摄像头调整步骤,直至所述图像偏移矢量小于所述预设矢量阈值;其中,所述摄像头调整步骤包括:
根据所述图像偏移矢量向所述摄像头发送所述第一控制指令;
通过调整后的摄像头获取新的目标图像;
将所述新的目标图像与所述基准图像进行比较,得到新的图像偏移矢量,并将新的图像偏移矢量更新为所述图像偏移矢量。
9.根据权利要求6所述的方法,其特征在于,在所述根据所述图像偏移矢量对所述摄像头进行调整之后,所述方法还包括:
获取调整后的摄像头拍摄的新的目标图像;
对所述新的目标图像进行所述校正处理,并将校正处理后的图像作为新的基准图像。
10.根据权利要求6至9中任一项所述的方法,其特征在于,所述方法还包括:
接收所述服务器发送的第一摄像头调整指令,并根据所述第一摄像头调整指令向所述摄像头发送第二控制指令,以便所述摄像头根据所述第二控制指令调整摄像头视角。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求6至10中任一项所述方法的步骤。
12.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求6至10中任一项所述方法的步骤。
CN202110129635.1A 2021-01-29 2021-01-29 摄像头调整方法、系统、存储介质及电子设备 Active CN112969022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110129635.1A CN112969022B (zh) 2021-01-29 2021-01-29 摄像头调整方法、系统、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110129635.1A CN112969022B (zh) 2021-01-29 2021-01-29 摄像头调整方法、系统、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112969022A CN112969022A (zh) 2021-06-15
CN112969022B true CN112969022B (zh) 2023-09-01

Family

ID=76272509

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110129635.1A Active CN112969022B (zh) 2021-01-29 2021-01-29 摄像头调整方法、系统、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112969022B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113382171B (zh) * 2021-06-21 2023-03-24 车路通科技(成都)有限公司 一种交通摄像头自动校正方法、装置、设备及介质
CN115617532B (zh) * 2022-11-22 2023-03-31 浙江莲荷科技有限公司 一种目标追踪处理方法、系统及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108389438A (zh) * 2018-05-10 2018-08-10 科大讯飞股份有限公司 一种板书采集系统
CN108961175A (zh) * 2018-06-06 2018-12-07 平安科技(深圳)有限公司 人脸亮度调整方法、装置、计算机设备及存储介质
GB201818096D0 (en) * 2018-11-06 2018-12-19 Telensa Holdings Ltd Monitoring system
CA3076028A1 (en) * 2017-09-20 2019-03-28 Jeremy LEFEBVRE Secure, remote support platform with an edge device
CN110458971A (zh) * 2019-07-05 2019-11-15 中国平安人寿保险股份有限公司 课堂考勤记录方法、装置、计算机设备和存储介质
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
CN112235605A (zh) * 2020-11-03 2021-01-15 新东方教育科技集团有限公司 视频处理系统和视频处理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8274544B2 (en) * 2009-03-23 2012-09-25 Eastman Kodak Company Automated videography systems
JP2019009686A (ja) * 2017-06-27 2019-01-17 株式会社日立製作所 情報処理装置及び画像データの処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3076028A1 (en) * 2017-09-20 2019-03-28 Jeremy LEFEBVRE Secure, remote support platform with an edge device
CN108389438A (zh) * 2018-05-10 2018-08-10 科大讯飞股份有限公司 一种板书采集系统
CN108961175A (zh) * 2018-06-06 2018-12-07 平安科技(深圳)有限公司 人脸亮度调整方法、装置、计算机设备及存储介质
WO2020045837A1 (ko) * 2018-08-28 2020-03-05 김영대 가상 및 증강 현실 강의실에서 인공지능 기능의 자동 장면 전환 기술을 이용한 스마트-원격 강의 방법 및 그 장치
GB201818096D0 (en) * 2018-11-06 2018-12-19 Telensa Holdings Ltd Monitoring system
CN110458971A (zh) * 2019-07-05 2019-11-15 中国平安人寿保险股份有限公司 课堂考勤记录方法、装置、计算机设备和存储介质
CN112235605A (zh) * 2020-11-03 2021-01-15 新东方教育科技集团有限公司 视频处理系统和视频处理方法

Also Published As

Publication number Publication date
CN112969022A (zh) 2021-06-15

Similar Documents

Publication Publication Date Title
CN106851122B (zh) 基于双摄像头系统的自动曝光参数的标定方法和装置
US9654750B2 (en) Image processing system, image processing apparatus, and image processing method to respectively display images obtained by dividing one image on first and the second display media
US8704929B2 (en) System and method for user guidance of photographic composition in image acquisition systems
CN112969022B (zh) 摄像头调整方法、系统、存储介质及电子设备
CN107749986B (zh) 教学视频生成方法、装置、存储介质和计算机设备
CN109982029B (zh) 一种摄像机监控场景自动调节方法及装置
US20070200926A1 (en) Apparatus and method for generating panorama images
CN106373139A (zh) 一种图像处理方法及装置
CN112218099A (zh) 全景视频生成、播放方法及装置、全景视频生成系统
CN112839165B (zh) 人脸跟踪摄像的实现方法、装置、计算机设备和存储介质
EP2728544A1 (en) De-warping processing method for digital images
US20210067732A1 (en) Image processing device, image processing method, program, and projection system
CN111200686A (zh) 拍摄图像合成方法、终端和计算机可读存储介质
CN112770095A (zh) 全景投影方法、装置及电子设备
CN115174878B (zh) 投影画面校正方法、装置和存储介质
EP2656310B1 (en) Method for producing a panoramic image and implementation apparatus
CN112738425A (zh) 一种多摄像头采集的视频实时拼接系统
CN111988520B (zh) 一种画面切换方法、装置、电子设备及存储介质
CN117376718B (zh) 基于摄像机输出信号进行实时色彩调整方法及系统
KR101731695B1 (ko) 시간적 일관성을 유지하는 다시점 이미지의 색상 왜곡 보정 방법 및 장치
CN117896621B (zh) 云台的拍摄轨迹记录方法、装置、设备及存储介质
KR101204097B1 (ko) 감시시스템 및 그 제어방법
CN115022608B (zh) 激光投影设备及其控制方法
CN103685853A (zh) 图像处理装置和图像处理方法
CN107105155B (zh) 一种基于鱼眼摄像头录制的全景视频的自动标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant