CN108650489A - 一种音视频的采集处理方法及系统 - Google Patents
一种音视频的采集处理方法及系统 Download PDFInfo
- Publication number
- CN108650489A CN108650489A CN201810341144.1A CN201810341144A CN108650489A CN 108650489 A CN108650489 A CN 108650489A CN 201810341144 A CN201810341144 A CN 201810341144A CN 108650489 A CN108650489 A CN 108650489A
- Authority
- CN
- China
- Prior art keywords
- core
- video signal
- audio
- arm
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 15
- 238000004458 analytical method Methods 0.000 claims abstract description 93
- 238000012545 processing Methods 0.000 claims abstract description 71
- 238000000034 method Methods 0.000 claims abstract description 64
- 230000005236 sound signal Effects 0.000 claims description 92
- 230000002159 abnormal effect Effects 0.000 claims description 40
- 238000004891 communication Methods 0.000 claims description 29
- 238000012544 monitoring process Methods 0.000 claims description 25
- 238000006243 chemical reaction Methods 0.000 claims description 24
- 230000005540 biological transmission Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明公开了一种音视频的采集处理方法及系统，其中，该方法包括：ARM内核获取音视频采集装置采集的原始音视频信号，并将原始音视频信号转换成适于DSP内核处理的目标音视频信号；ARM内核通过核间互联通道将目标音视频信号传送至DSP内核，并向DSP内核发送算法选择指令；DSP内核响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音视频信号进行分析处理，得到目标音视频信号的分析结果；再将分析结果反馈至ARM内核，以使ARM内核将该分析结果进行保存。通过本发明，能够同时采集音频和视频，并且通过DSP核对采集到的音频视频数据进行分析处理，以达到全方位智能监控的目的。
Description
技术领域
本发明涉及音视频处理技术领域，特别涉及一种音视频的采集处理方法及系统。
背景技术
目前，随着各种视频图像信息处理技术的改进和提高，视频拍摄处理技术已经越来越多的应用在安防、监控、文物保护、重要设施24小时无人值守等领域了。但是在实践中发现，由于现有的视频拍摄技术只能对发生的事情进行视频采集，无法对音频进行采集，不能实现全面监控的目的，而且不能对采集到的音频视频数据进行复杂的分析运算，只能由人工对摄像头进行监控才能及时发现异常事件并进行处理，这就大大的增加了人力成本。
发明内容
本发明提供一种音视频的采集处理方法及系统，能够同时采集音频和视频，并且通过DSP核对采集到的音频视频数据进行分析处理，以达到全方位智能监控的目的。
根据本发明的一个方面，提供了一种音视频的采集处理方法，基于 ARM+DSP架构采集处理音视频，ARM内核和DSP内核之间设有核间互联通道，包括以下步骤：ARM内核获取音频采集装置采集的原始音频信号，并将原始音频信号转换成适于DSP内核处理的目标音频信号；ARM内核获取视频采集装置采集的原始视频信号，并将原始视频信号转换成适于DSP内核处理的目标视频信号；ARM内核通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核；ARM内核向DSP内核发送算法选择指令；其中，算法选择指令对应至少一个算法，至少一个算法的种类不相同；DSP内核响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；DSP内核将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存。
优选地，DSP内核将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存之后，该方法还包括以下步骤：ARM内核识别分析结果中是否存在异常情况；如果是，则ARM内核将报警信息发送至ARM内核连接的报警装置，以使报警装置进行异常情况报警。
优选地，如果ARM内核识别分析结果中未存在异常情况，该方法还包括以下步骤：ARM内核通过通信网络将分析结果发送至ARM内核无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
优选地，ARM内核获取音频采集装置采集的原始音频信号，并将原始音频信号转换成适于DSP内核处理的目标音频信号，包括以下步骤：ARM内核获取音频输入端口连接的拾音器采集的原始音频信号；ARM内核将原始音频信号进行保存；ARM内核将原始音频信号转换为适于DSP内核处理的目标音频信号。
优选地，ARM内核获取视频采集装置采集的原始视频信号，并将原始视频信号转换成适于DSP内核处理的目标视频信号，包括以下步骤：ARM内核获取以太网口连接的网络摄像头采集的原始视频信号；ARM内核将原始视频信号进行保存；ARM内核将原始视频信号通过解码器进行解码，得到解码视频信号； ARM内核将解码视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；
或者，ARM内核获取虚拟端口连接的虚拟摄像头采集的原始视频信号； ARM内核将原始视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；ARM内核将原始视频信号通过编码器进行编码，得到编码视频信号； ARM内核将编码视频信号进行保存。
根据本发明的另一个方面，还提供了一种音视频的采集处理系统，基于 ARM+DSP架构采集处理音视频，ARM内核和DSP内核之间设有核间互联通道，包括ARM内核、DSP内核：
其中，ARM内核包括：音频获取单元，用于获取音频采集装置采集的原始音频信号，并将原始音频信号转换成适于DSP内核处理的目标音频信号；视频获取单元，用于获取视频采集装置采集的原始视频信号，并将原始视频信号转换成适于DSP内核处理的目标视频信号；传送单元，用于通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核；第一发送单元，用于向DSP内核发送算法选择指令；其中，算法选择指令对应至少一个算法，至少一个算法的种类不相同；
其中，DSP内核包括：分析处理单元，用于响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；反馈单元，用于将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存。
优选地，一种音视频的采集处理系统的ARM内核还包括：识别单元，用于在反馈单元将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存之后，识别分析结果中是否存在异常情况；第二发送单元，用于在识别单元识别分析结果中存在异常情况时，将报警信息发送至ARM内核连接的报警装置，以使报警装置进行异常情况报警。
优选地，一种音视频的采集处理系统的ARM内核还包括：第三发送单元，用于在识别单元识别分析结果中未存在异常情况时，通过通信网络将分析结果发送至ARM内核无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
优选地，音频获取单元包括：音频获取模块，用于获取音频输入端口连接的拾音器采集的原始音频信号；音频保存模块，用于将原始音频信号进行保存；第一格式转换模块，用于将原始音频信号转换为适于DSP内核处理的目标音频信号。
优选地，视频获取单元包括：第一视频获取模块，用于获取以太网口连接的网络摄像头采集的原始视频信号；第一视频保存模块，用于将原始视频信号进行保存；信号解码模块，用于将原始视频信号通过解码器进行解码，得到解码视频信号；第二格式转换模块，用于将解码视频信号进行VPE格式转换，得到适于 DSP内核处理的目标视频信号；
或者，第二视频获取模块，用于获取虚拟端口连接的虚拟摄像头采集的原始视频信号；第三格式转换模块，用于将原始视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；信号编码模块，用于将原始视频信号通过编码器进行编码，得到编码视频信号；第二视频保存模块，用于将编码视频信号进行保存。
与现有技术相比较，本发明的有益效果如下：
通过本发明，采用ARM+DSP架构，将ARM内核和DSP内核集成在同一个板卡上，提高了集成度，减小了音视频采集处理设备的体积，采用ARM内核采集音频和视频信号，提高了采集信号的全面性，将采集的音视频信号的格式转换为适于DSP内核处理的音视频信号的格式，再将转换好格式的音视频信号传送至 DSP内核进行处理，采用DSP内核处理音视频信号，实现了对音视频信号的复杂算法处理，进一步使得工作人员能够更加智能方便的达到全方位视频监控的目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。附图中：
图1是根据本发明实施例的一种音视频的采集处理方法的流程图；
图2是根据本发明实施例的一种音视频的采集处理系统的结构框图；
图3是根据本发明实施例一的一种音视频的采集处理方法的流程图；
图4是根据本发明实施例二的另一种音视频的采集处理方法的流程图；
图5是根据本发明实施例三的另一种音视频的采集处理方法的流程图；
图6是根据本发明实施例的另一种音视频的采集处理系统的结构框图。
具体实施方式
下面将结合本发明附图，对本发明技术方案进行描述，但所描述的实施例仅仅是本发明一部分实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种音视频的采集处理方法，图1是根据本发明实施例的一种音视频的采集处理方法的流程图，如图1所示，包括以下步骤：
步骤S101：ARM内核获取音频采集装置采集的原始音频信号，并将原始音频信号转换成适于DSP内核处理的目标音频信号；
步骤S102：ARM内核获取视频采集装置采集的原始视频信号，并将原始视频信号转换成适于DSP内核处理的目标视频信号；
步骤S103：ARM内核通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核；
步骤S104：ARM内核向DSP内核发送算法选择指令；其中，算法选择指令对应至少一个算法，至少一个算法的种类不相同；
步骤S105：DSP内核响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；
步骤S106：DSP内核将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存。
在实施过程中，在步骤S106之后，ARM内核识别分析结果中是否存在异常情况；如果是，则ARM内核将报警信息发送至ARM内核连接的报警装置，以使报警装置进行异常情况报警。
进一步的，如果ARM内核识别分析结果中未存在异常情况，则ARM内核通过通信网络将分析结果发送至ARM内核无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
在步骤S101中，ARM内核获取音频输入端口连接的拾音器采集的原始音频信号；ARM内核将原始音频信号进行保存；ARM内核将原始音频信号转换为适于DSP内核处理的目标音频信号。
在步骤S102中，ARM内核获取以太网口连接的网络摄像头采集的原始视频信号；ARM内核将原始视频信号进行保存；ARM内核将原始视频信号通过解码器进行解码，得到解码视频信号；ARM内核将解码视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；
或者，ARM内核获取虚拟端口连接的虚拟摄像头采集的原始视频信号； ARM内核将原始视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；ARM内核将原始视频信号通过编码器进行编码，得到编码视频信号； ARM内核将编码视频信号进行保存。
通过上述步骤，同时采集音频和视频信号，提高了信号采集的全面性，采用 DSP内核对采集的音视频信号进行分析处理实现了对音视频信号的复杂算法分析处理，以使工作人员根据分析结果达到全方位智能监控的目的。
本发明实施例还提供了一种音视频的采集处理系统，用于实现上述一种音视频的采集处理方法中。图2是根据本发明实施例的一种音视频的采集处理系统的结构框图，如图2所示，该系统包括ARM内核10、DSP内核20：
其中，ARM内核10包括：音频获取单元101，用于获取音频采集装置采集的原始音频信号，并将原始音频信号转换成适于DSP内核20处理的目标音频信号；视频获取单元102，用于获取视频采集装置采集的原始视频信号，并将原始视频信号转换成适于DSP内核20处理的目标视频信号；传送单元103，用于通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核20；第一发送单元104，用于向DSP内核20发送算法选择指令；其中，算法选择指令对应至少一个算法，至少一个算法的种类不相同；
其中，DSP内核20包括：分析处理单元201，用于响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；反馈单元202，用于将分析结果反馈至 ARM内核10，以使ARM内核10将分析结果进行保存。
对于一种音视频的采集处理系统，ARM内核10还包括：识别单元105，用于在反馈单元202将分析结果反馈至ARM内核10，以使ARM内核10将分析结果进行保存之后，识别分析结果中是否存在异常情况；第二发送单元106，用于在识别单元105识别分析结果中存在异常情况时，将报警信息发送至ARM内核10连接的报警装置，以使报警装置进行异常情况报警。
对于一种音视频的采集处理系统，ARM内核还包括：第三发送单元107，用于在识别单元105识别分析结果中未存在异常情况时，通过通信网络将分析结果发送至ARM内核10无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
对于一种音视频的采集处理系统的ARM内核10，音频获取单元101包括：音频获取模块1011，用于获取音频输入端口连接的拾音器采集的原始音频信号；音频保存模块1012，用于将原始音频信号进行保存；第一格式转换模块1013，用于将原始音频信号转换为适于DSP内核20处理的目标音频信号。
对于一种音视频的采集处理系统的ARM内核10，视频获取单元102包括：第一视频获取模块1021，用于获取以太网口连接的网络摄像头采集的原始视频信号；第一视频保存模块1022，用于将原始视频信号进行保存；信号解码模块 1023，用于将原始视频信号通过解码器进行解码，得到解码视频信号；第二格式转换模块1024，用于将解码视频信号进行VPE格式转换，得到适于DSP内核 20处理的目标视频信号；
或者，如图6所示，视频获取单元102包括：第二视频获取模块1025，用于获取虚拟端口连接的虚拟摄像头采集的原始视频信号；第三格式转换模块 1026，用于将原始视频信号进行VPE格式转换，得到适于DSP内核20处理的目标视频信号；信号编码模块1027，用于将原始视频信号通过编码器进行编码，得到编码视频信号；第二视频保存模块1028，用于将编码视频信号进行保存。
需要说明的是，装置实施例中描述的音视频的采集处理系统对应于上述的方法实施例，其具体的实现过程在方法实施例中已经进行过详细说明，在此不再赘述。
为了使本发明的技术方案和实现方法更加清楚，下面将结合优选的实施例对其实现过程进行详细描述。
实施例一
本实施例提供一种音视频的采集处理方法，如图3所示，图3是根据本发明实施例一的一种音视频的采集处理方法的流程图，包括以下步骤：
步骤S301：ARM内核获取音频采集装置采集的原始音频信号，并将原始音频信号转换成适于DSP内核处理的目标音频信号；
本发明实施例中，ARM内核和DSP内核集成在一块核心板卡上，集成度高，减小设备体积，并且核心板卡设置在一块底板上，核心板和底板采用分离式的设计，便于拆卸，可移植性强，便于二次开发，其中，该底板上设置有Vport视频输入接口、音频输入接口、音频输出接口、SATA接口、USB2.0接口、Micro SD 卡接口、千兆以太网接口、3G/4G和WIFI通信模块等外设；
可选的，音频音频采集装置为拾音器，音频音频采集装置可以为多个，实现多路采集音频信号，提高音频信号采集的效率，拾音器采集到音频信号之后会从音频输入端口输入到ARM内核中，由于Micro SD卡接口连接的Micro SD卡中存储完系统启动文件之后还有剩余的内存，所以ARM内核会将获取到的音频信号存入Micro SD卡中，同时ARM内核也会将获取的音频信号的格式转换为DSP内核可以处理的音频信号的格式；
步骤S302：ARM内核获取视频采集装置采集的原始视频信号，并将原始视频信号转换成适于DSP内核处理的目标视频信号；
本发明实施例中，视频采集装置可以是网络摄像头，也可以是虚拟摄像头，本发明实施例不做限定；
可选的，当视频采集装置是网络摄像头时，视频采集装置可以为两个，分为两路采集视频，网络摄像头连接到以太网接口，由于网络摄像头拍摄的视频信号为H264格式，所以ARM内核在获取到视频信号后会将视频信号以MP4格式保存在存储设备中，存储设备可以是通过SATA接口连接的SATA硬盘，也可以是通过 USB2.0接口连接的U盘，本发明实施例不做限定，在存储视频信号的同时，ARM 内核会对视频信号进行解码，然后再对解码后的视频信号进行VPE格式转换，将解码后的视频信号的格式转换为DSP内核可以处理的视频信号的格式；
可选的，当视频采集装置是虚拟摄像头时，虚拟摄像头可以分为四路采集标清视频信号，也可以分为两路采集全高清视频信号，本发明实施例不做限定，虚拟摄像头连接到Vport视频输入接口，ARM内核在获取到视频信号之后，会对视频信号进行编码，然后将编码后的视频信号保存在存储设备中，存储设备可以是通过SATA接口连接的SATA硬盘，也可以是通过USB2.0接口连接的U盘，本发明实施例不做限定，在ARM内核保存视频信号的同时，ARM内核还会将视频信号进行VPE格式转换，以获得DSP内核可以处理的视频信号的格式；
步骤S303：ARM内核通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核；
本发明实施例中，ARM内核与DSP内核之间设置有核间互联通道，增强了两核间传输数据的速度，ARM内核将目标音频信号和目标视频信号通过核间互联通道传送至DSP内核，以使DSP内核对目标音频信号和目标视频信号进行算法处理；
步骤S304：ARM内核向DSP内核发送算法选择指令；
本发明实施例中，上述算法选择指令对应至少一个算法，至少一个算法的种类不相同；ARM内核会根据工作人员想从音视频信号中获取的信息选择目标算法，再发送上述目标算法对应的算法选择指令到DSP内核中，以使DSP内核可以准确的用目标算法对音视频信号进行分析处理，并得出分析结果，这样可以适应工作人员的不同的需求，根据具体的需求不同选择不同的算法进行处理，提高了 DSP内核处理音视频信号的效率；
步骤S305：DSP内核响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；
本发明实施例中，DSP内核调用至少一个算法对目标音视频信号进行分析处理时可以每次调用一个算法对目标音视频信号进行分析处理，直到将所有算法都调用完，也可以将至少一个算法同时并行调用，用多个算法同时对目标音视频信号进行分析处理，本发明实施例不做限定；
步骤S306：DSP内核将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存；
本发明实施例中，ARM内核可以将分析结果保存在Micro SD卡接口连接的 MicroSD卡中；
步骤S307：ARM内核识别分析结果中是否存在异常情况；如果是，则执行步骤S308，如果否，则执行步骤S309；
步骤S308：ARM内核将报警信息发送至ARM内核连接的报警装置，以使报警装置进行异常情况报警；
本发明实施例中，ARM内核中烧录有用于触发声光电报警装置进行报警的报警信息，当ARM内核识别出分析结果中存在异常情况时，ARM内核就会将上述报警信息发送至ARM内核连接的报警装置，以触发报警装置进行报警，达到了在音视频中出现异常时及时提示工作人员的目的，也能使工作人员及时处理异常情况，使工作人员的监控工作更加智能化，更加高效，具体的，报警装置可以是蜂鸣器，也可以是LED小灯，还可以是语音报警装置，本发明实施例不做限定；
步骤S309：ARM内核通过通信网络将分析结果发送至ARM内核无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
本发明实施例中，音视频处理设备上设置有通信模块，通信模块可以为3G 通信，也可以是4G通信，还可以是WiFi通信，本发明实施例不做限定，当ARM 内核识别出分析结果中不存在异常情况时，ARM内核就会通过网络通信方式将分析结果发送至ARM内核无线连接的电子设备上，电子设备可以包括但不限于智能手机、平板、笔记本电脑等，工作人员就可以在电子设备上查看DSP内核处理完音视频信号得出的分析结果的文件，更加方便工作人员实施远程监控工作，也能提高工作人员监控工作的效率。
实施例二
本实施例提供另一种音视频的采集处理方法，如图4所示，图4是根据本发明实施例二的另一种音视频的采集处理方法的流程图，包括以下步骤：
步骤S401：ARM内核获取音频输入端口连接的拾音器采集的原始音频信号；
步骤S402：ARM内核将原始音频信号进行保存；
本发明实施例中，ARM内核将原始音频信号保存在Micro SD卡接口连接的 MicroSD卡中；
步骤S403：ARM内核将原始音频信号转换为适于DSP内核处理的目标音频信号；
步骤S404：ARM内核获取以太网口连接的网络摄像头采集的原始视频信号；
本发明实施例中，以太网连接的网络摄像头可以分为两路去采集视频信号，提高了采集视频信号的效率；
步骤S405：ARM内核将原始视频信号进行保存；
本发明实施例中，由于上述网络摄像头采集的原始视频信号为H264格式， ARM内核在获取到原始视频信号后会将原始视频信号以H264格式保存在存储设备中，存储设备可以是通过SATA接口连接的SATA硬盘，也可以是通过USB2.0 接口连接的U盘，本发明实施例不做限定；
步骤S406：ARM内核将原始视频信号通过解码器进行解码，得到解码视频信号；
步骤S407：ARM内核将解码视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；
步骤S408：ARM内核通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核；
本发明实施例中，ARM内核与DSP内核之间设置有核间互联通道，增强了两核间传输数据的速度，ARM内核将目标音频信号和目标视频信号通过核间互联通道传送至DSP内核，以使DSP内核对目标音频信号和目标视频信号进行算法处理；
步骤S409：ARM内核向DSP内核发送算法选择指令；
本发明实施例中，上述算法选择指令对应至少一个算法，至少一个算法的种类不相同；ARM内核会根据工作人员想从音视频信号中获取的信息选择目标算法，再发送上述目标算法对应的算法选择指令到DSP内核中，以使DSP内核可以准确的用目标算法对音视频信号进行分析处理，并得出分析结果，这样可以适应工作人员的不同的需求，根据具体的需求不同选择不同的算法进行处理，提高了 DSP内核处理音视频信号的效率；
步骤S410：DSP内核响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；
本发明实施例中，DSP内核调用至少一个算法对目标音视频信号进行分析处理时可以每次调用一个算法对目标音视频信号进行分析处理，直到将所有算法都调用完，也可以将至少一个算法同时并行调用，用多个算法同时对目标音视频信号进行分析处理，本发明实施例不做限定；
步骤S411：DSP内核将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存；
本发明实施例中，ARM内核可以将分析结果保存在Micro SD卡接口连接的 MicroSD卡中；
步骤S412：ARM内核识别分析结果中是否存在异常情况；如果是，则执行步骤S413，如果否，则执行步骤S414；
步骤S413：ARM内核将报警信息发送至ARM内核连接的报警装置，以使报警装置进行异常情况报警；
本发明实施例中，ARM内核中烧录有用于触发声光电报警装置进行报警的报警信息，当ARM内核识别出分析结果中存在异常情况时，ARM内核就会将上述报警信息发送至ARM内核连接的报警装置，以触发报警装置进行报警，达到了在音视频中出现异常时及时提示工作人员的目的，也能使工作人员及时处理异常情况，使工作人员的监控工作更加智能化，更加高效，具体的，报警装置可以是蜂鸣器，也可以是LED小灯，还可以是语音报警装置，本发明实施例不做限定；
步骤S414：ARM内核通过通信网络将分析结果发送至ARM内核无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
本发明实施例中，音视频处理设备上设置有通信模块，通信模块可以为3G 通信，也可以是4G通信，还可以是WiFi通信，本发明实施例不做限定，当ARM 内核识别出分析结果中不存在异常情况时，ARM内核就会通过网络通信方式将分析结果发送至ARM内核无线连接的电子设备上，电子设备可以包括但不限于智能手机、平板、笔记本电脑等，工作人员就可以在电子设备上查看DSP内核处理完音视频信号得出的分析结果的文件，更加方便工作人员实施远程监控工作，也能提高工作人员监控工作的效率。
实施例三
本实施例提供另一种音视频的采集处理方法，如图5所示，图5是根据本发明实施例三的另一种音视频的采集处理方法的流程图，包括以下步骤：
步骤S501：ARM内核获取音频输入端口连接的拾音器采集的原始音频信号；
步骤S502：ARM内核将原始音频信号进行保存；
本发明实施例中，ARM内核将原始音频信号保存在Micro SD卡接口连接的 MicroSD卡中；
步骤S503：ARM内核将原始音频信号转换为适于DSP内核处理的目标音频信号；
步骤S504：ARM内核获取虚拟端口连接的虚拟摄像头采集的原始视频信号；
本发明实施例中，上述虚拟端口为Vport视频输入接口，Vport视频输入接口连接的虚拟摄像头可以分为四路采集标清视频信号，也可以分为两路采集全高清视频信号，本发明实施例不做限定，
步骤S505：ARM内核将原始视频信号进行VPE格式转换，得到适于DSP内核处理的目标视频信号；
步骤S506：ARM内核将原始视频信号通过编码器进行编码，得到编码视频信号；
步骤S507：ARM内核将编码视频信号进行保存；
本发明实施例中，ARM内核会将上述编码视频信号保存在存储设备中，存储设备可以是通过SATA接口连接的SATA硬盘，也可以是通过USB2.0接口连接的 U盘，本发明实施例不做限定；
步骤S508：ARM内核通过核间互联通道将目标音频信号和目标视频信号传送至DSP内核；
本发明实施例中，ARM内核与DSP内核之间设置有核间互联通道，增强了两核间传输数据的速度，ARM内核将目标音频信号和目标视频信号通过核间互联通道传送至DSP内核，以使DSP内核对目标音频信号和目标视频信号进行算法处理；
步骤S509：ARM内核向DSP内核发送算法选择指令；
本发明实施例中，上述算法选择指令对应至少一个算法，至少一个算法的种类不相同；ARM内核会根据工作人员想从音视频信号中获取的信息选择目标算法，再发送上述目标算法对应的算法选择指令到DSP内核中，以使DSP内核可以准确的用目标算法对音视频信号进行分析处理，并得出分析结果，这样可以适应工作人员的不同的需求，根据具体的需求不同选择不同的算法进行处理，提高了 DSP内核处理音视频信号的效率；
步骤S510：DSP内核响应算法选择指令，调用算法选择指令对应的至少一个算法对目标音频信号和目标视频信号进行分析处理，得到目标音视频信号的分析结果；
本发明实施例中，DSP内核调用至少一个算法对目标音视频信号进行分析处理时可以每次调用一个算法对目标音视频信号进行分析处理，直到将所有算法都调用完，也可以将至少一个算法同时并行调用，用多个算法同时对目标音视频信号进行分析处理，本发明实施例不做限定；
步骤S511：DSP内核将分析结果反馈至ARM内核，以使ARM内核将分析结果进行保存；
本发明实施例中，ARM内核可以将分析结果保存在Micro SD卡接口连接的 MicroSD卡中；
步骤S512：ARM内核识别分析结果中是否存在异常情况；如果是，则执行步骤S513，如果否，则执行步骤S514；
步骤S513：ARM内核将报警信息发送至ARM内核连接的报警装置，以使报警装置进行异常情况报警；
本发明实施例中，ARM内核中烧录有用于触发声光电报警装置进行报警的报警信息，当ARM内核识别出分析结果中存在异常情况时，ARM内核就会将上述报警信息发送至ARM内核连接的报警装置，以触发报警装置进行报警，达到了在音视频中出现异常时及时提示工作人员的目的，也能使工作人员及时处理异常情况，使工作人员的监控工作更加智能化，更加高效，具体的，报警装置可以是蜂鸣器，也可以是LED小灯，还可以是语音报警装置，本发明实施例不做限定；
步骤S514：ARM内核通过通信网络将分析结果发送至ARM内核无线连接的电子设备上，以使工作人员在电子设备上实时查看视频监控情况。
本发明实施例中，音视频处理设备上设置有通信模块，通信模块可以为3G 通信，也可以是4G通信，还可以是WiFi通信，本发明实施例不做限定，当ARM 内核识别出分析结果中不存在异常情况时，ARM内核就会通过网络通信方式将分析结果发送至ARM内核无线连接的电子设备上，电子设备可以包括但不限于智能手机、平板、笔记本电脑等，工作人员就可以在电子设备上查看DSP内核处理完音视频信号得出的分析结果的文件，更加方便工作人员实施远程监控工作，也能提高工作人员监控工作的效率。
综合上述，通过上述实施例，采用ARM+DSP架构，将ARM内核和DSP内核集成在同一片核心板卡上，增强了集成度，减小了音视频采集处理设备的体积，进一步的将核心板卡安装在一片设置有至少一个外设的底板上，核心板与底板分离式的组装，便于拆卸，可进行二次开发；音频和视频同时采集与处理，增强了监控工作的全面性，弥补了只有视频没有音频的不足；采用DSP内核处理音视频信号，可以对音视频信号进行复杂算法的处理，使得对音视频信号的分析处理更加全面；多种通信方式的设置可以使ARM内核将处理后的音视频分析结果传送至工作人员的电子设备上，方便工作人员进行远程监控，提高了监控找工作的效率，同时也能在音视频的处理结果存在异常时及时报警，以提示工作人员及时解决异常情况。
Claims (10)
1.一种音视频的采集处理方法，其特征在于，基于ARM+DSP架构采集处理音视频，ARM内核和DSP内核之间设有核间互联通道，包括以下步骤：
所述ARM内核获取音频采集装置采集的原始音频信号，并将所述原始音频信号转换成适于所述DSP内核处理的目标音频信号；
所述ARM内核获取视频采集装置采集的原始视频信号，并将所述原始视频信号转换成适于所述DSP内核处理的目标视频信号；
所述ARM内核通过所述核间互联通道将所述目标音频信号和所述目标视频信号传送至所述DSP内核；
所述ARM内核向所述DSP内核发送算法选择指令；其中，所述算法选择指令对应至少一个算法，所述至少一个算法的种类不相同；
所述DSP内核响应所述算法选择指令，调用所述算法选择指令对应的至少一个算法对所述目标音频信号和所述目标视频信号进行分析处理，得到所述目标音视频信号的分析结果；
所述DSP内核将所述分析结果反馈至所述ARM内核，以使所述ARM内核将所述分析结果进行保存。
2.根据权利要求1所述的方法，其特征在于，所述DSP内核将所述分析结果反馈至所述ARM内核，以使所述ARM内核将所述分析结果进行保存之后，还包括以下步骤：
所述ARM内核识别所述分析结果中是否存在异常情况；
如果是，所述ARM内核将报警信息发送至所述ARM内核连接的报警装置，以使所述报警装置进行异常情况报警。
3.根据权利要求2所述的方法，其特征在于，如果所述ARM内核识别所述分析结果中未存在异常情况，还包括以下步骤：
所述ARM内核通过通信网络将所述分析结果发送至所述ARM内核无线连接的电子设备上，以使工作人员在所述电子设备上实时查看视频监控情况。
4.根据权利要求3所述的方法，其特征在于，所述ARM内核获取音频采集装置采集的原始音频信号，并将所述原始音频信号转换成适于所述DSP内核处理的目标音频信号，包括以下步骤：
所述ARM内核获取音频输入端口连接的拾音器采集的原始音频信号；
所述ARM内核将所述原始音频信号进行保存；
所述ARM内核将所述原始音频信号转换为适于所述DSP内核处理的目标音频信号。
5.根据权利要求3所述的方法，其特征在于，所述ARM内核获取视频采集装置采集的原始视频信号，并将所述原始视频信号转换成适于所述DSP内核处理的目标视频信号，包括以下步骤：
所述ARM内核获取以太网口连接的网络摄像头采集的原始视频信号；
所述ARM内核将所述原始视频信号进行保存；
所述ARM内核将所述原始视频信号通过解码器进行解码，得到解码视频信号；
所述ARM内核将所述解码视频信号进行VPE格式转换，得到适于所述DSP内核处理的目标视频信号；
或者，
所述ARM内核获取虚拟端口连接的虚拟摄像头采集的原始视频信号；
所述ARM内核将所述原始视频信号进行VPE格式转换，得到适于所述DSP内核处理的目标视频信号；
所述ARM内核将所述原始视频信号通过编码器进行编码，得到编码视频信号；
所述ARM内核将所述编码视频信号进行保存。
6.一种音视频的采集处理系统，其特征在于，基于ARM+DSP架构采集处理音视频，ARM内核和DSP内核之间设有核间互联通道，包括ARM内核、DSP内核：
其中，所述ARM内核包括：
音频获取单元，用于获取音频采集装置采集的原始音频信号，并将所述原始音频信号转换成适于所述DSP内核处理的目标音频信号；
视频获取单元，用于获取视频采集装置采集的原始视频信号，并将所述原始视频信号转换成适于所述DSP内核处理的目标视频信号；
传送单元，用于通过所述核间互联通道将所述目标音频信号和所述目标视频信号传送至所述DSP内核；
第一发送单元，用于向所述DSP内核发送算法选择指令；其中，所述算法选择指令对应至少一个算法，所述至少一个算法的种类不相同；
其中，所述DSP内核包括：
分析处理单元，用于响应所述算法选择指令，调用所述算法选择指令对应的至少一个算法对所述目标音频信号和所述目标视频信号进行分析处理，得到所述目标音视频信号的分析结果；
反馈单元，用于将所述分析结果反馈至所述ARM内核，以使所述ARM内核将所述分析结果进行保存。
7.根据权利要求6所述的系统，其特征在于，所述ARM内核还包括：
识别单元，用于在所述反馈单元将所述分析结果反馈至所述ARM内核，以使所述ARM内核将所述分析结果进行保存之后，识别所述分析结果中是否存在异常情况；
第二发送单元，用于在所述识别单元识别所述分析结果中存在异常情况时，将报警信息发送至所述ARM内核连接的报警装置，以使所述报警装置进行异常情况报警。
8.根据权利要求7所述的系统，其特征在于，所述ARM内核还包括：
第三发送单元，用于在所述识别单元识别所述分析结果中未存在异常情况时，通过通信网络将所述分析结果发送至所述ARM内核无线连接的电子设备上，以使工作人员在所述电子设备上实时查看视频监控情况。
9.根据权利要求8所述的系统，其特征在于，所述音频获取单元包括：
音频获取模块，用于获取音频输入端口连接的拾音器采集的原始音频信号；
音频保存模块，用于将所述原始音频信号进行保存；
第一格式转换模块，用于将所述原始音频信号转换为适于所述DSP内核处理的目标音频信号。
10.根据权利要求8所述的系统，其特征在于，所述视频获取单元包括：
第一视频获取模块，用于获取以太网口连接的网络摄像头采集的原始视频信号；
第一视频保存模块，用于将所述原始视频信号进行保存；
信号解码模块，用于将所述原始视频信号通过解码器进行解码，得到解码视频信号；
第二格式转换模块，用于将所述解码视频信号进行VPE格式转换，得到适于所述DSP内核处理的目标视频信号；
或者，
第二视频获取模块，用于获取虚拟端口连接的虚拟摄像头采集的原始视频信号；
第三格式转换模块，用于将所述原始视频信号进行VPE格式转换，得到适于所述DSP内核处理的目标视频信号；
信号编码模块，用于将所述原始视频信号通过编码器进行编码，得到编码视频信号；
第二视频保存模块，用于将所述编码视频信号进行保存。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810341144.1A CN108650489A (zh) | 2018-04-17 | 2018-04-17 | 一种音视频的采集处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810341144.1A CN108650489A (zh) | 2018-04-17 | 2018-04-17 | 一种音视频的采集处理方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN108650489A true CN108650489A (zh) | 2018-10-12 |
Family
ID=63746614
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810341144.1A Pending CN108650489A (zh) | 2018-04-17 | 2018-04-17 | 一种音视频的采集处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108650489A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916293A (zh) * | 2021-10-11 | 2022-01-11 | 孙洪茂 | 一种电动列车接触网悬挂状态及弓网关系检测系统 |
| CN116600087A (zh) * | 2023-06-09 | 2023-08-15 | 北京城建智控科技股份有限公司 | 一种用于视频分析的一体机装置、视频分析方法与系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1111904A2 (en) * | 1999-12-20 | 2001-06-27 | Texas Instruments Incorporated | Digital camera system and method |
| CN101500169A (zh) * | 2009-03-10 | 2009-08-05 | 武汉大学 | 多路音视频压缩传输服务器 |
| CN201522767U (zh) * | 2009-09-08 | 2010-07-07 | 北京英泰智软件技术发展有限公司 | 一种主动智能行为分析报警装置 |
| CN102646309A (zh) * | 2012-05-18 | 2012-08-22 | 成都百威讯科技有限责任公司 | 一种智能视频周界围栏系统及其控制方法 |
-
2018
- 2018-04-17 CN CN201810341144.1A patent/CN108650489A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1111904A2 (en) * | 1999-12-20 | 2001-06-27 | Texas Instruments Incorporated | Digital camera system and method |
| CN101500169A (zh) * | 2009-03-10 | 2009-08-05 | 武汉大学 | 多路音视频压缩传输服务器 |
| CN201522767U (zh) * | 2009-09-08 | 2010-07-07 | 北京英泰智软件技术发展有限公司 | 一种主动智能行为分析报警装置 |
| CN102646309A (zh) * | 2012-05-18 | 2012-08-22 | 成都百威讯科技有限责任公司 | 一种智能视频周界围栏系统及其控制方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈益如: "基于视觉的行人检测算法研究及系统设计", 《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113916293A (zh) * | 2021-10-11 | 2022-01-11 | 孙洪茂 | 一种电动列车接触网悬挂状态及弓网关系检测系统 |
| CN116600087A (zh) * | 2023-06-09 | 2023-08-15 | 北京城建智控科技股份有限公司 | 一种用于视频分析的一体机装置、视频分析方法与系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN100473154C (zh) | 图像拾取设备和图像分配方法 | |
| CN102209232A (zh) | 一种远程音视频监控系统及其方法 | |
| CN103795987B (zh) | 嵌入式视频采集处理系统及其实现方法 | |
| CN106454263A (zh) | 基于图像智能感知物联网技术的现场巡视系统 | |
| US20120169873A1 (en) | Audio/video monitoring system and method for simultaneously playing audio/video | |
| CN108650489A (zh) | 一种音视频的采集处理方法及系统 | |
| CN104113730A (zh) | 一种基于音频分析触发报警和录像的监控方法 | |
| CN201805504U (zh) | 一种远程音视频监控系统 | |
| CN107018363A (zh) | 一种多通道图像采集处理系统 | |
| CN201117064Y (zh) | 设备状态指示灯的图像识别报警系统 | |
| KR20100114748A (ko) | 네트워크 카메라 감시 시스템 | |
| CN102055888B (zh) | 网络摄像机、网络摄像系统及网络摄像方法 | |
| CN201153303Y (zh) | 一种微型监控录像装置 | |
| CN101873473B (zh) | 一种带光纤接口的数字摄像机 | |
| CN201947397U (zh) | 一种数字视频监控系统 | |
| RU2012153801A (ru) | Устройства и система видеонаблюдения за множеством одновременно происходящих территориально распределенных событий | |
| CN106454276A (zh) | 一种音视频集成装置及集成视频监控系统 | |
| CN1269575A (zh) | 远程图像/语音自动传输监控系统 | |
| KR20180022481A (ko) | Ip 카메라 일체형 nvr 시스템 | |
| CN107155051A (zh) | 一种集成多参数传感器的摄像机 | |
| CN202503599U (zh) | 百万像素高清网络摄像机 | |
| CN203104657U (zh) | 基于视频处理器dm368的高清视频监控系统 | |
| US20110050898A1 (en) | Video monitoring system and video monitoring method | |
| CN203104659U (zh) | 基于视频处理器dm365的网络视频监控系统 | |
| CN202818492U (zh) | 3g·云技术移动智能监控系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181012 |
|
| RJ01 | Rejection of invention patent application after publication |