CN110234081A - 视频短信的发送、接收方法及其装置和手持电子设备 - Google Patents
视频短信的发送、接收方法及其装置和手持电子设备 Download PDFInfo
- Publication number
- CN110234081A CN110234081A CN201910453623.7A CN201910453623A CN110234081A CN 110234081 A CN110234081 A CN 110234081A CN 201910453623 A CN201910453623 A CN 201910453623A CN 110234081 A CN110234081 A CN 110234081A
- Authority
- CN
- China
- Prior art keywords
- scribble
- video
- audio
- layer
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 230000001360 synchronised effect Effects 0.000 claims abstract description 41
- 230000015572 biosynthetic process Effects 0.000 claims description 38
- 238000003786 synthesis reaction Methods 0.000 claims description 38
- 239000000872 buffer Substances 0.000 claims description 34
- 238000012423 maintenance Methods 0.000 claims description 32
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000010422 painting Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 9
- 238000010586 diagram Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000006854 communication Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 150000001875 compounds Chemical class 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000010977 unit operation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
- H04L51/10—Multimedia information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/58—Message adaptation for wireless communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/12—Messaging; Mailboxes; Announcements
- H04W4/14—Short messaging services, e.g. short message services [SMS] or unstructured supplementary service data [USSD]
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Multimedia (AREA)
- Television Signal Processing For Recording (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明实施例提供一种视频短信的发送、接收方法及其装置和手持电子设备。本发明视频短信的发送方法，包括：获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；将所述涂鸦视频文件作为视频短信发送至短信接收方。本发明实施例能够突出视频短信中的重点，优化了视频短信的展示效果。
Description
技术领域
本发明实施例涉及通信技术，尤其涉及一种视频短信的发送、接收方法及其装置和手持电子设备。
背景技术
随着计算机技术和通信技术的发展，尤其是智能手机迅猛发展的年代，用户对手机的需求已经不再是简单的通话功能和短信功能，希望手机能够提供更丰富多彩的媒体应用服务，同时运营商也希望通过多媒体增值业务来赚取更多的利润。因此多媒体彩信、图片短信和视频短信的出现正好迎合了市场的需求。
图1为现有技术中视频技术的实现方案示意图，目前比较普及的一对一的视频短信的实现方案。如图1中所示，对于A方，手机A通过手机上的摄像头和麦克风这两个音视频采集设备采集音视频，采集完毕后进行压缩以减少传输的流量，然后发送至公网信令和数据服务器，数据服务器首先查找该条视频短信的目的地为B方，并且发现B方在线，此时便把视频短信发送至B方，B方在接收完视频短信后首先进行解压，然后再进行解码播放收到的视频短信。
上述技术中，视频采集到的内容需要通过发送者加入语音文字来加以阐述，接收者需要听取视频中的声音来判断用户想分享的重点，无法突出视频中的亮点。
发明内容
本发明实施例提供一种视频短信的发送、接收方法及其装置和手持电子设备，以突出视频短信中的重点，优化视频短信的展示效果。
第一方面，本发明实施例提供一种频短信的发送方法，包括：
获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；
将所述涂鸦视频文件作为视频短信发送至短信接收方。
在第一方面的第一种可能的实现方式中，获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件包括：
获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；
在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视频文件和涂鸦文件各自的起始位置。
根据第一方面的第一种可能的实现方式，在第二种可能的实现方式中，获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件包括：
获取当前帧的音视频内容，并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息；
重复执行上述步骤对各帧进行处理，直至判断出音视频内容的录制结束。
根据第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述当前帧的涂鸦图片的属性信息至少包括：所述当前帧的涂鸦图片大小、当前帧的时间点和编码格式和当前帧持续时间。
根据第一方面的第一种可能的实现方式，在第四种可能的实现方式中，获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件包括：
获取当前帧的音视频内容，并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
重复执行上述步骤对各帧进行处理，直至判断出音视频内容的录制结束。
在第一方面的第五种可能的实现方式中，获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件包括：
获取当前帧的音视频内容，存储至音视频帧缓存中；
在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别存储至各类涂鸦帧缓存中；
将当前帧的音视频帧缓存和各类涂鸦帧缓存的数据合成，并存储至合成帧缓存中；
将合成帧缓存中的数据进行编码，形成当前帧的音视频，并记录至涂鸦视频文件；
重复执行上述步骤对各帧进行处理，直至判断出音视频内容的录制结束。
根据第一方面的第二种至第五种可能的实现方式的任意一种，在第六种可能的实现方式中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
根据第一方面的第六种可能的实现方式，在第七种可能的实现方式中，触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。
第二方面，本发明实施例提供一种视频短信的接收方法，包括：
接收短信发送方发送的视频短信；
从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放。
在第二方面的第一种可能的实现方式中，从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放包括：
从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
在第二方面的第二种可能的实现方式中，从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放包括：
从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
根据第二方面的第二种可能的实现方式，在第三种可能的实现方式中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
第三方面，本发明实施例提供一种频短信的发送装置，包括：
获取合成模块，用于获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；
发送模块，用于将所述涂鸦视频文件作为视频短信发送至短信接收方。
在第三方面的第一种可能的实现方式中，获取合成模块包括：
文件获取单元，用于获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；
文件合成单元，用于在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视频文件和涂鸦文件各自的起始位置。
根据第三方面的第一种可能的实现方式，在第二种可能的实现方式中，文件获取单元包括：
音视频文件获取子单元，用于获取当前帧的音视频内容，并记录至音视频文件；
第一涂鸦文件获取子单元，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息；
其中，重复执行所述音视频文件获取子单元和第一涂鸦文件获取子单元的操作对各帧进行处理，直至判断出音视频内容的录制结束。
根据第三方面的第二种可能的实现方式，在第三种可能的实现方式中，所述当前帧的涂鸦图片的属性信息至少包括：所述当前帧的涂鸦图片大小、当前帧的时间点和编码格式和当前帧持续时间。
根据第三方面的第一种可能的实现方式，在第四种可能的实现方式中，文件获取单元包括：
音视频文件获取子单元，用于获取当前帧的音视频内容，并记录至音视频文件；
第二涂鸦文件获取子单元，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
其中，重复执行所述音视频文件获取子单元和第二涂鸦文件获取子单元的操作对各帧进行处理，直至判断出音视频内容的录制结束。
在第三方面的第五种可能的实现方式中，获取合成模块包括：
音视频缓存单元，用于获取当前帧的音视频内容，存储至音视频帧缓存中；
涂鸦缓存单元，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别存储至各类涂鸦帧缓存中；
缓存合成单元，用于将当前帧的音视频帧缓存和各类涂鸦帧缓存的数据合成，并存储至合成帧缓存中；
缓存编码单元，用于将合成帧缓存中的数据进行编码，形成当前帧的音视频，并记录至涂鸦视频文件；
其中，重复执行音视频缓存单元、涂鸦缓存单元、缓存合成单元和缓存编码单元的操作对各帧进行处理，直至判断出音视频内容的录制结束。
根据第三方面的第二种至第五种可能的实现方式的任意一种，在第六种可能的实现方式中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
根据第三方面的第六种实现方式，在第七种可能的实现方式中，触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。
第四方面，本发明实施例提供一种频短信的接收装置，包括：
接收模块，用于接收短信发送方发送的视频短信；
解析播放模块，用于从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放。
在第四方面的第一种可能的实现方式中，解析播放模块包括：
文件解析单元，用于从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
音视频分流单元，用于从所述音视频文件中分流获取音频层和视频层；
涂鸦分流单元，用于从所述涂鸦文件中获取涂鸦层；
第一时间同步单元，用于根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所述音频层和视频层进行帧时间同步；
第一播放单元，用于将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
在第四方面的第二种可能的实现方式中，解析播放模块包括：
文件解析单元，用于从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
音视频分流单元，用于从所述音视频文件中分流获取音频层和视频层；
涂鸦分流单元，用于从所述涂鸦文件中获取涂鸦层；
第二时间同步单元，用于根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
第二播放单元，用于将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
根据第四方面的第二种可能的实现方式，在第三种可能的实现方式中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
第五方面，本发明实施例提供一种手持电子设备，包括内存，还包括：
本发明任意实施例所提供的视频短信的发送装置；
本发明任意实施例所提供的视频短信的接收装置；
摄像头，用于采集视频内容；
麦克风，用于采集音频内容；
触摸屏，用于接收用户的输入操作；
音频通道，用于播放音频内容；
视频通道，用于播放视频内容和涂鸦输入。
本发明实施例一种视频短信的发送、接收方法及其装置和手持电子设备，通过在视频短信拍摄的过程中通过涂鸦来标记视频中的亮点，以突出视频短信中的重点，优化视频短信的展示效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为现有技术中视频短信的实现方案示意图；
图2为本发明实施例一提供的视频短信的发送方法流程图；
图3为本发明实施例二提供的视频短信的发送方法流程图；
图4为本发明实施例三提供的视频短信的发送方法流程图；
图5为本发明实施例四提供的视频短信的发送方法流程图；
图6为本发明实施例五提供的视频短信的接收方法流程图；
图7为本发明实施例六提供的视频短信的接收方法流程图；
图8为本发明实施例七提供的视频短信的接收方法流程图；
图9为本发明实施例八提供的视频短信的发送装置结构示意图；
图10为本发明实施例九提供的视频短信的发送装置结构示意图；
图11为本发明实施例十提供的视频短信的发送装置结构示意图；
图12为本发明实施例十一提供的视频短信的接收装置结构示意图；
图13为本发明实施例十二提供的视频短信的接收装置结构示意图；
图14为本发明实施例十三提供的手持电子设备结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
图2为本发明实施例一提供的视频短信的发送方法流程图，本实施例可适用于手持电子设备编辑添加涂鸦输入的视频短信，重点突出用户想要分享的视频中的亮点，该方法可以由视频短信的发送装置来执行，该装置可以通过硬件和/或软件的形式实现，集成在手持电子设备之中。手持电子设备可以为手机、平板电脑等任意终端设备。该方法具体包括如下步骤：
步骤201、获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件。
具体地，所述音视频内容可以为通过手持电子设备中的摄像头和麦克风这两个音视频采集设备采集的音视频内容；所述涂鸦输入可以为通过手持电子设备的触摸屏采集到的触摸轨迹输入和/或附加图片信息；本步骤中的合成只需要将所述音视频内容合成的视频文件和涂鸦输入合成的涂鸦文件简单的头尾相连即可，并且在所述涂鸦视频文件中添加一个文件头，记录叠加后两个文件的位置，便于解析文件时拆分两个文件。
步骤202、将所述涂鸦视频文件作为视频短信发送至短信接收方。
具体地，所述短信接收方只是相对于短信发送方而言，二者是对等的，在通信过程中，短信接收方和短信发送方可以同时发送视频短信，也可以是其中之一发送视频短信。
本实施例，在视频短信获取的过程中通过涂鸦输入来标记视频中的亮点，使现有技术中的视频短信需要通过大量的语言来表达的内容转换成涂鸦的方式，优化了视频短信的展示效果，而且增加了用户体验和视频拍摄的乐趣。
在上述实施例的基础上，获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件的操作可以具体为：获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视频文件和涂鸦文件各自的起始位置。该技术方案可以分别形成独立的音视频文件和涂鸦文件，并分别记录供接收方获取解析，方便用户单独对涂鸦文件或音视频文件进行操作，例如在录制完成之后，可以对涂鸦文件再进行修改。
实施例二
图3为本发明实施例二提供的视频短信的发送方法流程图，本实施例在上述实施例的基础上，对获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件的操作进行进一步优化，如图3所示，获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件的操作进行具体可以包括：
步骤301、获取当前帧的音视频内容，并记录至音视频文件；
步骤302、在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息；
其中，所述当前帧的涂鸦图片的属性信息至少包括：所述当前帧的涂鸦图片大小、当前帧的时间点和编码格式和当前帧持续时间。记录这些属性信息，即可以在接收方通过解析获取属性信息来复原涂鸦图片。各类所述涂鸦输入可以至少包括：触摸轨迹输入和附加图片，例如，还可以包括透明背景图片。
步骤303、重复执行步骤301和步骤302对各帧进行处理，直至判断出音视频内容的录制结束。
上述步骤301和步骤302是对每一帧所进行的处理，各帧的处理操作相同，重复执行，并将每帧逐一记录至文件中，直至录制结束。
本发明实施例中每帧涂鸦图片都是同步合成的，可以节省后续处理时间，例如接收方在接收到视频短信后进行解析和同步的时间缩短，所述涂鸦文件的涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息以便于播放时的解析，且在当前帧涂鸦图片有所更改时可以及时更新所述涂鸦信息维护表，例如在擦除触摸轨迹输入或删除附加图片等操作时实时将修改信息更新到所述涂鸦信息维护表对应当前帧的部分，方便用户单独对涂鸦文件或音视频文件进行操作。
实施例三
在上述基础上，如图4所示，获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件的另一种实现方式为：
步骤401、获取当前帧的音视频内容，并记录至音视频文件；
步骤402、在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
其中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片；所述触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。记录这些属性信息，即可以在接收方通过解析获取属性信息来复原所述各类涂鸦输入。
步骤403、重复执行步骤401和步骤402对各帧进行处理，直至判断出音视频内容的录制结束。
上述步骤401和步骤402是对每一帧所进行的处理，各帧的处理操作相同，重复执行，并将每帧逐一记录至文件中，直至音视频内容录制结束。
本发明实施例与上述实施例二的区别在于：本发明实施例中所述各类涂鸦输入并没有合成当前帧的涂鸦图片，而是分别记录至涂鸦文件且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息，这样在单独更改各类所述涂鸦输入时可以只更新其对应的属性信息，从而在效率上有所提升。例如在擦除触摸轨迹输入或切换触摸轨迹输入的线宽和颜色等属性信息时只更新所述涂鸦信息维护表中触摸轨迹输入的属性信息；而删除或增加附加图片时则只更新所述涂鸦信息维护表中附加图片的属性信息，方便用户单独对各类涂鸦输入进行操作。
实施例四
图5为本发明实施例四提供的视频短信的发送方法流程图，本实施例在上述实施例的基础上对获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件进一步优化，如图5所示，获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件具体可以包括：
步骤501、获取当前帧的音视频内容，存储至音视频帧缓存中。
具体地，可以通过摄像机和麦克风采集音视频内容，在视频回显时会把音视频数据存放在音视频帧缓存中，而所述音视频帧缓存为硬件资源，存在于所有的移动终端设备中。
步骤502、在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别存储至各类涂鸦帧缓存中。
具体地，所述各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片，例如，还包括透明背景图片；所述各类涂鸦输入在回显时会把涂鸦数据存放于所述各类涂鸦帧缓存中，例如，所述触摸轨迹输入在回显时会把触摸形成的图形数据存放于触摸显示帧缓存中，而附加图片等存放在用户界面显示帧缓存中。
步骤503、将当前帧的音视频帧缓存和各类涂鸦帧缓存的数据合成，并存储至合成帧缓存中。
具体地，通过图层(或音频)混合器(mixer)将当前帧的音视频帧缓存的图层数据和各类涂鸦帧缓存的图层数据合成一个主图层的数据，合成后的数据是最后送入显示设备的数据。例如，每个图层的数据都是ARGB32的格式的，由于最后的显示是一个主图层，而此主图层是按照多个图层的组合而成的，这个组合方式具体是指由一个对应的控制数据说明每个区域对应的图层的数据，混合器根据这个信息将各个图层数据做与/或合成。
步骤504、将合成帧缓存中的数据进行编码，形成当前帧的音视频，并记录至涂鸦视频文件。
具体地，所述编码，即压缩编码标准，以减少传输的流量，例如采用H.264/MPEG4标准。
步骤505、重复执行步骤501至步骤504对各帧进行处理，直至判断出音视频内容的录制结束。
上述步骤501至步骤504是对每一帧所进行的处理，各帧的处理操作相同，重复执行，并将每帧逐一记录至涂鸦视频文件中，直至音视频内容的录制结束。
本发明实施例，将当前帧的音视频内容和各类涂鸦输入通过硬件混合器合成，在播放解析时不用分别解析处理音视频内容和涂鸦输入，由此节省接收方的解析时间，提升播放效率。
实施例五
图6为本发明实施例五提供的视频短信的接收方法流程图，如图6所示，本实施例可适用于手持电子设备播放添加涂鸦输入的视频短信，重点突出用户想要分享的视频中的亮点，该方法可以由视频短信的接收装置来执行，该装置可以通过硬件和/或软件的形式实现，集成在手持电子设备之中。手持电子设备可以为手机、平板电脑等任意终端设备。该方法具体包括如下步骤：
步骤601、接收短信发送方发送的视频短信。
具体地，所述视频短信为当前帧音视频内容中添加涂鸦输入的视频短信。
步骤602、从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放。
具体地，所述音视频内容为通过手持电子设备中的摄像头和麦克风这两个音视频采集设备采集的音视频内容；所述涂鸦输入为通过手持电子设备的触摸屏采集到的触摸轨迹输入和/或附加图片信息。
本实施例，在视频短信播放过程中，将需要通过大量的语言来表达的内容转换成涂鸦的方式，优化了视频短信的展示效果，而且增加了用户体验和视频拍摄的乐趣。
实施例六
图7为本发明实施例六提供的视频短信的接收方法流程图，本实施例在上述实施例的基础上对从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放进行进一步优化，如图7所示，从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放可以包括：
步骤701、从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
具体地，所述涂鸦视频文件中所述音视频文件和涂鸦文件只是简单的头尾相连，并且所述涂鸦视频文件中包含有一个文件头，记录叠加后两个文件的起始位置，便于解析文件时拆分两个文件。
步骤702、从所述音视频文件中分流获取音频层和视频层；
具体地，所述音频层可以为通过麦克风采集的声音数据；所述视频层可以为通过摄像头采集的视频数据。
步骤703、从所述涂鸦文件中获取涂鸦层；
具体地，所述涂鸦层可以为通过触摸屏采集的触摸轨迹输入、附加图片或透明背景图片等图像信息所合成的涂鸦图片。
步骤704、根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所述音频层和视频层进行帧时间同步；
具体地，所述涂鸦信息维护表中主要是每一帧涂鸦图片的大小、时间点、编码格式和持续时间等属性信息。根据所述涂鸦图片的时间点和持续时间与所述音频层和视频层进行帧时间同步。
步骤705、将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
具体地，由于所述涂鸦层中的涂鸦文件存储的是将涂鸦输入，例如透明背景图片、触摸轨迹输入和附加图片等信息，合成之后的涂鸦图片，所以，所述涂鸦层的播放与视频层播放一样，直接送去视频通道显示即可。另外，由于涂鸦输入是在当前帧视频内容上的添加的，所以，涂鸦层叠加在视频层之上播放。
本发明实施例中每帧涂鸦图片都是与当前帧音视频内容同步合成的，可以节省帧同步时间；所述涂鸦文件的涂鸦信息维护表中记录当前帧涂鸦图片的属性信息以便于解析，另外，该技术方案可以解析获得独立的音视频文件和涂鸦文件，用户可以在涂鸦视频的基础上进行二次修改或二次涂鸦，方便用户随时编辑涂鸦视频。
实施例七
图8为本发明实施例七提供的视频短信的接收方法流程图。如图8所示，本发明实施例在上述实施例的基础上，从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放还可以进一步优化为：
步骤801、从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
步骤802、从所述音视频文件中分流获取音频层和视频层；
步骤803、从所述涂鸦文件中获取涂鸦层；
具体地，所述涂鸦层可以为通过触摸屏采集的触摸轨迹输入和/或附加图片。
步骤804、根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
具体地，所述各类涂鸦输入至少包括：触摸轨迹输入和附加图片。其中，所述触摸轨迹输入的属性信息可以是触摸轨迹坐标、线宽、颜色、时间点和持续时间等，所述附加图片的属性信息可以是图片大小、时间点和持续时间等。可以根据所述触摸轨迹输入和附加图片的对应的时间点和持续时间与所述音频层和视频层进行帧时间同步。
步骤805、将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
具体地，由于所述涂鸦层中的涂鸦文件存储的是各类涂鸦输入，例如触摸轨迹输入和附加图片等信息，所以，所述涂鸦层的播放与视频层播放至少分两种情况：若是所述附加图片，则直接送去视频通道的第一层显示即可；若是所述触摸轨迹输入，则根据触摸轨迹坐标、线宽和颜色等信息绘制至视频通道的第一层。另外，由于涂鸦输入是在当前帧视频内容上的添加的，所以，涂鸦层叠加在视频层之上播放。
本发明实施例中各类所述涂鸦输入的属性信息在涂鸦信息维护表中单独记录，可以解析获得独立的各类涂鸦输入，方便用户随时编辑涂鸦视频，而且用户在涂鸦视频上分别对各类涂鸦输入进行二次操作时，例如修改或再涂鸦，只需在原涂鸦视频基础上对所述各类涂鸦输入分别相应更新，无需再将各类涂鸦输入合成当前帧的涂鸦图片去替换原先的涂鸦图片，使得二次操作更方便、快捷。
实施例八
图9为本发明实施例八提供的视频短信的发送装置结构示意图。本实施例的装置，可以用于执行本发明实施例提供的视频短信的发送方法的技术方案。本实施例的装置具体包括：获取合成模块91和发送模块92，其中，所述获取合成模块91，用于获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件，所述发送模块92，用于将所述涂鸦视频文件作为视频短信发送至短信接收方。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的发送方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在上述基础上，获取合成模块91优选是包括：文件获取单元911和文件合成单元912，其中，文件获取单元911用于获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；文件合成单元912用于在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视频文件和涂鸦文件各自的起始位置。
在上述基础上，文件获取单元911优选是包括：
音视频文件获取子单元9111，用于获取当前帧的音视频内容，并记录至音视频文件；
第一涂鸦文件获取子单元9112，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息；
其中，重复执行所述音视频文件获取子单元9111和第一涂鸦文件获取子单元9112的操作对各帧进行处理，直至判断出音视频内容的录制结束。
具体地，所述当前帧的涂鸦图片的属性信息至少包括：所述当前帧的涂鸦图片大小、当前帧的时间点和编码格式和当前帧持续时间；各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片，还可以包括透明背景图片等；所述触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。
实施例九
在上述基础上，如图10所示，文件获取单元101可以包括：音视频文件获取子单元1011和第二涂鸦文件获取子单元1012，其中，音视频文件获取子单元1011，用于获取当前帧的音视频内容，并记录至音视频文件；第二涂鸦文件获取子单元1012，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；其中，重复执行所述音视频文件获取子单元1011和第二涂鸦文件获取子单元1012的操作对各帧进行处理，直至判断出音视频内容的录制结束。其中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片；所述触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的发送方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
实施例十
参考图11，在上述实施例基础上，获取合成模块11可以包括：音视频缓存单元111、涂鸦缓存单元112、缓存合成单元113和缓存编码单元114，其中，音视频缓存单元111，用于获取当前帧的音视频内容，存储至音视频帧缓存中；涂鸦缓存单元112，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别存储至各类涂鸦帧缓存中；缓存合成单元113，用于将当前帧的音视频帧缓存和各类涂鸦帧缓存的数据合成，并存储至合成帧缓存中；缓存编码单元114，用于将合成帧缓存中的数据进行编码，形成当前帧的音视频，并记录至涂鸦视频文件；其中，重复执行音视频缓存单元111、涂鸦缓存单元112、缓存合成单元113和缓存编码单元114的操作对各帧进行处理，直至判断出音视频内容的录制结束。其中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的发送方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
实施例十一
图12为本发明实施例十一提供的视频短信的接收装置结构示意图。本实施例的装置，可以用于执行本发明实施例四提供的视频短信的接收方法的技术方案。本实施例的装置具体包括：接收模块12和解析播放模块13，其中所述接收模块12用于接收短信发送方发送的视频短信；所述解析播放模块13用于从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放。
本实施例的装置，可以用于执行本发明实施例所提供的视频短信的接收方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在上述基础上，所述解析播放模块13优选是包括：文件解析单元131、音视频分流单元132、涂鸦分流单元133、第一时间同步单元134和第一播放单元135，其中，文件解析单元131用于从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；音视频分流单元132用于从所述音视频文件中分流获取音频层和视频层；涂鸦分流单元133用于从所述涂鸦文件中获取涂鸦层；第一时间同步单元134用于根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所述音频层和视频层进行帧时间同步；第一播放单元135用于将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。其中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
实施例十二
在上述基础上，如图13所示，所述解析播放模块14进一步优选，可以包括：文件解析单元141、音视频分流单元142、涂鸦分流单元143、第二时间同步单元144和第二播放单元145，其中，文件解析单元141用于从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；音视频分流单元142用于从所述音视频文件中分流获取音频层和视频层；涂鸦分流单元143用于从所述涂鸦文件中获取涂鸦层；第二时间同步单元144用于根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；第二播放单元145用于将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。其中，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
实施例十三
图14为本发明实施例十三提供的手持电子设备结构示意图。本发明实施例所提供的手持电子设备包括内存、摄像头100、麦克风200、触摸屏300、本发明任意实施例所提供的视频短信的发送装置400、本发明任意实施例所提供的视频短信的接收装置500、音频通道600和视频通道700。其中，所述摄像头100用于采集视频内容；所述麦克风200用于采集音频内容；所述触摸屏300用于接收用户的输入操作；所述音频通道600用于播放音频内容；所述视频通道700用于播放视频内容和涂鸦输入。
该手持电子设备可以完成上述实施例所有功能，其实现原理和有益效果类似，此处不再赘述。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (25)
1.一种视频短信的发送方法，其特征在于，包括：
获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；
将所述涂鸦视频文件作为视频短信发送至短信接收方。
2.根据权利要求1所述的方法，其特征在于，获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件包括：
获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；
在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视频文件和涂鸦文件各自的起始位置。
3.根据权利要求2所述的方法，其特征在于，获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件包括：
获取当前帧的音视频内容，并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息；
重复执行上述步骤对各帧进行处理，直至判断出音视频内容的录制结束。
4.根据权利要求3所述的方法，其特征在于，所述当前帧的涂鸦图片的属性信息至少包括：所述当前帧的涂鸦图片大小、当前帧的时间点和编码格式和当前帧持续时间。
5.根据权利要求2所述的方法，其特征在于，获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件包括：
获取当前帧的音视频内容，并记录至音视频文件；
在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
重复执行上述步骤对各帧进行处理，直至判断出音视频内容的录制结束。
6.根据权利要求1所述的方法，其特征在于，获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件包括：
获取当前帧的音视频内容，存储至音视频帧缓存中；
在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别存储至各类涂鸦帧缓存中；
将当前帧的音视频帧缓存和各类涂鸦帧缓存的数据合成，并存储至合成帧缓存中；
将合成帧缓存中的数据进行编码，形成当前帧的音视频，并记录至涂鸦视频文件；
重复执行上述步骤对各帧进行处理，直至判断出音视频内容的录制结束。
7.根据权利要求3-6任一所述的方法，其特征在于，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
8.根据权利要求7所述的方法，其特征在于，触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。
9.一种视频短信的接收方法，其特征在于，包括：
接收短信发送方发送的视频短信；
从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放。
10.根据权利要求9所述的方法，其特征在于，从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放包括：
从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
11.根据权利要求9所述的方法，其特征在于，从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放包括：
从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
从所述音视频文件中分流获取音频层和视频层；
从所述涂鸦文件中获取涂鸦层；
根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
12.根据权利要求11所述的方法，其特征在于，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
13.一种视频短信的发送装置，其特征在于，包括：
获取合成模块，用于获取音视频内容，并同步获取对应于所述音视频内容的涂鸦输入，并将所述音视频内容和涂鸦输入合成为涂鸦视频文件；
发送模块，用于将所述涂鸦视频文件作为视频短信发送至短信接收方。
14.根据权利要求13所述的装置，其特征在于，获取合成模块包括：
文件获取单元，用于获取音视频内容以形成音视频文件，并同步获取对应于所述音视频内容的涂鸦输入以形成涂鸦文件；
文件合成单元，用于在涂鸦视频文件中分别存储所述音视频文件和涂鸦文件，并记录所述音视频文件和涂鸦文件各自的起始位置。
15.根据权利要求14所述的装置，其特征在于，文件获取单元包括：
音视频文件获取子单元，用于获取当前帧的音视频内容，并记录至音视频文件；
第一涂鸦文件获取子单元，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入合成为当前帧的涂鸦图片，将所述当前帧的涂鸦图片记录至涂鸦文件，且在涂鸦信息维护表中记录当前帧的涂鸦图片的属性信息；
其中，重复执行所述音视频文件获取子单元和第一涂鸦文件获取子单元的操作对各帧进行处理，直至判断出音视频内容的录制结束。
16.根据权利要求15所述的装置，其特征在于，所述当前帧的涂鸦图片的属性信息至少包括：所述当前帧的涂鸦图片大小、当前帧的时间点和编码格式和当前帧持续时间。
17.根据权利要求14所述的装置，其特征在于，文件获取单元包括：
音视频文件获取子单元，用于获取当前帧的音视频内容，并记录至音视频文件；
第二涂鸦文件获取子单元，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别记录至涂鸦文件，且在涂鸦信息维护表中分别记录各类涂鸦输入的属性信息；
其中，重复执行所述音视频文件获取子单元和第二涂鸦文件获取子单元的操作对各帧进行处理，直至判断出音视频内容的录制结束。
18.根据权利要求13所述的装置，其特征在于，获取合成模块包括：
音视频缓存单元，用于获取当前帧的音视频内容，存储至音视频帧缓存中；
涂鸦缓存单元，用于在获取当前帧音视频内容的同时，在透明背景层中采集至少一种类别的涂鸦输入，将各类涂鸦输入分别存储至各类涂鸦帧缓存中；
缓存合成单元，用于将当前帧的音视频帧缓存和各类涂鸦帧缓存的数据合成，并存储至合成帧缓存中；
缓存编码单元，用于将合成帧缓存中的数据进行编码，形成当前帧的音视频，并记录至涂鸦视频文件；
其中，重复执行音视频缓存单元、涂鸦缓存单元、缓存合成单元和缓存编码单元的操作对各帧进行处理，直至判断出音视频内容的录制结束。
19.根据权利要求15-18任一所述的装置，其特征在于，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
20.根据权利要求19所述的装置，其特征在于，触摸轨迹输入的属性信息包括：触摸轨迹坐标、线宽、颜色、时间点和持续时间。
21.一种视频短信的接收装置，其特征在于，包括：
接收模块，用于接收短信发送方发送的视频短信；
解析播放模块，用于从所述视频短信中解析获取音视频内容和涂鸦输入，并将所述涂鸦输入叠加在所述音视频内容上播放。
22.根据权利要求21所述的装置，其特征在于，解析播放模块包括：
文件解析单元，用于从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
音视频分流单元，用于从所述音视频文件中分流获取音频层和视频层；
涂鸦分流单元，用于从所述涂鸦文件中获取涂鸦层；
第一时间同步单元，用于根据涂鸦文件中的涂鸦信息维护表记录的涂鸦图片的属性信息，将所述涂鸦层与所述音频层和视频层进行帧时间同步；
第一播放单元，用于将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
23.根据权利要求21所述的装置，其特征在于，解析播放模块包括：
文件解析单元，用于从所述视频短信的涂鸦视频文件中标记的音视频文件和涂鸦文件各自的起始位置分别解析获取音视频文件和涂鸦文件；
音视频分流单元，用于从所述音视频文件中分流获取音频层和视频层；
涂鸦分流单元，用于从所述涂鸦文件中获取涂鸦层；
第二时间同步单元，用于根据涂鸦文件中的涂鸦信息维护表记录的各类涂鸦输入的属性信息，将所述涂鸦层中各类涂鸦输入与所述音频层和视频层进行帧时间同步；
第二播放单元，用于将所述音频层通过音频通道播放，将视频层通过视频通道的第二层播放，将所述涂鸦层中各类涂鸦输入分别通过视频通道的第一层播放，所述第一层叠加在所述第二层之上。
24.根据权利要求23所述的装置，其特征在于，各类所述涂鸦输入至少包括：触摸轨迹输入和附加图片。
25.一种手持电子设备，包括内存，还包括：
权利要求13-20任一所述的视频短信的发送装置；权利要求21-24任一所述的视频短信的接收装置；摄像头，用于采集视频内容；
麦克风，用于采集音频内容；
触摸屏，用于接收用户的输入操作；
音频通道，用于播放音频内容；
视频通道，用于播放视频内容和涂鸦输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910453623.7A CN110234081A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910453623.7A CN110234081A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
| CN201310033292.4A CN103974209A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310033292.4A Division CN103974209A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110234081A true CN110234081A (zh) | 2019-09-13 |
Family
ID=51243155
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910453623.7A Pending CN110234081A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
| CN201310033292.4A Pending CN103974209A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310033292.4A Pending CN103974209A (zh) | 2013-01-29 | 2013-01-29 | 视频短信的发送、接收方法及其装置和手持电子设备 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US9479728B2 (zh) |
| EP (2) | EP3525403A1 (zh) |
| CN (2) | CN110234081A (zh) |
| WO (1) | WO2014117660A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022068642A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 一种消息显示方法及电子设备 |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9396354B1 (en) | 2014-05-28 | 2016-07-19 | Snapchat, Inc. | Apparatus and method for automated privacy protection in distributed images |
| US9537811B2 (en) | 2014-10-02 | 2017-01-03 | Snap Inc. | Ephemeral gallery of ephemeral messages |
| US9113301B1 (en) | 2014-06-13 | 2015-08-18 | Snapchat, Inc. | Geo-location based event gallery |
| CN105407312B (zh) * | 2014-09-01 | 2019-03-05 | 鸿富锦精密工业（深圳）有限公司 | 视频信件服务器、视频信件终端及其发送视频信件的方法 |
| US10824654B2 (en) | 2014-09-18 | 2020-11-03 | Snap Inc. | Geolocation-based pictographs |
| US10311916B2 (en) | 2014-12-19 | 2019-06-04 | Snap Inc. | Gallery of videos set to an audio time line |
| US9385983B1 (en) | 2014-12-19 | 2016-07-05 | Snapchat, Inc. | Gallery of messages from individuals with a shared interest |
| CN105812548A (zh) * | 2014-12-30 | 2016-07-27 | 北京奇虎科技有限公司 | 在通信访问界面上展示个性涂鸦的方法及移动通信终端 |
| CN105812409A (zh) * | 2014-12-30 | 2016-07-27 | 北京奇虎科技有限公司 | 在锁屏界面上呈现信息的方法及系统 |
| US10133705B1 (en) * | 2015-01-19 | 2018-11-20 | Snap Inc. | Multichannel system |
| CN112040410B (zh) | 2015-03-18 | 2022-10-14 | 斯纳普公司 | 地理围栏认证提供 |
| CN105635519B (zh) * | 2015-06-15 | 2018-07-17 | 广州市动景计算机科技有限公司 | 视频处理方法、装置及系统 |
| US10354425B2 (en) | 2015-12-18 | 2019-07-16 | Snap Inc. | Method and system for providing context relevant media augmentation |
| CN106851385B (zh) | 2017-02-20 | 2019-12-27 | 北京乐我无限科技有限责任公司 | 视频录制方法、装置和电子设备 |
| US10582277B2 (en) | 2017-03-27 | 2020-03-03 | Snap Inc. | Generating a stitched data stream |
| CN107221018B (zh) * | 2017-04-14 | 2020-07-17 | 弘成科技发展有限公司 | 一种智能画板画面合成方法 |
| CN110795177B (zh) * | 2018-08-03 | 2021-08-31 | 浙江宇视科技有限公司 | 图形绘制方法及装置 |
| US11212331B1 (en) * | 2018-10-26 | 2021-12-28 | Snap Inc. | Triggering changes to real-time special effects included in a live streaming video |
| CN111447491B (zh) * | 2019-01-17 | 2022-05-13 | 天津跳跳蛙科技有限公司 | 基于短信的视频播放方法及服务端和移动终端 |
| CN110572717A (zh) * | 2019-09-30 | 2019-12-13 | 北京金山安全软件有限公司 | 视频编辑方法和装置 |
| CN111523293A (zh) * | 2020-04-08 | 2020-08-11 | 广东小天才科技有限公司 | 一种直播教学中辅助用户进行信息录入的方法及装置 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050136955A1 (en) * | 2003-12-23 | 2005-06-23 | Mumick Inderpal S. | Techniques for combining voice with wireless text short message services |
| CN101051310A (zh) * | 2005-11-03 | 2007-10-10 | 国际商业机器公司 | 用于将合成电子邮件数据转入音频文件的方法和系统 |
| CN101401082A (zh) * | 2006-01-18 | 2009-04-01 | 克利普因塔奇国际有限公司 | 用于创建和传输独特动态个性化多媒体消息的装置和方法 |
| WO2011130961A1 (zh) * | 2010-04-22 | 2011-10-27 | 中兴通讯股份有限公司 | 用于多媒体消息中媒体对象的处理方法和多媒体终端 |
| CN102638658A (zh) * | 2012-03-01 | 2012-08-15 | 盛乐信息技术（上海）有限公司 | 音视频编辑方法及系统 |
| CN102752724A (zh) * | 2011-04-19 | 2012-10-24 | 北京有度致远科技有限公司 | 多媒体合成视频彩信处理的方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1679876A1 (en) * | 2005-01-05 | 2006-07-12 | Grand Advance Corp. | Internet fax apparatus with an automatic filing function for sending video files and a method for the same |
| US8677241B2 (en) * | 2007-09-10 | 2014-03-18 | Vantrix Corporation | Method and system for multimedia messaging service (MMS) to video adaptation |
| CN100576896C (zh) * | 2007-11-30 | 2009-12-30 | 深圳市同洲电子股份有限公司 | 一种pvr文件定位的方法及pvr机顶盒 |
| US9465451B2 (en) * | 2009-12-31 | 2016-10-11 | Flick Intelligence, LLC | Method, system and computer program product for obtaining and displaying supplemental data about a displayed movie, show, event or video game |
| US9223783B2 (en) * | 2010-08-08 | 2015-12-29 | Qualcomm Incorporated | Apparatus and methods for managing content |
| US9294896B2 (en) * | 2011-07-05 | 2016-03-22 | Zia Shlaimoun | Method and system for video messaging |
| CN102387094B (zh) * | 2011-10-24 | 2015-07-08 | Tcl集团股份有限公司 | 一种网络社交的建立方法和系统 |
| US20140232813A1 (en) * | 2013-02-20 | 2014-08-21 | Sprint Communications Company L.P. | Using metadata for video message modifications among wireless communication devices |
-
2013
- 2013-01-29 CN CN201910453623.7A patent/CN110234081A/zh active Pending
- 2013-01-29 CN CN201310033292.4A patent/CN103974209A/zh active Pending
-
2014
- 2014-01-20 WO PCT/CN2014/070922 patent/WO2014117660A1/zh active Application Filing
- 2014-01-20 EP EP18214996.3A patent/EP3525403A1/en active Pending
- 2014-01-20 EP EP14745985.3A patent/EP2940940B1/en active Active
-
2015
- 2015-07-28 US US14/811,308 patent/US9479728B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050136955A1 (en) * | 2003-12-23 | 2005-06-23 | Mumick Inderpal S. | Techniques for combining voice with wireless text short message services |
| CN101051310A (zh) * | 2005-11-03 | 2007-10-10 | 国际商业机器公司 | 用于将合成电子邮件数据转入音频文件的方法和系统 |
| CN101401082A (zh) * | 2006-01-18 | 2009-04-01 | 克利普因塔奇国际有限公司 | 用于创建和传输独特动态个性化多媒体消息的装置和方法 |
| WO2011130961A1 (zh) * | 2010-04-22 | 2011-10-27 | 中兴通讯股份有限公司 | 用于多媒体消息中媒体对象的处理方法和多媒体终端 |
| CN102752724A (zh) * | 2011-04-19 | 2012-10-24 | 北京有度致远科技有限公司 | 多媒体合成视频彩信处理的方法 |
| CN102638658A (zh) * | 2012-03-01 | 2012-08-15 | 盛乐信息技术（上海）有限公司 | 音视频编辑方法及系统 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022068642A1 (zh) * | 2020-09-29 | 2022-04-07 | 华为技术有限公司 | 一种消息显示方法及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103974209A (zh) | 2014-08-06 |
| EP2940940B1 (en) | 2019-03-06 |
| US9479728B2 (en) | 2016-10-25 |
| EP2940940A4 (en) | 2016-01-06 |
| US20150334347A1 (en) | 2015-11-19 |
| EP2940940A1 (en) | 2015-11-04 |
| WO2014117660A1 (zh) | 2014-08-07 |
| EP3525403A1 (en) | 2019-08-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110234081A (zh) | 视频短信的发送、接收方法及其装置和手持电子设备 | |
| CN100412852C (zh) | 网络上的多种媒体的同步合成存储发布系统及操作该系统的方法 | |
| CN102752667B (zh) | 一种多流流媒体直播互动系统及直播互动方法 | |
| WO2016150317A1 (zh) | 直播视频的合成方法、装置及系统 | |
| CN103686219B (zh) | 一种视频会议录播的方法、设备及系统 | |
| CN107534704A (zh) | 信息处理设备、信息处理方法和信息处理程序 | |
| CN105637472B (zh) | 具有广义屏幕描述的屏幕内容共享系统的框架 | |
| CN110267064A (zh) | 音频播放状态处理方法、装置、设备及存储介质 | |
| CN103369289A (zh) | 一种视频模拟形象的通信方法和装置 | |
| CN105519072B (zh) | 多用户会议系统 | |
| CN101729850A (zh) | 基于笔迹特征数据流的视频通信方法及其处理系统 | |
| CN106412687A (zh) | 一种音视频片段的截取方法和装置 | |
| CN105247875B (zh) | 分发控制系统和分发系统 | |
| EP3024223B1 (en) | Videoconference terminal, secondary-stream data accessing method, and computer storage medium | |
| CN102984496A (zh) | 视频会议中的视音频信息的处理方法、装置及系统 | |
| CN103841358B (zh) | 低码流的视频会议系统及方法、发送端设备、接收端设备 | |
| US20160014193A1 (en) | Computer system, distribution control system, distribution control method, and computer-readable storage medium | |
| CN101273637A (zh) | 媒体内容管理 | |
| US9596435B2 (en) | Distribution control apparatus, distribution control method, and computer program product | |
| CN109874024A (zh) | 一种基于动态视频海报的弹幕处理方法、系统及存储介质 | |
| CN105791964B (zh) | 跨平台的媒体文件播放方法及系统 | |
| CN101409841B (zh) | 手机电视节目实时编辑的移动终端及方法 | |
| CN106170003A (zh) | 多方视频会议系统和多方视频会议数据传输方法 | |
| CN109889434A (zh) | 基于动态视频海报的社交方法、系统、装置及存储介质 | |
| CN118138713B (zh) | 多方通话方法、装置、电子设备、存储介质及产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190913 |