CN113678137B - 显示设备 - Google Patents
显示设备 Download PDFInfo
- Publication number
- CN113678137B CN113678137B CN202080024736.6A CN202080024736A CN113678137B CN 113678137 B CN113678137 B CN 113678137B CN 202080024736 A CN202080024736 A CN 202080024736A CN 113678137 B CN113678137 B CN 113678137B
- Authority
- CN
- China
- Prior art keywords
- video
- user
- local
- interface
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009471 action Effects 0.000 claims description 271
- 230000000875 corresponding effect Effects 0.000 claims description 235
- 238000000034 method Methods 0.000 claims description 141
- 230000008569 process Effects 0.000 claims description 108
- 238000012549 training Methods 0.000 claims description 93
- 230000004044 response Effects 0.000 claims description 55
- 230000033001 locomotion Effects 0.000 claims description 37
- 230000001276 controlling effect Effects 0.000 claims description 22
- 239000003086 colorant Substances 0.000 claims description 9
- 230000035484 reaction time Effects 0.000 claims description 4
- 210000000988 bone and bone Anatomy 0.000 claims description 2
- 238000007667 floating Methods 0.000 abstract description 49
- 238000004891 communication Methods 0.000 description 43
- 230000006870 function Effects 0.000 description 30
- 238000010586 diagram Methods 0.000 description 25
- 238000011156 evaluation Methods 0.000 description 23
- 239000012634 fragment Substances 0.000 description 19
- 238000012545 processing Methods 0.000 description 18
- 238000012790 confirmation Methods 0.000 description 17
- 238000011068 loading method Methods 0.000 description 15
- 210000000707 wrist Anatomy 0.000 description 11
- 210000003857 wrist joint Anatomy 0.000 description 11
- 238000006243 chemical reaction Methods 0.000 description 10
- 230000005236 sound signal Effects 0.000 description 10
- 230000001976 improved effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 230000001747 exhibiting effect Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 210000003423 ankle Anatomy 0.000 description 6
- 210000003414 extremity Anatomy 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000000977 initiatory effect Effects 0.000 description 5
- 238000005070 sampling Methods 0.000 description 5
- 238000012935 Averaging Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000002372 labelling Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 210000001503 joint Anatomy 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000007670 refining Methods 0.000 description 3
- 230000008093 supporting effect Effects 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 230000003321 amplification Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000002349 favourable effect Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 230000000366 juvenile effect Effects 0.000 description 2
- 210000002414 leg Anatomy 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 210000000544 articulatio talocruralis Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000035784 germination Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本申请公开了显示设备,显示设备响应于预设指令,采集本地图像以生成本地视频流,并播放本地视频画面,在本地视频画面上方的浮层中显示用于标识出预设的期望位置的图形元素;在本地视频画面中不存在运动目标或者存在运动目标且运动目标在本地视频画面中的目标位置相对于期望位置的偏移大于预设阈值时,根据目标位置相对于期望位置的偏移,在本地视频画面上方的浮层中呈现用于引导所述运动目标移动到期望位置的提示控件,使用户根据提示移动到期望位置。
Description
本申请要求于2019年08月18日提交中国专利局、申请号为201910761455.8、申请名称为“一种健身界面的显示方法及显示设备”的中国专利申请的优先权,2020年05月09日提交中国专利局、申请号为202010386547.5、申请名称为“一种界面显示方法及显示设备”的中国专利申请的优先权,2020年4月30日提交中国专利局、申请号为202010364203.4、申请名称为“显示设备及播放控制方法”的中国专利申请的优先权,2020年5月15日提交中国专利局、申请号为202010412358.0、申请名称为“显示设备及播放控制方法”的中国专利申请的优先权,2020年5月20日提交中国专利局、申请号为202010429705.0、申请名称为“显示设备及播放速度调整方法”的中国专利申请的优先权,2020年5月27日提交中国专利局、申请号为202010459886.1、申请名称为“显示设备及界面展示方法”的中国专利申请的优先权,2020年5月22日提交中国专利局、申请号为202010440465.4、申请名称为“显示设备及信息显示方法”的中国专利申请的优先权,2020年5月22日提交中国专利局、申请号为202010444296.1、申请名称为“显示设备及经验值更新方法”的中国专利申请的优先权,2020年5月22日提交中国专利局、申请号为202010444212.4、申请名称为“显示设备及播放速度方法”的中国专利申请的优先权,2020年5月29日提交中国专利局、申请号为202010479491.8、申请名称为“显示设备及信息显示方法”的中国专利申请的优先权,2020年7月13日提交中国专利局、申请号为202010673469.7、申请名称为“显示设备及信息显示方法”的中国专利申请的优先权,其全部内容通过引用结合在本申请中。
技术领域
本申请涉及显示设备技术领域,尤其涉及一种显示设备及信息显示方法。
背景技术
通信技术的不断发展,使得电脑、智能手机、显示设备等终端设备越来越普及。并且,用户对终端设备所能提供功能或服务的要求也越来越高。显示设备,如智能电视,可以为用户提供诸如音频、视频、图片等播放画面,如今备受关注。
随着智能显示设备的普及,用户通过显示设备的大屏进行休闲娱乐活动的需求越来越强烈。基于家庭在关于动作类活动的兴趣培养和训练方面上支出的时间和金钱日益增加,可以看出关于动作类活动的兴趣培养和训练等对于用户的重要性,如舞蹈、体操和健身等。
为此,如何通过显示设备为用户提供关于动作类活动的兴趣培养和训练功能,以满足用户需求,成为亟待解决的技术问题。
发明内容
第一方面,本申请一些实施例提供一种显示设备,包括:
显示器,用于显示用户界面,所述用户界面中可显示至少一个视频窗口,所述视频窗口的上方可显示至少一个浮层;
图像采集器,用于采集本地图像以生成本地视频流;
控制器,用于:
响应于输入的预设指令,控制所述图像采集器采集本地图像以生成本地视频流;
在所述视频窗口中播放本地视频画面,并在所述本地视频画面上方的浮层中显示用于标识出预设的期望位置的图形元素;
在所述本地视频画面中不存在运动目标,或者,在所述本地视频画面中存在运动目标且所述运动目标在所述本地视频画面中的目标位置相对于所述期望位置的偏移大于预设阈值时,根据所述目标位置相对于所述期望位置的偏移,在所述本地视频画面上方的浮层中呈现用于引导所述运动目标移动到所述期望位置的提示控件;
在所述本地视频画面中存在运动目标且所述运动目标的目标位置相对于所述期望位置的偏移不大于所述预设阈值时,撤销对所述图形元素和所述提示控件的显示。
第二方面,本申请一些实施例还提供一种显示设备,其特征在于,包括:
显示器,用于显示用户界面,所述用户界面中包括用于播放视频的窗口;
控制器,用于:
响应于输入的指示播放示范视频的指令,获取所述示范视频,所述示范视频包括若干关键片段,所述关键片段被播放时展示用户需要练习的关键动作;
在所述窗口中以第一速度起播所述示范视频;
当开始播放所述关键片段时,将播放所述示范视频的速度由所述第一速度调整到第二速度;
当结束播放所述关键片段时,将播放所述示范视频的速度由所述第二速度调整到所述第一速度;
其中,所述第二速度与所述第一速度不同。
第三方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
图像采集器,用于采集本地视频流;
显示器,用于显示用户界面,所述用户界面中包括用于播放示范视频的第一播放窗口和用于播放所述本地视频流的第二播放窗口;
控制器,用于:
响应于输入的指示播放示范视频的指令,获取所述示范视频,所述示范视频包括关键片段和与所述关键片段不同的其他片段,所述关键片段被播放时展示用户需要练习的关键动作;
在所述第一播放窗口中播放所述示范视频,在所述第二播放窗口中播放所述本地视频流;
其中,所述第一播放窗口中播放所述其他片段时的速度为第一速度,播放所述关键片段时的速度为第二速度,所述第二速度低于所述第一速度;所述第二播放窗口中播放所述本地视频流的速度为固定的预设速度。
第四方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
显示器,用于显示用户界面,所述用户界面中包括用于播放示范视频的窗口;
控制器,用于:
响应于输入的指示播放示范视频的指令,获取所述示范视频,所述示范视频包括若干关键片段,所述关键片段被播放时展示用户需要练习的关键动作;
在所述窗口中以第一速度起播所述示范视频,并获取用户的年龄;
在所述用户的年龄低于所述预设年龄时,以所述第一速度播放所述示范视频中的所述其他片段,以第二速度播放所述示范视频中的所述关键片段,所述第二速度低于所述第一速度;
在所述用户的年龄不低于所述预设年龄时,以所述第一速度播放所述示范视频的全部片段。
第五方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
显示器,用于播放视频;
控制器,用于:
响应于输入的指示播放示范视频的指令,获取所述示范视频,所述示范视频用于在被播放时展示需要用户练习的示范动作;
在所述用户的年龄位于第一年龄区间时,以第一速度播放所述示范视频;
在所述用户的年龄位于第二年龄区间时,以第二速度播放所述示范视频;
其中,所述第二速度不同于所述第一速度。
第六方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
图像采集器,用于采集本地图像以获得本地视频流;
显示器,用于显示示范视频、本地视频流和/或跟练结果界面;
控制器,用于:
响应于输入的指示跟练示范视频的指令,获取所述示范视频,以及获取本地视频流,所述示范视频被播放时展示用户需要跟练的示范动作;
对所述示范视频和所述本地视频流进行动作匹配,以根据本地视频与示范视频的匹配程度生成本次跟练过程对应的评分;
在所述示范视频播放结束后,根据所述评分生成所述跟练结果界面,所述跟练结果界面中设置有用于展示经验值的经验值控件,其中,在所述评分高于所述用户跟练所述示范视频的历史最高评分时,所述经验值控件中展示根据所述评分更新后的经验值,在所述评分不高于所述历史最高评分时,所述经验值控件中展示所述本次跟练过程之前的经验值。
第七方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
图像采集器,用于采集本地图像以获得本地视频流;
显示器;
控制器,用于:
响应于输入的指示播放示范视频的指令,获取所述示范视频,以及获取本地视频流,所述示范视频包括用于展示用户需要跟练的示范动作的第一视频帧,所述本地视频流包括用于展示用户动作的第二视频帧;
匹配相对应的所述第一视频帧和所述第二视频帧,根据匹配结果生成本次跟练过程对应的评分;
响应于所述示范视频播放结束,根据所述评分生成跟练结果界面,所述跟练结果界面中设置有用于展示经验值的经验值控件,其中,在所述评分高于所述用户跟练所述示范视频的历史最高评分时,所述经验值控件中展示根据所述评分更新后的经验值,在所述评分不高于所述历史最高评分时,所述经验值控件中展示所述本次跟练过程之前的经验值。
第八方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
显示器,用于显示用户界面,所述用户界面中包括用于播放视频的窗口;
图像采集器,用于采集本地图像;
控制器,用于:
响应于指示暂停窗口中播放的示范视频的指令,暂停播放所述示范视频,并显示目标关键帧,所述目标关键帧为所述示范视频中用于展示关键动作的视频帧;
在暂停播放所述示范视频后,通过所述图像采集器采集本地图像;
确定所述本地图像中的用户动作与所述目标关键帧中展示的关键动作是否匹配;
在所述本地图像中的用户动作与所述目标关键帧中展示的关键动作相匹配时,恢复播放所述示范视频;
在所述本地图像中的用户动作与所述目标关键帧中展示的关键动作不匹配时,继续暂停播放所述示范视频。
第九方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
显示器,用于显示历史记录页面;
控制器,用于:
响应于用户输入的指示显示跟练记录页面的指令,向服务器发送包含用户标识的获取数据获取请求,其中,所述数据获取请求用于使所述服务器根据所述用户标识返回至少一条历史跟练记录数据,所述历史跟练记录数据中包括指定图片的数据或者用于表征不存在所述图片的指定标识数据;
接收所述至少一条历史跟练记录数据;
根据接收到的所述历史跟练记录数据生成所述跟练记录页面,其中,在所述历史跟练记录数据包含所述指定图片的数据时,在所述跟练记录页面中生成包含第一图片控件的跟练记录,所述第一图片控件用于展示所述指定图片;在所述历史跟练记录数据包含所述指定标识数据时,在所述跟练记录页面中生成包含第一标识控件的跟练记录,所述第一标识控件用于展示预置标识元素,所述预置标识元素用于标识不存在所述指定图片。
第十方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
图像采集器,用于采集本地图像以获得本地视频流;
显示器,用于显示用户界面,所述用户界面中包括用于播放示范视频的第一视频播放窗口和用于播放所述本地视频流的第二视频播放窗口;
控制器,用于:
响应于输入的指示播放示范视频的指令,获取所述示范视频,所述示范视频包括预定数量的关键帧,每一所述关键帧展示一个需要跟练的关键动作;
播放所述示范视频,根据所述关键帧的播放时刻从所述本地视频流中获取与所述关键帧对应的本地视频帧;
对所述本地视频帧与相对应的关键帧进行动作匹配,并根据动作匹配程度获得所述本地视频帧对应的匹配得分;
响应于所述示范视频播放结束,展示跟练结果界面,其中,在总评分高于预设值时所述跟练结果界面中展示的本地视频帧的匹配评分高于,在总评分不高于预设值时所述跟练结果界面中展示的本地视频帧,所述总评分根据所述本地视频帧的匹配得分计算得到。
第十一方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
显示器,用于显示应用的页面;
控制器,用于:
获取第一经验值和第二经验值,所述第一经验值为所述应用的登录用户在当前统计周期内已获得的经验值,所述第二经验值为所述登录用户在当前统计周期之前的每个统计周期获得的经验值的加和;
根据所述第一经验值和第二经验值显示应用主页,所述应用主页包括用于展示所述第一经验值和所述第二经验值的控件。
第十二方面,本申请一些实施例提供了一种显示设备,其特征在于,包括:
显示器,用于显示应用的页面;
控制器,用于:
获取所述应用的登录用户在当前统计周期内已获得的经验值和所述登录用户已获得的经验值总量;
根据所述当前统计周期内已获得的经验值和所述经验值总量显示应用主页,所述应用主页包括用于展示所述当前统计周期内已获得的经验值和所述经验值总值的控件。
附图说明
为了更清楚地说明本申请的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图;
图2中示例性示出了根据实施例中显示设备200的硬件配置框图;
图3中示例性示出了根据实施例中控制设备100的硬件配置框图;
图4中示例性示出了根据实施例中显示设备200的功能配置示意图;
图5中示例性示出了根据实施例中显示设备200中软件配置示意图;
图6中示例性示出了根据实施例中显示设备200中应用程序的配置示意图;
图7中示例性示出了根据实施例中显示设备200中用户界面的示意图;
图8中示例性示出了用户界面;
图9中示例性示出了一种目标应用程序主页;
图10a中示例性示出了一种用户界面;
图10b中示例性示出了另一种用户界面;
图11中示例性示出了一种用户界面;
图12中示例性示出了一种用户界面;
图13中示例性示出了一种用户界面;
图14中示例性示出了一种用户界面;
图15中示例性示出了一种用户界面;
图16中示例性示出了一种暂停界面;
图17中示例性示出了一种呈现挽留信息的用户界面;
图18中示例性示出了一种呈现续播提示的用户界面;
图19A中示例性示出了一种呈现评分信息的用户界面;
图19B中示例性示出了一种呈现跟练结果信息的用户界面;
图19C中示例性示出了一种呈现跟练结果信息的用户界面;
图19D中示例性示出了一种呈现经验值明细数据的用户界面;
图19E中示例性示出了一种呈现经验值明细数据的用户界面;
图20中示例性示出了一种呈现详细成绩信息的用户界面;
图21中示例性示出了一种查看跟练截图原图文件时的用户界面;
图22中示例性示出了另一种呈现详细成绩信息的用户界面;
图23中示例性示出了一种在移动终端设备上显示的详细成绩信息页面;
图24中示例性示出了一种显示自动播放提示的用户界面;
图25中示例性示出了一种显示用户练习记录的用户界面;
图26为根据一些实施例示出的第一界面的示意图;
图27为根据一些实施例示出的第一界面的示意图;
图28为根据一些实施例示出的提示界面的示意图;
图29为根据一些实施例示出的提示界面的示意图;
图30为根据一些实施例示出的第二显示界面的示意图;
图31为根据一些实施例示出的标注了13个关节位的本地图像;
图32为根据一些实施例示出的打了关节批注的本地图像;
图33为根据一些实施例示出的颜色标注后的本地图像;
图34为根据一些实施例示出的练习评价界面;
图35为根据一些实施例示出的第二显示界面的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
基于本申请中示出的示例性实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。此外,虽然本申请中公开内容按照示范性一个或几个实例来介绍,但应理解,可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。
应当理解,本申请中说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,例如能够根据本申请实施例图示或描述中给出那些以外的顺序实施。
此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。
本申请中使用的术语“模块”,是指任何已知或后来开发的硬件、软件、固件、人工智能、模糊逻辑或硬件或/和软件代码的组合,能够执行与该元件相关的功能。
本申请中使用的术语“遥控器”,是指电子设备(如本申请中公开的显示设备)的一个组件,通常可在较短的距离范围内无线控制电子设备。一般使用红外线和/或射频(RF)信号和/或蓝牙与电子设备连接,也可以包括WiFi、无线USB、蓝牙、动作传感器等功能模块。例如:手持式触摸遥控器,是以触摸屏中用户界面取代一般遥控装置中的大部分物理内置硬键。
本申请中使用的术语“手势”,是指用户通过一种手型的变化或手部运动等动作,用于表达预期想法、动作、目的/或结果的用户行为。
图1中示例性示出了根据实施例中显示设备与控制装置之间操作场景的示意图。如图1中示出,用户可通过移动终端300和控制装置100操作显示设备200。
其中,控制装置100可以遥控器,包括红外协议通信或蓝牙协议通信,及其他短距离通信方式等,通过无线或其他有线方式来控制显示设备200。用户可以通过遥控器上按键,语音输入、控制面板输入等输入用户指令,来控制显示设备200。如:用户可以通过遥控器上音量加减键、频道控制键、上/下/左/右的移动按键、语音输入按键、菜单键、开关机按键等输入相应控制指令,来实现控制显示设备200的功能。
在一些实施例中,也可以使用移动终端、平板电脑、计算机、笔记本电脑、和其他智能设备以控制显示设备200。例如,使用在智能设备上运行的应用程序控制显示设备200。该应用程序通过配置可以在与智能设备关联的屏幕上,在直观的用户界面(UI)中为用户提供各种控制。
在一些实施例中,移动终端300可与显示设备200安装软件应用,通过网络通信协议实现连接通信,实现一对一控制操作的和数据通信的目的。如:可以实现用移动终端300与显示设备200建立控制指令协议,将遥控控制键盘同步到移动终端300上,通过控制移动终端300上用户界面,实现控制显示设备200的功能。也可以将移动终端300上显示音视频内容传输到显示设备200上,实现同步显示功能。
如图1中还示出,显示设备200还与服务器400通过多种通信方式进行数据通信。可允许显示设备200通过局域网(LAN)、无线局域网(WLAN)和其他网络进行通信连接。服务器400可以向显示设备200提供各种内容和互动。在一些实施例中,显示设备200通过发送和接收信息,以及电子节目指南(EPG)互动,接收软件程序更新,或访问远程储存的数字媒体库。服务器400可以一组,也可以多组,可以一类或多类服务器。通过服务器400提供视频点播和广告服务等其他网络服务内容。
显示设备200,可以液晶显示器、OLED显示器、投影显示设备。具体显示设备类型,尺寸大小和分辨率等不作限定,本领技术人员可以理解的是,显示设备200可以根据需要做性能和配置上一些改变。
显示设备200除了提供广播接收电视功能之外,还可以附加提供计算机支持功能的智能网络电视功能。在一些实施例中包括,网络电视、智能电视、互联网协议电视(IPTV)等。
图2中示例性示出了根据示例性实施例中显示设备200的硬件配置框图。如图2中示出,显示设备200中包括控制器210、调谐解调器220、通信接口230、检测器240、输入\输出接口250、视频处理器260-1,音频处理器260-2,显示器280,音频输出270、存储器290,供电电源、红外接收器中的至少一种。
显示器280,用于接收源自视频处理器260-1输入的图像信号,进行显示视频内容和图像以及菜单操控界面的组件。显示器280包括用于呈现画面的显示屏组件,以及驱动图像显示的驱动组件。显示视频内容,可以来自广播电视内容,也可以是说,可通过有线或无线通信协议接收的各种广播信号。或者,可显示来自网络通信协议接收来自网络服务器端发送的各种图像内容。
同时,显示器280,同时显示显示设备200中产生且用于控制显示设备200的用户操控UI界面。
以及,根据显示器280类型不同,还包括用于驱动显示的驱动组件。或者,倘若显示器280为一种投影显示器,还可以包括一种投影装置和投影屏幕。
通信接口230是用于根据各种通信协议类型与外部设备或外部服务器进行通信的组件。例如:通信接口230可以是Wifi模块231,蓝牙模块232,有线以太网模块233等其他网络通信协议芯片或近场通信协议芯片,以及红外接收器(图中未示出)。
显示设备200可以通过通信接口230与外部控制设备或内容提供设备之间建立控制信号和数据信号发送和接收。以及,红外接收器,可用于接收控制装置100(如:红外遥控器等)红外控制信号的接口器。
检测器240,是显示设备200用于采集外部环境或与外部交互的信号。检测器240包括光接收器242,用于采集环境光线强度的传感器,可以通过采集环境光可以自适应性显示参数变化等。
以及包括图像采集器241,如相机、摄像头等,可以用于采集外部环境场景,以及用于采集用户的属性或与用户交互手势,可以自适应变化显示参数,也可以识别用户手势,以实现与用户之间互动的功能。
在其他一些示例性实施例中,检测器240,还可温度传感器等,如通过感测环境温度,显示设备200可自适应调整图像的显示色温。如当温度偏高的环境时,可调整显示设备200显示图像色温偏冷色调,或当温度偏低的环境时,可以调整显示设备200显示图像偏暖色调。
在其他一些示例性实施例中,检测器240,还可声音采集器等,如麦克风,可以用于接收用户的声音,包括用户控制显示设备200的控制指令的语音信号,或采集环境声音,用于识别环境场景类型,显示设备200可以自适应适应环境噪声。
输入/输出接口250,在控制器210的控制显示设备200与外部其他设备间数据传输。如接收外部设备的视频信号和音频信号、或命令指令等数据。
其中,输入/输出接口250可以包括,但不限于如下:可以高清多媒体接口HDMI接口251、模拟或数据高清分量输入接口253、复合视频输入接口252、USB输入接口254、RGB端口(图中未示出)等任一个或多个接口。
在其他一些示例性实施例中,输入/输出接口250也可以上述多个接口形成复合性的输入/输出接口。
调谐解调器220,通过有线或无线接收方式接收广播电视信号,可以进行放大、混频和谐振等调制解调处理,从多多个无线或有线广播电视信号中解调出用户所选择电视频道频率中所携带的电视音视频信号,以及EPG数据信号。
调谐解调器220,可根据用户选择,以及由控制器210控制,响应用户选择的电视信号频率以及该频率所携带的电视信号。
调谐解调器220,可以接收信号的途径,根据电视信号广播制式不同,有很多种,诸如:地面广播、有线广播、卫星广播或互联网广播信号等;以及根据调制类型不同,可以数字调制,也可以模拟调制方式。根据接收电视信号种类不同,可以模拟信号和数字信号。
在其他一些示例性实施例中,调谐解调器220也可在外置设备中,如外置机顶盒等。这样,机顶盒通过调制解调后输出电视音视频信号,经过输入/输出接口250输入显示设备200中。
视频处理器260-1,用于将接收外部视频信号,根据输入信号的标准编解码协议,进行解压缩、解码、缩放、降噪、帧率转换、分辨率转换、图像合成等等视频处理,可得到直接可显示设备200上显示或播放的信号。
在一些实施例中,视频处理器260-1,包括解复用模块、视频解码模块、图像合成模块、帧率转换模块、显示格式化模块等中的至少一种。
其中,解复用模块,用于对输入音视频数据流进行解复用处理,如输入MPEG-2,则解复用模块进行解复用成视频信号和音频信号等。
视频解码模块,则用于对解复用后的视频信号进行处理,包括解码和缩放处理等。
图像合成模块,如图像合成器,其用于将图形生成器根据用户输入或自身生成的GUI信号,与缩放处理后视频图像进行叠加混合处理,以生成可供显示的图像信号。
帧率转换模块,用于对转换输入视频帧率,如将60Hz帧率转换为120Hz帧率或240Hz帧率,通常的格式采用如插帧方式实现。
显示格式化模块,则用于将接收帧率转换后视频输出信号,改变信号以符合显示格式的信号,如输出RGB数据信号。
音频处理器260-2,用于接收外部的音频信号,根据输入信号的标准编解码协议,进行解压缩和解码,以及降噪、数模转换、和放大处理等处理,得到可以在扬声器中播放的声音信号。
在其他一些示例性实施例中,视频处理器260-1可以包括一颗或多颗芯片组成。音频处理器260-2,也可以包括一颗或多颗芯片组成。
以及,在其他一些示例性实施例中,视频处理器260-1和音频处理器260-2,可以单独的芯片,也可以于控制器210一起集成在一颗或多颗芯片中。
音频输出270,在控制器210的控制下接收音频处理器260-2输出的声音信号,如:扬声器272,以及除了显示设备200自身携带的扬声器272之外,可以输出至外接设备的发生装置的外接音响输出端子274,如:外接音响接口或耳机接口等。
供电电源,在控制器210控制下,将外部电源输入的电力为显示设备200提供电源供电支持。供电电源可以包括安装显示设备200内部的内置电源电路,也可以是安装在显示设备200外部电源,在显示设备200中提供外接电源的电源接口。
用户输入接口,用于接收用户的输入信号,然后,将接收用户输入信号发送给控制器210。用户输入信号可以是通过红外接收器接收的遥控器信号,可以通过网络通信模块接收各种用户控制信号。
在一些实施例中,用户通过遥控器100或移动终端300输入用户命令,用户输入接口则根据用户的输入,显示设备200则通过控制器210响应用户的输入。
在一些实施例中,用户可在显示器280上显示的图形用户界面(GUI)输入用户命令,则用户输入接口通过图形用户界面(GUI)接收用户输入命令。或者,用户可通过输入特定的声音或手势进行输入用户命令,则用户输入接口通过传感器识别出声音或手势,来接收用户输入命令。
控制器210,通过存储在存储器290上中各种软件控制程序,来控制显示设备200的工作和响应用户的操作。
如图2所示,控制器210包括RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口,如:第一接口218-1到第n接口218-n,以及通信总线。其中,RAM213和ROM214以及图形处理器216、CPU处理器212、通信接口通过总线相连接。
ROM214,用于存储各种系统启动的指令。如在收到开机信号时,显示设备200电源开始启动,CPU处理器212运行ROM中系统启动指令,将存储在存储器290的操作系统拷贝至RAM213中,以使开始运行启动操作系统。当操作系统启动完成后,CPU处理器212再将存储器290中各种应用程序拷贝至RAM213中,然后,开始运行启动各种应用程序。
图形处理器216,用于产生各种图形对象,如:图标、操作菜单、以及用户输入指令显示图形等。包括运算器,通过接收用户输入各种交互指令进行运算,根据显示属性显示各种对象。以及包括渲染器,产生基于运算器得到的各种对象,进行渲染的结果显示在显示器280上。
CPU处理器212,用于执行存储在存储器290中操作系统和应用程序指令。以及根据接收外部输入的各种交互指令,来执行各种应用程序、数据和内容,以便最终显示和播放各种音视频内容。
在一些示例性实施例中,CPU处理器212,可以包括多个处理器。多个处理器可包括一个主处理器以及多个或一个子处理器。主处理器,用于在预加电模式中执行显示设备200一些操作,和/或在正常模式下显示画面的操作。多个或一个子处理器,用于在待机模式等状态下一种操作。
控制器210可以控制显示设备100的整体操作。例如:响应于接收到用于选择在显示器280上显示UI对象的用户命令,控制器210便可以执行与由用户命令选择的对象有关的操作。
其中,所述对象可以是可选对象中的任何一个,例如超链接或图标。与所选择的对象有关操作,例如:显示连接到超链接页面、文档、图像等操作,或者执行与所述图标相对应程序的操作。用于选择UI对象用户命令,可以是通过连接到显示设备200的各种输入装置(例如,鼠标、键盘、触摸板等)输入命令或者与由用户说出语音相对应的语音命令。
存储器290,包括存储用于驱动显示设备200的各种软件模块。如:存储器290中存储的各种软件模块,包括:基础模块、检测模块、通信模块、显示控制模块、浏览器模块、和各种服务模块等。
其中,基础模块用于产后护理显示设备200中各个硬件之间信号通信、并向上层模块发送处理和控制信号的底层软件模块。检测模块用于从各种传感器或用户输入接口中收集各种信息,并进行数模转换以及分析管理的管理模块。
例如:语音识别模块中包括语音解析模块和语音指令数据库模块。显示控制模块用于控制显示器280进行显示图像内容的模块,可以用于播放多媒体图像内容和UI界面等信息。通信模块,用于与外部设备之间进行控制和数据通信的模块。浏览器模块,用于执行浏览服务器之间数据通信的模块。服务模块,用于提供各种服务以及各类应用程序在内的模块。
同时,存储器290还用存储接收外部数据和用户数据、各种用户界面中各个项目的图像以及焦点对象的视觉效果图等。
图3中示例性示出了根据示例性实施例中控制设备100的配置框图。如图3所示,控制设备100包括控制器110、通信接口130、用户输入/输出接口140、存储器190、供电电源180。
控制设备100被配置为控制显示设备200,以及可接收用户的输入操作指令,且将操作指令转换为显示设备200可识别和响应的指令,起用用户与显示设备200之间交互中介作用。如:用户通过操作控制设备100上频道加减键,显示设备200响应频道加减的操作。
在一些实施例中,控制设备100可是一种智能设备。如:控制设备100可根据用户需求安装控制显示设备200的各种应用。
在一些实施例中,如图1所示,移动终端300或其他智能电子设备,可在安装操控显示设备200的应用之后,可以起到控制设备100类似功能。如:用户可以通过安装应用,在移动终端300或其他智能电子设备上可提供的图形用户界面的各种功能键或虚拟按钮,以实现控制设备100实体按键的功能。
控制器110包括处理器112和RAM113和ROM114、通信接口以及通信总线。控制器110用于控制控制设备100的运行和操作,以及内部各部件之间通信协作以及外部和内部的数据处理功能。
通信接口130在控制器110的控制下,实现与显示设备200之间控制信号和数据信号的通信。如:将接收到的用户输入信号发送至显示设备200上。通信接口130可包括WiFi芯片、蓝牙模块、NFC模块等其他近场通信模块中至少之一种。
用户输入/输出接口140,其中,输入接口包括麦克风141、触摸板142、传感器143、按键144等其他输入接口中至少一者。如:用户可以通过语音、触摸、手势、按压等动作实现用户指令输入功能,输入接口通过将接收的模拟信号转换为数字信号,以及数字信号转换为相应指令信号,发送至显示设备200。
输出接口包括将接收的用户指令发送至显示设备200的接口。在一些实施例中,可以红外接口,也可以是射频接口。如:红外信号接口时,需要将用户输入指令按照红外控制协议转化为红外控制信号,经红外发送模块进行发送至显示设备200。再如:射频信号接口时,需将用户输入指令转化为数字信号,然后按照射频控制信号调制协议进行调制后,由射频发送端子发送至显示设备200。
在一些实施例中,控制设备100包括通信接口130和输出接口中至少一者。控制设备100中配置通信接口130,如:WiFi、蓝牙、NFC等模块,可将用户输入指令通过WiFi协议、或蓝牙协议、或NFC协议编码,发送至显示设备200.
存储器190,用于在控制器110的控制下存储驱动和控制控制设备200的各种运行程序、数据和应用。存储器190,可以存储用户输入的各类控制信号指令。
供电电源180,用于在控制器110的控制下为控制设备100各元件提供运行电力支持。可以电池及相关控制电路。
图4中示例性示出了根据示例性实施例中显示设备200功能配置示意图。如图4所示,存储器290用于存储操作系统、应用程序、内容和用户数据等,在控制器210控制下执行驱动显示设备200的系统运行以及响应用户的各种操作。存储器290可以包括易失性和/或非易失性存储器。
存储器290,具体用于存储驱动显示设备200中控制器210的运行程序,以及存储显示设备200内置各种应用程序,以及用户从外部设备下载的各种应用程序、以及与应用相关各种图形用户界面,以及与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用的内部数据。存储器290用于存储OS内核、中间件和应用等系统软件,以及存储输入的视频数据和音频数据、及其他用户数据。
存储器290,具体用于存储音视频处理器260-1和260-2、显示器280、通信接口230、调谐解调器220、检测器240输入/输出接口等驱动程序和相关数据。
在一些实施例中,存储器290可以存储软件和/或程序,用于表示操作系统(OS)的软件程序包括,例如:内核、中间件、应用编程接口(API)和/或应用程序。示例性的,内核可控制或管理系统资源,或其它程序所实施的功能(如所述中间件、API或应用程序),以及内核可以提供接口,以允许中间件和API,或应用访问控制器,以实现控制或管理系统资源。
在一些实施例中,存储器290,包括广播接收模块2901、频道控制模块2902、音量控制模块2903、图像控制模块2904、显示控制模块2905、音频控制模块2906、外部指令识别模块2907、通信控制模块2908、光接收模块2909、电力控制模块2910、操作系统2911、以及其他应用程序2912、浏览器模块等等中的至少一种。控制器210通过运行存储器290中各种软件程序,来执行诸如:广播电视信号接收解调功能、电视频道选择控制功能、音量选择控制功能、图像控制功能、显示控制功能、音频控制功能、外部指令识别功能、通信控制功能、光信号接收功能、电力控制功能、支持各种功能的软件操控平台、以及浏览器功能等其他应用。
图5中示例性示出了根据示例性实施例中显示设备200中软件系统的配置框图。
如图5中所示,操作系统2911,包括用于处理各种基础系统服务和用于实施硬件相关任务的执行操作软件,充当应用程序和硬件组件之间完成的数据处理的媒介。一些实施例中,部分操作系统内核可以包含一系列软件,用以管理显示设备硬件资源,并为其他程序或软件代码提供服务。
其他一些实施例中,部分操作系统内核可包含一个或多个设备驱动器,设备驱动器可以是操作系统中的一组软件代码,帮助操作或控制显示设备关联的设备或硬件。驱动器可以包含操作视频、音频和/或其他多媒体组件的代码。在一些实施例中,包括显示屏、摄像头、Flash、WiFi和音频驱动器。
其中,可访问性模块2911-1,用于修改或访问应用程序,以实现应用程序的可访问性和对其显示内容的可操作性。
通信模块2911-2,用于经由相关通信接口和通信网络与其他外设的连接。
用户界面模块2911-3,用于提供显示用户界面的对象,以供各应用程序可访问,可实现用户可操作性。
控制应用程序2911-4,用于可控制进程管理,包括运行时间应用程序等。
事件传输系统2914,可在操作系统2911内或应用程序2912中实现,以一些实施例中,一方面在在操作系统2911内实现,同时在应用程序2912中实现,用于监听各种用户输入事件,将根据各种事件指代响应各类事件或子事件的识别结果,而实施一组或多组预定义的操作的处理程序。
其中,事件监听模块2914-1,用于监听用户输入接口输入事件或子事件。
事件识别模块2914-2,用于对各种用户输入接口输入各类事件的定义,识别出各种事件或子事件,且将其传输给处理用以执行其相应一组或多组的处理程序。
其中,事件或子事件,是指显示设备200中一个或多个传感器检测的输入,以及外界控制设备(如控制设备100等)的输入。如:语音输入各种子事件,手势识别的手势输入,以及控制设备的遥控按键指令输入的子事件等。在一些实施例中,遥控器中一个或多个子事件包括多种形式,包括但不限于按键按上/下/左右/、确定键、按键按住等中一个或组合。以及非实体按键的操作,如移动、按住、释放等操作。
界面布局管理器2913,直接或间接接收来自于事件传输系统2914监听到各用户输入事件或子事件,用于更新用户界面的布局,包括但不限于界面中各控件或子控件的位置,以及容器的大小或位置、层级等与界面布局相关各种执行操作。
如图6中所示,应用程序层2912包含也可在显示设备200执行的各种应用程序。应用程序可包含但不限于一个或多个应用程序,如:直播电视应用程序、视频点播应用程序、媒体中心应用程序、应用程序中心、游戏应用等中的至少一种。
直播电视应用程序,可以通过不同的信号源提供直播电视。例如,直播电视应用程可以使用来自有线电视、无线广播、卫星服务或其他类型的直播电视服务的输入提供电视信号。以及,直播电视应用程序可在显示设备200上显示直播电视信号的视频。
视频点播应用程序,可以提供来自不同存储源的视频。不同于直播电视应用程序,视频点播提供来自某些存储源的视频显示。例如,视频点播可以来自云存储的服务器端、来自包含已存视频节目的本地硬盘储存器。
媒体中心应用程序,可以提供各种多媒体内容播放的应用程序。例如,媒体中心,可以为不同于直播电视或视频点播,用户可通过媒体中心应用程序访问各种图像或音频所提供服务。
应用程序中心,可以提供储存各种应用程序。应用程序可以是一种游戏、应用程序,或某些和计算机系统或其他设备相关但可以在智能电视中运行的其他应用程序。应用程序中心可从不同来源获得这些应用程序,将它们储存在本地储存器中,然后在显示设备200上可运行。
图7中示例性示出了根据示例性实施例中显示设备200中用户界面的示意图。如图7所示,用户界面包括多个视图显示区,在一些实施例中,第一视图显示区201和播放画面202,其中,播放画面包括布局一个或多个不同项目。以及用户界面中还包括指示项目被选择的选择器,可通过用户输入而移动选择器的位置,以改变选择不同的项目。
需要说明的是,多个视图显示区可以呈现不同层级的显示画面。如,第一视图显示区可呈现视频聊天项目内容,第二视图显示区可呈现应用层项目内容(如,网页视频、VOD展示、应用程序画面等)。
可选的,不同视图显示区的呈现存在优先级区别,优先级不同的视图显示区之间,视图显示区的显示优先级不同。如,系统层的优先级高于应用层的优先级,当用户在应用层使用获取选择器和画面切换时,不遮挡系统层的视图显示区的画面展示;以及,根据用户的选择使应用层的视图显示区的大小和位置发生变化时,系统层的视图显示区的大小和位置不受影响。
也可以呈现相同层级的显示画面,此时,选择器可以在第一视图显示区和第二视图显示区之间做切换,以及当第一视图显示区的大小和位置发生变化时,第二视图显示区的大小和位置可随及发生改变。
在一些实施例中,图7中的任意一个区域可以显示摄像头获取的画面。
在一些实施例中,控制器210通过运行存储在存储器290上的各种软件控制程序(如操作系统和/或各种应用程序),来控制显示设备200的工作和响应与显示器280相关的用户操作。例如,控制在显示器上呈现用户界面,用户界面上包括若干UI对象;响应于接收到的对用户界面上UI对象的用户命令,控制器210便可以执行与用户命令选择的对象有关的操作。
在一些实施例中,本申请实施例所涉及的部分或者全部步骤在操作系统内和目标应用程序中实现。在一些实施例中,将用于实现本申请实施例部分或者全部步骤的目标应用程序称为“宝贝练舞功”,其存储在存储器290中,控制器210通过在操作系统中运行该应用程序,来控制显示设备200的工作和响应与该应用程序有关的用户操作。
在一些实施例中,显示设备从服务器获取目标应用程序、与目标应用程序相关的各种图形用户界面、与图形用户界面相关的各种对象,用户数据信息,以及各种支持应用程序的内部数据,并将前述数据信息保存在存储器中。
在一些实施例中,响应于目标应用程序的启动或者对目标应用程序相关UI对象的用户操作,显示设备从服务器获取媒体资源,如图片文件和音视频文件。
需要说明的是,目标应用程序不限于运行于如图1-7示出的显示设备,也可以运行于其他能够提供语音和数据连通功能、并具有无线连接功能的手持式设备,或可以连接到无线调制解调器的其他处理设备,如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机,还可以是便携式、袖珍式、手持式、计算机内置的或车载的移动装置,它们与无线接入网交换数据。
图8为本申请示例性示出的用户界面,该用户界面为显示设备系统主页的一种实施情形。如图8所示,该用户界面显示有多个项目(控件),包括用于启动上述目标应用程序的目标项目。如图8所示,目标项目为项目“宝贝练舞功”。当显示器显示如图8所示的用户界面时,用户可以通过操作控制装置(如遥控器100)来操作目标项目“宝贝练舞功”,响应于对该目标项目的操作,控制器启动目标应用。
在一些实施例中,目标应用是指在显示屏上的第一视频窗口播放示范视频的功能模块。其中所述示范视频是指展示示范动作和/或示范声音的视频。在一些实施例中,目标应用还可在显示屏上的第二视频窗口播放摄像头采集到的本地视频。
当控制器接收到输入的指示启动上述目标应用程序的指令时,控制器响应于该指令,在显示器上呈现目标应用程序主页。在应用主页上,可以该界面显示有图标、窗口、控件等多种界面元素,包括但不限于登录账户信息展示区(栏目框控件)、用户数据(经验值/舞功值)展示区、用于播放推荐视频的窗口控件、相关用户列表展示区和媒资展示区。
在一些实施例中,登录账户信息展示区中可以展示用户的昵称、头像、会员标识、会员有效期中的至少一项;用户数据展示区中可以展示用户与目标应用相关的数据,如经验值/舞功值和/或相应的星级标识;相关用户列表展示区中可以展示预定地理区域范围内的用户在预定时间周期内的排行列表(如经验值排行),或者可以展示用户的好友列表,排行列表或者好友列表中可以展示各个用户的经验值/舞功值和/或相应的星级标识;在媒资展示区中,媒资分类展示。在一些实施例中,在媒资展示区中可以展示多个控件,不同控件对应不同类型的媒资,用户可以通过操作控件触发显示相应类型的媒资列表。
在一些实施例中,上述用户数据展示区与登录账户信息展示区可以为一个展示区,例如将用户与目标应用相关的数据展示在登录账户信息展示区中。
图9示例性示出了上述目标应用程序主页的一种实施情形,如图9所示,登录账户信息展示区中展示有用户的昵称、头像、会员标识、会员有效期;用户数据展示区中展示有用户的舞功值和星级标识;相关用户列表展示区中展示有“舞林高手排行(本周)”;在媒资展示区中展示有“萌动课”、“乐动课”、“炫动课”和“我的舞功”等媒资类型控件,用户可以通过操作控制装置操作类型控件来查看相应类型的媒资列表,用户可以在任意类型下的媒资列表中选择要跟练的媒资视频。示例性的,将焦点移动到“萌动课”控件,在接收到用户的确认操作后展示“萌动课”媒资列表界面,根据用户在“萌动课”媒资列表界面中选中的媒资控件,加载并播放对应的媒资文件。
除此之外,图9所示界面还包括用于播放推荐视频的窗口控件和广告位控件。其中,推荐视频可以在如图9所示的窗口控件中自动起播,也可以响应于用户输入的播放指令而播放。例如,用户可以通过操作控制装置移动选择器(焦点)的位置,使选择器落入到播放推荐视频的窗口控件,在选择器落入到该窗口控件的情况下,用户操作控制装置上的“OK”键输入指示播放该推荐视频的指令。
在一些实施例中,控制器响应于指示启动上述目标应用程序的指令,从服务器获取用于在如图9所示页面中进行显示的信息,如登录账户信息、用户数据、相关用户列表数据、推荐视频等等。控制器根据获取的前述信息,通过图形处理器绘制如图9所示的界面,并控制呈现在显示器上。
在一些实施例中,控制器根据用户选中的媒资控件,获取该媒资控件对应的媒资ID和/或显示设备的用户标识,并发送加载请求给服务器,服务器根据媒资ID查询对应的视频数据,和/或根据用户标识确定显示设备的权限。并将获取到的视频数据和/或权限信息反馈给显示设备。控制器根据视频数据和/或权限信息播放视频数据和/或播放视频信息的同时提示用户的权限。
在一些实施例中,上述目标应用不作为单独的应用,而作为如图8所示的聚好看应用的一部分,也即作为聚好看应用的功能模块,在一些实施例中,在交互界面的TAB栏中,除去“我的”、“影视”、“少儿”、“VIP”、“教育”、“商城”“应用”等标题控件外,还包括“舞功”标题控件,用户可以通过移动焦点至不同的标题控件来显示对应的标题界面,例如,在焦点移动到“舞功”标题控件后,进入如图9所示的界面。
随着智能显示设备的普及,用户通过大屏进行娱乐的需求越来越强烈,对于兴趣培养也需要投入越来越多的时间和金钱。本申请通过目标应用为用户提供如动作和/或声音类(如舞蹈、体操、健身及K歌场景中的动作)技能的跟练体验,使用户在家中可以随时进行动作和/或声音类技能的学习。
在一些实施例中,在媒资列表界面(如上述示例中的“萌动课”媒资列表界面、“乐动课”媒资列表界面)中展示的媒资视频包括示范视频,示范视频但不限于用于示范舞蹈动作的视频、用于示范健身动作的视频、用于示范体操动作的视频、K歌场景中显示设备播放的歌曲MV视频或者示范虚拟形象动作的视频。在本申请实施例中,教学视频还被称为示范视频,该教学视频或者说示范视频用户可以边观看示范视频,边同步做出与视频中示范的动作相同的动作,以使用显示设备实现居家练舞或者居家健身的功能。形象的,可以将该功能成为“边看边练”。
在一些实施例中,“边看边练”场景如:用户(如儿童或者青少年)可以边观看舞蹈教学视频边练习舞蹈动作,用户(如成年人)可以边观看健身教学视频边练习健身动作,用户可以与好友视频连线K歌,用户边唱歌边跟随MV视频或者虚拟形象做出动作,等等。为便于说明与区分,“边看边练”场景中,用户做出的动作被称为用户动作或者跟练动作,视频中示范的动作被称为示范动作,展示示范动作的视频为示范视频,展示用户做出的动作的是摄像头后获取的本地视频。
在一些实施例中,如果显示设备具有图像采集器(或称摄像头),则可以通过图像采集器对用户的跟练动作进行图像采集或者视频流采集,从而以图片或视频为载体将用户的跟练过程记录下来。进一步,再根据这些图片或者视频识别用户的跟练动作,并将用户的跟练动作与对应的示范动作相比较,根据比较情况对用户的跟练情况进行评价。
在一些实施例中,可以在示范视频中预置对应标准动作帧的时间标签,根据本地视频中的在时间标签位置处和/或邻近位置的图像帧和标准动作帧进行动作的匹配比较,进而根据动作的匹配程度进行评价。
在一些实施例中,可以在示范视频中预置对应标准音频片段的时间标签,根据本地视频中的在时间标签位置处和/或邻近位置的音频片段和标准音频片段进行动作的匹配比较,进而根据动作的匹配程度进行评价。
在一些实施例中,显示器的显示界面将摄像头采集的本地视频流(或者本地照片)与用户所跟练的示范视频同步呈现在显示器上,显示界面中设置有第一视频窗口和第二视频窗口,第一视频窗口用户播放示范视频,第二播放窗口播放本地视频,这样,用户可以直接观看到自己的跟练动作,并直观的比较出跟练动作的不足之处,从而及时改善。
当显示器显示如图9所示的界面或图9界面后接收操作后的媒资列表界面时,用户可以通过操作控制装置选择并播放要练习的媒资视频,为便于说明和区分,本申请将用户选择要跟练的媒资视频统称为目标视频(即被选中的控件对应的示范视频)。
在一些实施例中,响应于用户输入的指示跟练目标视频的指令,显示设备控制器根据被选中的控件对应的媒资ID从服务器获取目标视频,并检测是否连接有摄像头;如果检测到摄像头,则控制摄像头升起并启动摄像头,以使摄像头开始采集本地视频流,并将加载后的目标视频与本地视频流同时展示在显示器上,如果未检测到摄像头,则仅在显示器上播放目标视频。
在一些实施例中,跟练时的显示界面(即跟练界面)中设置有第一播放窗口和第二播放窗口,在目标视频加载完成后,响应于未检测到摄像头,在第一播放窗口播放目标视频,在第二播放窗口显示预设提示或遮黑。在一些实施例中,在未检测到摄像头时,在跟练界面上方浮层中显示无摄像头的提醒,在用户确认后进入跟练界面播放目标视频,在用户输入不同意的指令时,退出目标应用或退回之前的界面。
在上述检测到摄像头的情形中,控制器在用户界面的第一图层设置第一播放窗口,在用户界面的第二图层设置第二播放窗口,在第一播放窗口中播放获取的目标视频,在第二播放窗口中播放本地视频流的画面。其中,第一播放窗口和第二播放窗口可以平铺显示,所述平铺显示是指多个窗口以一定的比例分割屏幕,且窗口之间不存在叠放。
在一些实施例中,第一播放窗口和第二播放窗口是同一图层上平铺的占据位置不同的窗口组件形成的。
图10a示例性示出了一种用户界面,该用户界面中示出了第一播放窗口和第二播放窗口的一种实施情形,如图10a所示,第一播放窗口中显示目标视频画面,第二播放窗口中显示本地视频流的画面,第一播放窗口与第二播放窗口在显示器的显示区域中平铺显示,在一些实施例中,第一播放窗口与第二播放窗口具有不同的窗口尺寸。
在上述未检测到摄像头的情形中,控制器在第一播放窗口中播放获取的目标视频,在第二播放窗口中显示遮挡层或者预置图片文件。其中,第一播放窗口和第二播放窗口可以平铺显示,所述平铺显示是指多个窗口以一定的比例分割屏幕,且窗口之间不存在叠放。
图10b示例性示出了另一种用户界面,该用户界面中示出了第一播放窗口和第二播放窗口的另一种实施情形,与图10a不同的是,在图10b中,第一播放窗口中显示目标视频画面,第二播放窗口中显示遮挡层,遮挡层中显示有“未检测到摄像头”的预置文本元素。
在另外的一些实施例中,在未检测到摄像头的情形中,控制器在用户界面的第一图层设置第一播放窗口,第一播放窗口在显示器的显示显示区域内全屏显示。
在一些实施例中,在显示设备具有摄像头的情况下,控制器接收到用户输入的指示跟练某示范视频的指令后,进入跟练界面,直接对示范视频和本地视频流进行播放。
在另一些实施例中,控制器接收到指示跟练示范视频的指令后,先进入引导界面,在引导界面中仅展示本地视频画面,而不播放示范视频画面。
在一些实施例中,由于摄像头是可隐藏的摄像头,其在不被使用时隐藏在显示器内或显示器后侧,在摄像头被调用时,控制器控制摄像头的升起和开启,其中升起时为了使摄像头伸出显示器的框架,启动是为了使摄像头开始进行图像的采集。
在一些实施例中,为了增加摄像头的摄像角度,摄像头可以沿横向或纵向旋转,其中横向是指正常观看视频时的水平方向,纵向是指正常观看时的竖直方向。延垂直于显示屏的深度方向上可以通过调整摄像头的焦距来调整获取的图像。
在一些实施例中,在本地视频画面中不存在运动目标(即人体),或者,在本地视频画面中存在运动目标且运动目标所在的目标位置相对于预设的期望位置的偏移大于预设阈值时,在本地视频画面的上方呈现用于标识出预设期望位置的图形元素,并根据目标位置相对于期望位置的偏移,在本地视频画面的上方展示用于引导运动目标移动到期望位置的提示控件。
其中,运动目标(人体)即为本地用户,在不同情景中,在本地视频画面中的运动目标可以是一个,也可以是多个。期望位置为根据图像采集器的采集区域设定的位置,当运动目标(即用户)处于期望位置处时,图像采集器采集到的本地图像最有利于进行图像中用户动作的分析与比对。
在一些实施例中,用于引导运动目标移动到期望位置的提示控件图形包含指示方向的箭头图形,其箭头朝向指向期望位置。
在一些实施例中,期望位置是指显示在显示器上的图形框,控制器根据摄像头的位置和角度,以及预置的映射关系,在本地视频画面上方的浮层中设置图形框以使用户直观的看到自己需要移动到什么位置。
在使用过程中,用户站在显示设备前方的预设位置是合理的位置,由于升起高度和或旋转角度的不同,会导致摄像头采集到的图像存在差异,因此需要适应的调整图形框的预置位置,以使用户在引导下能站在显示装置前方的预设位置是合理的位置。
在一些实施例中,图形框的位置映射关系如下表:
在一些实施例中,用于播放本地视频画面的视频窗口位于第一图层,提示控件和/或图形框位于第二图层,第二图层位于第一图层上方。
在一些实施例中,控制器可在显示界面上的第二图层中显示用于播放本地视频画面的视频窗口,此时不进行跟练界面的加载或使跟练界面位于后台的页面栈中。
在一些实施例中,上述用于引导运动目标移动到期望位置的提示控件,可以标识出目标移动方向的界面提示,和/或,播放目标移动方向的语音提示。
其中,目标移动方向根据目标位置相对于期望位置的偏移得到。需要说明的是,在本地视频画面中存在一个运动目标时,根据该一个运动目标的目标位置相对于期望位置的偏移,得到目标移动方向;在本地视频画面中存在多个运动目标时,根据该多个运动目标所对应的多个偏移中的最小偏移,得到目标移动方向。
在一些实施例中,提示控件可以是箭头提示,箭头提示的箭头方向可以根据目标移动方向来确定,以指向图形元素112。
在一些实施例中,在本地视频画面的上方呈现透明度大于预设透明度(如50%)的浮层,如半透明浮层,并在该浮层中显示用于标识出期望位置的图形元素,进而,用户可以透过该浮层观看到本地视频的本地视频画面。
在一些实施例中,在本地视频画面的上方呈现透明度大于预设透明度(如50%)的另一浮层,并在该浮层中显示用于标识出目标移动方向的图形元素,作为引导用户移动位置的提示控件。
在一些实施例中,用于标识出期望位置的图形元素和用于标识出目标移动方向的提示控件显示在同一浮层中。
图11示例性示出了一种用户界面,如图11所示,本地视频画面在该界面中基本全屏显示,在本地视频画面的上方显示有一半透明浮层,该半透明浮层中通过图形元素111标识出了目标移动方向,通过图形元素112标识出了期望位置。该图形元素111与图形元素112的位置不重合。运动目标(用户)可以根据图形元素111标识出的目标移动方向,逐渐移动到期望位置。当本地视频画面中的运动目标移动到该期望位置时,运动目标在本地视频画面中的轮廓与该图像元素112实现最大程度的重合。在一些实施例中,图形元素112即为图形框。
在一些实施例中,还可以通过界面文字元素对目标移动方向进行标识,例如,图11中示例性示出的“向左移动一点”等。
在一些实施例中,显示设备控制器接收预设指令,例如指示跟练示范视频的指令,响应于该指令,控制图像采集器采集本地图像以生成本地视频流;在用户界面中呈现本地视频画面;检测本地视频画面中是否存在运动目标;在本地视频画面中存在运动目标时,分别获取运动目标和期望位置在预设坐标系中的位置坐标,其中,运动目标在预设坐标系中的位置坐标是运动目标所在的目标位置的量化表示,期望位置在预设坐标系中的位置坐标是期望位置的量化表示。进而,根据运动目标和期望位置在预设坐标系中的位置坐标,计算目标位置相对于期望位置的偏移。
显示设备控制器接收指示跟练目标视频的指令,响应于该指令,启动图像采集器以通过图像采集器采集本地视频流;在用户界面中呈现本地视频流的预览画面;检测预览画面中是否存在运动目标;在预览画面中存在运动目标时,获取运动目标在预设坐标系中的位置坐标,其中,运动目标在预设坐标系中的位置坐标是运动目标所在的目标位置的量化表示。进而,根据运动目标和期望位置在预设坐标系中的位置坐标,计算目标位置相对于期望位置的偏移,其中,期望位置在预设坐标系中的位置坐标是期望位置的量化表示。
在一些实施例中,运动目标在预设坐标系中的位置坐标可以是运动目标的轮廓(即目标轮廓)在预设坐标系中的位置坐标点集。示例性的,图12中示出了目标轮廓121。
在一些实施例中,目标轮廓包括躯干部分和/或目标参考点,其中,目标参考点可以为躯干部分的中点或者目标轮廓的中心点。示例性的,图12中示出了躯干部分1211和目标参考点1212。在这些实施例中,获取运动目标在所述预设坐标系中的位置坐标,包括:从预览画面中识别目标轮廓,该目标轮廓包括躯干部分和/或目标参考点;获取躯干部分和/或目标参考点在预设坐标系中的位置坐标。
在一些实施例中,用于标识出期望位置的图形元素包括图形躯干部分和/或图形参考点,该图形参考点与上述实施例中的目标参考点相对应,即,如果目标参考点为躯干部分的中点,则图形参考点为图形躯干部分的中点,如果目标参考点为目标轮廓的中心点,则图形参考点为图形元素的中心点。示例性的,图12中示出了图形躯干部分1221和图形参考点1222。在这些实施例中,获取期望位置在预设坐标系中的位置坐标,即为获取图形躯干部分和/或图形参考点在预设坐标系中的位置坐标。
在一些实施例中,根据躯干部分在预设坐标系中的位置坐标和图形躯干部分在预设坐标系中的位置坐标,计算目标位置相对于期望位置的偏移。
在一些实施例中,预设坐标系的原点可以是预先设置的任意一点。如下,以原点为显示屏左下角像素点示例,躯干部分可以使用对焦的两个点的坐标或其他至少两个点的坐标来标识,目标躯干部分坐标是(X1,Y1;X2,Y2),图形躯干部分的坐标是(X3,Y3;X4,Y4),则两只之间的位置偏移是(X3-X1,Y3-Y1;X4-X2,Y4-Y2),用户可以根据偏移和提示的对应关系进行提醒,以使目标躯干部分和图形躯干部分的重叠达到预设要求。
在一些实施例中,目标躯干部分和图形躯干部分的偏移可以通过图形的重叠面积来进行计算,在重叠面积的达到预设阈值或重叠面积的占比达到预设阈值时,提醒用户位置调整成功。
在一些实施例中在用户向左移动时,以目标躯干部分和图形躯干部分的右侧边框完成重叠为准,提醒用户位置调整成功。这样可以保证用户完整的进入到了识别区域。
在一些实施例中在用户向右移动时,以目标躯干部分和图形躯干部分的左侧边框完成重叠为准,提醒用户位置调整成功。这样可以保证用户完整的进入到了识别区域。
在另一些实施例中,根据目标参考点在预设坐标系中的位置坐标和图形参考点在预设坐标系中的位置坐标,计算目标位置相对于期望位置的偏移。
在一些实施例中,预设坐标系的原点可以是预先设置的任意一点。如下,以原点为显示屏左下角像素点示例,目标参考点1212坐标是(X1,Y1),图形参考点1222的坐标是(X2,Y2),则两只之间的位置偏移是(X2-X1,Y2-Y1),在X2-X1时正值时,在图形元素112的左侧给出提示和/或给出“向右侧移动一点的提示”,在X2-X1时负值时,在图形元素112的右侧给出提示和/或给出“向左侧移动一点的提示”。
在一些实施例中,控制器还获取人体所在位置处的焦点距离,并根据预设焦点距离比较,来提醒用户“向前一点的提示”或“向右一点的提示”。
在一些实施例中,控制器还根据人体所在位置处的焦点距离和预设焦点距离的比例关系,并根据用户在X方向的偏移值给出用户向左或向右移动的具体距离,示例性的,在比例关系是0.8时,X方向的偏移值是正800pix时,提醒用户向右侧移动10厘米,在比例关系是1.2时,X方向的偏移值是正800pix时,提醒用户向右侧移动15厘米,在比例关系是0.8时,X方向的偏移值是负800pix时,提醒用户向左侧移动10厘米,在比例关系是1.2时,X方向的偏移值是负800pix时,提醒用户向左侧移动15厘米。
在一些实施例中,在偏移值小于预设阈值时,即提醒用户位置调整成功。
在一些实施例中,预设坐标系为三维坐标系,进而运动目标和期望位置在预设坐标系中的位置坐标为三维坐标,目标位置相对于期望位置的偏移为三维偏移向量。
在一些实施例中,假设目标参考点在预设坐标系中的位置坐标为(x,y,z),图形参考点在预设坐标系中的位置坐标为(X,Y,Z),计算目标位置相对于期望位置的偏移向量为(x-X,y-Y,z-Z)。
在一些实施例中,在目标位置相对于期望位置的偏移不大于预设阈值时,则撤销对用于标识出所述期望位置的图形元素或者用于标识出目标移动方向的界面提示的显示,并在用户界面中设置用于播放所述示范视频的第一视频窗口和用于播放所述本地视频画面的第二视频窗口,所述第二视频窗口与所述第一视频窗口在用户界面中平铺显示;在所述第二视频窗口中播放所述本地视频画面,并同时在所述第一视频窗口中播放所述示范视频,例如图10所示的用户界面。
需要说明的是,在上述示例中,目标位置相对于期望位置存在偏移的情形可以是二者之间的偏移量大于预设偏移量的情形,相应地,目标位置相对于期望位置不存在偏移的情形可以是二者之间的偏移量小于预设偏移量的情形。
在上述实施例中,控制器接收到指示跟练示范视频的指令后,不直接播放示范视频以开启跟练过程,而是仅展示本地视频画面,并通过在本地视频画面的上方呈现用于标识出预设期望位置的图形元素,和用于引导运动目标移动到期望位置的提示,使运动目标(用户)移动到期望位置,使得在后续跟练过程中,图像采集器可以采集到最有利于分析与比对用户动作的图像。
在一些实施例中,显示设备可以根据显示设备是水平放置状态还是壁挂放置状态来控制摄像头在横向或纵向的旋转,同样需求时不同放置状态摄像头的旋转角度不同,示例性的,在同一需求时,水平放置状态时纵向向下旋转的角度大于壁挂放置状态纵向向下旋转的角度,以补偿放置位置降低带来的影响。
持续检测人体,在一些实施例那个,在目标参考点在预设坐标系中的位置坐标和图形参考点在预设坐标系中的位置坐标的偏移满足预设要求和或目标躯干部分和图形躯干部分的偏移达到预设要求时,控制器控制引导界面撤销以显示跟练界面。
在一些实施例中,用户跟练某媒资视频时,显示器显示如图10a所示的界面。当显示器显示如图10a所述的界面时,用户可以通过操作控制装置上的指定按键触发显示包含控件的浮层(在一些实施例中可以是向下键),响应于用户操作,如图13或图14所示,在跟练界面上层呈现控件浮层,该控件浮层包括用于选择媒资视频的控件、用于调整播放速度的控件和用于调整清晰度控件中的至少一个。用户可以通过操作控制装置移动焦点位置,选择控件浮层中的控件。当焦点落入到某一控件时,呈现该控件对应的子浮层,子浮层中显示有至少一个子控件。例如,当焦点落入到用于选择媒资视频的控件时,呈现该控件对应的子浮层,在该子浮层中呈现多个不同的媒资视频控件。子浮层是指位于控件浮层上方的浮层。在一些实施例中,上述子浮层中的控件,也可在控件浮层上新增控件来实现。
图13示例性示出了一种应用界面(播放控制界面),在该应用界面中,在第一播放窗口和第二播放窗口所在图层的的上方显示有控件浮层,该控制浮层包括选集控件、倍速播放控件和清晰度控件,由于焦点位于选集控件,因此,在该界面中还呈现有选集控件对应的子浮层,其中显示有多个其他媒资视频的控件。在如图13所示界面中,用户可以通过移动焦点位置选择其他媒资视频进行播放和跟练。
在一些实施例中,当显示器显示如图13界面时,用户可以移动焦点选择倍速播放控件,响应于焦点落入到倍速播放控件,呈现倍速播放控件对应的子浮层,如图14所示。在倍速播放控件对应的子浮层中显示多个子控件,用于调整目标视频的播放速度,当某一子控件被操作时,响应于用户操作,将播放速度调整成被操作控件对应的速度。例如在图14所示界面中,显示有“0.5倍”、“0.75倍”和“1倍”。
另一在一些实施例中,当显示器显示如图13或者图14所示界面时,用户可以移动焦点选择清晰度控件,响应于焦点落入到清晰度控件,呈现清晰度控件对应的子浮层,如图15所示。在清晰度对应的子浮层中显示多个控件,用于调整目标视频的清晰度,当某一控件被操作时,响应于用户操作,将清晰度调整成被操作控件对应的清晰度。例如在图14所示界面中,显示有“720P高清”和“1080P超清”。
在一些实施例中,当响应于用户操作而呈现上述控件浮层时,将焦点显示在预先设置的默认控件上,该默认控件可以为控件浮层中多个控件中的任意一个。例如图13所示,预先设置的默认控件为选集控件。
在一些实施例中,上述选集控件对应的子浮层中显示的其他媒资视频由服务器下发给显示设备。例如,响应于用户对选集控件的选择,显示设备向服务器请求需要在选集列表中显示的媒资资源信息,如资源名称或者资源封面等。显示设备接收到服务器返回的媒资资源信息后,控制其显示在选集列表中。
在一些实施例中,为了方便用户对选集列表中媒资资源的区分,服务器在接收到显示设备的请求后,根据用户ID查询用户的历史跟练记录,以从中获取用户练习过的媒资视频。如果下发给显示设备的媒资资源信息中包括用户练习过的媒资视频,则在该媒资视频对应的媒资资源信息中增加表示用户已练过该视频的标识。相应地,显示设备显示选集列表时,标识出已练过的媒资视频。例如,在如图12所示界面中显示的“已练”标识。
在一些实施例中,为了方便用户对选集列表中媒资资源的区分,服务器在接收到显示设备的请求后,判断显示设备所请求的选集列表资源是否有新增,例如,服务器可以通过对比上一次下发给显示设备的选集列表资源与当前选集列表资源判定是否有新增,如果显示设备所请求的选集列表资源有新增,则在新增媒资对应的资源信息中增加表示该视频为新增视频的标识。相应地,显示设备显示选集列表时,标识出新增的媒资视频。例如,在如图13所示界面中显示的“更新”。
在一些实施例中,控制器响应于用户输入的指示跟练示范视频的指令,根据示范视频的资源标识,从服务端获取示范视频或者从本地存储中获取预先下载好的示范视频。
在一些实施例中,示范视频包括上述图像数据和音频数据。其中,图像数据包括视频帧序列,该视频帧序列展示了用户需要跟练的多个动作,如抬腿动作、深蹲动作等。音频数据则可以是示范动作的解说音频和/或背景声音音频(如背景音乐)。
在一些实施例中,控制器通过控制视频处理器对示范视频进行处理,从中解析出可显示的图像信号和音频信号,音频信号经音频处理器处理后与图像信号同步播放。
在一些实施例中,示范视频包括上述图像数据、音频数据和音频数据对应的字幕数据,控制器在播放示范视频时,图像、音频以及字幕同步播放。
如前所述,示范视频包括视频帧序列,在控制器的播放控制下,视频帧序列中的帧按照时间进行显示,从而向用户展示做出每个动作的肢体形态变化。用户完成每个动作都需要经历肢体形态变化,本申请实施例即是根据记载肢体形态的对用户完成动作的情况进行分析和评价。在一些实施例中,预先根据示范视频中视频帧序列中的获得关节点的运动模型,在跟练过程中,从本地视频中提取连续的关节点数据,并和预先获得的关节点的运动模型进行比对,来确定动作的匹配程度。
在一些实施例中,将完成某一关键动作所需要经历的肢体形态变化过程(即肢体的运动轨迹)描述为从未完成态动作到完成态动作再到释放动作的完成过程,也就是说,未完成态动作出现在完成态动作之前,释放动作出现在完成态动作之后,该完成态动作即为要完成的关键动作。在一些实施例中,完成态动作还可被称为关键示范动作或者关键动作。在一些实施例中,可以增加标签来实现对肢体变化过程的识别,不同节点的动作的动作帧预置不同的标签。
基于此,在一些实施例中,将媒资视频所包括的视频帧序列中展示关键动作的帧称为关键帧,并在媒资视频的时间轴上标识出分别与各关键帧对应的关键标签,也即关键标签所表征的时间点为其对应的关键帧被播放的时间点。另外,视频帧序列中的关键帧构成关键帧序列。
进而,对于示范视频而言,其可以包括关键帧序列,关键帧序列中包括若干关键帧,一帧关键帧对应于时间轴上的一个关键标签,一帧关键帧展示一个关键动作。在一些实施例,关键帧序列还被称为第一关键帧序列。
在一些实施例中,媒资视频(包括示范视频)的时间轴上还预先设置有N组起止标签,分别对应于N个视频片段,每个视频片段用于展示一个动作,(或称完成态动作或者关键动作),每组起止标签包括一个起始标签和一个终止标签,在播放媒资视频(包括示范视频)的过程中,当时间轴上的进度标识移动到某个起始标签时,意味着开始播放某个动作对应的示范过程,当时间轴上的进度标识移动到终止标签时,意味着某个动作的示范过程播放结束。
由于不同用户的学习能力、身体协调性等个性化因素的不同,一些用户(如小朋友)动作很慢,而难以达到与示范视频的播放速度同步。
为了解决该问题,在一些实施例中,在播放示范视频过程中,当开始播放某个动作的示范过程时,自动降低对示范视频的播放速度,以便用户更好地学习和练习关键动作,避免错过关键动作,以及及时改善自己的动作,当对该动作的示范过程(即展示该动作的视频片段)播放结束时,自动恢复到原有的播放速度。
在一些实施例中,展示关键动作的视频片段被称为关键片段,一个示范视频一般包括若干关键片段和至少一个非关键片段(非关键片段或称其他片段)。该非关键片段是指示范视频所包含的非用于展示关键动作的视频片段,例如,视频中动作示范者保持站姿为观众讲解动作的片段。
在一些实施例中,控制器控制在显示器上显示用户界面,用户界面中包括用于播放视频的窗口;响应于输入的指示播放示范视频的指令,获取示范视频,该示范视频包括若干关键片段,所述关键片段被播放时展示用户需要练习的关键动作;在一些实施例中,用户指示播放的示范视频又称为目标视频。控制器控制在窗口中以第一速度起播该示范视频;当开始播放关键片段时,将播放示范视频的速度由第一速度调整到第二速度;当结束播放关键片段时,将播放示范视频的速度由第二速度调整到第一速度;其中,第二速度与第一速度不同。
在一些实施例中,控制器起播示范视频,检测示范视频的时间轴上的起始标签和终止标签;在检测到起始标签时,将播放所述示范视频的速度由第一速度调整到第二速度;在检测到终止标签时,将播放示范视频的速度由第二速度调整到第一速度。其中起始标签表征关键片段的播放伊始,终止标签表征关键片段的播放完成。
在一些实施例中,上述第二速度低于第一速度。
在上述示例中,由于第二速度低于第一速度,因此在检测到起始标签时(即时间轴上的进度标识进行到起始标签标识的时刻),实现了自动低倍速播放,使示范视频的播放速度适应于用户的动作速度,在检测到终止标签时,自动恢复到第一速度。
在一些实施例中,第一速度为正常播放速度,即1倍速,第二速度可以为预设的0.75倍速或者0.5倍速。
在一些实施例中,示范视频文件包括视频帧数据和音频数据,在播放示范视频时,采用相同的采样率来实现视频帧数据和音频数据的读取和处理,因此,在需要对示范视频的播放速度进行调整时,不仅视频画面的播放速度会被调整,音频信号的播放速度也会被调整,即实现音画同步播放。
在另一些实施例中,示范视频文件包括视频帧数据和音频数据,在播放示范视频时,独立调整和控制对视频帧数据的采样率和对音频数据的采样率,因此,在需要对示范视频的播放速度进行调整时,可以仅改变对视频帧数据的采样率,以调整视频画面的播放速度,而不改变对音频数据的采样率,以保持音频信号的播放速度不变。例如,在需要降低播放速度时,不降低音频的播放速度,以使的用户可以正常接收音频的描述,并观看变慢的动作演示。
在一些实施例中,关键片段包括其视频数据和其音频数据。当开始播放关键片段时,将播放关键视频片段的视频数据的速度调整到第二速度,将播放关键视频片段的音频数据的速度维持在第一速度;当结束播放所述关键片段时,将播放下一个片段的视频数据的速度调整到第一速度,并以第一速度同步播放下一个片段的音频数据,其中,下一个片段为示范视频中位于关键片段之后且与关键片段相邻的文件片段,例如与关键片段相邻的其他片段。
在一些实施例中,在低倍速播放视频画面的过程中,检测关键片段是否播放结束(例如检测终止标签),如果未检测到关键片段的终止标签,当相应时段对应的音频数据播放完毕时,可以将相应时段对应的音频数据进行反复播放,例如,当0.5倍速播放视频画面时,可以将该时间段对应的音频数据重复播放两遍。直到该时段的视频帧数据播放完毕,即在检测到终止标签后,进而使下一个时段对应的音频数据和视频帧数据可以同步播放。
在另一些实施例中,在低倍速播放视频画面的过程中,检测关键片段是否播放结束(例如检测终止标签),如果未检测到关键片段的终止标签,当相应时段对应的音频数据播放完毕时,暂停播放音频数据,直到该时段的视频帧数据播放完毕,即在检测到终止标签后,进而使下一个时段对应的音频数据和视频帧数据可以同步播放。例如,时间轴上起始标签所在时刻为0:05,终止标签所在时刻为0:15,在0.5倍速播放视频画面的情形中,0:05-0:15这一时间段对应的视频帧数据需要播放20S,该时间段对应的音频数据需要播放10S,因为为使0:15以后的时间段音画同步播放,当时间轴上的进度标识进行到0:10时,暂停播放音频数据,当时间轴上的进度标识进行到0:15继续播放音频。
在一些实施例中,在用户跟练过程中,仅针对示范视频的播放速度实现自动调整,而不调整对本地视频流的播放速度。
在一些实施例中,控制器控制在显示器上显示用户界面,用户界面中包括用于播放示范视频的第一播放窗口和用于播放本地视频流的第二播放窗口;响应于输入的指示播放示范视频的指令,获取示范视频;在第一播放窗口中播放示范视频,在第二播放窗口中播放本地视频流;其中,第一播放窗口中播放示范视频的其他片段时的速度为第一速度,播放示范视频的关键片段时的速度为第二速度,该第二速度低于第一速度;第二播放窗口中播放本地视频流的速度为固定的预设速度。
在一些实施例中,上述固定的预设速度可以为第一速度。
在一些实施例中,考虑到低龄用户的学习能力、身体协调性较差,因此如果用户的年龄落在预设年龄范围,再在开始播放关键动作的示范过程时,自动降低速度。
在一些实施例中,如果用户的年龄位于第一年龄区间,则以第一速度播放示范视频;如果用户的年龄位于第二年龄区间,则以第二速度播放示范视频,其中,第二速度不同于第一速度。
在一些实施例中,第一年龄区间和第二年龄区间为通过一预设年龄划分出的年龄区间,例如,将在该预设年龄以上的年龄区间定义为第一年龄区间,将在该预设年龄(包含该预设年龄)以下的年龄区间定义为第二年龄区间。示例的,第一年龄区间或者第二年龄区间可以为学龄前儿童的年龄区间(如1-7周岁)、学龄儿童的年龄区间、青年人的年龄区间、中年人的年龄区间或者老年人的年龄区间。
需要说明的是,本领域技术人员可以根据第一年龄区间和第二年龄区间的具体取值范围,以使示范视频播放速度最大限度地适配于用户的学习能力和动作能力为原则,来设置第一速度和第二速度。
还需说明的是,上述第一年龄区间和第二年龄区间仅是一种示例性表示,在另外一些实施例中,还可以根据需要针对更多的年龄区间设置相应的播放速度,并在用户年龄位于相应的年龄区间时,以相应的播放速度播放示范视频。例如,在用户的年龄位于第三年龄区间时,以第三速度播放示范视频,在用户的年龄位于第四年龄区间时,以第四速度播放示范视频,等等。
在一些实施例中,用户的年龄大于第一起始年龄小于第一终止年龄时位于第一年龄区间,用户年龄大于第二起始年龄小于第二终止年龄时位于第二年龄区间。
在一些实施例中年龄区间可以为两个,并以预设年龄作为分界。
在一些实施例中,在所述用户的年龄高于预设年龄时,控制所述显示器以第一速度播放所述示范视频;在所述用户的年龄不高于预设年龄时,控制所述显示器以第二速度播放所述示范视频;其中,所述第二速度低于所述第一速度。
在一些实施例中,若用户的年龄不高于预设年龄或者处于第二年龄区间,在关键片段开始播放时,将播放示范视频的播放速度调整到第二速度;在关键片段结束播放时,将播放示范视频的播放速度由第二速度调整到所述第一速度。
在一些实施例中,在关键片段开始播放时,将显示器播放关键片段的视频数据的速度由第一速度调整到第二速度,将音频输出单元播放关键片段的音频数据的速度维持在第一速度;在关键片段的音频数据播放完成后,控制音频输出单元的暂停播放关键片段的音频数据,或者控制音频输出单元循环播放关键片段的音频数据。其中,该音频输出单元为用于播放音频数据的显示设备硬件,如扬声器。
在一些实施例中,当关键片段结束播放时,控制显示器以第一速度播放下一个片段的视频数据,控制音频输出单元以第一速度同步播放下一个片段的音频数据,其中,该下一个片段为示范视频中位于关键片段后的片段。
在一些实施例中,若用户的年龄不高于预设年龄,控制所述显示器以第二速度播放所述示范视频的视频数据;控制所述音频输出单元以所述第一速度播放所述示范视频的音频数据。
具体实现时,控制器获取用户的年龄;判断用户的年龄是否低于预设年龄;在用户的年龄低于预设年龄的情况下,在播放示范视频的过程中,检测到时间轴上的起止标签,当检测到起始标签时,将示范视频的播放速度由第一速度调整到第二速度,当检测到终止标签时,将示范视频的播放速度由第二速度调整到第一速度。
在一些实施例中,控制器根据用户ID获取用户信息,从用户信息获取用户的年龄信息。
在另一些实施例中,控制器响应于用户输入的指示播放示范视频的指令,启动所述图像采集器;识别所述图像采集器采集到的所述本地图像中的人物形象;根据识别出的所述人物形象和预设年龄识别模型,识别用户的年龄。
在一些实施例中,可以针对不同的年龄范围设置不同的低倍速参数,例如,如果用户年龄为“3-5岁”时,则第二速度为0.5倍速;如果用户年龄为“6-7岁”时,则第二速度为0.75倍速。
如前所述,示范视频具有指定的类型,如前述“萌动课”、“乐动课”等,其类型可以通过类型标识进行表征。考虑到不同类型视频的受众和练习难度的不同,在一些实施例中,如果示范视频的类型是预设类型,则在开始播放关键动作的示范过程时,自动降低速度。如果不是预设类型则全程正常播放直至用户手动调整。
在一些实施例中,控制器获取示范视频的类型标识,如果根据类型标识确定该示范视频为预设类型的情况下,在播放示范视频的过程中,检测到时间轴上的起止标签,当检测到起始标签时,将示范视频的播放速度由第一速度调整到第二速度,当检测到终止标签时,将示范视频的播放速度由第二速度调整到第一速度。
在一些实施例中,服务器下发给显示设备的资源信息中包含资源的类型标识,使显示设备可以根据示范视频的类型标识判断示范视频是否为预设类型,其中,预设类型包括但不限于少儿频道提供的部分或全部资源的类型,如其他频道提供的少儿类资源。
在一些实施例中,可以针对不同的类型设置不同的低倍速参数,例如,如果示范视频属于“萌动课”时,则第二速度为0.5倍速;如果示范视频属于“乐动课”时,则第二速度为0.75倍速。
在一些实施例中,可以根据用户的跟练情况自动调整播放速度,以使低倍速播放机制适用于不同用户。对于示范视频中用户可以轻松跟练的部分,进行正常速度播放,对于示范视频中用户难以顺利跟练的部分,进行低倍速播放。
为便于说明和区分,本申请将示范视频包括的视频帧序列称为第一视频帧序列,第一视频帧序列中包括用于展示完成态动作的第一关键帧,N个完成态动作对应的N幅第一关键帧组成第一关键帧序列,当然,第一视频帧序列总还包括用于展示未完成态动作和释放动作的非关键帧。
在一些实施例中,响应于指示跟练示范视频的指令,控制器启动图像采集器,并从图像采集器采集的本地视频流中获取用户的跟练视频流,该跟练视频流包含本地视频流中的部分或者全部的视频帧。区别地,本申请将跟练视频流中的视频帧序列称为第二视频帧序列,该第二视频帧序列中包括用于展示(记载)用户动作的第二视频帧。
在一些实施例中,根据跟练视频流分析用户动作,如果在一个或者连续多个需要做出完成态动作的时间点(或时间段)检测到用户未做出相应地完成态动作,即用户动作为未完成态动作,说明这些动作对该用户来说跟练难度较大,此时可以降低显示设备对示范视频的播放速度;如果在一个或者连续多个需要做出完成态动作的时间点(或时间段)检测到用户已完成了相应地完成态动作,即用户动作为释放动作,说明这些动作对该用户来说跟练难度较小,此时可以提高显示设备对示范视频的播放速度。
在一些实施例中,响应于输入的指示跟练示范视频的指令,控制器获取示范视频,以及从图像采集器采集的本地视频流中获取用户的跟练视频流,该示范视频包括用于展示完成态动作的第一关键帧序列,该跟练视频流包括用于展示用户动作的第二视频帧序列;控制器在显示器上播放该示范视频,以及,在第一关键帧对应的第二视频帧中的用户动作与所述第一关键帧展示的完成态动作不匹配时,调整所述示范视频的播放速度。
其中,前述第一关键帧对应的第二视频帧是根据已播放的第一关键帧的时间信息从所述第二视频帧序列中抽取出的。
在一些实施例中,第一关键帧的时间信息可以是显示设备播放该帧的时刻,根据显示设备播放第一关键帧的时间,从第二视频帧序列中抽取出该时刻对应的第二视频帧,即为与该第一关键帧对应的第二视频帧。需要说明的是,某一时刻对应的第二视频帧,可以是时间戳为该时刻的第二视频帧,或者时间戳所示时间距离该时刻最近的第二视频帧。
在一些实施例中,准备过程中和释放过程中可能经过相同的位置,因此可以抽出第二视频帧及其邻近的其他视频帧,抽取连续帧的关节点数据后,可以判断该动作是准备过程中的动作还是释放过程中的动作。
在一些实施例中,控制器根据已播放的第一关键帧从第二视频帧序列中抽取对应的第二视频帧,并将抽取出的第二视频帧(和对应的第一关键帧)发送给服务器;服务器通过对比该对应的第一关键帧和第二视频帧,判断第二视频帧中的用户动作与第一关键帧展示的完成态动作是否匹配。在服务器判定第二视频帧中的用户动作与对应第一关键帧展示的完成态动作不匹配时,返回速度调整指令给显示设备。
在一些实施例中,控制器控制在显示设备本地完成第二视频帧和或其他视频帧的关节点识别(即用户动作识别),并将关节点数据和对应的时间点上传给服务器。服务器根据接收到的时间点确定对应的目标示范视频帧,并将接收到的关节点的数据和目标示范视频帧的关节点数据进行比对,并将比对结果反馈给控制器。
在一些实施例中,第二视频帧中的用户动作与对应第一关键帧展示的完成态动作不匹配的情况包括:第二视频帧中的用户动作为所述完成态动作之前的未完成态动作;第二视频帧中的用户动作为所述完成态动作之后的释放动作。基于此,如果服务器判定第二视频帧中的用户动作为未完成态动作,则返回指示降低速度的指令给显示设备,以使显示设备降低对目标视频的播放速度;如果服务器判定第二视频帧中的用户动作为释放动作,则返回指示提高速度的指令给显示设备,以使显示设备提高对目标视频的播放速度。
当然,在另外一些实施情形中,由显示设备独立判断第二视频帧中的用户动作与第一关键帧展示的完成态动作是否匹配,无需与服务器交互,此处不予赘述。
需要说明的是,在上述根据用户练习情况实时调整播放速度的实施情形中,如果播放速度被调整到预设的最高值或者最低值时,则不再调高或者调低。
在一些实施例中,用户可以通过操作按键或者输入语音控制暂停视频播放,再操作按键或者输入语音来控制恢复视频播放,例如,在跟练目标视频的过程中,用户可以通过操作控制装置上的按键或者语音输入来控制目标视频暂停播放,例如,当显示器显示如图10所示的界面时,用户可以按下“OK”键暂停播放,控制器响应于用户的按键输入,暂停对目标视频的播放,并在播放画面的上层呈现如图16中示出暂停状态标识。
在跟练目标视频的过程中,控制器通过图像采集器采集本地图像,并检测本地图像中是否存在用户目标,即人物(用户),当显示设备控制器(或者服务器)从本地图像中未检测到运动目标时,显示设备自动控制暂停播放目标视频,或者服务器指示显示设备暂停播放目标视频,并在播放画面的上层呈现如图16中示出暂停状态标识。
在上述实施例中,控制器执行的暂停控制不影响对本地视频画面的显示。
在如图16示出的暂停播放状态下,用户可以通过操作控制装置上的按键或者语音输入来恢复播放目标视频,例如,用户可以按下“OK”键恢复播放目标视频,控制器响应于用户的按键输入,恢复对目标视频的播放,并撤销对图16中暂停状态标识的显示。
可见,在上述示例中,用户需要操作控制装置才能控制显示设备恢复播放目标视频,使跟练过程的用户体验不友好。
为解决该问题,在一些实施例中,响应于对目标视频播放的暂停控制,控制器在显示器上呈现暂停界面,并在暂停界面中显示目标关键帧,其中,目标视频包括若干关键帧,每一关键帧展示一个需要跟练的关键动作,目标关键帧为所述若干关键帧中指定的一幅。在暂停播放目标视频后,控制图像采集器继续工作,并从判断其在暂停播放后采集的本地图像中的用户动作与目标关键帧展示的关键动作是否匹配;在本地图像中的用户动作与目标关键帧展示的关键动作相匹配时,恢复对目标视频的播放;在本地图像中的用户动作与上一幅关键帧展示的关键动作不匹配时,维持对目标视频的播放暂停。
在上述实施例中,目标关键帧可以是展示上一个关键动作的关键帧,即控制目标视频暂停之前所播放的最后一个关键动作,也可以是若干关键帧中具有代表性的一帧。
需要说明的是,上述示例中涉及的目标视频是指被暂停播放的视频,包括但不限于舞蹈动作的示范视频、健身动作的示范视频、体操动作的示范视频、K歌场景中播放的MV视频或者示范虚拟形象动作的视频。
作为一些可能的实现方式,目标视频的时间轴上预先标识出了若干关键标签,一个关键标签对应一幅关键帧,也即关键标签所表征的时间点为对应关键帧被播放的时间点。控制器响应于接收到对目标视频播放的暂停控制,根据暂停时时间轴的时间点,检测时间轴上的目标关键标签,根据时间轴上的目标关键标签获取目标关键帧,并将获取的目标关键帧展示在暂停界面中,其中目标关键帧的标签对应的时间点位于暂停时时间轴上的时间点之前。这样可以使用以经跟练过的视频帧进行暂停的接触,提升趣味性。
在另一些可能的实现方式中,控制器响应于对目标视频播放的暂停控制,控制目标视频回退到目标关键标签所在的时刻后执行暂停,以在暂停界面上展示目标关键标签对应的目标关键帧。
在一些实施例中,目标关键标签为时间轴上早于当前时间且距离当前时间最近的关键标签,对应的,目标关键帧即为展示上一个关键动作的关键帧。
在上述示例中,在对目标视频的播放执行暂停控制时或者执行暂停控制后,在暂停界面中呈现展示关键动作的目标关键帧,作为用户恢复播放的提示动作,进而,在播放暂停状态下,用户可以通过做出该提示动作,控制恢复播放目标视频,无需操作控制装置,提高用户的跟练体验。
在一些实施例中,将获取的目标关键帧展示在暂停界面中可以是,控制时间轴回退至目标关键标签对应的时间点后,停止示范视频的播放并在示范视频播放窗口中增加暂停控件。控制器获取目标关键帧或目标关键帧的关节点,同时摄像头持续的获取本地视频数据并检测视频数据中的人体,在视频数据中人体的动作和目标关键帧中的动作的匹配程度达到预设阈值时,播放示范视频。
在另一些可能的实现方式中,控制器响应于接收到对目标视频播放的暂停控制,控制目标视频回退到目标关键标签所在的时刻后执行暂停,以在暂停界面上展示目标关键标签对应的目标关键帧。
在一些实施例中,控制器响应于接收到对目标视频播放的暂停控制,控制时间轴回退至目标关键标签对应的时间点后,停止目标视频的播放并在视频播放窗口中增加暂停控件。控制器获取目标关键帧或目标关键帧的关节点数据(即动作数据),同时摄像头持续获取本地视频数据并检测视频数据中的人体,在视频数据中人体的动作和目标关键帧中的动作的匹配程度达到预设阈值时,控制对目标视频的播放。
在一些实施例中,恢复播放视频包括,以回退后的目标关键标签对应的时间点为起始,继续播放目标视频。
在另一些实施例中,恢复播放视频包括,以接收到暂停控制的时间点为起始,继续播放目标视频。
在一些实施例中,将获取的目标关键帧展示在暂停界面中可以是,不进行时间轴的回退,停止目标视频的播放,在视频播放窗口中增加暂停控件,并在视频播放窗口上方浮层中展示获取到的目标关键帧。控制器获取目标关键帧或目标关键帧的关节点数据,同时摄像头持续获取本地视频数据并检测视频数据中的人体,在视频数据中人体的动作和目标关键帧中的动作的匹配程度达到预设阈值时,播放示范视频并撤销显示目标关键帧的浮层。
在一些实施例中,暂停时显示的目标关键帧可以是所播放的视频中的任意视频帧。
在一些实施例中,显示设备可以自身完成暂停时图像帧和本地视频帧的比对,也可以上传给服务器,让服务器来完成成暂停时图像帧和本地视频帧的比对。
在一些实施例中,播放视频可以是从回退后的标关键标签对应的时间点继续播放示范视频。
在一些实施例中,可以是在接收到暂停控制的时间点进行示范视频的继续播放。
在一些实施例中,将获取的目标关键帧展示在暂停界面中可以是,不进行时间轴的回退,停止示范视频的播放并在示范视频播放窗口中增加暂停控件,并在示范视频播放窗口上方浮层中展示获取到的目标关键帧。控制器获取目标关键帧或目标关键帧的关节点,同时摄像头持续的获取本地视频数据并检测视频数据中的人体,在视频数据中人体的动作和目标关键帧中的动作的匹配程度达到预设阈值时,播放示范视频并撤销显示目标关键帧的浮层。
在一些实施例中,暂停时的工作帧可以是示范视频中的任意视频帧。
在一些实施例中,当用户跟练的目标视频播放完成时,该次跟练过程自动结束。控制器响应于目标视频的播放完成,关闭图像采集器,以及关闭如图10中的示出的第一播放窗口和第二播放窗口所在的跟练界面,并呈现包含评价信息的界面。
在一些实施例中,在完成跟练过程之前,用户可以通过操作控制装置上的按键或者语音输入结束跟练过程,例如用户可以操作控制装置上的“返回”键输入指示结束跟练的指令。控制器响应于该指令,暂停播放目标视频,并呈现包括挽留信息的界面,例如图17示例性示出的挽留页面。
当显示器显示如图17所示的挽留界面时,用户可以操作返回跟练界面的控件,返回到跟练界面继续跟练,也可以操作确定退出跟练的控件,结束跟练过程。
在一些实施例中,响应于用户输入的退出跟练的指令,确定对目标视频的播放时长,以便续播。
在一些实施例中,如果对目标视频的播放时长不低于预设时长(如30s),则保存对目标视频的播放时长,以在下次播放时执行续播,如果对目标视频的播放时长低于预设时长(如30s),则不保存对目标视频的播放时长,以在下次播放该目标视频时重头开始播放。
在一些实施例中,如果对目标视频的播放时长不低于预设时长(如30s),则保存对应目标关键帧的本地图像帧,以在后续的评价界面或播放历史中进行展示。如果对目标视频的播放时长低于预设时长(如30s),则不保存保存对应目标关键帧的本地图像帧。其中对应目标关键帧的本地图像帧是指在检测到目标关键标签时获取确定的本地视频中的视频帧。
在一些实施例中,在检测到目标关键标签时获取确定的本地视频中的视频帧可以是在检测到目标关键标签的时间点上摄像头获取到的本地图像帧,也可以是检测到目标关键标签的时间点或邻近时刻摄像头获取到的和目标关键帧匹配程度较高的本地图像帧。
在一些实施例中,当用户选择播放过且未播完的视频进行跟练时,响应于用户输入的播放此类示范视频的指令,呈现包括续播提示信息的界面,在该续播提示界面中,展示上次的播放时长以及供用户选择是否进行续播的控件,以便用户操作该界面上的控件自主选择是否进行续播。图18示例性示出了一种续播提示界面,如图18所示,该界面中展示了上次的播放时长(1分30秒)、用于重新开始播放的控件(“重新开始”)和用户继续播放的控件(继续跟练)。
在一些实施例中,响应于用户在如图18所示的续播提示界面中输入的指示重新播放的指令,控制重头播放该示范视频,例如从0分0秒开始播放,或者,响应于用户在如图18所示的续播提示界面中输入的指示继续播放的指令,根据上次的播放时长,继续播放该示范视频,例如从1分30秒开始播放。
在一些实施例中,经验值是与等级提升相关的用户数据,其是用户在目标应用中用户行为的获得,即用户可以通过跟练更多的示范视频提升经验值,其也是对用户行为熟练度的一种量化表征,即经验值越高,意味着用户练习动作的熟练度越高,当经验值累计到一定数值时,便可获得用户等级的提升。
在一些实施例中,由服务器或者显示设备,统计在一个统计周期内产生的经验值增量,在进入到下一个统计周期后,根据上一个统计周期内产生的经验值增量,对用户的经验总量进行更新。
示例性的,可以预设三天、五天或者七天为一个统计周期,相应地,当时间进行到第四天、第六天或者第八天的零点时,意味着进入到下一个统计周期等。例如,假设一个星期(每周一零时至下周一零时)为一个统计周期,当时间进行到下周一零时时,进入到下一个统计周期。
基于上述经验值统计方法,在一些实施例中,将用户在当前统计周期内获得的经验值(增量)称为第一经验值,将用户在当前统计周期之前的每个统计周期获得的经验值的加和称为第二经验值。可以理解的是,第一经验值与第二经验值的加和为用户在当前时刻的经验值总量,由于当前时刻未达到更新经验值总量的时间,因此第二经验值不包括第一经验值。
在一些实施例中,在需要显示应用主页时,控制器获取第一经验值和第二经验值,并根据获取的第一经验值和第二经验值显示应用主页,该应用主页包括用于展示第一经验值和第二经验值的控件。
在一些实施例中,用于展示第一经验值和第二经验值的控件包括,用于展示第一经验值的第一控件和用于展示第二经验值的第二控件。示例性的,第一控件如图9中“本周+10”所在的控件,第二控件如图9中“舞功值10012”所在的控件。
在一些实施例中,控制器获取的第一经验值或者第二经验值是由服务器实时返回的数据,而在另一些实施例中,控制器获取的第一经验值或者第二经验值是本地保存的数据,本地保存的数据是服务器上一次返回的。
在一些实现场景中,当从跟练结果页面返回到应用主页时,显示设备控制器从服务器获取最新的第一经验值,根据最新的第一经验值对应用主页中的第一控件进行更新,由于此时第二经验值未发生更新,因此无需获取第二经验值,即无需对应用主页中的第二控件进行更新。
在一些实现场景中,显示设备控制器响应于目标应用的启动,从服务器获取最新的第一经验值和第二经验值,并根据获取的第一经验值和第二经验值,在应用主页的第一控件中显示第一经验值,在应用主页的第二控件中显示第二经验值。
在一些实现场景中,当进入到下一个统计周期时,显示设备控制器从服务器获取最新的第二经验值,并保存在本地缓存数据;当获取到最新的第二经验值后首次加载应用主页时,根据本地缓存数据中保存的最新的第二经验值,对应用主页中的第二控件进行更新,即将本地缓存数据中保存的最新的第二经验值显示在第二控件中。
在一些实现场景中,当服务器更新第一经验值或者第二经验值后,将更新后的第一经验值或者第二经验值返回给显示设备;显示设备接收到服务器返回的更新后的第一经验值或者第二经验值后,保存在本地缓存数据中,在需要显示应用主页时,根据缓存数据中的第一经验值和第二经验值将该第一经验值和第二经验值分别显示在应用主页的第一控件和第二控件中。
在另一些实施例中,将用户在当前时刻的经验值总量称为第三经验值,可以理解的是,第三经验值为上述第一经验值和第二经验值的加和。
在一些实施例中,在需要显示应用主页时,控制器获取第一经验值和第三经验值,并根据获取的第一经验值和第三经验值显示应用主页,该应用主页包括用于展示第一经验值和第三经验值的控件。
在一些实施例中,应用主页中用于展示第一经验值和第三经验值的控件包括用于展示第一经验值的第一控件和用于展示第三经验值的第三控件。在根据第一经验值和第三经验值显示应用主页时,将第一经验值显示在第一控件中,将第三经验值显示在第三控件中。
需要说明的是,第二控件和第三控件可以是同一控件,也可以是不同的控件。在第二控件和第三控件不是同一控件时,二者可以同时显示在应用主页。
根据上述实施例可知,应用主页上可以展示第一经验值、第二经验值及第三经验值中的一项或者多项。
在一些实施例中,显示设备控制器响应于请求显示应用主页,向服务器发送用于获取用户经验值的数据请求,数据请求中至少包括用户信息,如用户标识。服务器响应于该数据请求,通过对比当前保存的第二经验值与上一次返回给显示设备的第二经验值判断该第二经验值是否发生更新,若第二经验值发生了更新,则返回更新后的第二经验值和最新的第一经验值,若第二经验值未发生更新,则仅返回最新的第一经验值给显示设备。其中,最新的第一经验值是根据用户最近一次跟练过程的跟练结果更新得到。
在一些实施例中,当服务器接收到显示设备发送的如上数据请求时,服务器判断是否需要对第二经验值进行更新,如果判定需要对第二经验值进行更新,则更新第二经验值并将更新后的第二经验值返回给显示设备。具体的,服务器响应于该数据请求,获取上一次更新第二经验值的时间,并判定距离上一次更新第二经验值的间隔时长是否满足上述统计周期的时长;如果满足,则获取上一个统计周期对应的第一经验值,通过将上一个统计周期对应的第一经验值累计到第二经验值中,更新第二经验值;如果不满足,则不对第二经验值进行更新,直接将当前的第一经验值和第二经验值返回给显示设备,或者,仅返回当前的第一经验值给显示设备。
在另一些实施例中,服务器周期性自动根据相应的第一经验值对第二经验值进行更新。例如,每隔预设间隔(一个统计周期)将上一个统计周期对应的第一经验值累加到第二经验值中,得到新的第二经验值。
在显示设备侧,若控制器接收到服务器返回的第一经验值和第二经验值,则根据第一经验值和第二经验值绘制应用主页中的第一控件和第二控件;若显示设备控制器仅接收到服务器返回的第一经验值,则根据接收到的第一经验值和本地缓存数据中的第二经验值绘制应用主页中的第一控件和第二控件,其中,缓存数据中的第二经验值为上一次接收到的服务器返回的第二经验值。
在一些实施例中,第一控件和第二控件部分重叠,以便于用户能同时直观的看到两个控件。
在一些实施例中,第一控件叠加在第二控件在上方显示,例如在图9中,“本周+10”所在的控件叠加在“舞功值10012”所在的控件的上方显示。
在一些实施例中,第一控件和第二控件的颜色不同,以便于用户能同时直观的看到两个控件,且方便用户对该两个控件加以区分。
在一些实施例中,第一控件位于第二控件的右上角。
在一些实施例中,当控制器接收到用户确定退出跟练的操作时,关闭图像采集器,以及关闭如图10a中的示出的跟练界面中的第一播放窗口和第二播放窗口,并呈现用于展示跟练结果的跟练结果页面。
在一些实施例中,响应于跟练过程的结束,根据该次跟练过程的跟练结果在显示器上呈现跟练结果页面,该跟练结果包括本次跟练过程获得的星级成绩、评分成绩、经验值增量、当前统计周期已获得的经验值(即第一经验值)、当前统计周期之前的每个统计周期获得的经验值的加和(即第二经验值)以及截至当前时间获得的经验值总量中的至少一项。
在一些实施例中,本次跟练过程获得的星级成绩、评分成绩、经验值增量是根据在目标视频播放过程中,完成的目标关键帧的跟练动作,以及完成目标关键帧的跟练动作时的动作匹配程度确定的,其中完成的目标关键帧的跟练动作数量,以及完成目标关键帧的跟练动作时的动作匹配程度均和本次跟练过程获得的评分成绩呈正相关,本次跟练过程获得的星级成绩和经验值增量可以是根据前述评分成绩按照预设计算规则计算得到的。
需要说明的是,在一些实施例中,如果用户提前退出跟练,那么,响应于用户输入的退出跟练的指令,控制器判断对目标视频的播放时长是否长于预设值,如果播放时长长于预设值,则根据已产生的跟练数据(如采集的本地视频流,对部分用户动作的评分等)生成评分信息以及详细成绩信息;如果播放时长不长于预设值,则删除已产生的跟练数据。
图19A示例性示出了一种跟练结果页面,如图19A所示,该界面中以项目或控件的形式展示有本次跟练过程获得的星级成绩(四颗星)、经验值增量(+4)、第一经验值(本周+10)和第二经验值(舞功值10012),其中展示第一经验值的第一控件和展示第二经验值的第二控件与图10中所示一致。除此之外,为方便用户查看详细成绩,图19还展示有用于查看详细成绩的控件“马上查看成绩”,用户可以通过操作该控件进入如图19B或图19D或19E所示的呈现详细成绩信息的界面。
在图19A所示跟练结果页面中,通过第三元素组合(192D)展示有该次跟练过程获得的星级成绩(191D)、经验值增量(192D)、第一经验值(193D)和第二经验值(194D),其中,展示的经验值增量为根据该次跟练过程获得的评分确定的经验值增量。其中,元素组合是指项目、文本框、图标、控件等一种界面元素或者多种界面元素的组合。
为避免用户通过反复跟练同一示范视频的方式恶意赚取经验值,在一些实施例中,在用户跟练示范视频的过程中,根据图像采集器采集的本地视频流,对用户的跟练情况进行评分,并将评分结果关联到该示范视频,以便服务器可以根据示范视频的的ID和用户ID查询该用户跟练该示范视频的历史最高评分,如果某次跟练过程获得的评分高于记载的历史最高评分,则根据评分计算该次跟练过程获得的经验值增量,如果评分不高于记载的历史最高评分,则确定本次跟练过程获得的经验值增量为零。其中,记载的历史最高评分为该用户在过去的时间里跟练该示范视频所获得的最高评分。
在一些实施例中,在每次跟练过程结束后,判断用户在当前统计周期内的跟练次数是否达到预设次数,如果达到预设次数,则产生鼓励性的经验值增量。
示例性的,假设一个星期(周一零时至周日零时)为一个统计周期、预设次数为10次,每次跟练结束后,将已记录的当前统计周期的跟练次数+1,并判断最新记录的跟练次数是否达到10次,若达到10次,则产生5个经验值以鼓励用户;每当周日零时意味着进入到下一个统计周期,则将记录的跟连次数数据清零。可选的,可以设置多个预设次数,在用户在当前统计周期的跟连次数达到不同的预设次数时,产生不同数量的经验值。例如,当跟练次数达到20次,产生10个经验值,当跟练次数达到30次时,产生15个经验值,等等。
在一些实施例中,在每次跟练过程结束后,判断用户在当前统计周期内获得的总评分是否达到预设数值,如果达到预设数值,则产生奖励性的经验值增量。
示例性的,假设一个星期(周一零时至周日零时)为一个统计周期、预设分数值为30分,每次跟练结束后,将该次跟练过程获得的评分累计到已记录的当前统计周期的总评分中,并判断最新记录的总评分是否达到30分,若达到30分,则产生5个经验值以奖励用户;每当周期零时意味着进入到下一个统计周期,则将记录的总评分数据清零。可选的,可以设置多个预设分数值,在用户在当前统计周期的总评分达到不同的预设分数值时,产生不同数量的经验值。例如,当总评分达到40分,产生10个经验值,当总评分达到50分时,产生15个经验值,等等。
在一些实施例中,跟练过程结束后,根据跟练结果呈现跟练结果页面,跟练结果包括该次跟练过程获得的评分、星级成绩和经验值增量等等,其中,星级成绩是根据评分确定的,经验值增量包括根据评分确定的经验值增量、当用户在当前统计周期的跟练次数达到预设次数时产生的经验值增量,和/或,当用户在当前统计周期获得总评分达到预设分数值时产生的经验值增量。
在一些实施例中,根据经验值增量的来源的不同,跟练结果页面所展示的内容不同。具体的,若该次跟练过程结束后,登录用户在当前统计周期内的跟练次数达到预设次数,呈现包含第一元素组合的跟练结果页面,该第一元素组合用于展示根据本次跟练过程的跟练得分确定的经验值增量和根据预设次数确定的经验值增量;若该次跟练过程结束后,登录用户在当前统计周期内的跟练总得分大于预设数值,呈现包含第二元素组合的跟练结果页面,该第二元素组合用于展示根据本次跟练过程的跟练得分确定的经验值增量和根据预设数值确定的经验值增量;若该次跟练过程结束后,登录用户在当前统计周期内的跟练次数未达到预设次数且跟练总得分未大于预设数值,呈现包含第三元素组合的跟练结果页面,该第三元素组合用于展示根据本次跟练过程的跟练得分确定的经验值增量。
需要说明的是,上述第一元素组合、第二元素组合和第三元素组合具体可以为项目、文本框、图标、控件等一种界面元素或者多种界面元素的组合。
图19B为本申请根据示例性实施例示出的跟练结果页面示意图,其具体为用户在当前统计周期的跟练次数达到预设次数时呈现的跟练结果页面,如图19B所示,该页面中通过第一元素组合(202D和203D)展示有该次跟练过程获得的星级成绩(201D)、根据该次跟练过程获得的评分确定的经验值增量(202D)、根据用户的跟练次数所达到的预设次数确定的经验值增量(203D)、第一经验值(204D)和第二经验值(205D)。
图19C为本申请根据示例性实施例示出的跟练结果页面示意图,其具体为用户在当前统计周期获得的总评分达到预设分数值时呈现的跟练结果页面,如图19C所示,该页面中通过第二元素组合(212D和213D)展示有该次跟练过程获得的星级成绩(211D)、根据该次跟练过程获得的评分确定的经验值增量(212D)、根据用户获得总评分所达到的预设分数值确定的经验值增量(213D)、第一经验值(214D)和第二经验值(215D)。
由上述实施例可知,当用户在当前统计周期的跟练次数达到预设次数和/或当用户在当前统计周期获得的总评分达到预设分数值时,奖励或者鼓励用户一定数量的经验值,并在跟练结果页面上显示出来,有利于提高用户的练习积极性,有利于提升用户体验。
在一些实施例中,在显示跟练结果页面的同时,还可以控制播放与跟练结果页面的内容相应的语音提示。
在一些实施例中,在播放示范视频的过程中(即在跟练过程中),对所述示范视频和所述本地视频流进行动作匹配,以获得本次跟练过程对应的评分;示范视频播放结束后(即跟练过程结束后),根据获得的评分确定对应的星级成绩、经验值增量等等,并生成跟练结果界面。
在一些实施例中,控制器响应于输入的指示播放(跟练)示范视频的指令,获取示范视频,并通过图像采集器采集本地视频流;其中,该示范视频包括用于展示用户需要跟练的示范动作的第一视频帧,该本地视频流包括用于展示用户动作的第二视频帧;匹配相对应的第一视频帧和所述第二视频帧,得到基于匹配结果的评分;如果评分高于记载的历史最高评分,则根据评分确定经验值增量;如果评分不高于记载的最高评分,则确定经验值增量为0。
在一些实施例中,当控制器接收到用户确定退出跟练的操作时,关闭图像采集器,以及关闭如图10a中的示出的跟练界面中的第一播放窗口和第二播放窗口,并呈现包含评价信息的界面。
在一些实施例中,响应于跟练过程的结束,在显示器上呈现包含评价信息的界面,该评分信息包括星级成绩、评分成绩、经验值增量以及经验值总量中的至少一项。
在一些实施例中,星级成绩、评分成绩、经验值增量是根据在目标视频播放过程中,完成的目标关键帧的跟练动作,以及完成目标关键帧的跟练动作时的动作匹配程度确定的,其中完成的目标关键帧的跟练动数量作,以及完成目标关键帧的跟练动作时的动作匹配程度均和星级成绩、评分成绩、经验值增量呈正相关。
需要说明的是,在一些实施例中,如果用户提前退出跟练,那么,响应于用户输入的退出跟练的指令,控制器判断对目标视频的播放时长是否长于预设值,如果播放时长长于预设值,则根据已产生的跟练数据(如采集的本地视频流,对部分用户动作的评分等)生成评分信息以及详细成绩信息;如果播放时长不长于预设值,则删除已产生的跟练数据。
图19A示例性示出了一种呈现评分信息的界面,如图19A所示,该界面中以项目或控件的形式展示有星级成绩、经验值增量和经验值总量,其中展示经验值总量的控件与图10中所示一致。除此之外,为方便用户查看详细成绩,图19A还展示有用于查看详细成绩的控件“马上查看成绩”,用户可以通过操作该控件进入如图19B-E中任意一种所示的呈现详细成绩信息的界面。
在一些实施例中,经验值是与等级提升相关的用户数据,其是用户在目标应用中用户行为的获得,即用户可以通过跟练更多的示范视频提升经验值,其也是对用户行为熟练度的一种量化表征,即经验值越高,意味着用户练习动作的熟练度越高,当经验值累计到一定数值时,便可获得用户等级的提升。
为避免用户通过反复跟练同一示范视频的方式恶意赚取经验值,在一些实施例中,在用户跟练示范视频的过程中,根据图像采集器采集的本地视频流,对用户的跟练情况进行评分,且评分和示范视频存在映射关系,服务器可以根据示范视频的的ID和用户ID查询记载的该用户跟练该示范视频的历史最高评分,如果评分高于记载的历史最高评分,则展示根据评分得到的新的经验值,如果评分不高于记载的历史最高评分,则展示原始经验值。其中,记载的历史最高评分为该用户在过去的时间里跟练该示范视频所获得的最高评分。
在一些实施例中,对于跟练过程的评分,在展示跟练过程的跟练结果界面时,在跟练结果界面中展示评分和根据评分得到的新的经验值。
在一些实施例中,在播放示范视频的过程中(即在跟练过程中),对所述示范视频和所述本地视频流进行动作匹配,以获得本次跟练过程对应的评分;示范视频播放结束后(即跟练过程结束后),根据获得的评分生成跟练结果界面,在跟练结果界面中设置有用于展示经验值的经验值控件,其中,在评分高于该用户跟练该示范视频的历史最高评分时,经验值控件中展示根据评分更新后的经验值,在评分不高于历史最高评分时,经验值控件中展示本次跟练过程之前的经验值。
在一些实施例中,控制器响应于输入的指示播放(跟练)示范视频的指令,获取示范视频,并通过图像采集器采集本地视频流;其中,该示范视频包括用于展示用户需要跟练的示范动作的第一视频帧,该本地视频流包括用于展示用户动作的第二视频帧;匹配相对应的第一视频帧和所述第二视频帧,得到基于匹配结果的评分;如果评分高于记载的历史最高评分,则在经验值控件中加载根据评分得到的新的经验值;如果评分不高于记载的最高评分,则在经验值控件中加载展示原始经验值,原始经验值即本次跟练过程之前的经验值。
在一些实施例中,在播放示范视频时,并检测时间轴上的关键标签;每检测到一个关键标签,即根据关键标签表征的时间信息从第二视频帧中获取与第一关键帧对应的第二关键帧,该第二关键帧用于用户的关键跟练动作;以及,获取同时与该关键标签对应的第一关键帧和第二关键帧的匹配结果。例如,可以将所述关键标签对应的第一关键帧和第二关键帧上传至服务器,以使服务器对第一关键帧中展示关键示范动作和第二关键帧中展示的关键用户动作进行骨骼点匹配,然后接收服务器返回的匹配结果。再如,可以由显示设备控制器识别第一关键帧的中关键示范动作和所述第二关键帧中的关键跟练动作,然后对识别出的关键示范动作和关键跟练动作进行骨骼点匹配,得到匹配结果。可见,一帧所述第二关键帧均对应一个匹配结果,其表征了第二关键帧中的用户动作与对应第一关键帧中关键动作的匹配程度或相似度,当匹配结果表征用户动作与示范动作匹配程度/相似度低时,意味着用户动作不够标准,当匹配结果表征用户动作与示范动作匹配程度/相似度高时,意味着用户动作较为标准。
在一些实施例中,显示设备可以根据本地视频数据获取到本地视频中的第二关键帧的关节点数据,并将关节点数据上传给服务器,以降低数据传输的压力。
在一些实施例中,显示设备可以将关键标签标识上传给服务器,以降低传输第一关键帧带来的数据传输压力。
在一些实施例中,在播放示范视频时,检测时间轴上的关键标签;每检测到一个关键标签,并根据第一关键标签的时间信息从第二视频帧中获取与对应的第二关键帧,该第二关键帧用于展示用户的跟练动作。
在一些实施例中,第二关键帧是本地视频中在第一关键标签的时间时的图像帧。
在本申请实施例中,由于关键标签表征的时间点为对应第一关键帧对应的时间点,并且第二关键帧是根据第一关键帧的时间信息从第二视频帧序列中抽取出的帧,因此,一个关键标签对应于一对第一关键帧和第二关键帧。
在一些实施例中,第二关键帧是本地视频中在第一关键标签的时间时刻及其邻近时刻的图像帧。用于评价展示的图像可以是第二关键帧中和第一关键帧匹配程度最高的图像帧。
在一些实施例中,第一关键帧的时间信息可以是显示设备播放该帧的时刻,根据显示设备播放第一关键帧的时间,从第二视频帧序列中抽取出该时刻对应的第二视频帧,即为与该第一关键帧对应的第二关键帧。需要说明的是,某一时刻对应的视频帧,可以是时间戳为该时刻的视频帧,或者时间戳所示时间距离该时刻最近的视频帧。
在一些实施例中,匹配结果具体为匹配得分,基于匹配结果或者匹配得分计算得到的评分又可称为总评分。
在一些实施例中,某一目标视频包括M帧第一关键帧,其展示了M个关键动作,该目标视频的时间轴上具有M个关键标签,在跟练过程中,可根据M帧第一关键帧从本地视频流中抽取出M帧对应的第二关键帧;依次将M帧第一关键帧(展示的M个关键动作)与该M帧第二关键帧(展示的M个用户关键动作)进行对应匹配,得到M个分别与M帧第二关键帧对应的匹配得分,对该M个匹配得分进行求和、加权求和、求平均或者加权求平均计算,即可得到该次跟练过程的总评分。
在一些实施例中,显示设备根据目标视频中第一关键帧(关键帧)的时间信息确定对本地视频流的抽帧范围,根据确定的抽帧范围从本地视频流中抽取出预设数量的本地视频帧,对于抽取出的每一本地视频帧,识别用户的跟练动作,并纵向比对出关键跟练动作,然后将关键跟练动作与对应的关键动作进行匹配,得到对应的匹配得分,并在跟练结束后,计算出该次跟练过程的总评分。
在另一些实施例中,显示设备将上述抽取出的本地视频帧发送给服务器,由服务器识别每一帧中的用户跟练动作,并纵向比对出关键跟练动作,然后将关键跟练动作与对应的关键动作进行匹配,得到对应的匹配得分,并在跟练结束后,计算出该次跟练过程的总评分,返回给显示设备。
在一些实施例中,在服务器得到对某一关键跟练动作的匹配得分后,发送该匹配得分对应的等级标识给显示设备,显示设备接收到等级标识后,在本地画面上方的浮层中实时显示该等级标识,如,GOOD,GREAT,PERFECT等,以将跟练效果实时反馈给用户。另外,如果是由显示设备自行确定用户跟练动作的匹配得分,则有显示设备直接将匹配得分对应的等级标识显示在本地画面上方的浮层中。
在一些实施例中,对于练习各个示范视频的总分而言,如果评分高于记载的最高评分,获取评分与记载的最高评分的差值,在原有总分的基础上增加所述差值以得到新的总分,这样避免了用户重复刷熟悉的视频来提高总分的情形,提升了应用的公平性。
在一些实施例中,如果总评分高于记载的最高评分,则根据总评分得到相应的经验值增量;通过将经验值增量累计到原始经验值中,得到新的经验值;进而,在目标视频播放结束时,在显示器上展示新的经验值。例如,假设总评分为85分,历史最高评分为80分,则根据总评分85分和历史最高评分80分得到经验值增量5,若原始经验值为10005,则将经验值增量5累计的10005中,得到新的经验值10010。相反地,如果总评分不高于记载的最高评分,则经验值增量为0,即不累计经验值,此时,在显示器上展示原始经验值。
此外,如果总评分高于记载的最高评分,则使用新的经验值替换原始经验值;如果总评分不高于记载的最高评分,则不更新原始经验值。
需要说明的是,本申请所涉及术语中的“第一”和“第二”是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。在另外的实施例中,第一关键帧还可被称为关键帧,第二关键帧还被称为本地视频帧或者跟练截图。
在以上实施例中,在用户跟练目标视频的过程中,根据图像采集器采集的本地视频流,对用户的跟练情况进行评分,如果评分高于记载的最高评分,则根据评分得到的新的经验值,并展示该新的经验值,如果评分不高于记载的最高评分,则不对更新经验值,并展示原始经验值,从而避免用户通过反复跟练同一示范视频的方式恶意赚取经验值。
在一些实施例中,上述用于展示第一经验值的第一控件和用于展示第二经验值的第二控件是经验值控件的子控件,作为子控件,第一控件和第二控件被配置为不可获取焦点,即不可被单独操作,而经验值控件被配置为可获取焦点,即可被用户操作。
在一些实施例中,用户可以对经验值控件进行操作,如点击操作,以进入到经验值明细页面。具体的,显示设备控制器被配置为,响应于对经验值控件的操作,显示经验值明细页面,经验值明细页面展示有预设时间段内的多个时间点和每个时间点对应的经验值明细数据,每个时间点对应的经验值明细数据包括该时间点对应的第一经验值、该时间点对应的第二经验值和/或该时间点与上一个时间之间的子时间段内产生的经验值。示例性的,预设时间段为包括至少一个统计周期的时间段。示例性的,预设时间段为根据当前时刻和一个预设时长确定的时间段。
在一些实施例中,经验值明细页面为尺寸小于应用主页的小窗口页面,其浮在应用主页的上方显示。
在一些实施中,当经验值明细页面浮于应用主页进行显示时,应用主页中的经验值控件继续显示,其第一控件仍叠加在第二控件的上方显示。
图19D为本申请根据示例性实施例示出的一种经验值明细页面,如图19D所示,在该经验值明细页面中,展示的从第n周周一零时至第n+1周周三零时之间的多个时间点,分别为第n周周一零时、第n周周二零时、……、第n+1周周三零时,以及前述每个时间点对应的经验值明细数据,具体为每个时间点对应的第一经验值、每个时间点对应的第二经验值以及相邻两个时间点之间的子时间段内产生的经验值。由图22还可以看出,经验值明细页面为尺寸小于应用主页的小窗口页面,它显示在应用主页的上层,此时,应用主页仍然显示用于展示第一经验值和第二经验值的控件。
图19E为本申请根据示例性实施例示出的另一种经验值明细页面,如图19D所示经验值明细页面不同的是,图19E所示的经验值明细页面为全屏页面,其上包括用于展示第一经验值和第二经验值的控件。
在一些实施例中,由服务器或者显示设备,统计在一个预设周期内产生的经验值增量,在进入到下一个周期时,根据统计的上一个周期内产生的经验值增量,对用户的经验值进行更新。其中,该预设的周期可以为三天、七天等。
在一些实施例中,显示设备控制器响应于对目标应用程序的启动,向服务器发送用于获取用户经验值的请求,请求中至少包括用户信息。服务器该请求,获取上一次更新用户经验值的时间,并判定距离上一次更新用户经验值的间隔时长是否满足上述预设周期的时长;如果满足,则获取上一个周期内产生的经验值增量,通过将上一个周期产生的经验值增量累计到总经验值中,更新用户经验值,并将更新后的用户经验值返回给显示设备;如果不满足,则不对用户经验值进行更新,直接将当前的用户经验值返回给显示设备,或者,通知显示设备从显示设备缓存数据中获取上次下发的用户经验值数据。
相应地,显示设备接收服务器返回的用户经验值绘制界面中的用户数据展示区,以将用户经验值展示在该展示区中。其中,如果显示设备接收的是更新后的用户经验值,则同时对显示设备缓存中用户经验值进行更新。
在一些实施例中,经验值控件包括如图9中的用户数据展示区设置标识位,用于标识出当前周期内已产生的经验值增量,例如图9中示出的“本周+10”。
在一些实施例中,经验值控件包括第一子控件和第二子控件,第一子控件中展示上一统计周期结束时的经验值总值,第二子控件中展示在当前统计周期已经产生的经验值增量。第一子控件如图9中的展示“舞功值10012”所在的控件,第二子控件如图9中的展示“本周+10”所在的控件。
在一些实施例中,第一子控件和第二子控件部分重叠,以便于用户能同时直观的看到两个子控件。
在一些实施例中,第一子控件和第二子控件的颜色不同,以便于用户能同时直观的看到两个子控件。
在一些实施例中,第二子控件位于第一子控件的右上角。
在一些实施例中,用户选中用户数据展示区设置标识位进入展示经验值总分的详情页,进入详情页后,第二子控件仍保持位于第一子控件的右上角并展示当前统计周期内新增的分值。
在一些实施例中,跟练结果界面还设置有跟练评价控件,所述跟练评价控件用于展示根据所述评分确定的目标状态,不同的评分对应的目标状态不同。
在一些实施例中,跟练评价控件中展示的目标状态为如图9中示出的星级标识。
在一些实施例中,预先建立经验值数据范围与星级之间的对应关系,例如,0-20000(经验值范围)对应1星,20001-40000对应2星等等。基于此,在如图9中的用户数据展示区展示用户经验值的同时,还可以在跟练评价控件中展示与经验值对应的星级标识,例如图9中示出的1星。
跟练结束后,在显示器上呈现如图19A所示的呈现评分信息的界面。在显示器显示该界面时,用户可以通过操作用于查看详细成绩的控件,进入呈现详细成绩信息的界面。
在一些实施例中,详细成绩信息还可以被称为跟练结果信息,展示跟练结果信息的用户界面称为跟练结果界面。
在一些实施例中,响应于用户输入的查看详细成绩的指令,显示设备向服务器发送详细成绩信息界面获取请求给服务器,显示设备根据服务器下发的详细成绩信息界面数据在显示器上呈现详细成绩信息,该详细成绩信息包括登陆用户信息、星级成绩信息、评价语和多幅跟练截图中的至少一项,所述跟练截图即为用户通过摄像头采集的跟练视频中的本地视频帧,跟练截图用于展示用户的跟练动作。
图20示例性示出了一种呈现详细成绩信息的界面,如图20所示,该界面中以项目或控件形式展示有登陆用户信息(如用户头像、用户的经验值)、星级成绩信息、评价语和4幅跟练截图。
在一些实施例中,跟练截图以缩略图的形式在如图20所示的界面中排列显示,用户可以通过操作控制装置移动选择器的位置以对某一跟练截图进行选中,以查看被选中图片的原图,在显示器显示被选中图片的原图文件时,用户可以通过操作向左和/或向右的方向键查看其他跟练截图对应的原图。
在一些实施例中,当用户通过操作控制装置移动选择器选中第一张跟练截图进行查看时,获取被选中截图对应的原图文件,并呈现显示器上,如图21所示。在图21中,用户可以通过操作向左和/或向右的方向键查看其他跟练截图对应的原图。
图22示例性示出了另一种呈现详细成绩信息的界面,与图20所示界面不同的是,在图22所示界面中还显示有包含详细成绩访问地址的分享码图片(如二维码),用户可以使用移动终端扫描该分享码图片,查看详细成绩信息。
图23示例性示出了一种在移动终端设备上显示的详细成绩信息页面,如图23所示,该页面中展示有登陆用户信息、星级成绩、评价语和至少一张跟练截图。用户可以通过操作该页面中的分享控件将给页面链接分享给其他用户(即其他终端设备),还可以将页面中展示的跟练截图和/或跟练截图对应的原图文件保存在终端设备本地。
为激励和督促用户,在一些实施例中,如果一次跟练过程的总评分高于预设值,则在详细成绩信息页面(或称跟练结果界面)中展示匹配得分最高的N张本地视频帧(TopN),从而展示出跟练过程的高光时刻,如果总评分不高于预设值,则在详细成绩信息页面展示匹配得分最低的N张本地视频帧,从而展示出跟练过程的有待改进的时刻。
在一些实施例中,服务器在接收到详细成绩信息界面获取请求后,根据相对应的关键帧和本地视频帧中动作的匹配程度得出用户跟练示范视频时的评分,在评分高于第一值时,将匹配出程度较高的一定数量(如N,N≥1)的关键帧和/或对应的本地视频帧作为详细成绩信息界面数据下发给显示设备,在评分低于第二值时,将匹配程度较低的一定数量的关键帧和/或对应的本地视频帧作为详细成绩信息界面数据下发给显示设备。在一些实施例中,第一值和第二值可以是同一值,在另一些实施例中,第一值和第二值为不同值。
在一些实施例中,控制器响应于用户输入的指示跟练示范视频的指令,获取示范视频,该示范视频包括关键帧序列,该关键帧序列包括按照时间排序的预定数量(M)的关键帧,每帧关键帧展示一个需要用户跟练的关键动作。
在一些实施例中,服务器在接收到详细成绩信息界面获取请求后,根据目标关键帧和对应的本地视频帧的比对关系确定用户跟练目标视频时的评分,在评分高于第一值时,将匹配过程中确定的程度较高的预设数量的目标关键帧和/或对应的本地视频帧作为详细成绩信息界面数据下发给显示设备,在评分低于第二值时,将匹配过程中确定的程度较低的预设数量的目标关键帧和/或对应的本地视频帧作为详细成绩信息界面数据下发给显示设备。
在一些实施例中,控制器在跟练界面播放目标视频,并在播放示范视频的过程中,从本地视频流中获取与关键帧对应的本地视频帧,本地视频帧展示有用户动作。
在一些实施例中,关键帧和本地视频的比对是在显示设备中进行的,在跟练过程中,控制器对相对应的关键帧展示的关键动作和本地视频帧展示的用户动作进行匹配,以获得每一本地视频帧对应的匹配得分,并根据每一本地视频帧对应的匹配得分得到总评分,根据总评分选取要作为跟练结果展示的目标视频帧,即如果总评分高于预设值,则选取匹配得分最高的的N张本地视频帧(TopN)作为目标视频帧,如果总评分不高于预设值,则选取匹配得分最低的的N张本地视频帧作为目标视频帧,N为预设的目标视频帧数量,例如在图19A中,N=4;最后,展示包含总评分和目标视频帧的跟练结果,即将总评分和目标视频帧展示在如图18所示的详细成绩页面中。
在一些实施例中,根据对各个本地视频帧对应的匹配得分进行求和、加权求和、求平均或者加权求平均计算,得到总评分。
在一些实施例中,控制器在控制播放示范视频过程中,检测时间轴上的关键标签;每检测到一个关键标签,根据关键标签的时间信息从本地视频流中抽取与关键帧在时间上对应的本地视频帧,并根据抽取出的本地视频帧生成本地视频帧序列,该本地视频帧序列中包括按照所述匹配得分降序排列的部分或者全部的本地视频帧。
在一些实施例中,本地视频帧序列中位序在前的N个本地视频帧作为第一本地视频帧,位序在后N个本地视频帧作为第二本地视频帧,第一本地视频帧用于在总评分高于预设值时展示在跟练结果界面中,所述第二本地视频帧用于在总评分不高于预设值时展示在跟练结果界面中。在一些实施例中,所述预设值可以为前述实施例中的第一值或者第二值。
在一些实施例中,生成本地视频帧序列的步骤可以包括:在获取到新的本地视频帧时,若第一本地视频帧和第二本地视频帧中存在重叠视频帧,根据新获取到的本地视频帧对应的匹配得分将新获取到的本地视频帧插入到本地视频帧序列中,得到新的本地视频帧序列;若第一本地视频帧和第二本地视频帧不存在重叠视频帧,根据新获取到的本地视频帧对应的匹配得分将新获取到的本地视频帧插入到本地视频帧序列中,并删除匹配得分位于中位的本地视频帧,得到新的本地视频帧序列。
在一些实施例中,若总评分高于预设值,在本地视频帧序列中选择N个第一本地视频帧作为目标视频帧,展示在跟练结果界面中,若总评分不高于预设值,则在本地视频帧序列中选择N个第二本地视频帧作为目标视频帧,展示在跟练结果界面中。
需要说明的是,第一本地视频帧和第二本地视频帧中存在重叠视频帧,是指本地视频帧序列中存在既作为第一本地视频帧又作为第二本地视频帧的帧,在这种情况中,本地视频帧序列中的帧数量小于2N。
还需要说明的是,第一本地视频帧和第二本地视频帧中不存在重叠视频帧,是指本地视频帧序列中不存在即作为第一本地视频帧又作为第二本地视频帧的帧,在这种情况中,本地视频帧序列中的帧数量大于或者等于2N。在一些实施例中,在生成用于展示详细成绩信息界面数据的照片序列时,显示设备侧(显示设备执行序列生成时)或服务器(服务器执行序列生成时)均可以采用冒泡排序的算法。
其算法过程如下:在关键帧和本地视频帧进行比较后,确定关键帧和本地视频帧的匹配程度。
在序列中的数据帧数小于预设值时,根据匹配程度,将关键帧和/或本地视频帧加入所述序列,其中预设值是得分高于预设值是需要展示的图像帧数和得分低于预设值时要展示的图像帧数之和。例如得分高于预设值是需要展示的图像帧数是4帧(组),得分低于预设值时要展示的图像帧数是4帧(组),则序列对应的预设值是8帧(组)。
在序列中的数据帧数大于或等于预设值时,根据本次匹配程度,序列中各组帧对应的匹配程度,组成新的序列,在新的的序列中,保留匹配成对最高的4帧(组),保留匹配程度最低的4帧(组),删除中间的帧(组)以使的序列维持在8帧(组)。这样可以避免缓存数据中保存过多的照片,有利于提高业务处理效率。
在一些中,帧是指序列中仅包含本地视频帧,组是指序列中本地视频帧和对应的关键帧作为序列中的一组参数。
在一些实施例中,关键帧和本地视频帧的比对是在服务器中进行的,比对的过程可参照本申请中其他实施例的表述。
服务器根据每一本地视频帧对应的匹配得分得到总评分,根据总评分选取要作为跟练结果展示的目标视频帧,即如果总评分高于预设值,则选取匹配得分最高的的N张本地视频帧(TopN)作为目标视频帧下发给显示设备,如果总评分不高于预设值,则选取匹配得分最低的的N张本地视频帧作为目标视频帧发给显示设备,N为预设的目标视频帧数量,例如在图19A中,N=4;最后,显示设备根据接收到的数据展示包含总评分和目标视频帧的跟练结果,即将总评分和目标视频帧展示在如图18所示的详细成绩页面中。
在上述本地视频帧序列包含抽取出的全部本地视频帧的情况中,每抽取出一帧本地视频帧,则根据该帧对应的匹配得分将其插入到本地视频帧序列中,以使得本地视频帧序列中的帧数从0增加到M(示范视频所包含关键帧的数量),且序列中的本地视频帧按照各自的匹配得分降序排列。当需要展示匹配得分最高的N帧时,从本地视频帧序列中抽取出位序为1-N的帧即可,当需要展示匹配得分最低的N帧时,从本地视频帧序列中抽取出位序为(M-N+1)-M的帧即可。
在上述本地视频帧序列包含抽取出的部分本地视频帧的情况中,根据获取到的第1-2N幅本地视频帧,生成初始序列,该第1-2N幅本地视频帧分别与第1-2N幅关键帧对应,并将该2N幅本地视频帧按照匹配得分降序排列;从第2N+1帧开始(包括第N+1帧),每获取到一本地视频帧(第2N+i帧),根据该帧(第2N+i帧)对应的匹配得分将该帧(第2N+i帧)插入到初始序列中,并删除初始序列中位序为(N+1)的帧,直到2N+i等于所述预定数量,即插入最后一帧,得到本地视频帧序列,其中,2N小于M,i∈(1,M-2N)。
在一些实施例中,在生成用于展示详细成绩信息界面数据的照片序列时,显示设备侧(显示设备执行序列生成时)或服务器(服务器执行序列生成时)均可以采用冒泡排序的算法。
其算法过程如下:在关键帧和本地视频帧进行比较后,确定关键帧和本地视频帧的匹配程度。
在序列中的数据帧数小于预设值时,根据匹配程度,将关键帧和/或本地视频帧加入所述序列,其中预设值是得分高于预设值是需要展示的图像帧数和得分低于预设值时要展示的图像帧数之和。例如得分高于预设值是需要展示的图像帧数是4帧(组),得分低于预设值时要展示的图像帧数是4帧(组),则序列对应的预设值是8帧(组)。
在序列中的数据帧数大于或等于预设值时,根据本次匹配程度,序列中歌帧(组)对应的匹配程度,组成新的序列,在新的的序列中,保留匹配成对最高的4帧(组),保留匹配程度最低的4帧(组),删除中间的帧(组)以使的序列维持在8帧(组)。这样可以避免缓存数据中保存过多的照片,有利于提高业务处理效率。
在一些中,帧是指序列中仅包含本地视频帧,组是指序列中本地视频帧和对应的关键帧作为序列中的一组参数。
在一些实施例中,关键帧和本地视频帧的比对是在服务器中进行的,比对的过程可参照本申请中其他实施例的表述。
服务器根据每一本地视频帧对应的匹配得分得到总评分,根据总评分选取要作为跟练结果展示的目标视频帧,即如果总评分高于预设值,则选取匹配得分最高的的N张本地视频帧(TopN)作为目标视频帧下发给显示设备,如果总评分不高于预设值,则选取匹配得分最低的的N张本地视频帧作为目标视频帧发给显示设备,N为预设的目标视频帧数量,例如在图19A中,N=4;最后,显示设备根据接收到的数据展示包含总评分和目标视频帧的跟练结果,即将总评分和目标视频帧展示在如图18所示的详细成绩页面中。
需要说明的是,在一些实施例中,如果用户提前退出跟练,则可能会导致实际抽取出的本地视频帧的数量小于要展示的目标视频帧的数量N,此时,控制器无需根据总评分选取要展示的目标视频帧,只需要将实际抽取出的本地视频帧作为目标视频帧进行展示即可。
在一些实施例中,在接收到用户输入的确认退出的操作后,判断当前序列中的视频帧数量是否大于要展示的视频帧数量,如果大于,在根据评分在序列前段或后段选取要展示的视频数量的视频帧进行展示,如果不大于,则全部进行展示。
在一些实施例中,在接收到用户输入的确认退出的操作后,在判断当前序列中的视频帧数量是否大于要展示的视频帧数量之前,还需要判断跟练的时长和/或动作数量,是否满足预设要求,如果满足则进行当前序列中的视频帧数量是否大于要展示的视频帧数量的判断,如果不满足,则不进行。
在一些实施例中,显示设备将根据总评分选取出的本地视频帧上传至服务器,以便服务器将本地视频帧添加到用户的练习记录信息中。
在一些实施例中,显示设备向服务器上传的是本地视频帧的关节点数据和对应的本地视频帧的标识,服务器也是通过参数和显示设备进行匹配程度的信息传递。为了在后续的使用历史中能显示本次跟练的图片。显示设备在接收到详细成绩页面数据后,根据评分的分值绘制图形成绩,根据评语数据展示评语,根据本地视频帧的标识调用缓存中的本地视频帧进行跟练图片的展示,同时将本地视频帧的标识对应的本地视频帧和详细成绩页面标识上传给服务器,所述服务器根据详细成绩页面标识将接收到的本地视频帧和详细成绩页面数据组合成一条跟练数据,以备后续查询跟练历史时下发给显示设备。
在一些实施例中,响应于跟练过程的结束,检测是否接收到用户输入,当在预设时长内未接收到用户输入时,呈现自动播放提示界面,并启动倒计时,该自动播放提示界面中显示有倒计时提示信息、自动播放视频信息和多个控件,其中,倒计时提示信息至少包括倒计时时长,自动播放视频信息包括要在倒计时结束后播放的视频封面和/或视频名称,多个控件可以如用于控制重新播放的控件、用于退出当前界面的控件和/或用于播放预设媒资列表中下一个视频的控件等。在执行倒计时的过程中,持续检测是否接收到用户输入,如用户通过控制装置对界面中控件的操作,如果在倒计时完成之前仍未接收到用户输入,则播放界面中显示的视频,如果在倒计时完成之前接收到用户输入,则停止倒计时,并执行该用户输入对应的控制逻辑。
在一些实施例中,第二值小于或等于第一值。在第二值小于第一值的情况下,在评分高于第二值低于第一值时,按照匹配程度的高低,在各匹配程度区间分派预设数量的关键帧和/或对应的本地视频帧作为跟练截图下发给显示设备。
图24示例性示出了一种用户界面,该用户界面为上述自动播放提示界面的一种实施情形,如图24所示,该界面中,显示有倒计时提示信息,即“5s后自动为您播放”,自动播放视频信息,即视频名称“爱上幼儿园”和视频的封面图片,和,“重新播放”控件、“退出”控件及“播放下一个”控件。
在一些实施例中,用户可以通过操作控制装置控制显示用户的跟练记录页面,或称练习记录页面,该练习记录页面中包括若干练习记录条目,每一练习条目包括示范视频信息、评分信息、练习时间信息和/或至少一张跟练截图。其中,示范视频信息包括示范视频的封面、名称、类别、类型、时长中至少一项,评分信息包括星级成绩、评分分数以及经验值增量中的至少一项,练习时间信息包括练习开始时间和/或练习结束时间,跟练截图则可以为在上述详细成绩信息界面中显示的跟练截图。
在一些实施例中,当显示器显示如图9所示的应用程序主页时,用户可以通过控制装置操作该页面中的“我的舞功”控件以输入指示显示练习记录页面的指令。当控制器接收到该指令时,向服务器发送用于获取练习记录信息的请求,请求中至少包含用户标识(ID);服务器响应于显示设备发送的请求,根据其中的用户标识查找对应的练习记录信息,并返回练习记录信息给显示设备,该练习记录信息中包括至少一条历史联系记录数据,每一历史联系记录数据包括示范视频信息、评分信息、练习时间信息和至少一张跟练截图或者表征不存在跟练截图的特殊标识。显示设备根据服务器返回的练习记录信息生成练习记录页面,并呈现在显示器上。
需要说明的是,跟练截图在显示设备采集到展示用户动作的图像的情况下显示。
在一些实施例中,服务器响应于显示设备发送的请求,根据其中的用户标识查找对应的练习记录信息,并判断练习记录信息中各历史联系记录数据是否包含跟练截图,对于不包含跟练截图的条目,则该条目中添加上述特殊标识,以表示该历史联系记录数据对应的跟练过程未检测到摄像头。在显示设备侧,如果服务器返回的历史联系记录数据中包含跟练截图的数据,如跟练截图的文件数据或者标识,则在跟练记录页面中的跟练记录条目中显示相应跟练截图即可,如果服务器返回的历史联系记录数据中不包含跟练截图,且包含前述特殊标识,则在跟练记录页面中的跟练记录条目中显示用于标识出未检测到摄像头的预置标识元素。
在一些实施例中,显示设备接收服务器下发的数据,绘制跟练记录页面,跟练记录页面中包括一个或者多个跟练记录条目,每一跟练记录条目中包括用于展示跟练截图的第一图片控件或者用于展示预置标识元素的第一标识控件,还包括用于展示示范视频信息第二控件和用于展示评分信息和练习时间信息的第三控件。
在绘制跟练记录页面过程中,如果第一历史根据记录数据中不包含上述特殊标识,在第一跟练记录条目的第一图片控件中加载跟练截图,在第二控件中加载示范视频信息,在第三控件中加载评分信息和练习时间信息;如果第一历史根据记录数据中包含上述特殊标识,在在第一跟练记录条目的第一标识控件加载预置标识元素,以用于提示该次练习未检测到摄像头。
在一些实施例中,练习条目中显示的跟练截图为在相应详细成绩信息页面中显示的跟练截图,其具体实现过程可参考上述实施例,此处不再赘述。
在一些实施例中,跟练记录条目中显示的跟练截图又被称为指定图片。
在一些实施例中,历史跟练记录数据中包括的指定图片的数据为指定图片的文件数据或者指定图片的标识,其中,指定图片的标识用于使控制器从显示设备的本地缓存中或服务器中获取与指定图片的标识相对应的指定图片的文件数据。
图25示例性示出了一种显示用户练习记录的界面,其可以是用户操作图9中“我的舞功”控件后进入的界面。如图25所示,该界面中显示有3条练习条目,在各练习条目的展示区中,展示有示范视频信息、评分信息、练习时间信息和跟练截图或者表示为检测到摄像头的标识。其中,示范视频信息包括示范视频的封面图片、类型(萌动课)、名称(稍息立正站好),评分信息包括经验值增量(如+4)和星级标识,练习时间信息如2010-10-10-10:10。
在上述示例中,用户可以通过查看练习记录来获取过去的跟练情况,如在什么时间跟练过哪些示范视频,跟练成绩如何,等等,方便用户可以根据以往的跟练情况决策之后的练习,或者发掘出用户擅长的动作类型,例如可以再次跟练成绩较低的示范视频,或者根据擅长的动作类型重点跟练相应类型的视频以进一步精进练习。
健身环境下的显示设备的第一界面如图26所示。其中,图26为第一界面200A的示意图,其中,第一界面200A可以滚动的方式显示多个示范视频,以便用户在多个示范视频找中选中一个目标示范视频。
在一些实施例中健身也是跟练视频中的一种,是一种示范视频。
请参阅图26,其中显示窗口用于显示用户选中的示范视频。接收用户输入的确认指令,根据选择器(焦点)在第一界面中的“开始训练”控件位置时,当用户在第一界面200A中选中开始训练的控件。响应于用户对开始训练控件的选中,控制器可基于API(Application Programming Interface,应用程序接口)从服务器获取并加载相应是示范视频片源。
请参阅图27,图27为根据一些实施例示出的健身视频第一界面的示意图,健身视频第一界面页可以被称作详情界面,其中,第一界面可以滚动的方式显示多个教练视频,以便用户在多个示范视频找中选中一个目标示范视频。例如:深蹲高抬腿、后退式弓箭步、四点式后踢腿……。用户在多个教练视频找中选中一个目标示范视频。
在第一界面中,设置有播放窗口,播放窗口用于播放默认训练视频或播放历史中上一次播放的训练视频,播放窗口的右侧设置有介绍展示控件,“开始训练”控件(即播放控件),“收藏”控件中的至少一个,界面还包括训练列表控件,在训练列表控件中,显示有多个训练视频的展示控件。
在一些实施例中,在开始训练控件或播放窗口被选中后,示范视频也可以再校验后获取。具体的,显示预先下载示范视频并存储;然后建立示范视频与校验码之间的映射关系。响应于用户对开始训练控件的选中时,基于用户选择的示范视频,生成一个校验码。控制器可以基于检验码在存储的示范视频中,获取所述校验码对应的示范视频。由于示范视频预先存储,控制器在获取校验码后,可直接调取校验码对应的示范视频。通过上述方式调取示范视频,可避免由于网络等因素造成的卡顿问题,前获取能预先下载,提升示范视频流畅度。
摄像头,用于采集本地图像或本地视频;在未开启的时候,摄像头位于隐藏位置,以使的显示装置边缘保持平滑,在开启后,摄像头升起,探出在显示装置边缘的上方,以避免显示屏的遮挡来获取图像数据。
在一些实施例中,响应于用户对开始训练控件的选中,升起启动摄像头以获取图像数据,练习过程中摄像头始终处于开启的状态,并实时的采集本地视频,发送采集的本地视频至控制器,以在跟练界面显示用户的动作。这样用户可以实时观看自己的动作和示范视频的动作。
在一些实施例中,响应于用户对开始训练控件的选中,摄像头升起,但处于待机状态,每当示范视频播放至预设时间点时,采集一个本地图像,发送采集的本地图像至控制器。这样可以减轻处理器的压力,并且维持本地图像在显示屏上显示到下一个时间点。
控制器,所述控制器被配置为:接收输入的对所述播放控件的确认操作,启动摄像头,并加载所述示范视频的视频数据;
在一种实现方式中,响应于确认操作,所述确认操作可以是对开始训练控件的选中。所述控制器还被进一步配置为控制显示器显示用于指示用户进入预定区域的提示界面200C(及引导界面)。具体的提示界面可以参阅图28和图29。具体的,图28为根据一些实施例示出的提示界面的示意图,用户根据提示界面调整自身的位置。当用户完成进入预定区域,控制器控制显示器展示第二界面。这是因为摄像头的采集区域是存在边缘的,为了能更好的采集本地数据,摄像头获取当前的图像,并在显示上显示的过程中在显示当前图像的图层上方新建一个浮层,浮层中根据摄像头的位置和角度确定最佳采集区域,并根据最佳采集区域在浮层中显示最佳位置边框。以引导用户进行位置的移动,使采集到的当前图像中的位置和浮层中最佳位置边框重合,在重叠程度达到预设阈值时,显示设备显示成功的提示消息,并取消浮层,并跳转到图30所示的跟练界面。
举例说明,在一些实施例中,提示界面200C中人物位于方框区域200C1的左边,相应的提示用户向右边移动。如果显示画面中人物位于方框区域的右边,相应的提示用户向左边移动,以使用户进入预定区域,其中预定区域摄像头可采集到的区域。本申请实施例示出的通过上述方式指示用户进入预定区域。在一些实施例中,提示界面还用于显示用提示信息,具体的可以参阅图29,图29为根据一些实施例示出的提示界面的示意图,所述提示信息为“请面对屏幕。保持身体自立”等提示信息。提示用户移动的消息可以是显示在浮层上的文字,也可以是语音提醒,还可以是指向最佳位置边框的指示标记。
在一种实现方式中,控制器也可以是响应于所述确认操作,直接展示所述第二界面,并在所述第一播放窗口播放所述示范视频,在所述第二视频窗口播放所述本地图像。用户可以根据第二界面中第二视频窗口显示的图像来调整自身的位置。
在一种实现方式中,控制器也可以是响应于所述确认操作,判断位置引导界面的出现次数,在引导界面展示次数不满足预设值时展示引导界面,在满足预设值时直接展示所述第二界面,并在所述第一播放窗口播放所述示范视频,在所述第二视频窗口播放所述本地图像。用户可以根据第二界面中第二视频窗口显示的图像来调整自身的位置。
具体的可以参阅图30,图30为根据一些实施例示出的第二显示界面200B的示意图,其中所述第二显示界面200B中包含用于播放所述示范视频的第一播放窗口200B1和用于播放摄像头采集到的本地图像的第二播放窗口200B2。
在一些实施例中,第一播放窗口中播放所述示范视频,所述示范视频中不展示关节点,第二播放串口播放本地图像数据包括控制器根据本地图像数据获取随影本地图像数据的关节点的位置,根据所述关节点的位置叠加所述本地图像数据和关节点标记后在第二播放窗口显示。
在一些实施例中叠加所述本地图像数据和关节点标记可以在在本地图像数据中根据关节点的位置在本地图像上增加关节点标记,然后在一个图层输出以显示叠加关节点后的本地图像。还可以在一个图层中显示摄像头获取的本地图像,在图层的上方增加浮层,并根据关节点的位置在浮层中增加关节面标记,将两个图层叠加后显示。
在一些实施例中第二播放窗口直接播放摄像头采集到的本地视频。
本申请实施例示出一种显示设备,所述显示设备包括显示器、摄像头及控制器。控制器被配置为响应于用户对显示界面中开始训练控件的选中,获取示范视频,升起并开启摄像头,所述摄像头用于采集本地图形;控制显示器的第一播放窗口播放所述示范视频,显示器的第二播放窗口展示所述本地图像。可见,本申请实施例示出的技术方案,通过第一播放窗口展示示范视频,第二播放窗口展示本地图片,用户在练习的过程中可以通过两个窗口内展示内容的比对及时的调整自身的动作,提高用户的体验感。
摄像头用于采集本地视频,本地视频为连续的本地图像的集合。在比对的过程中,如果针对每一帧图像都进行比对的话,控制器的数据处理量较大。
基于上述问题在一些可行性实施例中,控制器可将本地图像与示范视频帧进行比对,生成比对结果,用户健身结束后可以通过显示界面观看比对结果,进而帮助用户更好的了解自身的动作缺陷,以便用户在后续健身的过程中克服动作缺陷。其中,所述示范视频帧为示范视频中与所述本地图像相对应的图形。
在一些实施例中,采集本地图像的实现方式有多种。
例如,控制器可以控制摄像头在示范视频播放至预设时间点时采集本地图像;然后将摄像头采集的本地图像与预先存储的示范视频帧进行对比,进而得到对比结果。在一些实施例中可以是:当示范视频播放至预设时间点,控制器均会控制摄像头采集一个本地图像。其中,预设时间点可以是在示范视频出现第一图像为起点,每间隔T时间,均为一个预设时间点直到示范视频出现最后一帧图像。所述预设时间点也可以基于示范视频的内容生成,示范视频的内容中每个动作节点作为一个预设时间点。举例说明,对于一个示范视频,第一图像出现的起点为3s,T时间为10S,该示范视频的长度为53S。相应的预设时间点为:3S,13S,23S,33S,43S和53S,控制器会在释放视频播放至3S,13S,23S,33S,43S和53S时分别控制摄像头采集一个本地图像。示范视频中会按照预设时间节点增加标签,在播放时间出发标签时,采集本地图像。
再例如,摄像头一直处于开启的状态,并实时的录制本地视频,并本地视频发送至控制器。控制器可以在预设时间点处,抽取采集到的本地视频中对应的本地图像;然后将抽取的本地图像与预先存储的示范视频帧进行对比,进而得到对比结果。具体的实现过程:当示范视频播放至预设时间点,控制器在摄像头采集的本地视频中抽取一个或多个本地图像。其中,预设时间点可以是在示范视频出现第一图像为起点,每间隔T时间(即出现示范动作的时间),均为一个预设时间点直到示范视频出现最后一帧图像。所述预设时间点也可以基于示范视频的内容生成或预先标记的,示范视频的内容中每个动作节点作为一个预设时间点。举例说明,对于一个示范视频,第一图像出现的起点为3S,预设时间点为:3S、16S、23S、45S和53S,控制器会在释放视频播放至3S、16S、23S、45S和53S时在本地视频中采集一个本地图像。可知的,示范动作的出现时间是任意的,待比对图像的获取是根据标识示范动作的标签或时间点触发的。
通常用户是在观看示范视频播放的教练动作后,模仿着教练动作出相应的动作。用户从接收到示范动作到作出相应的动作这段时间内天然的存在一定的延迟。为了抵消延迟,本申请实施例示出的技术方案示出了一种“延迟图像的采集方法”。本实施例中引入延迟采集时间点的概念,其中,延迟采集时间点=预设时间点+预置反应时长。当示范视频播放至延迟采集时间点时,控制器控制摄像头采集本地视频。
本申请实施例示出的技术方案用过大量的实验数据统计。用户从接收到示范动作到作出相应的动作这段时间内用户的反应时间为1S,相应的本申请实施例示出的技术方案将预置反应时长配置为1S。举例说明,预设时间点为:3S、13S、23S、33S、43S和53S,相应的延迟采集时间点为:4S、14S、24S、24S、44S和54S。在示范视频第一次出现图像帧为起点,在起点之后14S、14S、24S、24S、44S和54S控制器控制摄像头分别采集本地图像。
控制器,将本地图像与示范视频帧进行比对,生成比对结果;其中,示范视频帧为示范视频的中与本地图像相对应的图像,或示范视频中对应该预设时间点的标准图像帧。在本申请实施例示出的技术方案中,所述示范视频的中的图像可以为带有标志图像。所述标志可以为时间标志,但并不是限于时间标志。后续可以基于所述标志确定本地图像与示范视频帧的对应关系。举例说明,当示范视频播放至4S时,控制器控制摄像头采集本地视,所述本地视频对应的时间标志为3s,并将该本地视频与时间标志为3S的目标视频进行比对。
在一些实施例中,示范视频中存储有示范视频帧的关节点数据,该关节点数据是提前预置的,示范视频帧之外的其他图像帧由于不存在需求,因此可以不预置关节点数据。
在上述实施例示出的技术方案中,预置反应时长被配置为1S。但是1S为一个统计的数据,通常情况下用户的反应时长为1S,但是1S并不适用于所有的用户,在实际应用的过程中可以根据需求设置预置反应时长。
动作比对通过图像比对会造成较大的处理负担,为了进一步降低控制器的数据处理量本申请实施例示出的技术方案可以仅针对本地图像与示范视频中的中一些“关键部位”进行比对具体的实现过程:即,动作的比对是通过关节点的比对完成的。
在所述第二视频窗口播放所述本地图像之前,所述控制器还用于:识别所述本地图像中的关节点;比对所述本地图像中的关节点和示范视频中的关节点。
在一些可行性实施例中,所述控制器被配置为响应于用户对第一显示界面中开始训练控件的选中,控制器控制摄像头启动,以使得摄像头采集本地图像。摄像头将采集的本地图像传输至控制器。控制器识别所述本地图像中的关节点;在一些实施例中,控制器根据预设的模型识别本地图像中的关节点,所述关节点为人体关节对应的点以及人体的头部对应点,通常人体包括13个关节位。控制器通过对全身13个重要骨骼关节点位的标注。其中,标注了13个关节位的本地图像可以参阅图31。13个关节位分别为:左腕部、左肘部、左肩部、胸腔部、腰部、左膝盖部、左踝部、头部、右腕部、右肘部、右肩部、右膝盖部、右踝部。但在一些采集到的本地图像中人体有时出出现部分缺失的状况,此时可以仅识别图像中的人体部分。
所述控制器还用于,比对所述本地图像中的关节点和示范视频/示范视频帧中的关节点,确定本地图像中人体动作和示范视频中人体动作差异程度;在采集到的本地图像中标注识别出的关节点,其中,不同的颜色标注不同动作差异程度的关节点。
其中,确定本地图像中人体动作和示范视频中人体动作差异程度的实现方式有多种:
例如,比对方式可以是比对本地图像中人体的关节点所处的位置与示范视频中人体的关节点所处的相对位置。基于相对位置的差异得到比对结果。不同的比对结果采用不同的颜色进行标注。
举例说明:本地图像中人体的左腕部与示范视频中人体的左腕部位置相差10标准值,可以采用红色标注左腕部关节点。本地图像中人体的右腕部与示范视频中人体的右腕部位置相差1标准值,可以采用绿色标注右腕部关节点。
再例如,比对方式可以计算两个关节位的匹配度,根据匹配度生成相应的结果。或者根据自身关节点之间的相对位置关系,确定动作的匹配程度。
在一些实施例中关节点的识别和匹配还可以采用相关技术中的其他可实现手段来代替。
在一些实施例中,预先在示范视频中标注出示范关节位,并将示范关节位与示范视频一同存储在本地的数据列表中。示范关节位的标注过程与前述一些实施例示出的标注过程类似,在此便不详细说明。
在一些实施例中,控制器将本地图像中的第一角度与对应的标准角度进行比对,生成比对结果。其中,第一角度为本地图像中每一个关节位与邻近关节位连线与躯干连线之间的夹角;标准角度为示范视频中每一个关节位与邻近关节位连线与躯干连线之间的夹角。
其中第一角度与标准角度之间的对应关系,可以基于时间标识生成。举例说明,本地图像的采集时间为10S,那么左踝部的第一角度对应的标准角度为示范视频中第10S出现的图像中的左踝部与邻近关节位连线与躯干连线之间的夹角。
举例说明,请参阅图32,图32为根据一些实施例示出的打了关节批注的本地图像。对于左腕部1A而言,左腕部1A临近的关节位为左肘部1B,相应的左腕部1A与左肘部1B连接线与躯干连线之间的夹角称之为的第一角度1a。通过上述方法可以分别计算左肘部,左肩部,左膝盖部,左踝部,头部,右腕部,右肘部,右肩部,右膝盖部,右踝部对应的第一角度。
其中,标准角度的生成方式可以参考第一角度的生成方式,在此便不赘述。
控制器计算第一角度与对应的标准角度的匹配度;根据所述匹配度可以用于评价用户动作完成的好坏程度。
可见本申请实施例示出的技术方可以计算出每个关节位所处的位置与标准位置之间的差异,进而帮助用户每个部位的完成情况提高用户的体验感。
为了帮助用户进一步了解各个部位动作完成的情况,本申请实施例示出的技术方案,控制器计算第一角度与对应的标准角度的匹配度,根据所述匹配度符合的区域,将关节点标注相应的颜色。
举例说明:在一些实施例示出的技术方案中,所述匹配度可以用角度偏差表示,匹配结果根据预设标准差值。对于角度偏差大于15度,可以将相应的关节位标记为红色;对于10度~15度偏差,可以将相应的关节位标记为黄色。对于10度以下的度偏差,可以将相应的关节位标记为绿色。
举例说明,10S采集的本地图像中应左腕关节的第一角度与示范示范视频中10s对应的标准角度的相差20度,可以将相应的左腕关节标记为红色;10S采集的本地图像中应左踝关节的第一角度与示范示范视频中10s对应的标准角度的相差12度,可以将相应的左腕关节标记为黄色;10S采集的本地图像中应头部的第一角度与示范示范视频中10s对应的标准角度的相差6度,可以将相应的左腕关节标记为绿色,相应的,标注后的本地图像可以参阅图33。
由于人体世界动作的不匹配新,本申请实施例示出的技术方案示出一个“范围”比对方式。即在示范视频的播放到示范视频帧的时候,显示设备从本地视频中获取该时间点邻近的多个图像帧,在一些实施例中当示范视频播放至预置时间点时,控制器在本地视频中选取该时间点邻近的多个图像帧作为第一图像集,所述第一图像集至少包括第一本地图像和第二本地图像,其中第一本地图像为预置时间点对应的本地图像,第二本地图像为临近预设时间点对应的本地图像。
在一些实施例中,控制器计算所述第一图像集中的本地图像与示范视频帧匹配度,将匹配度最高的本地图像的比对结果作为该时间点的比对结果,将和示范视频帧匹配度最好的本地图像作为与该时间点对应的本地图像。
在一些实施例中还可以是:控制器计算第一本地图像与示范视频帧的匹配度(也可称之为人体动作差异程度),在人体动作差异程度大于预设阈值的时候,控制器在所述第一图像集中筛选出与示范视频帧匹配度最高的图像作为替换图像,并根据替换图像与示范视频帧的比对结果,标注替换图像。
举例说明,对于一个10S采集的本地图像中应腕关节的第一角度与示范示范视频中10S对应的标准角度的匹配度为20%,预置匹配度(预设阈值)为25%。在此情况下,控制器确定所述目标数据集的第一图像集;第一图像集为目标数据集中1S-13S这一时间段内包含的本地图像。分别计算每个本地图像中腕关节的第一角度与10S示范视频帧中腕关节的标准角度的匹配度,计算结果为8S对应的数据与10S示范视频帧中腕关节的标准角度的匹配度为80%,80%最高匹配度。将10S对应腕关节的比对结果调整为80%,并用80%对用的颜色标注腕关节,控制器缓存标注后的本地视频。
在一些实施例中,当完成示范视频的播放,控制器可以控制显示器显示练习评价界面,所述练习评价界面用于展示标注后的本地图片。练习评价界面可以参阅图34,练习评价界面上可以同时展示用户的评分等级,用户的动作以及规范动作。其中评分等级可以基于本地图像与示范视频帧的匹配度生成。
在一些实施例中,练习评价界面可以以滚动的方式展示多个对应的用户的动作以及规范动作。其中,展示的先后顺序可以为:按照评分由低到高依次展示。其中,和示范视频帧匹配程度越高,评分越高。
在另一些实施例中,练习评价界面的展示形式可以参阅图34,练习评价界面置有两个显示窗口,一个显示用户动作中该时间点对应的本地图像,一个显示规范动作对应的示范视频帧。
在一些实施例中,为了进一步降低控制器的数据处理量,可以将‘关节点比对过程’放置在服务器端执行,具体的实现过程:
在一些实施例中,在所述第二视频窗口播放所述本地图像之前,所述控制器还用于:识别所述本地图像中的关节点;将所述本地图像中的关节点发送给服务器,所述服务器以使得服务器可以比对所述本地图像中的关节点和示范视频中的示范视频帧的关节点,确定本地图像中人体动作和示范视频中的示范视频帧的人体动作差异程度并生成反馈信息给所述显示设备。
在一些实施例中,显示设备中的关节点识别单元对摄像头采集的所有图像进行关节点的识别和标记,并在第二播放窗口进行显示。在示范视频播放至示范视频帧时,显示设备将此刻采集的本地图像的关节点数据和/或邻近时刻采集的本地图像的关节点数据上传给服务器已进行匹配程度的判断。
其中,本地图像中人体动作和示范视频中人体动作差异程度的比对方式,可以参阅上述实施例,在此便不赘述。
控制器被进一步配置为接收服务器发送的反馈消息,根据所述反馈消息在本地图像中标注识别出的关节点,其中,不同的颜色标注不同动作差异程度的关节点。
进一步的,本申请实施例示出的技术方案,采用不同的颜色来标记各关节位动作完成的情况。采用不同的颜色来区分用户各关节的完成情况,不同的颜色起到醒目的作用。可见采用本申请实施例示出的方案进一步帮助用户了解各个部位动作完成的情况。
在一些实施例中,如图35所述,在第二显示界面中,如果该时间点用户的动作和示范视频帧的匹配动作较高,增在第二播放窗口中增加浮层以显示提示语句,来对用户进行鼓励。
在一些实施例中,如图35所述,在第二显示界面中,第二播放窗口的上方还设置有训练进度控件,以展示用户动作的完成程度,控制器在检测到在用户动作和示范动作帧的匹配程度高于预设值时,控制训练进度控件中显示的完成程度值提高。在检测到在用户动作和示范动作帧的匹配程度低于预设值时,控制训练进度控件中显示的完成程度值维持不变。
为了减少服务器的数据处理量,在一些实施例中,服务器可以针对预设时间点对应的本地图像进行处理,具体的实现过程可以是:所述控制器将所述本地图像中的关节点发送给服务器,具体为:所述控制器,在所述示范视频的播放时间达到预设时间点时,缓存所述预设时间点前后预定时间段内采集到的本地图像。识别缓存的本地图像的关节点数据并将识别出的关节点数据发送给服务器。
其中,本地图像的缓存过程可以参阅上述实施在此便不赘述。
值得注意的是,由于图片在传输过程中占用的带宽较大,为了降低数据传输过程中占用的带宽本实施例示出的方案将本地视频的的关节点发送给服务器。
在一些实施例中,所述控制器还可以进一步被配置为,发送所述识别出的关节点数据发送给服务器的同时,将预设时间点发送个服务器,以使的所述服务器根据所述预设时间点确定用于比对的示范视频的图像帧(即目标图像)。
在一些可行性实施例中所述控制器,在人体动作差异程度大于预设阈值的时候,标注所述本地图像并缓存标注后的本地图像的图片和预设时间点对应的示范视频帧。以便在示范视频播放结束时,调取动作差异较大的本地视频。
在一些可行性实施例中所述控制器,在播放结束后,控制显示器显示练习评价界面,并在所述练习评价界面展示缓存的标注后的本地图像的图片和预设时间点对应的示范视频帧。
在一些实施例中,对预设时间点的示范视频帧和对应的本地图像按照匹配程度(或评分)进行排序,在示范视频播放结束后,选取匹配程度(或评分)低的预设个数的时间点的示范视频帧和对应的本地图像进行展示。示例性的,例如缓存了5个时间点的示范视频帧和对应的本地图像按照匹配程度,在示范视频播放结束后,选取匹配程度(或评分)低的3个的时间点的示范视频帧和对应的本地图像进行展示。
其中,练习评价界面的展示方式可以参阅上述实施例。
本行申请实施例还示出一种显示设备,包括:
显示屏,用于显示第一显示界面和所述第二显示界面,所述第一显示界面包括用于控制播放示范视频的播放控件,所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口;
摄像头,用于采集本地图像;
控制器,所述控制器被配置为:
接收输入的对所述播放控件的确认操作,启动摄像头,并加载所述示范视频的视频数据;
响应于所述确认操作,展示所述第二界面;
在示范视频播放过程中,检测到表征所述示范视频的播放时间达到预设时间点的标签时,截取采集到的本地视频的当前视频帧及时间上邻近所述当前视频帧的邻近视频帧;
识别所述当前视频帧的关节点与所述邻近视频帧的关节点;
比对所述当前视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点;比对所述邻近视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点;
根据比对结果标注所述前视频帧或邻近视频帧的人体动作差异程度;
缓存标注后的人体动作差异程度低于差异阈值的所述当前视频帧或所述邻近视频帧,以及所述示范视频帧,以用于练习评价界面的展示。
本申请实施例还示出一种显示设备,包括:
显示屏,用于显示第一显示界面和所述第二显示界面,所述第一显示界面包括用于控制播放示范视频的播放控件,所述第二显示界面中包含用于播放所述示范视频的第一播放窗口和用于播放摄像头采集到的本地图像的第二播放窗口;
摄像头,用于采集本地图像;
控制器,所述控制器被配置为:
接收输入的对所述播放控件的确认操作,启动摄像头,并加载所述示范视频的视频数据;
响应于所述确认操作,展示所述第二界面,并在所述第一播放窗口播放所述示范视频,在所述第二视频窗口播放进行关节点标注后的所述本地图像,其中在所述关节点标注后的所述本地图像中,第一关节点被标注为第一颜色,第二关节点被标注为第二颜色,第一关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度大于第二关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度。
本申请实施例还示出一种界面显示方法,包括:
在显示第一界面时,接收输入的对所述第一界面中的播放控件的确认操作,启动摄像头,并加载所述示范视频的视频数据;
响应于所述确认操作,显示所述第二界面,并在所述第二界面中的第一播放窗口播放所述示范视频,在所述第二界面中的第二视频窗口播放所述本地图像。
本申请实施例还示出一种界面显示方法,包括:
在显示第一界面时,接收输入的对所述播放控件的确认操作,启动摄像头,并加载所述示范视频的视频数据;
响应于所述确认操作,展示所述第二界面;
在示范视频播放过程中,检测到表征所述示范视频的播放时间达到预设时间点的标签时,截取采集到的本地视频的当前视频帧及时间上邻近所述当前视频帧的邻近视频帧(视频帧在本申请实施例示出的方案中也可称之为图像);
识别所述当前视频帧的关节点与所述邻近视频帧的关节点;
比对所述当前视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点;比对所述邻近视频帧的关节点和所述示范视频中和所述预设时间点对应的示范视频帧的关节点;
根据比对结果标注所述前视频帧或邻近视频帧的人体动作差异程度;
缓存标注后的人体动作差异程度低于差异阈值的所述当前视频帧或所述邻近视频帧,以及所述示范视频帧;
响应于所述示范视频播放结束,显示练习评价界面,其中所述练习评价界面显示所述标注后的人体动作差异程度较低的所述当前视频帧或所述邻近视频帧,以及所述示范视频帧。
本申请实施例还示出一种界面显示方法,包括:
在显示第一界面时,接收输入的对所述第一界面中的播放控件的确认操作,启动摄像头,并加载所述示范视频的视频数据;
响应于所述确认操作,展示所述第二界面,并在所述第二界面中的第一播放窗口播放所述示范视频,在所述第二界面中的第二视频窗口播放进行关节点标注后的所述本地图像,其中在所述关节点标注后的所述本地图像中,第一关节点被标注为第一颜色,第二关节点被标注为第二颜色,第一关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度大于第二关节点所在的身体部位和示范视频中对应的身体部分的动作差异程度。
具体实现中,本申请还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本申请提供的方法的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-only memory,简称:ROM)或随机存储记忆体(英文:random access memory,简称:RAM)等。
本领域的技术人员可以清楚地了解到本申请实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于方法实施例而言,由于其基本相似于显示设备实施例,所以描述的比较简单,相关之处参见显示设备实施例中的说明即可。
以上所述的本申请实施方式并不构成对本申请保护范围的限定。
Claims (10)
1.一种显示设备,其特征在于,包括:
显示器;
控制器,用于:
响应于输入的指示跟练示范视频的指令,显示跟练界面,其中,所述跟练界面设置有示范视频窗口和本地视频窗口;
根据所述示范视频对应的媒资ID从服务器接获取对应所述示范视频的第一视频流数据以在所述示范视频窗口播放所述示范视频;并从与所述控制器连接的图像采集器接收所述图像采集器实时采集并生成的本地视频流以在所述本地视频窗口播放;其中,所述示范视频中设置有关键帧;
在所述示范视频播放至所述关键帧时,根据对应所述关键帧的第一时间确定延迟采集时间,其中,所述延迟采集时间为所述第一时间加上预置反应时长;
根据所述延迟采集时间和所述本地视频中视频帧的时间戳,在所述本地视频流中获取对应所述延迟采集时间的待比对本地视频帧,并将所述关键帧和所述待比对本地视频帧进行动作比对以确定等级标识,其中,所述等级标识表征所述待比对本地视频帧和所述关键帧中人物动作的动作差异程度,不同等级标识对应动作匹配程度不同;
在所述本地视频窗口上显示所述等级标识;
响应于跟练过程的结束,检测是否接收到用户输入,当在预设时长内未接收到用户输入时,呈现自动播放提示界面,并启动倒计时,其中,所述自动播放提示界面显示有倒计时提示信息,待自动播放的视频信息;
在倒计时过程中持续检测是否接收到用户输入;
若倒计时完成之前未接收到用户输入,则在倒计时完成后播放待自动播放的视频;
在倒计时结束前若检测到用户输入,停止所述倒计时,并执行对应所述检测到的用户输入对应的控制逻辑。
2.根据权利要求1所述的显示设备,其特征在于,
所述将所述关键帧和所述待比对本地视频帧进行动作比对,包括:
将所述关键帧和所述待比对本地视频帧进行动作比对,以得到根据所述待比对本地视频帧与所述关键帧的匹配程度生成本次动作匹配的评分;
根据所述评分,确定所述评分对应的等级标识。
3.根据权利要求2所述的显示设备,其特征在于,所述将所述关键帧和所述待比对本地视频帧进行动作比对,包括:
将所述关键帧和所述待比对本地视频帧进行骨骼点匹配,以确定动作的相似程度。
4.根据权利要求1所述的显示设备,其特征在于,所述显示设备为智能电视,在所述跟练界面中,所述示范视频窗口和所述本地视频窗口横向排布,在用户观看视角中,所述示范视频窗口位于所述本地视频窗口的左侧。
5.根据权利要求4所述的显示设备,其特征在于,所述示范视频窗口的横向宽度大于所述本地视频窗口的横向宽度。
6.根据权利要求1所述的显示设备,其特征在于,所述从与所述控制器连接的图像采集器接收所述图像采集器实时采集并生成的本地视频流以在所述本地视频窗口播放包括:
从与所述控制器连接的图像采集器接收图像采集器实时采集并生成的本地视频流;
根据所述本地视频流确定本地视频流中图像帧的骨骼点;
在所述本地视频窗口中播放视频流的同时叠加显示所述骨骼点。
7.根据权利要求6所述的显示设备,其特征在于,
在所述本地视频窗口上的肢体动作匹配程度不同的肢体位置,叠加显示的骨骼点的颜色不同。
8.根据权利要求1所述的显示设备,其特征在于,所述显示设备还包括图像采集器,所述图像采集器默认隐藏,在响应于输入的指示跟练示范视频的指令之后,在接收图像采集器生成的本地视频流之前,所述控制器还用于:
控制所述图像采集器从隐藏位置升起,以使所述图像采集器伸出所述显示设备的框架;以及启动所述图像采集器,以使所述图像采集器开始进行图像的采集。
9.一种界面显示方法,其特征在于,所述方法包括:
响应于输入的指示跟练示范视频的指令,显示跟练界面,其中,所述跟练界面设置有示范视频窗口和本地视频窗口;
根据所述示范视频对应的媒资ID从服务器接获取对应所述示范视频的第一视频流数据以在所述示范视频窗口播放所述示范视频;并从与控制器连接的图像采集器接收所述图像采集器实时采集并生成的本地视频流以在所述本地视频窗口播放;其中,所述示范视频中设置有关键帧;
在所述示范视频播放至所述关键帧时,根据对应所述关键帧的第一时间确定延迟采集时间,其中,所述延迟采集时间为所述第一时间加上预置反应时长;
根据所述延迟采集时间和所述本地视频中视频帧的时间戳,在所述本地视频中获取对应所述延迟采集时间的待比对本地视频帧,并将所述关键帧和所述待比对本地视频帧进行动作比对以确定等级标识,其中,所述等级标识表征所述本地视频帧和所述关键帧中人物动作的动作差异程度,不同等级标识对应动作匹配程度不同;
在所述本地视频窗口上显示所述等级标识;
响应于跟练过程的结束,检测是否接收到用户输入,当在预设时长内未接收到用户输入时,呈现自动播放提示界面,并启动倒计时,其中,所述自动播放提示界面显示有倒计时提示信息,待自动播放的视频信息;
在倒计时过程中持续检测是否接收到用户输入;
若倒计时完成之前未接收到用户输入,则在倒计时完成后播放待自动播放的视频;
在倒计时结束前若检测到用户输入,停止所述倒计时,并执行对应所述检测到的用户输入对应的控制逻辑。
10.如权利要求9所述的方法,其特征在于:
在响应与输入的指示跟练示范视频的指令之前,所述方法还包括:
显示详情界面,所述详情界面包括播放窗口和播放控件,其中,所述播放窗口用于播放示范视频,所述输入的指示跟练示范视频的指令为输入的对所述播放控件或所述播放窗口的选择指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410398880.6A CN118212693A (zh) | 2019-08-18 | 2020-08-18 | 显示设备及界面显示方法 |
Applications Claiming Priority (23)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910761455 | 2019-08-18 | ||
CN2019107614558 | 2019-08-18 | ||
CN2020103642034 | 2020-04-30 | ||
CN202010364203 | 2020-04-30 | ||
CN2020103865475 | 2020-05-09 | ||
CN202010386547.5A CN112399234B (zh) | 2019-08-18 | 2020-05-09 | 一种界面显示方法及显示设备 |
CN2020104123580 | 2020-05-15 | ||
CN202010412358.0A CN113596590B (zh) | 2020-04-30 | 2020-05-15 | 显示设备及播放控制方法 |
CN2020104297050 | 2020-05-20 | ||
CN202010429705.0A CN113596551B (zh) | 2020-04-30 | 2020-05-20 | 显示设备及播放速度调整方法 |
CN2020104442124 | 2020-05-22 | ||
CN2020104442961 | 2020-05-22 | ||
CN2020104404654 | 2020-05-22 | ||
CN202010444296.1A CN113591523B (zh) | 2020-04-30 | 2020-05-22 | 显示设备及经验值更新方法 |
CN202010440465.4A CN113596536B (zh) | 2020-04-30 | 2020-05-22 | 显示设备及信息显示方法 |
CN202010444212.4A CN113596537B (zh) | 2020-04-30 | 2020-05-22 | 显示设备及播放速度方法 |
CN202010459886.1A CN113591524A (zh) | 2020-04-30 | 2020-05-27 | 显示设备及界面展示方法 |
CN2020104598861 | 2020-05-27 | ||
CN202010479491.8A CN113596552B (zh) | 2020-04-30 | 2020-05-29 | 显示设备及信息显示方法 |
CN2020104794918 | 2020-05-29 | ||
CN202010673469.7A CN111787375B (zh) | 2020-04-30 | 2020-07-13 | 显示设备及信息显示方法 |
CN2020106734697 | 2020-07-13 | ||
PCT/CN2020/109859 WO2021032092A1 (zh) | 2019-08-18 | 2020-08-18 | 显示设备 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410398880.6A Division CN118212693A (zh) | 2019-08-18 | 2020-08-18 | 显示设备及界面显示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113678137A CN113678137A (zh) | 2021-11-19 |
CN113678137B true CN113678137B (zh) | 2024-03-12 |
Family
ID=78538555
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202080024736.6A Active CN113678137B (zh) | 2019-08-18 | 2020-08-18 | 显示设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113678137B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114513694B (zh) * | 2022-02-17 | 2024-09-20 | 平安国际智慧城市科技股份有限公司 | 评分确定方法、装置、电子设备和存储介质 |
Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102724449A (zh) * | 2011-03-31 | 2012-10-10 | 青岛海信电器股份有限公司 | 互动式电视机和利用显示装置实现与用户互动的方法 |
CN103164024A (zh) * | 2011-12-15 | 2013-06-19 | 西安天动数字科技有限公司 | 体感互动系统 |
CN103327356A (zh) * | 2013-06-28 | 2013-09-25 | Tcl集团股份有限公司 | 一种视频匹配方法、装置 |
CN103764235A (zh) * | 2011-08-31 | 2014-04-30 | 英派尔科技开发有限公司 | 用于基于姿势的游戏系统的位置设置 |
CN105228708A (zh) * | 2013-04-02 | 2016-01-06 | 日本电气方案创新株式会社 | 身体动作评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 |
CN105898133A (zh) * | 2015-08-19 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 一种视频拍摄方法及装置 |
CN106570719A (zh) * | 2016-08-24 | 2017-04-19 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
CN107153812A (zh) * | 2017-03-31 | 2017-09-12 | 深圳先进技术研究院 | 一种基于机器视觉的运动辅助方法及系统 |
CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
CN107920269A (zh) * | 2017-11-23 | 2018-04-17 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
CN107952238A (zh) * | 2017-11-23 | 2018-04-24 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
CN108260016A (zh) * | 2018-03-13 | 2018-07-06 | 北京小米移动软件有限公司 | 直播处理方法、装置、设备、系统及存储介质 |
CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
CN108615055A (zh) * | 2018-04-19 | 2018-10-02 | 咪咕动漫有限公司 | 一种相似度计算方法、装置及计算机可读存储介质 |
CN208174836U (zh) * | 2018-06-11 | 2018-11-30 | 石家庄科翔电子科技有限公司 | 一种安放摄像头用隐藏式结构 |
CN109144247A (zh) * | 2018-07-17 | 2019-01-04 | 尚晟 | 视频交互的方法以及基于可交互视频的运动辅助系统 |
CN109389035A (zh) * | 2018-08-30 | 2019-02-26 | 南京理工大学 | 基于多特征和帧置信分数的低延迟视频动作检测方法 |
CN109621425A (zh) * | 2018-12-25 | 2019-04-16 | 广州华多网络科技有限公司 | 一种视频生成方法、装置、设备及存储介质 |
CN109815930A (zh) * | 2019-02-01 | 2019-05-28 | 中国人民解放军总医院第六医学中心 | 一种动作模仿拟合度评价方法 |
CN109859324A (zh) * | 2018-12-29 | 2019-06-07 | 北京光年无限科技有限公司 | 一种基于虚拟人的动作教学方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8437506B2 (en) * | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
KR101711488B1 (ko) * | 2015-01-28 | 2017-03-03 | 한국전자통신연구원 | 동작 기반 인터랙티브 서비스 방법 및 시스템 |
-
2020
- 2020-08-18 CN CN202080024736.6A patent/CN113678137B/zh active Active
Patent Citations (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102724449A (zh) * | 2011-03-31 | 2012-10-10 | 青岛海信电器股份有限公司 | 互动式电视机和利用显示装置实现与用户互动的方法 |
CN103764235A (zh) * | 2011-08-31 | 2014-04-30 | 英派尔科技开发有限公司 | 用于基于姿势的游戏系统的位置设置 |
CN103164024A (zh) * | 2011-12-15 | 2013-06-19 | 西安天动数字科技有限公司 | 体感互动系统 |
CN105228708A (zh) * | 2013-04-02 | 2016-01-06 | 日本电气方案创新株式会社 | 身体动作评分装置、舞蹈评分装置、卡拉ok装置以及游戏装置 |
CN103327356A (zh) * | 2013-06-28 | 2013-09-25 | Tcl集团股份有限公司 | 一种视频匹配方法、装置 |
CN105898133A (zh) * | 2015-08-19 | 2016-08-24 | 乐视网信息技术(北京)股份有限公司 | 一种视频拍摄方法及装置 |
CN106570719A (zh) * | 2016-08-24 | 2017-04-19 | 阿里巴巴集团控股有限公司 | 一种数据处理方法及装置 |
CN107153812A (zh) * | 2017-03-31 | 2017-09-12 | 深圳先进技术研究院 | 一种基于机器视觉的运动辅助方法及系统 |
CN107349594A (zh) * | 2017-08-31 | 2017-11-17 | 华中师范大学 | 一种虚拟舞蹈系统的动作评价方法 |
CN107952238A (zh) * | 2017-11-23 | 2018-04-24 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
CN107920269A (zh) * | 2017-11-23 | 2018-04-17 | 乐蜜有限公司 | 视频生成方法、装置和电子设备 |
CN108260016A (zh) * | 2018-03-13 | 2018-07-06 | 北京小米移动软件有限公司 | 直播处理方法、装置、设备、系统及存储介质 |
CN108537284A (zh) * | 2018-04-13 | 2018-09-14 | 东莞松山湖国际机器人研究院有限公司 | 基于计算机视觉深度学习算法的姿态评估打分方法和系统 |
CN108615055A (zh) * | 2018-04-19 | 2018-10-02 | 咪咕动漫有限公司 | 一种相似度计算方法、装置及计算机可读存储介质 |
CN208174836U (zh) * | 2018-06-11 | 2018-11-30 | 石家庄科翔电子科技有限公司 | 一种安放摄像头用隐藏式结构 |
CN109144247A (zh) * | 2018-07-17 | 2019-01-04 | 尚晟 | 视频交互的方法以及基于可交互视频的运动辅助系统 |
CN109389035A (zh) * | 2018-08-30 | 2019-02-26 | 南京理工大学 | 基于多特征和帧置信分数的低延迟视频动作检测方法 |
CN109621425A (zh) * | 2018-12-25 | 2019-04-16 | 广州华多网络科技有限公司 | 一种视频生成方法、装置、设备及存储介质 |
CN109859324A (zh) * | 2018-12-29 | 2019-06-07 | 北京光年无限科技有限公司 | 一种基于虚拟人的动作教学方法及装置 |
CN109815930A (zh) * | 2019-02-01 | 2019-05-28 | 中国人民解放军总医院第六医学中心 | 一种动作模仿拟合度评价方法 |
Non-Patent Citations (2)
Title |
---|
An Approach to Ballet Dance Training through MS Kinect 1 2 and Visualization in a CAVE Virtual Reality Environment;MATTHEW KYAN等;《ACM-TRANSACTION》;1-38 * |
运动视频分析软件在羽毛球技术教学中的研究;赵化雨;《当代体育科技》;第8卷(第17期);132、134 * |
Also Published As
Publication number | Publication date |
---|---|
CN113678137A (zh) | 2021-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113591523B (zh) | 显示设备及经验值更新方法 | |
CN118212693A (zh) | 显示设备及界面显示方法 | |
CN116074564B (zh) | 一种界面显示方法及显示设备 | |
CN112272324B (zh) | 一种跟练模式控制方法及显示设备 | |
US11706485B2 (en) | Display device and content recommendation method | |
WO2021088320A1 (zh) | 显示设备和内容显示方法 | |
CN112533037B (zh) | 连麦合唱作品的生成方法和显示设备 | |
CN112399212A (zh) | 显示设备、分享文件的方法和服务器 | |
CN112073770B (zh) | 显示设备及视频通讯数据处理方法 | |
CN112333499A (zh) | 寻找目标设备的方法和显示设备 | |
WO2021088888A1 (zh) | 焦点切换方法、显示设备及系统 | |
CN112399264A (zh) | 一种放映厅业务管理方法及应用 | |
CN112040272A (zh) | 体育赛事智能解说方法、服务器及显示设备 | |
CN113678137B (zh) | 显示设备 | |
CN112463267B (zh) | 在显示设备屏幕上呈现屏保信息的方法及显示设备 | |
CN112839254A (zh) | 显示设备与内容显示方法 | |
WO2022037224A1 (zh) | 显示设备及音量控制方法 | |
EP4245387A1 (en) | Control method and electronic device | |
CN112533023B (zh) | 连麦合唱作品的生成方法和显示设备 | |
CN112073777B (zh) | 一种语音交互方法及显示设备 | |
CN112533030A (zh) | 一种演唱界面的显示方法、显示设备及服务器 | |
CN118283310A (zh) | 显示设备、跟练视频的回放方法及健身视频的跟练方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |