CN108733214A - 阅读器控制方法、装置、阅读器及计算机可读存储介质 - Google Patents

Abstract

本发明提供了一种阅读器控制方法、装置、阅读器及计算机可读存储介质，其中，该阅读器控制方法包括：获取用户的语音信息对应的第一语句信息；获取用户的眼球追踪到的第二语句信息；判断第一语句信息与第二语句信息是否一致；在第一语句信息与第二语句信息一致时，执行指定操作。通过本发明解决了现有技术中在电子阅读过程中，依据眼球追踪执行指定操作，可能会导致误操作的问题，实现了不仅无需用户通过手部的按键式或触摸屏式的人机交互方式完成划横线标注重点、批注、显示翻译等操作，并且提高了操作的准确度。

Description

阅读器控制方法、装置、阅读器及计算机可读存储介质

技术领域

本发明涉及电子信息技术领域，具体涉及一种阅读器控制方法、装置、阅读器及计算机可读存储介质。

背景技术

随着移动互联网技术的不断发展，手机、平板电脑等移动终端的日益普及，使用移动终端进行阅读的现象也越来越常见，有调研报告显示移动阅读已经成为互联网用户使用频率较高的应用之一。

为了提高移动阅读质量，在阅读电子文档时，时常有写笔记、读后感、批注或者划横线标注重点等需求。用户可以通过按键式或触摸屏式的人机交互方式完成划横线标注重点、批注、显示翻译等操作。然而无论是按键式还是触摸屏式的移动终端，都需要用户根据阅读的速度及进度进行手动的操作，当用户双手被占用时，使用上述该移动终端就很不方便。为此，在现有技术中，提供了基于视线追踪自动翻页的电子阅读器及其方法，以及基于眼球追踪技术的特定数据生成系统及方法，即，通过眼球追踪技术完成指定操作，然而，用户的视线和眼球的变动不一定代表要执行相应的操作，这样可能会导致误操作的问题。

发明内容

有鉴于此，本发明实施例提供了一种阅读器控制方法、装置、阅读器及计算机可读存储介质，以解决现有技术中在电子阅读过程中，依据眼球追踪执行指定操作，可能会导致误操作的问题。

为此，本发明实施例提供了如下技术方案：

本发明第一方面，提供了一种阅读器控制方法，包括：获取用户的语音信息对应的第一语句信息；获取所述用户的眼球追踪到的第二语句信息；判断所述第一语句信息与所述第二语句信息是否一致；在所述第一语句信息与所述第二语句信息一致时，执行指定操作。

可选地，获取用户的语音信息对应的第一语句信息之后，获取所述用户的眼球追踪到的第二语句信息之前，还包括：确定所述第一语句信息属于所述阅读器当前页面显示的语句信息。

可选地，获取所述用户的眼球追踪到的第二语句信息包括：获取眼球注视指定语句信息的持续时间；在所述持续时间大于预定阈值时，将所述指定语句信息作为所述第二语句信息。

可选地，所述指定操作包括显示菜单，其中，所述菜单包括以下至少之一：对所述第一语句信息进行标注；对所述第一语句信息进行翻译；对所述第一语句信息进行笔记。

本发明第二方面，提供了一种阅读器控制装置，包括：第一获取模块，用于获取用户的语音信息对应的第一语句信息；第二获取模块，用于获取所述用户的眼球追踪到的第二语句信息；判断模块，用于判断所述第一语句信息与所述第二语句信息是否一致；执行模块，用于在所述第一语句信息与所述第二语句信息一致时，执行指定操作。

可选地，所述装置还包括：确定模块，用于在所述第一获取模块获取用户的语音信息对应的第一语句信息之后，在所述第二获取模块获取所述用户的眼球追踪到的第二语句信息之前，确定所述第一语句信息属于所述阅读器当前页面显示的语句信息。

可选地，所述第二获取模块包括：获取单元，用于获取眼球注视指定语句信息的持续时间；处理单元，用于在所述持续时间大于预定阈值时，将所述指定语句信息作为所述第二语句信息。

可选地，所述指定操作包括显示菜单，其中，所述菜单包括以下至少之一：对所述第一语句信息进行标注；对所述第一语句信息进行翻译；对所述第一语句信息进行笔记。

本发明第三方面，提供了一种阅读器，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述第一方面中任一所述的阅读器控制方法。

本发明第四方面，提供了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现上述第一方面中任一所述的阅读器控制方法。

本发明实施例技术方案，具有如下优点：

本发明实施例提供了一种阅读器控制方法、装置、阅读器及计算机可读存储介质，其中，该阅读器控制方法包括：获取用户的语音信息对应的第一语句信息；获取用户的眼球追踪到的第二语句信息；判断第一语句信息与第二语句信息是否一致；在第一语句信息与第二语句信息一致时，执行指定操作，指定操作可以是划横线标注重点、批注、显示翻译等操作。解决了现有技术中在电子阅读过程中，依据眼球追踪执行指定操作，可能会导致误操作的问题，实现了不仅无需用户通过手部的按键式或触摸屏式的人机交互方式完成划横线标注重点、批注、显示翻译等操作，并且提高了操作的准确度。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例中手机的结构图；

图2是根据本发明实施例的阅读器控制方法的流程图；

图3是根据本发明实施例的阅读器控制方法的另一个流程图；

图4是根据本发明实施例的阅读器控制装置的结构框图；

图5是本发明实施例提供的阅读器的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，是本发明实施例的应用场景示意图。阅读器可以为手机或平板电脑等移动设备，阅读器以手机为例，手机的部分结构框图如图1所示，手机包括射频电路210、存储器220、输入单元230、显示单元240、传感器250、音频电路260、无线模块270、处理器280以及电源290等部分。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中RF电路210用于收发信息或通话过程中，信号的接收和发送。存储器220用于存储软件程序以及模块，处理器280通过运行存储在存储器220的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。输入单元230用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。输入单元230可包括触控面板231以及其他输入设备232。其他输入设备232可以包括但不限于物理键盘、功能键、鼠标、操作杆中的一种或几种。显示单元240用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元240可以包括显示面板241。触控面板231可覆盖显示面板241，当触控面板231检测到在其上或附近的触摸操作后，传送给处理器280以确定触摸事件的类型，随后处理器280根据触摸事件的类型在显示面板241上提供相应的视觉输出。

手机还可包括至少一种传感器250，如光传感器、运动传感器以及其他传感器。光传感器可包括环境光传感器及接近传感器，环境传感器可根据环境光线的明暗来调节显示面板241的亮度，接近传感器可在手机移动到耳边时，关闭显示面板241和/或背光。本实施例中光传感器可以设置在手机的正面和背面的壳体上，用于检测用户持握手机时的遮挡区域。此处还可以包括压力传感器，设置在手机的正面或背面壳体上，用于通过检测压力的方式获得用户持握手机时的遮挡区域。此外，手机还可以配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，不再赘述。

音频电路260、扬声器261、传声器262可提供用户与手机之间的音频接口。无线模块270可以是WIFI模块，为用户提供无线的互联网访问服务。

处理器280是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器220内的软件程序和/或模块，以及调用存储在存储器220内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器280可以包括一个或多个处理单元。此外，手机还包括各部件供电的电源290，通过电源管理系统与处理器280逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本实施例中提供了一种阅读器控制方法，可用于上述的移动终端，如手机、平板电脑等可以实现阅读功能的电子设备，图2是根据本发明实施例的阅读器控制方法的流程图，如图2所示，该流程包括如下步骤：

步骤S201，获取用户的语音信息对应的第一语句信息。具体地，在一个可选实施例中，通过阅读器的收音设备采集语音信号，放大该语音信号，并将该语音信息进行AD转换，将该模拟语音信号转换为数字语音信息，从预先存储的语音数据库中查找与该数字语音信息对应的文字信息，得到上述第一语句信息。本领域技术人员根据该实施例的描述，可以采用现有技术中其他的方式来获取上述第一语句信息。这里的语句信息可以是完整的一句话或者词组。

步骤S202，获取用户的眼球追踪到的第二语句信息。具体地，在一个可选实施例中，获取眼球注视指定语句信息的持续时间，在该持续时间大于预定阈值时，将该指定语句信息作为上述第二语句信息。根据观察和眼动仪的测试，阅读时人的眼球并不是连续不断的移动，而是作不均匀的忽动忽停的跳动，这种快速的眼球运动叫做“眼跳”，在迅速的跳动中间，存在着时间稍长的停顿，这种停顿在阅读学上称作“眼停”，也叫做“注视”。为了看清楚一个文字符号或一个词组，眼睛必须静止，尔后又必须迅速转移，以便看清楚下一个文章符号或词组，看时又要静止，如此循环往返。上述预定阈值可以是2S，本领域技术人员应当知晓，上述预定阈值可以根据情况灵活进行调整，任何显而易见的数据变化均在本实施例的保护范围之内。由于人们在看到自己不熟悉的内容时，会张大瞳孔，因此，在另一个可选实施例中，获取眼球注视指定语句信息时的瞳孔直径，在该瞳孔直径大于预定长度时，将该指定语句信息作为上述第二语句信息。需要说明的是，上述两种获取用户的眼球追踪到的第二语句信息的方式，仅为举例说明，而并非用以限制本发明。

步骤S203，判断该第一语句信息与该第二语句信息是否一致。

步骤S204，在该第一语句信息与该第二语句信息一致时，执行指定操作。具体地，该菜单可以包括对第一语句信息进行标注、对第一语句信息进行翻译或者对第一语句信息进行笔记。

通过上述步骤，在阅读过程中，用户遇到不熟悉的内容时，往往会长时间注视不熟悉的语句，通过默读仍然不能理解其含义的情况下，往往会将该不熟悉的语句读出来，这时即会判断用户可能需要对该不熟悉的语句进行标注，以便于日后反复阅读以求深入理解；或者需要对第一语句信息进行翻译，例如将英文翻译为中文、将文言文翻译为白话文；或者需要对该不熟悉的语句进行笔记，以便于进行深入理解。上述步骤将眼球追踪与语音识别相结合，相比于现有技术中，仅通过眼球追踪执行相应的操作，可能导致误操作，上述步骤提高了操作的准确度。

眼球追踪功能一般由摄像头实现，眼球追踪功能功耗比较高，因此，为了节省功耗，初始状态中眼球追踪模块为关闭状态，必要时，再开启眼球追踪模块。具体地，在一个可选实施例中，在采集到上述第一语音信息之后，判断第一语句信息是否属于该阅读器当前页面显示的语句信息，在属于的情况下，开启眼球追踪模块，眼球追踪模块获取用户的眼球追踪到的第二语句信息，在不属于的情况下，眼球追踪模块继续为关闭状态，从而可以节省阅读器功耗。

图3是根据本发明实施例的阅读器控制方法的另一个流程图，如图3所示，包括如下步骤:

步骤S301，阅读器语音模块监听并识别用户阅读时朗读某语句；

步骤S302，判断语音模块识别出的语句是否在当前文档页中，在判断结果为是的情况下，执行步骤S303；

步骤S303，开启阅读器的眼球追踪模块；因为眼球追踪模块如果持续开启会导致功耗很大，只有用户在阅读过程中所朗读的语句与当前文档页的内容匹配时，才开启眼球追踪模块，可以降低功耗；

步骤S304，判断用户眼睛是否专注于屏幕某处语句超过时间t，在判断结果为是的情况下，执行步骤S305；如果用户朗读了当前语句，但是可能只是想通过读出声来，并不需要对该语句进行特殊处理，这时，眼球追踪模块设定专注度时间阀值很有必要，以避免误操作；

步骤S305，眼球追踪模块识别出用户专注的语句，并退出眼球追踪模块；

步骤S306，判断语音模块识别结果与眼球追踪模块识别出语句是否匹配，在判断结果为是的情况下，执行步骤S307；语音识别模块识别的内容与当前文档页若不匹配，则不做进一步处理，避免了误判；

步骤S307，重点标注上述语句、圈划上述语句、弹出笔记书写框或者显示对上述语句的翻译内容；

步骤S308，继续监听用户语音并保存为批注。

在本实施例中还提供了一种阅读器控制装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图4是根据本发明实施例的阅读器控制装置的结构框图，如图4所示，包括：第一获取模块41，用于获取用户的语音信息对应的第一语句信息；第二获取模块42，用于获取该用户的眼球追踪到的第二语句信息；判断模块43，用于判断该第一语句信息与该第二语句信息是否一致；执行模块44，用于在该第一语句信息与该第二语句信息一致时，执行指定操作。

可选地，该装置还包括：确定模块，用于在该第一获取模块获取用户的语音信息对应的第一语句信息之后，在该第二获取模块获取该用户的眼球追踪到的第二语句信息之前，确定该第一语句信息属于该阅读器当前页面显示的语句信息。

可选地，该第二获取模块包括：获取单元，用于获取眼球注视指定语句信息的持续时间；处理单元，用于在该持续时间大于预定阈值时，将该指定语句信息作为该第二语句信息。

可选地，该指定操作包括显示菜单，其中，该菜单包括以下至少之一：对该第一语句信息进行标注；对该第一语句信息进行翻译；对该第一语句信息进行笔记。

本实施例中的阅读器控制装置是以功能单元的形式来呈现，这里的单元是指ASIC电路，执行一个或多个软件或固定程序的处理器和存储器，和/或其他可以提供上述功能的器件。

上述各个模块的更进一步的功能描述与上述对应实施例相同，在此不再赘述。

请参阅图5，该阅读器可以包括：至少一个处理器501，例如CPU(CentralProcessing Unit，中央处理器)，至少一个通信接口503，存储器504，至少一个通信总线502。其中，通信总线502用于实现这些组件之间的连接通信。其中，通信接口503可以包括显示屏(Display)、键盘(Keyboard)，可选通信接口503还可以包括标准的有线接口、无线接口。存储器504可以是高速RAM存储器(Random Access Memory，易挥发性随机存取存储器)，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器504可选的还可以是至少一个位于远离前述处理器501的存储装置。其中处理器501可以结合图4所描述的装置，存储器504中存储应用程序，且处理器501调用存储器504中存储的程序代码，以用于执行上述任一方法步骤，即用于执行以下操作：

获取用户的语音信息对应的第一语句信息；

获取所述用户的眼球追踪到的第二语句信息；

判断所述第一语句信息与所述第二语句信息是否一致；

在所述第一语句信息与所述第二语句信息一致时，执行指定操作。

本发明实施例中，处理器501调用存储器504中的程序代码，还用于执行以下操作：

获取用户的语音信息对应的第一语句信息之后，获取所述用户的眼球追踪到的第二语句信息之前，确定所述第一语句信息属于所述阅读器当前页面显示的语句信息。

本发明实施例中，处理器501调用存储器504中的程序代码，还用于执行以下操作：

获取眼球注视指定语句信息的持续时间；

在所述持续时间大于预定阈值时，将所述指定语句信息作为所述第二语句信息。

其中，通信总线502可以是外设部件互连标准(peripheral componentinterconnect，简称PCI)总线或扩展工业标准结构(extended industry standardarchitecture，简称EISA)总线等。通信总线502可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

其中，存储器504可以包括易失性存储器(英文：volatile memory)，例如随机存取存储器(英文：random-access memory，缩写：RAM)；存储器也可以包括非易失性存储器(英文：non-volatile memory)，例如快闪存储器(英文：flash memory)，硬盘(英文：hard diskdrive，缩写：HDD)或固态硬盘(英文：solid-state drive，缩写：SSD)；存储器504还可以包括上述种类的存储器的组合。

其中，处理器501可以是中央处理器(英文：central processing unit，缩写：CPU)，网络处理器(英文：network processor，缩写：NP)或者CPU和NP的组合。

其中，处理器501还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(英文：application-specific integrated circuit，缩写：ASIC)，可编程逻辑器件(英文：programmable logic device，缩写：PLD)或其组合。上述PLD可以是复杂可编程逻辑器件(英文：complex programmable logic device，缩写：CPLD)，现场可编程逻辑门阵列(英文：field-programmable gate array，缩写：FPGA)，通用阵列逻辑(英文：generic arraylogic,缩写：GAL)或其任意组合。

可选地，存储器504还用于存储程序指令。处理器501可以调用程序指令，实现如本申请图2和3实施例中所示的阅读器控制方法。

本发明实施例还提供了一种非暂态计算机存储介质，所述计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述任意方法实施例中的阅读器控制方法。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard DiskDrive，缩写：HDD)或固态硬盘(Solid-State Drive，SSD)等；所述存储介质还可以包括上述种类的存储器的组合。

本发明基于眼球追踪技术和语音识别技术，在用户阅读过程中对某段语句感兴趣或有疑问时，如果用户朗读该语句或语句中的片段，语音识别模块即监听并识别其语义，若匹配文档中语句，再开启眼球追踪模块，识别用户眼睛此时专注的语句，将语音识别模块识别的结果与眼球追踪模块识别的语句做匹配，若满足匹配要求则执行进一步的操作。比如在此语句下划横线重点标注，或者圈划此语句。并且，此后语音模块继续监听用户语音，若有则识别为针对该语句段落的阅读感想或批注，并记录到文档当中。现有技术中在电子阅读过程中，依据眼球追踪执行指定操作，可能会导致误操作的问题，实现了不仅无需用户通过手部的按键式或触摸屏式的人机交互方式完成划横线标注重点、批注、显示翻译等操作，并且提高了操作的准确度。

虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

Claims (10)

1.一种阅读器控制方法，其特征在于，包括：

获取用户的语音信息对应的第一语句信息；

获取所述用户的眼球追踪到的第二语句信息；

判断所述第一语句信息与所述第二语句信息是否一致；

在所述第一语句信息与所述第二语句信息一致时，执行指定操作。

2.根据权利要求1所述的方法，其特征在于，获取用户的语音信息对应的第一语句信息之后，获取所述用户的眼球追踪到的第二语句信息之前，还包括：

确定所述第一语句信息属于所述阅读器当前页面显示的语句信息。

3.根据权利要求1所述的方法，其特征在于，获取所述用户的眼球追踪到的第二语句信息包括：

获取眼球注视指定语句信息的持续时间；

在所述持续时间大于预定阈值时，将所述指定语句信息作为所述第二语句信息。

4.根据权利要求1至3中任一所述的方法，其特征在于，所述指定操作包括显示菜单，其中，所述菜单包括以下至少之一：

对所述第一语句信息进行标注；

对所述第一语句信息进行翻译；

对所述第一语句信息进行笔记。

5.一种阅读器控制装置，其特征在于，包括：

第一获取模块，用于获取用户的语音信息对应的第一语句信息；

第二获取模块，用于获取所述用户的眼球追踪到的第二语句信息；

判断模块，用于判断所述第一语句信息与所述第二语句信息是否一致；

执行模块，用于在所述第一语句信息与所述第二语句信息一致时，执行指定操作。

6.根据权利要求1所述的装置，其特征在于，所述装置还包括：

确定模块，用于在所述第一获取模块获取用户的语音信息对应的第一语句信息之后，在所述第二获取模块获取所述用户的眼球追踪到的第二语句信息之前，确定所述第一语句信息属于所述阅读器当前页面显示的语句信息。

7.根据权利要求5所述的装置，其特征在于，所述第二获取模块包括：

获取单元，用于获取眼球注视指定语句信息的持续时间；

处理单元，用于在所述持续时间大于预定阈值时，将所述指定语句信息作为所述第二语句信息。

8.根据权利要求5至7中任一所述的装置，其特征在于，所述指定操作包括显示菜单，其中，所述菜单包括以下至少之一：

对所述第一语句信息进行标注；

对所述第一语句信息进行翻译；

对所述第一语句信息进行笔记。

9.一种阅读器，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器执行上述权利要求1-4中任一所述的阅读器控制方法。

10.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现上述权利要求1-4中任一所述的阅读器控制方法。