[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN111753558B - 视频翻译方法和装置、存储介质和电子设备 - Google Patents

视频翻译方法和装置、存储介质和电子设备 Download PDF

Info

Publication number
CN111753558B
CN111753558B CN202010583177.4A CN202010583177A CN111753558B CN 111753558 B CN111753558 B CN 111753558B CN 202010583177 A CN202010583177 A CN 202010583177A CN 111753558 B CN111753558 B CN 111753558B
Authority
CN
China
Prior art keywords
translation
text
user
suggestion
clause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010583177.4A
Other languages
English (en)
Other versions
CN111753558A (zh
Inventor
杜育璋
朱培豪
陈一鸣
周崇兴
王明轩
李磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202010583177.4A priority Critical patent/CN111753558B/zh
Publication of CN111753558A publication Critical patent/CN111753558A/zh
Priority to KR1020227030540A priority patent/KR20220127361A/ko
Priority to JP2022564506A priority patent/JP7548602B2/ja
Priority to EP21830302.2A priority patent/EP4170543A4/en
Priority to PCT/CN2021/101388 priority patent/WO2021259221A1/zh
Application granted granted Critical
Publication of CN111753558B publication Critical patent/CN111753558B/zh
Priority to US17/818,969 priority patent/US11763103B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/51—Translation evaluation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/57—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for processing of video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234336—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by media transcoding, e.g. video is transformed into a slideshow of still pictures or audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Machine Translation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本公开涉及一种视频翻译方法和装置、存储介质和电子设备，所述方法包括：将待翻译的视频的语音转换为文本；展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文；响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文。本公开可以提升翻译的效率以及翻译的质量。

Description

视频翻译方法和装置、存储介质和电子设备
技术领域
本公开涉及机器翻译领域，具体地，涉及一种视频翻译方法和装置、存储介质和电子设备。
背景技术
在机器翻译发达的如今，简单的翻译任务已经可以通过机器翻译加人工校对的方式进行，也就是采用MTPE(Machine Translation Post-Editting，机器译后编辑)的模式进行。但现在的MTPE技术下，人工修改和机器翻译不能很好地兼容，导致翻译的质量仍旧不及人工翻译，这些问题严重制约了MTPE的发展，对翻译结果的准确性要求较高的翻译场景下，通常还是会使用人工翻译的方式进行翻译，但人工翻译效率较低、速度较慢的问题仍旧无法解决。并且，当需要对视频进行翻译时，需要人工对视频的内容逐句进行听取和翻译，这种翻译方式效率低下，无法满足当前全球化背景下的大量的视频翻译需求。
发明内容
提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
第一方面，本公开提供一种视频翻译方法，包括：
将待翻译的视频的语音转换为文本；
展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间；
响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；
跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；
其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；
在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文。
第二方面，本公开提供一种视频翻译装置，包括：
转换模块，用于将待翻译视频的语音转换为文本；
展示模块，用于展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间；
编辑模块，用于响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；
建议模块，用于跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文。
第三方面，本公开提供一种计算机可读介质，其上存储有计算机程序，该程序被处理装置执行时实现本公开第一方面中所述方法的步骤。
第四方面，本公开提供一种电子设备，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现本公开第一方面中所述方法的步骤。
基于上述的技术方案，至少可以达到以下技术效果：可以将待翻译视频的语音转换为文本，并提供该文本的第一时间信息、第二时间信息及参考译文，并跟随用户在编辑区域的输入提供来自参考译文的译文建议，并响应于用户的确认操作将译文建议作为译文结果，从而可以节省用户的输入时间，结合人工的准确性及机器的高效性，进而提升视频翻译的效率以及视频翻译的质量。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中，相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的，原件和元素不一定按照比例绘制。在附图中：
图1是根据一示例性公开实施例示出的一种视频翻译方法的流程图。
图2是根据一示例性公开实施例示出的一种译文界面的示意图。
图3是根据一示例性公开实施例示出的一种文本拆分方式的示意图。
图4是根据一示例性公开实施例示出的一种视频翻译装置的框图。
图5是根据一示例性公开实施例示出的一种电子设备的框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
图1是根据一示例性公开实施例示出的一种视频翻译方法的流程图，本方法可以用于终端、服务器及其他独立电子设备，也可以应用于翻译系统，此种情况下，方法中的各个步骤可以由翻译系统中的多个设备配合完成，例如图1中所示的S12和S14可以由终端执行，S11和S13可以由服务器执行等。如图1所示，所述视频翻译方法包括以下步骤：
S11、将待翻译的视频的语音转换为文本。
可以提取待翻译视频中的语音内容，如音轨等，并通过语音识别技术，将该语音内容转换为文本内容。值得说明的是，在将语音内容转换为文本内容时，可以根据语音内容中的分句将文本内容分为多句，且每句文本内容可以对应一个提取到该分句的语音内容的时刻信息，将其作为该句文本内容的时间轴信息。
例如，待翻译视频的语音内容被识别为了多句话，其中，第一句为“首先介绍一下什么是热点”，该句话位于视频的第2秒至第5秒之间，则该句文本内容对应的时间轴信息为“00:00:02-00:00:05”，第二局为“从ppt的右边可以看到”，该句话位于视频的第5秒至第7秒之间，则该句文本内容对应的时间轴信息为“00:00:05-00:00:07”。
在将待翻译视频的语音内容转换为文本内容时，可以根据所述文本在所述视频中对应的时刻信息和/或画面帧对所述文本进行分句，得到所述多个分句文本，例如，将每连续多秒内的语音的识别文本作为一个分句，或者将连续多个画面帧内出现的语音的识别文本作为一个分句；还可以根据语音内容中的停顿进行分句，例如，可以设置一个停顿阈值，在该停顿阈值内没有识别到人声内容时，可以在没有识别到人声内容的任意位置进行分句；还可以根据语音内容的语义进行分句，在分句词前后进行分句，例如，可以设置将完整的“主语+谓语+宾语”结构的“宾语”作为分句词，对语音内容进行分句，还可以将时间助词、停顿词等作为分句词，在这些词前后进行分句。具体的，可以通过分句模型对识别到的文本内容进行分句，得到分句后的文本内容。
S12、展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文。
其中，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间。
其中，该文本可以是已经分句后的文本，该第一时间信息为分句后的文本的当前分句在视频中的起始时间，该第二时间信息为分句后的文本的当前分局在视频中的结束时间。对每一分句可以展示所述分句文本和所述分句文本的第一时间信息、第二时间信息及参考译文。
S13、响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域。
在用户选中了文本或参考译文对应的区域后，可以在该文本的参考译文上方展示编辑区域，用户可以在编辑区域中进行编辑操作，以获得该文本的翻译结果。其中，该编辑区域可以显示于参考译文上方，以便用户对照修改。
其中，该文本可以是已经分句后的文本，每一分句文本在不同的区域内展示，针对每一分句文本展示该分句文本的第一时间信息、第二时间信息及参考译文。
在一种可能的实施方式中，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，还可以展示提供所述用户对所述分句文本进行拆分的拆分功能栏，并响应于所述用户针对任一所述分句文本的拆分操作，将所述分句文本拆分成至少两句分句子文本，并针对每一所述分句子文本，关联显示所述分句子文本、所述分句子文本的第一时间信息、第二时间信息以及所述分句子文本的参考译文。可选的，该拆分功能栏可以是响应于用户对所述分句文本或参考译文的操作所提供的，在用户选中该分句文本或参考文本之前可以隐藏该拆分功能栏。
例如，对一段文本内容“今天要为大家介绍的就是我国即将崛起的三座城市”而言，该段文本内容的时间轴信息为“00:00:15-00:00:18”，其中第一时间信息为00:00:15、第二时间信息为00:00:18，用户将其分为了两个子句“今天要为大家介绍的就是”和“我国即将崛起的三座城市”，则可以根据编辑前的文本的长度和编辑后的各个子句的文本的长度，为各个子句设置时间轴，例如，可以将原有的时间轴拆分为长度相同的两段，将第一个子段“今天要为大家介绍的就是”的时间轴设置为“00:00:15-00:00:16”，将第二个子段“我国即将崛起的三座城市”的时间轴信息为“00:00:17-00:00:18”。
还可以根据文本内容的字数，为该段文本内容的每个字分配时间轴，并在进行分句后为分句后的子段分配其对应的字数的时间轴。
如图3示的是一种可能的文本拆分方式的示意图，如图所示，用户可以通过光标选择需要分句的位置，并点击分句按键；分句前的文本会拆分为两个子句，并按照顺序显示，各个子句的第一时间信息和第二时间信息均是由分句前的第一时间信息和第二时间信息拆分得到。图3中，拆分前的虚线框中的一段文本内容，被拆分成了虚线框中的两个子段。
在一种可能的实施方式中，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，还可以展示提供所述用户对所述分句进行合并的合并功能栏，并响应于所述用户针对任意相邻两个分句文本的合并操作，将所述相邻两个分句文本合并成一段新的分句文本，并针对所述新的分句文本，关联显示所述新的分句文本、所述新的分句文本的第一时间信息、第二时间信息以及所述新的分句文本的参考译文。可选的，该合并功能栏可以是响应于用户对所述分句文本或参考译文的操作所提供的，在用户选中该分句文本或参考文本之前可以隐藏该合并功能栏。
在一种可能的实施方式中，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，还可以展示提供所述用户对所述分句文本进行播放的播放功能栏，并响应于所述用户针对所述所述播放功能栏的操作，播放所述分句文本对应的语音。可选的，该播放功能栏可以是响应于用户对所述分句文本或参考译文的操作所提供的，在用户选中该分句文本或参考文本之前可以隐藏该播放功能栏。并且，在一种可能的实施方式中，可以以参考译文或者译文结果作为字幕播放该分句文本对应的视频，以便用户查看译文字幕的效果。
如图2所示的是一种可能的译文界面的示意图，其中，虚线框内部为一段已被用户选中的文本内容的译文界面，图2中一共有三段不同的文本内容，其中，被用户选中的文本内容会展示编辑区域和播放、合并、拆分功能栏。待翻译视频的文本内容显示在参考译文上方，且不同的分句有不同的展示区域，各个展示区域可以独立翻译，不因其他区域的修改而更新。用户可以在编辑区域输入字符，或修改待翻译的文本的字符。译文界面还可以包括时间轴信息，包括表征起始时刻的第一时间信息和表征结束时刻的第二时间信息。在图2中，参考译文为灰色字，译文建议为黑色字，如图2所示，在用户选中一段文本内容后，参考译文可以下移一行，与功能栏同行，而原本的参考译文所在的区域成为编辑区域，用于展示译文建议并接收用户的修改。
S14、跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议。
其中，基于该译文建议，本公开实施例提供的方法包括在检测到用户针对该译文建议的确认操作的情况下，将该译文建议作为译文结果显示到该编辑区域，以及在检测到用户针对该译文建议的非确认操作的情况下，接收用户输入的不同于该译文建议的译文，并根据用户输入的译文更新该译文区域中的参考译文。
在具体实施时，上述确认操作可以是用户针对预设的快捷键的操作，例如，用户通过点击该快捷键表明采纳译文建议的意图，因此，可以在检测到用户点击快捷键的操作的情况下，将该译文建议作为译文结果显示到该编辑区域。值得说明的是，将译文建议作为译文结果显示到该编辑区域这一动作将作为步骤S14中所述的用户在该编辑区域内的输入，也就是说，在此种情况下，步骤S14即是表明，本公开实施例提供的方法可以响应于将本次提供的译文建议作为译文结果显示到该编辑区域，提供来自该参考译文的下一个译文建议(该下一个译文建议可以是已提供的译文建议在参考译文中的后续译文)。
可选地，上述检测到用户针对该译文建议的非确认操作的情况可以是检测到用户输入的译文与本次提供的译文建议不一致的情况，在此种情况下，本公开实施例提供的方法可以接收用户输入的不同于该译文建议的译文，并根据用户输入的译文更新该译文区域中的参考译文。同样值得说明的是，用户输入的与译文建议不同的译文，将作为步骤S14中所述的用户在该编辑区域内的输入，也就是说，在此种情况下，步骤S14即是表明，本公开实施例提供的方法可以响应于用户在该编辑区域输入与译文建议不同的译文，提供来自根据用户输入的译文更新后的参考译文的下一个译文建议。例如，本次提供的译文建议为“my”，在检测到用户输入的译文为不同与译文建议“my”的译文“I”的情况下，根据译文“I”更新参考译文，并从更新后的参考译文中提供译文“I”的下一个译文建议。
采用上述方法，可以根据用户的输入提供来自参考译文的译文建议，并且，用户可以通过确认操作直接将译文建议作为译文结果，减少用户的输入时间，本公开结合人工的准确性及机器的高效性，可以提升翻译的效率以及翻译的质量。
为了使本领域技术人员更加理解本公开实施例提供的技术方案，下面对本公开实施例提供的文档翻译方法进行详细说明。
可选地，步骤S14中的所述提供译文建议可以包括：在所述译文区域突出显示来自所述参考译文的所述译文建议。在此种情况下，在检测到用户针对该译文建议的确认操作的情况下，可以取消所述译文建议在所述译文区域的突出显示。该突出显示可以是加粗字体、高亮字体、异色字、异色背景、底纹效果等可以将译文建议突出展示的显示方式。
在一种可能的实施方式中，该突出显示可以是与已输入译文的显示方式不同的显示方式，例如，已输入的译文可以是加粗字体，译文建议是正常字体，或者，已输入的译文可以是黑色字，译文建议是灰色字等。在检测到用户针对译文建议的确认操作的情况下，可以将译文建议的显示方式调整为与已输入译文的显示方式相同。例如，已输入的译文可以是加粗字体，译文建议是正常字体，在检测到用户的确认操作的情况下，将该译文建议调整为加粗字体显示。
在一种可能的实施方式中，该确认操作可以是用户对电子设备的快捷键的输入操作，例如，该电子设备可以是手机，该快捷键可以是手机显示区域上的虚拟键或手机的实体键(例如：音量键)，用户可以对上述的快捷键进行操作以采纳该译文建议，则在检测到用户对上述快捷键的输入操作的情况下，可以将译文建议作为疑问结果显示到编辑区域；该电子设备还可以是电脑，该快捷键可以是电脑键盘或鼠标上的指定或自定义按键(例如：键盘alt键、鼠标侧键等)。
该确认操作还可以是由摄像头获取后识别得到的姿势确认操作，如点头、眨眼、作出预设手势等；还可以是由麦克风获取后识别得到的语音操作。
在一种可能的实施方式中，该来自所述参考译文的译文建议包括词、词组、句子中的至少一项。
下面对译文建议的提供方式进行详细阐述：
在用户针对文本内容进行翻译时，可以参考在译文区域中显示的参考译文，在编辑区域内进行输入(值得说明的是，此处的输入包括字符的输入，例如键入字母、单词等，也包括按键操作输入，例如点击编辑区域等)，可以提供来自参考译文的译文建议。
其中，该译文建议可以是针对分句的整句的译文建议，也可以是逐词、逐短语提供的更细粒度的译文建议。
例如，文本为“有些城市凭借着完善的高铁网络这一优势不断崛起”，参考译文为“Some cities continue to rise with the advantage of the perfect high-speedrail network”，则在用户点击编辑区域，或者在编辑区域输入了字符“S”之后，可以提供来自参考译文的译文建议“Some”(或者“Some cities continue to rise”等更粗粒度的译文建议)。
用户可以通过确认操作采纳该译文建议，并且，将该确认操作作为在编辑区域内的输入操作，继续提供来自参考译文的译文建议，例如，在检测到用户针对“Some”的确认操作的情况下，将“Some”作为译文结果显示到编辑区域，并为用户提供下一译文建议“cities”。
在检测到用户针对译文建议的非确认操作的情况下，接收用户输入的不同于译文建议的译文，并根据用户输入的译文更新译文区域中的参考译文。其中，该非确认操作可以是进行了预设的代表非确认的操作(点击预设按键、做出预设动作等)，也可以是指除了前述的确认操作以外的其他情况，例如，在预设时间内没有进行确认操作，或者进行了继续输入的操作。
例如，文本内容“有些城市凭借着完善的高铁网络这一优势不断崛起”的参考译文为“Some cities continue to rise with the advantage of the perfect high-speedrail network.”，在接收到用户对编辑区域的点击输入操作后，提供来自参考译文的译文建议“Some”，并基于用户的确认操作，将译文建议“Some”作为译文结果显示到编辑区域，并继续为用户提供下一译文建议“cities”。在提供译文建议“with”时，接收到了用户不同于译文建议的输入“b”，则可以基于用户输入的译文，更新参考译文为“Some citiescontinue to risebecause of the advantage of the perfect high-speed railnetwork.”，并为用户提供译文建议“because”。
值得说明的是，当译文建议为该分句的整句参考译文时，用户可以直接在编辑区域中对译文建议进行编辑，例如，在译文建议中插入单词、删除译文建议中的单词、更改译文建议中的单词等。
例如，文本内容“有些城市凭借着完善的高铁网络这一优势不断崛起”的译文建议与参考译文相同，为“Some cities continue to rise with the advantage of theperfect high-speed rail network.”，用户可以直接在译文建议中将“with”修改为“because of”，并根据用户的修改将参考译文更新为“ome cities continue to risebecause of the advantage of the perfect high-speed rail network.”，并向用户提供来自该参考译文的译文建议，用户可以通过确认操作将该译文建议作为译文结果。
其中，参考译文以及译文建议可以由机器翻译(例如深度学习翻译模型等)提供。值得说明的是，当基于所述用户在编辑区域输入的译文无法生成符合文本内容的参考译文时，可以基于预存的词典内容对用户输入的译文字符进行纠错，并根据纠错后的译文更新该参考译文。
值得说明的是，本公开中虽然以翻译语言为英文、原文为中文的案例进行举例，但是，本公开不对翻译的语言以及原文的语言进行限制，本公开中的原文还可以为中文文言文、译文可以为中文白话文，或者原文为日文、译文为英文等各种组合。
在一种可能的实施方式中，原文显示区域为可编辑区域，响应于用户对所述原文显示区域中的文本内容进行修改的操作，可以更新所述译文区域内的参考译文。
在用户在译文区域输入译文之前或之后，用户都可以对文本的内容，即翻译原文进行编辑，并且，已经输入的译文不会因为原文的修改而被覆盖，而是会根据用户修改后的文本内容及输入的译文字符更新翻译结果。
例如，编辑前的文本内容为“有些城市凭借着完善的高通网路这一优势不断崛起”，对应的译文建议为“Some cities continue to rise with the advantage of aperfect Qualcomm network.”，用户在编辑区域输入的译文结果为“Some citiescontinue to rise b”，其中，不同于译文建议的译文为“b”，则可以更新参考译文为“Somecities continue to rise because of the advantage of a perfect Qualcommnetwork.”。但是，该句文本内容可能是由于杂音、语音讲述人的口音等因素导致的误识别文本，用户发现其原本的文本应当是“有些城市凭借着完善的高铁网络这一优势不断崛起。”，则用户可以将文本内容中的“高通网路”编辑为“高铁网络”，则更新后的参考译文变为“Some cities continue to rise because of the advantage of the perfect high-speed rail network.”，并为用户提供来自更新后的参考译文的译文建议。
在一种可能的实施方式中，在编辑后的文本内容的长度大于编辑前的文本内容的长度，根据编辑前的文本内容的时间轴信息，通过插值处理得到编辑后的文本内容的时间轴信息。
例如，编辑前的文本内容为“今天要为大家介绍的就是我国的三座城市”，编辑后的文本内容为“今天要为大家介绍的就是我国即将崛起的三座城市”，则编辑后的文本内容中，各个文字的时间轴信息都会被重置为原来的9/11，并且在后续用户进行分句、合并等操作时，基于各个文字的时间轴信息确定分句或合并后的子段的时间轴信息。
在一种可能的实施方式中，可以基于所述第一时间信息和第二时间信息，将所述翻译结果作为字幕添加至所述待翻译视频的画面帧中。
例如，待翻译视频的第一句翻译结果的时间轴为“00:00:00-00:00:02”(第一时间信息为00:00:00，第二时间信息为00:00:02)，第二段翻译结果的时间轴为“00:00:03-00:00:07”(第一时间信息为00:00:03，第二时间信息为00:00:07)，则可以在待翻译视频的第0秒至第2秒间，插入时间轴为“00:00:00-00:00:02”的翻译结果，在待翻译视频的第3秒至第7秒间，插入时间轴为“00:00:03-00:00:07”的翻译结果，该翻译结果可以以字幕的形式插入待翻译视频中。
在所有的翻译结果均插入待翻译视频后，可以将翻译完成的视频以用户指定的格式生成，并提供给用户进行下载。
基于上述的技术方案，至少可以达到以下技术效果：可以将待翻译视频的语音转换为文本，并提供该文本的第一时间信息、第二时间信息及参考译文，并跟随用户在编辑区域的输入提供来自参考译文的译文建议，并响应于用户的确认操作将译文建议作为译文结果，从而可以节省用户的输入时间，结合人工的准确性及机器的高效性，进而提升视频翻译的效率以及视频翻译的质量。
图4是根据一示例性公开实施例示出的一种视频翻译装置的框图。如图4所示，所述视频翻译装置400包括：
转换模块410，用于将待翻译的视频的语音转换为文本。
展示模块420，用于展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间。
编辑模块430，用于响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域。
建议模块440，用于跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文。
可选地，所述展示模块420还用于根据所述文本在所述视频中对应的时刻信息和/或画面帧对所述文本进行分句，得到所述多个分句文本；针对每一所述分句文本，展示所述分句文本和所述分句文本的第一时间信息、第二时间信息及参考译文。
可选地，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述装置还包括拆分模块，用于展示提供所述用户对所述分句文本进行拆分的拆分功能栏；响应于所述用户针对任一所述分句文本的拆分操作，将所述分句文本拆分成至少两句分句子文本，并针对每一所述分句子文本，关联显示所述分句子文本、所述分句子文本的第一时间信息、第二时间信息以及所述分句子文本的参考译文。
可选地，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述装置还包括合并模块，用于展示提供所述用户对所述分句文本进行合并的合并功能栏；响应于所述用户针对任意相邻两个分句文本的合并操作，将所述相邻两个分句文本合并成一段新的分句文本，并针对所述新的分句文本，关联显示所述新的分句文本、所述新的分句文本的第一时间信息、第二时间信息以及所述新的分句文本的参考译文。
可选地，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述装置还包括播放模块，用于展示提供所述用户对所述分句文本进行播放的播放功能栏；响应于所述用户针对所述播放功能栏的操作，播放所述分句文本对应的语音。
可选地，所述建议模块用于在所述编辑区域以不同于已输入译文的显示方式来显示所述译文建议；所述响应于所述用户对所述译文建议的确认操作，将所述译文建议作为译文结果显示到所述编辑区域包括：响应于所述用户对所述译文建议的确认操作，以与已输入译文的显示方式相同的方式来在所述编辑区域内显示作为译文结果的所述译文建议。
可选地，所述建议模块，还用于响应于用户对快捷键的输入操作，将所述译文建议作为译文结果显示到所述编辑区域。
上述各模块的功能在上一实施例中的方法步骤中已详细阐述，在此不做赘述。
基于上述的技术方案，至少可以达到以下技术效果：可以将待翻译视频的语音转换为文本，并提供该文本的第一时间信息、第二时间信息及参考译文，并跟随用户在编辑区域的输入提供来自参考译文的译文建议，并响应于用户的确认操作将译文建议作为译文结果，从而可以节省用户的输入时间，结合人工的准确性及机器的高效性，进而提升视频翻译的效率以及视频翻译的质量。
下面参考图5，其示出了适于用来实现本公开实施例的电子设备(例如图1中的终端设备或服务器)500的结构示意图。本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图5示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
如图5所示，电子设备500可以包括处理装置(例如中央处理器、图形处理器等)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储装置508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有电子设备500操作所需的各种程序和数据。处理装置501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
通常，以下装置可以连接至I/O接口505：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置506；包括例如液晶显示器(LCD)、扬声器、振动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从ROM 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法中限定的上述功能。
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何当前已知或未来研发的网络。
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：获取至少两个网际协议地址；向节点评价设备发送包括所述至少两个网际协议地址的节点评价请求，其中，所述节点评价设备从所述至少两个网际协议地址中，选取网际协议地址并返回；接收所述节点评价设备返回的网际协议地址；其中，所获取的网际协议地址指示内容分发网络中的边缘节点。
或者，上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：接收包括至少两个网际协议地址的节点评价请求；从所述至少两个网际协议地址中，选取网际协议地址；返回选取出的网际协议地址；其中，接收到的网际协议地址指示内容分发网络中的边缘节点。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)——连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该模块本身的限定，例如，第一获取模块还可以被描述为“获取至少两个网际协议地址的模块”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
根据本公开的一个或多个实施例，示例1提供了一种视频翻译方法，包括将待翻译的视频的语音转换为文本；展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间；响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文。
根据本公开的一个或多个实施例，示例2提供了示例1的方法，根据所述文本在所述视频中对应的时刻信息和/或画面帧对所述文本进行分句，得到所述多个分句文本；针对每一所述分句文本，展示所述分句文本和所述分句文本的第一时间信息、第二时间信息及参考译文。
根据本公开的一个或多个实施例，示例3提供了示例1的方法，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述方法还包括：展示提供所述用户对所述文本进行拆分的拆分功能栏；响应于所述用户针对任一所述分句文本的拆分操作，将所述分句文本拆分成至少两句分句子文本，并针对每一所述分句子文本，关联显示所述分句子文本、所述分句子文本的第一时间信息、第二时间信息以及所述分句子文本的参考译文。
根据本公开的一个或多个实施例，示例4提供了示例1的方法，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述方法还包括：展示提供所述用户对所述文本进行合并的合并功能栏；响应于所述用户针对任意相邻两个分句文本的合并操作，将所述相邻两个分句文本合并成一段新的分句文本，并针对所述新的分句文本，关联显示所述新的分句文本、所述新的分句文本的第一时间信息、第二时间信息以及所述新的分句文本的参考译文。
根据本公开的一个或多个实施例，示例5提供了示例1-4的方法，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述方法还包括：展示提供所述用户对所述文本进行播放的播放功能栏；响应于所述用户针对所述播放功能栏的操作，播放所述分句文本对应的语音。
根据本公开的一个或多个实施例，示例6提供了示例1-4的方法，所述提供来自所述参考译文的译文建议包括：在所述编辑区域以不同于已输入译文的显示方式来显示所述译文建议；所述响应于所述用户对所述译文建议的确认操作，将所述译文建议作为译文结果显示到所述编辑区域包括：响应于所述用户对所述译文建议的确认操作，以与已输入译文的显示方式相同的方式来在所述编辑区域内显示作为译文结果的所述译文建议。
根据本公开的一个或多个实施例，示例7提供了示例1-4的方法，所述响应于所述用户对所述译文建议的确认操作，将所述译文建议作为译文结果显示到所述编辑区域，包括：响应于用户对快捷键的输入操作，将所述译文建议作为译文结果显示到所述编辑区域。
根据本公开的一个或多个实施例，示例8提供了一种视频翻译装置，转换模块，用于将待翻译视频的语音转换为文本；展示模块，用于展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间；编辑模块，用于响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；建议模块，用于跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文。
根据本公开的一个或多个实施例，示例9提供了示例8的装置，所述展示模块还用于根据所述文本在所述视频中对应的时刻信息和/或画面帧对所述文本进行分句，得到所述多个分句文本；针对每一所述分句文本，展示所述分句文本和所述分句文本的第一时间信息、第二时间信息及参考译文。
根据本公开的一个或多个实施例，示例10提供了示例8的装置，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述装置还包括拆分模块，用于展示提供所述用户对所述文本进行拆分的拆分功能栏；响应于所述用户针对任一所述分句文本的拆分操作，将所述分句文本拆分成至少两句分句子文本，并针对每一所述分句子文本，关联显示所述分句子文本、所述分句子文本的第一时间信息、第二时间信息以及所述分句子文本的参考译文。
根据本公开的一个或多个实施例，示例11提供了示例8的装置，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述装置还包括合并模块，用于展示提供所述用户对所述文本进行合并的合并功能栏；响应于所述用户针对任意相邻两个分句文本的合并操作，将所述相邻两个分句文本合并成一段新的分句文本，并针对所述新的分句文本，关联显示所述新的分句文本、所述新的分句文本的第一时间信息、第二时间信息以及所述新的分句文本的参考译文。
根据本公开的一个或多个实施例，示例12提供了示例8-11的装置，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述装置还包括播放模块，用于展示提供所述用户对所述文本进行播放的播放功能栏；响应于所述用户针对播放功能栏的操作，播放所述分句文本对应的语音。
根据本公开的一个或多个实施例，示例13提供了示例8-11的装置，所述建议模块用于在所述编辑区域以不同于已输入译文的显示方式来显示所述译文建议；所述响应于所述用户对所述译文建议的确认操作，将所述译文建议作为译文结果显示到所述编辑区域包括：响应于所述用户对所述译文建议的确认操作，以与已输入译文的显示方式相同的方式来在所述编辑区域内显示作为译文结果的所述译文建议。
根据本公开的一个或多个实施例，示例14提供了示例8-11的装置，所述建议模块，还用于响应于用户对快捷键的输入操作，将所述译文建议作为译文结果显示到所述编辑区域
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

Claims (9)

1.一种视频翻译方法，其特征在于，所述方法包括：
将待翻译的视频的语音转换为文本；
展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间；
响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；
跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；
其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；
在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文；
所述提供来自所述参考译文的译文建议包括：
在所述编辑区域以不同于已输入译文的显示方式来显示所述译文建议，并在所述译文区域突出显示来自所述参考译文的所述译文建议；
所述响应于所述用户对所述译文建议的确认操作，将所述译文建议作为译文结果显示到所述编辑区域包括：响应于所述用户对所述译文建议的确认操作，以与已输入译文的显示方式相同的方式来在所述编辑区域内显示作为译文结果的所述译文建议，并取消所述译文建议在所述译文区域的突出显示。
2.根据权利要求1所述的方法，其特征在于，所述展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，包括：
根据所述文本在所述视频中对应的时刻信息和/或画面帧对所述文本进行分句，得到多个分句文本；
针对每一所述分句文本，展示所述分句文本和所述分句文本的第一时间信息、第二时间信息及参考译文。
3.根据权利要求1所述的方法，其特征在于，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述方法还包括：
展示提供所述用户对所述分句文本进行拆分的拆分功能栏；
响应于所述用户针对任一所述分句文本的拆分操作，将所述分句文本拆分成至少两句分句子文本，并针对每一所述分句子文本，关联显示所述分句子文本、所述分句子文本的第一时间信息、第二时间信息以及所述分句子文本的参考译文。
4.根据权利要求1所述的方法，其特征在于，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述方法还包括：
展示提供所述用户对所述分句文本进行合并的合并功能栏；
响应于所述用户针对任意相邻两个分句文本的合并操作，将所述相邻两个分句文本合并成一段新的分句文本，并针对所述新的分句文本，关联显示所述新的分句文本、所述新的分句文本的第一时间信息、第二时间信息以及所述新的分句文本的参考译文。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述文本包括多个分句文本，每一所述分句文本在不同区域展示，所述方法还包括：
展示提供所述用户对所述分句文本对应的语音进行播放的播放功能栏；
响应于所述用户针对所述播放功能栏的操作，播放所述分句文本对应的语音。
6.根据权利要求1-4任一项所述的方法，其特征在于，所述响应于所述用户对所述译文建议的确认操作，将所述译文建议作为译文结果显示到所述编辑区域，包括：
响应于用户对快捷键的输入操作，将所述译文建议作为译文结果显示到所述编辑区域。
7.一种视频翻译装置，其特征在于，所述装置包括：
转换模块，用于将待翻译视频的语音转换为文本；
展示模块，用于展示所述文本和所述文本的第一时间信息、第二时间信息及参考译文，所述第一时间信息为所述文本在所述视频中的起始时间，所述第二时间信息为所述文本在所述视频中的结束时间；
编辑模块，用于响应于用户对所述文本或所述参考译文的操作，展示提供所述用户输入译文的编辑区域；
建议模块，用于跟随用户在所述编辑区域的输入，提供来自所述参考译文的译文建议；其中，在检测到用户针对所述译文建议的确认操作的情况下，将所述译文建议作为译文结果显示到所述编辑区域；在检测到用户针对所述译文建议的非确认操作的情况下，接收用户输入的不同于所述译文建议的译文，并根据用户输入的所述译文更新所述译文区域中的参考译文；
所述建议模块用于在所述编辑区域以不同于已输入译文的显示方式来显示所述译文建议，并在所述译文区域突出显示来自所述参考译文的所述译文建议，响应于所述用户对所述译文建议的确认操作，以与已输入译文的显示方式相同的方式来在所述编辑区域内显示作为译文结果的所述译文建议，并取消所述译文建议在所述译文区域的突出显示。
8.一种计算机可读介质，其上存储有计算机程序，其特征在于，该程序被处理装置执行时实现权利要求1-6中任一项所述方法的步骤。
9.一种电子设备，其特征在于，包括：
存储装置，其上存储有计算机程序；
处理装置，用于执行所述存储装置中的所述计算机程序，以实现权利要求1-6中任一项所述方法的步骤。
CN202010583177.4A 2020-06-23 2020-06-23 视频翻译方法和装置、存储介质和电子设备 Active CN111753558B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010583177.4A CN111753558B (zh) 2020-06-23 2020-06-23 视频翻译方法和装置、存储介质和电子设备
KR1020227030540A KR20220127361A (ko) 2020-06-23 2021-06-22 비디오 번역 방법 및 장치, 저장 매체 및 전자 디바이스
JP2022564506A JP7548602B2 (ja) 2020-06-23 2021-06-22 ビデオ翻訳方法、装置、記憶媒体及び電子機器
EP21830302.2A EP4170543A4 (en) 2020-06-23 2021-06-22 VIDEO TRANSLATION METHOD AND APPARATUS, STORAGE MEDIUM AND ELECTRONIC DEVICE
PCT/CN2021/101388 WO2021259221A1 (zh) 2020-06-23 2021-06-22 视频翻译方法和装置、存储介质和电子设备
US17/818,969 US11763103B2 (en) 2020-06-23 2022-08-10 Video translation method and apparatus, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010583177.4A CN111753558B (zh) 2020-06-23 2020-06-23 视频翻译方法和装置、存储介质和电子设备

Publications (2)

Publication Number Publication Date
CN111753558A CN111753558A (zh) 2020-10-09
CN111753558B true CN111753558B (zh) 2022-03-04

Family

ID=72676904

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010583177.4A Active CN111753558B (zh) 2020-06-23 2020-06-23 视频翻译方法和装置、存储介质和电子设备

Country Status (6)

Country Link
US (1) US11763103B2 (zh)
EP (1) EP4170543A4 (zh)
JP (1) JP7548602B2 (zh)
KR (1) KR20220127361A (zh)
CN (1) CN111753558B (zh)
WO (1) WO2021259221A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111753558B (zh) 2020-06-23 2022-03-04 北京字节跳动网络技术有限公司 视频翻译方法和装置、存储介质和电子设备
KR20230124420A (ko) * 2022-02-18 2023-08-25 에이아이링고 주식회사 번역된 콘텐츠의 편집 인터페이스 제공 방법 및 컴퓨터 프로그램
CN114596882B (zh) * 2022-03-09 2024-02-02 云学堂信息科技(江苏)有限公司 一种可实现对课程内容快速定位的剪辑方法
CN115136233B (zh) * 2022-05-06 2023-09-22 湖南师范大学 一种基于自建模板的多模态快速转写及标注系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209227A (zh) * 2010-03-30 2011-10-05 宝利通公司 在视频会议中增加翻译的方法和系统
CN103226947A (zh) * 2013-03-27 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的音频处理方法及装置
US20170139906A1 (en) * 2015-03-27 2017-05-18 Baidu Online Network Technology (Beijing) Co., Ltd Method and system for providing translation information
CN107885729A (zh) * 2017-09-25 2018-04-06 沈阳航空航天大学 基于双语片段的交互式机器翻译方法
CN107943797A (zh) * 2017-11-22 2018-04-20 语联网（武汉）信息技术有限公司 一种全原文参考的在线翻译系统
CN108259965A (zh) * 2018-03-31 2018-07-06 湖南广播电视台广播传媒中心 一种视频剪辑方法和剪辑系统
CN110489763A (zh) * 2019-07-18 2019-11-22 深圳市轱辘汽车维修技术有限公司 一种视频翻译方法及装置

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6549911B2 (en) * 1998-11-02 2003-04-15 Survivors Of The Shoah Visual History Foundation Method and apparatus for cataloguing multimedia data
US6782384B2 (en) * 2000-10-04 2004-08-24 Idiom Merger Sub, Inc. Method of and system for splitting and/or merging content to facilitate content processing
US7035804B2 (en) * 2001-04-26 2006-04-25 Stenograph, L.L.C. Systems and methods for automated audio transcription, translation, and transfer
JP2005129971A (ja) 2002-01-28 2005-05-19 Telecommunication Advancement Organization Of Japan 半自動型字幕番組制作システム
US7111044B2 (en) * 2002-07-17 2006-09-19 Fastmobile, Inc. Method and system for displaying group chat sessions on wireless mobile terminals
JP3999771B2 (ja) 2004-07-06 2007-10-31 株式会社東芝 翻訳支援プログラム、翻訳支援装置、翻訳支援方法
JP2006166407A (ja) 2004-11-09 2006-06-22 Canon Inc 撮像装置及びその制御方法
JP2007035056A (ja) 2006-08-29 2007-02-08 Ebook Initiative Japan Co Ltd 翻訳情報生成装置、翻訳情報生成方法並びにコンピュータプログラム
WO2009038209A1 (ja) * 2007-09-20 2009-03-26 Nec Corporation 機械翻訳システム、機械翻訳方法及び機械翻訳プログラム
JP2010074482A (ja) 2008-09-18 2010-04-02 Toshiba Corp 外国語放送編集システム、翻訳サーバおよび翻訳支援方法
US8843359B2 (en) * 2009-02-27 2014-09-23 Andrew Nelthropp Lauder Language translation employing a combination of machine and human translations
US20100332214A1 (en) * 2009-06-30 2010-12-30 Shpalter Shahar System and method for network transmision of subtitles
GB2502944A (en) * 2012-03-30 2013-12-18 Jpal Ltd Segmentation and transcription of speech
US9696881B2 (en) * 2013-01-15 2017-07-04 Viki, Inc. System and method for captioning media
US9183198B2 (en) * 2013-03-19 2015-11-10 International Business Machines Corporation Customizable and low-latency interactive computer-aided translation
WO2014198035A1 (en) * 2013-06-13 2014-12-18 Google Inc. Techniques for user identification of and translation of media
US20150042771A1 (en) * 2013-08-07 2015-02-12 United Video Properties, Inc. Methods and systems for presenting supplemental content in media assets
JP6327848B2 (ja) * 2013-12-20 2018-05-23 株式会社東芝 コミュニケーション支援装置、コミュニケーション支援方法およびプログラム
US10169313B2 (en) * 2014-12-04 2019-01-01 Sap Se In-context editing of text for elements of a graphical user interface
US9772816B1 (en) * 2014-12-22 2017-09-26 Google Inc. Transcription and tagging system
JP6470097B2 (ja) * 2015-04-22 2019-02-13 株式会社東芝 通訳装置、方法およびプログラム
JP6471074B2 (ja) * 2015-09-30 2019-02-13 株式会社東芝 機械翻訳装置、方法及びプログラム
US9558182B1 (en) * 2016-01-08 2017-01-31 International Business Machines Corporation Smart terminology marker system for a language translation system
KR102495517B1 (ko) * 2016-01-26 2023-02-03 삼성전자 주식회사 전자 장치, 전자 장치의 음성 인식 방법
JP2017151768A (ja) * 2016-02-25 2017-08-31 富士ゼロックス株式会社 翻訳プログラム及び情報処理装置
CN105828101B (zh) * 2016-03-29 2019-03-08 北京小米移动软件有限公司 生成字幕文件的方法及装置
CN108664201B (zh) 2017-03-29 2021-12-28 北京搜狗科技发展有限公司 一种文本编辑方法、装置及电子设备
KR102085908B1 (ko) 2018-05-10 2020-03-09 네이버 주식회사 컨텐츠 제공 서버, 컨텐츠 제공 단말 및 컨텐츠 제공 방법
KR102345007B1 (ko) 2018-08-29 2021-12-29 주식회사 아이팩토리 특허 문서 작성 장치, 방법, 컴퓨터 프로그램, 컴퓨터로 판독 가능한 기록매체, 서버 및 시스템
US11636273B2 (en) * 2019-06-14 2023-04-25 Netflix, Inc. Machine-assisted translation for subtitle localization
US11301644B2 (en) * 2019-12-03 2022-04-12 Trint Limited Generating and editing media
US11580312B2 (en) * 2020-03-16 2023-02-14 Servicenow, Inc. Machine translation of chat sessions
US11545156B2 (en) * 2020-05-27 2023-01-03 Microsoft Technology Licensing, Llc Automated meeting minutes generation service
CN111753558B (zh) * 2020-06-23 2022-03-04 北京字节跳动网络技术有限公司 视频翻译方法和装置、存储介质和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102209227A (zh) * 2010-03-30 2011-10-05 宝利通公司 在视频会议中增加翻译的方法和系统
CN103226947A (zh) * 2013-03-27 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的音频处理方法及装置
US20170139906A1 (en) * 2015-03-27 2017-05-18 Baidu Online Network Technology (Beijing) Co., Ltd Method and system for providing translation information
CN107885729A (zh) * 2017-09-25 2018-04-06 沈阳航空航天大学 基于双语片段的交互式机器翻译方法
CN107943797A (zh) * 2017-11-22 2018-04-20 语联网（武汉）信息技术有限公司 一种全原文参考的在线翻译系统
CN108259965A (zh) * 2018-03-31 2018-07-06 湖南广播电视台广播传媒中心 一种视频剪辑方法和剪辑系统
CN110489763A (zh) * 2019-07-18 2019-11-22 深圳市轱辘汽车维修技术有限公司 一种视频翻译方法及装置

Also Published As

Publication number Publication date
JP7548602B2 (ja) 2024-09-10
KR20220127361A (ko) 2022-09-19
WO2021259221A1 (zh) 2021-12-30
US20220383000A1 (en) 2022-12-01
JP2023522469A (ja) 2023-05-30
EP4170543A4 (en) 2023-10-25
EP4170543A1 (en) 2023-04-26
CN111753558A (zh) 2020-10-09
US11763103B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
CN111753558B (zh) 视频翻译方法和装置、存储介质和电子设备
US11917344B2 (en) Interactive information processing method, device and medium
CN112115706B (zh) 文本处理方法、装置、电子设备及介质
CN111666776B (zh) 文档翻译方法和装置、存储介质和电子设备
CN111898388B (zh) 视频字幕翻译编辑方法、装置、电子设备及存储介质
CN111445902A (zh) 数据收集方法、装置、存储介质及电子设备
CN113259740A (zh) 一种多媒体处理方法、装置、设备及介质
WO2023029904A1 (zh) 文本内容匹配方法、装置、电子设备及存储介质
CN110969012A (zh) 文本纠错方法、装置、存储介质及电子设备
CN113889113A (zh) 分句方法、装置、存储介质及电子设备
CN113010698B (zh) 多媒体的交互方法、信息交互方法、装置、设备及介质
WO2022105760A1 (zh) 一种多媒体浏览方法、装置、设备及介质
CN111860000A (zh) 文本翻译编辑方法、装置、电子设备及存储介质
CN112380365A (zh) 一种多媒体的字幕交互方法、装置、设备及介质
CN112163102A (zh) 搜索内容匹配方法、装置、电子设备及存储介质
CN112163433B (zh) 关键词汇的匹配方法、装置、电子设备及存储介质
CN113132789B (zh) 一种多媒体的交互方法、装置、设备及介质
CN112530472B (zh) 音频与文本的同步方法、装置、可读介质和电子设备
CN112163103A (zh) 搜索目标内容的方法、装置、电子设备及存储介质
CN112699687A (zh) 内容编目方法、装置和电子设备
CN114697760A (zh) 一种处理方法、装置、电子设备及介质
CN114203199A (zh) 音频数据处理方法、装置、介质及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant