CN100521758C - 视频处理设备和视频处理方法 - Google Patents
视频处理设备和视频处理方法 Download PDFInfo
- Publication number
- CN100521758C CN100521758C CNB2006101256576A CN200610125657A CN100521758C CN 100521758 C CN100521758 C CN 100521758C CN B2006101256576 A CNB2006101256576 A CN B2006101256576A CN 200610125657 A CN200610125657 A CN 200610125657A CN 100521758 C CN100521758 C CN 100521758C
- Authority
- CN
- China
- Prior art keywords
- reading
- storage area
- write
- writing
- reads
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 49
- 238000003672 processing method Methods 0.000 title abstract 2
- 238000000034 method Methods 0.000 claims description 18
- 238000006073 displacement reaction Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 description 10
- 239000007787 solid Substances 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 230000003321 amplification Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003199 nucleic acid amplification method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Controls And Circuits For Display Device (AREA)
- Synchronizing For Television (AREA)
- Studio Circuits (AREA)
- Television Systems (AREA)
Abstract
本发明提供一种视频处理方法,包括:对每个输入视频帧将表示输入视频帧的第一视频信号交替地写入第一和第二存储区域;从第一存储区域或第二存储区域读取写入的第一视频信号;生成表示包括由读取的第一视频信号表示的视频图像的输出图像帧的第二视频信号;在进行读取之前获取指示正进行写入是写入第一存储区域还是第二存储区域的写入区域信息;在进行读取之前获取指示与正被写入的第一视频信号相关联的第一或第二存储区域上的位置的写入位置信息;以及通过使用写入区域信息和写入位置信息判定将进行读取的是第一存储区域还是第二存储区域。
Description
技术领域
本发明涉及实时视频处理设备,该设备接收在第一时刻传送的视频信号,在存储介质中存储部分或全部视频信号,根据从存储介质读取的信息生成视频图像,并在第二时刻输出视频信号,本发明还涉及这样的视频处理方法。
背景技术
在大量终端间通过使用麦克风语音和摄像机视频图像进行通讯的所谓多点视频会议的情况下,如果终端简单地以完全连接形式连接,则在通讯和终端处理方面的负荷很重。所以,通常使用设置MCU(多点控制单元,Multipoint Control Unit)的技术。MCU是一种服务器,具有与终端连接,从终端接收语音和视频图像,将其合成,并将合成的视频图像和语音传送至终端的功能。由于此MCU,使终端可以通过仅与MCU通讯和接收合成语音和合成视频图像而从所有参加者获得语音和视频图像,导致通讯和终端处理方面的效率高。这样,MCU在多点视频会议中起到重要作用。这里,实时视频处理技术被利用。
作为实时视频处理技术的另一个应用,在监视摄像机中具有屏幕分割单元。通常,监视摄像机被安装在建筑物等处。如果分离监视器被用于各个监视摄像机,则设备变成大规模的,导致方便性降低。所以,在典型使用的技术中,屏幕分割单元被使用,并且多个摄像机视频图像被合成以生成一个视频信号。这个视频信号用单个监视器来确定或用单个录像机来记录。
这样,视频处理技术已经经常被用于视频会议和监视摄像机领域。很多涉及视频处理技术的发明已被提出。例如,就电视会议来说,JP-As 9-270954(KOKAI),10-164566(KOKAI),11-187372(KOKAI)和11-88854(KOKAI)可被提及。就监视摄像机等来说,JP-As 10-164566(KOKAI)和11-234654(KOKAI)可被提及。
在这样的视频处理技术的一般形式中,在同时使用例如RAM的帧缓存器时对输入的视频图像执行基本预定的视频处理,并且生成输出的视频图像。
视频帧被连续地写入RAM,并且这些视频帧被连续地读取。如果在时间上有空闲,就不会由交替地进行它们而引起问题。当在如上所述的实时处理中不中断地连续进行写入和读取并且写入速度不同于读取速度时,如果不采取任何措施,则存在写入未完成时进行读取的可能性。例如,其中已反映新更新的部分和其中未反映新更新的旧部分混合存在于读取的视频帧中。在这种情况下,恰在其前的视频帧被部分地混入读取的视频图像中,该视频图像被损坏。图13A表示这种情形。
为避免写入侧和读取侧之间的访问竞争,通常使用一种叫做双缓存区处理的技术。很好地,双缓存区处理具有很多意义。这里,然而,双缓存区处理意味在RAM上准备两个帧缓存区从而防止上述访问竞争的方法。例如,当写入侧写入帧时,帧被交替地写入两个缓存区中。另一方面,读取侧从未进行写入的缓存区读取帧。换句话说,操作被进行以交替地互换写入缓存区和读取缓存区。通过这样做,在写入时读取缓存区总是被完成的。结果,确保理想状态并且防止视频图像被损坏。
基本上,在常规双缓存区处理中,典型的方法是使写入和读取中的一个交替地访问两个缓存区以及使写入和读取中的另一个总是访问如上所述未被访问的缓存区。在这种方法中,然而,当输入视频图像和输出视频图像中的帧不同步时出现问题。例如,假定输入视频图像和输出视频图像中的帧在早先例示的视频处理设备中不同步。
假定视频处理设备具有其中输入视频图像被写入RAM,读取,二倍放大处理并输出的配置。双缓存区形成于RAM上,如图13B中左侧所示。在整个视频帧进行写入。然而,仅在如图13B中左侧图所示的阴影部分区域进行读取。通过将阴影部分放大为两倍获得的部分在如图13B中的右侧图所示的输出图像帧中处理。当读取部分在由如图13B中右侧图所示的实线箭头Y21指出的部分上进行处理时,写入部分在由如图13B中左侧图所示的实线箭头Y23指出的部分上进行处理。此时,写入部分侧的实线箭头Y23在缓存区1中。在常规双缓存区处理中,所以,读取部分从如图13B所示的缓存区2读取。如果输出视频图像的处理移动到右侧图中的虚线箭头Y22并且从缓存区2的读取完成,则写入部分以相同量继续并移动到左侧图中的虚线箭头Y24。这个位置已经超过读取区域的下端,因此意味着写入侧在中途超越(outrun)了读取侧。在发生超越之前,与在该时间之后获得的相比,读取的视频图像变成恰在其前的帧。这样,不同帧中的视频图像混在一起,导致视频图像被损坏。
现在假定输入视频图像被缩小至1/2,写入帧缓存区,读取,并完整无损地输出。这次,帧缓存区被缩小至1/2,如图13C中左侧图所示。因为写入与输入视频图像同步进行,写入访问向下移动的速度也减小为1/2。以与前述同样的方法,读取部分只读取阴影部分,将其配置在输出视频图像中。如果当读取部分在由图13C中左侧图所示的实线箭头Y25指出的部分上进行处理时写入部分在由实线箭头Y27指出的部分上进行处理,则在常规方法中从不被写入部分访问的缓存区1读取数据,如图所示。然而,当图13C中右侧图所示的箭头已经到达终端虚线箭头Y26,写入部分的访问位置以一半的速度移动到图13C中左侧图所示的虚线箭头Y28指出的部分,并且缓存区2中阴影部分的视频图像已被完全更新。最后,所以,如果从缓存区2进行读取,新帧将被无损坏地获得。
这样,在常规方法中,当例如未获得帧同步时不能完全排除访问竞争。另外,在某些情况中最新的帧不被读取。由于多个视频图像在例如视频合成设备中被输入输出,有时因为种种理由在它们之间难以获得帧同步。另外,由于在视频会议等中要求双向通信,视频图像的实时性变得非常重要并且造成最新的帧未被读取的问题。
作为相关技术,JP-A 5-212913(KOKAI)可以被提及。在这里面提出了按照某一判定方法判定访问哪个缓存器的技术。然而,这种技术不同于上述问题,它是专用于打印机的。
发明内容
按照本发明的一方面,提供了视频处理设备,包含:具有第一和第二存储区域的视频存储装置;配置成对每一输入视频帧将表示输入视频帧的第一视频信号交替地写入第一和第二存储区域的写入装置;配置成从第一存储区域或第二存储区域读取写入的第一视频信号的读取装置;配置成生成表示包括由读取的第一视频信号表示的视频图像的输出图像帧的第二视频信号的生成装置;配置成获取表示在读取装置进行读取之前获取写入装置进行的写入是写入第一存储区域还是第二存储区域的写入区域信息的写入区域获取装置;配置成在读取装置进行读取之前获取表示与写入装置正在写入的第一视频信号相关联的第一或第二存储区域上的位置的写入位置信息的写入位置获取装置;以及配置成通过使用写入区域信息和写入位置信息判定读取装置应该进行从第一存储区域还是第二存储区域读取的区域判定装置。
按照本发明的一方面,提供了视频处理设备,包含:具有第一和第二存储区域的视频存储装置;配置成将表示输入视频帧的第一视频信号写入第一存储区域或第二存储区域的写入装置;配置成对每一输出视频帧从第一存储区域和第二存储区域交替地读取写入的第一视频信号的读取装置;配置成生成表示包括由读取的第一视频信号表示的视频图像的输出视频帧的第二视频信号的生成装置;配置成在写入装置进行写入之前获取指示读取装置从第一存储区域还是第二存储区域进行读取的读取源信息的读取源获取装置;配置成在写入装置进行写入之前获取指示与读取装置正读取的第一视频信号相关联的第一或第二存储区域上的位置的读取位置信息的读取位置获取装置;以及配置成通过使用读取源信息和读取位置信息判定写入装置应该写入第一存储区域还是第二存储区域的区域判定装置。
按照本发明的一方面,提供了视频处理方法,包含:对每一输入视频帧将表示输入视频帧的第一视频信号交替地写入第一和第二存储区域;从第一存储区域或第二存储区域读取写入的第一视频信号;生成表示包括由读取的第一视频信号表示的视频图像的输出视频帧的第二视频信号;在进行读取之前获取指示正进行的写入是写入第一存储区域还是第二存储区域的写入区域信息;在进行读取之前获取指示与正被写入的第一视频信号相关联的第一或第二存储区域上的位置的写入位置信息;以及通过使用写入区域信息和写入位置信息判定应该从第一存储区域还是第二存储区域进行读取。
附图说明
图1是表示本发明第一实施例的构造的图;
图2是表示本发明第二实施例的构造的图;
图3是表示本发明第三实施例的构造的图;
图4是表示第一实施例中的输入视频图像和输出视频图像状态的图;
图5是表示第二实施例中的输入视频图像和输出视频图像状态的图;
图6是表示在第二实施例中的输出视频图像上的粘贴范围上端进行判定的情况的图;
图7是表示在一帧包括两个域的情况下输入视频图像和输出视频图像的状态的图;
图8是表示在第三实施例中的输入视频图像和输出视频图像的状态的图;
图9是表示在第三实施例中的输出视频图像上的粘贴范围上端进行判定的情况的图;
图10是表示视频帧中的像素值信息怎样从坐标左上角被发送至右下角的图;
图11是表示本发明第四实施例的构造的图;
图12是表示在第四实施例中的输入视频图像和输出视频图像的状态的图;以及
图13是解释有关技术的问题的图。
具体实施方式
(第一实施例)
根据本发明的第一实施例的构造如图1所示。该视频处理设备暂时将输入视频信号写入RAM 11上的帧缓存区,读取它,并生成和输出视频图像。双缓存区(第一和第二存储装置)形成于RAM 11上。视频信号以预定数字信号表示。视频帧中的像素值信息与像素时钟一起被从坐标左上角发送到右下角,如图10所示。每个空白部分BL1充满虚拟像素值。
首先,分析装置12分析输入视频信号,并在视频帧上找到当前像素值信息的坐标。基于该坐标,缩小装置13对图像帧进行缩小处理。例如,缩小装置通过在垂直与水平方向都每隔一个像素删除一个像素进行1/2缩小。于是,写入装置14将帧缓存区写入请求发送至调停装置(arbitrator)15。另一方面,读取装置16发送读取请求至调停装置15。基于读取的像素值信息,生成装置17适当地添加空白和同步信号,并生成和输出视频信号。调停装置15对从写入装置14和读取装置16发送的请求进行调停,事实上以时分形式访问RAM 11,并进行数据传送。读取缓存区判定装置18根据从生成装置17发送的,当前正被处理的行信息获得判定时刻。根据正被处理的从分析装置12发送来的行信息(垂直方向的坐标)和从写入装置14发送来的在双缓存区中当前正进行写入的缓存区信息,读取缓存区判定装置18判定从哪个缓存区读取,并将其结果传递至读取装置16。调停装置15左侧所示部分称为输入系统。调停装置15右侧所示部分称为输出系统。
读取缓存区判定装置18如下所述进行判定。图4表示输入视频图像和输出视频图像的状态。BL2和BL3表示视频图像的空白部分。输入视频图像如上所述被缩小至1/2,并配置在输出视频图像的左上部。当生成装置17在处理由图4右侧图所示的实线箭头Y1指明的第0行的位置时从分析装置12获得的行信息用cl表示。因为加入了缩小处理,视频图像上的行移动速度在输出侧变得快于输入侧。在输出系统完成读取时,也就是说,在右侧图中的箭头Y1移动到虚线箭头Y2时,处理从当前时刻进行BLANK_HEIGHT+(FRAME_HEIGHT-BLANK_HEIGHT)/2。所以,在那时正被输入系统处理的行被拟定为cl+BLANK_HEIGHT+(FRAME_HEIGHT-BLANK_HEIGHT)/2。如果当上述第{cl+BLANK_HEIGHT+(FRAME_HEIGHT-BLANK_HEIGHT)/2}行保持在当前帧中时从双缓存区中正进行写入的缓存区进行读取,则发生超越。此时,所以,不同于正进行写入的缓存区的缓存区应被用作读取缓存区。这种情况被描绘如下:
通过使用输入系统当前正写入的缓存区信息,输入系统当前处理的视频帧上的位置(在当前例子的情况下为cl),和如此前所述的输出的缩小视频图像的配置情况(在当前例子的情况下为BLANK_HEIGHT+(FRAME_HEIGHT-BLANK_HEIGHT)/2),有可能在读取侧一直防止由于超过的视频图像的损坏。
顺便一提,可以有多个输入系统和多个输出系统。例如,在输出视频图像上配置多个输入视频图像的情况下,对于每个输入系统都进行上述判定。
在前面的说明中,帧上的处理位置通过将一行作为一个单元来判定。作为选择,帧上的处理位置可通过将,例如,一个像素而非一行作为一个单元来判定。
(第二实施例)
本发明第二实施例中的视频处理设备的构造如图2所示。与第一实施例相同,该视频处理设备暂时将输入视频信号写入RAM 11上的帧缓存区,读取输入视频信号,并生成和输出视频图像。第二实施例不同于第一实施例的是布局能自由地变化。读取装置16接收关于输入视频图像的哪部分应被切掉的信息。缩小装置13接收被用于输入视频图像该部分的缩小因数。生成装置17接收在哪里配置缩小的视频图像。读取装置16,缩小装置13和生成装置17都根据布局信息的次序进行处理。另外,在本实施例中,读取缓存区判定装置18还监视布局信息并进行判定处理。除此之外,其它功能单元以与前面的说明相同的方式起作用。
如同图4一样,图5表示输入视频图像和输出视频图像的状态。这次,一部分输入视频图像被切掉,例如,缩小至1/2,并被贴在输出视频图像上。在那时,输入视频图像上的切割范围的下端坐标应该是oel(在显示区域中,同样的将在以下适用),并且输出视频图像上的切割范围的下端坐标应该是el。el对应,例如,终端位置。oel对应,例如,与终端位置相关联的输入视频帧上的位置。如果当输出系统在对右侧图中实线箭头Y3指示的第0行进行处理时输入系统在对第cl行进行处理,则读取缓存区判定装置18作如下判定。
·当oel>el时
当输出系统的处理位置到达如虚线箭头Y4所指示的粘贴范围下端时,输入系统的处理位置变成cl+el+BLANK_HEIGHT。如果此位置在输入视频图像的切割范围的下端之上,则发生超越或恰在其前的帧变成后面的(新的)一个,并且因此应该从它进行读取。所以,不同于当前正在进行写入的帧缓存区的帧缓存区被用作读取缓存区的条件如下:
·当oel≤el时
如从前面的表达式右边变为减号的事实鉴别的,该条件一直变为不成立。反而,当输出系统的处理位置到达粘贴范围下端时,输入系统移动到双缓存区中的下一个帧缓存区并且另外在有些情况中到达下一个帧缓存区的切割范围下端。在那时,应该从下一个帧缓存区进行读取以获得后面的视频图像。所以,将不同于当前正在进行写入的帧缓存区的帧缓存区用作读取缓存区的条件如下:
这是判定条件。现在将考虑在如图6所示的输出视频图像的粘贴范围的上端(见实线箭头Y5)作出判定的情形。输出视频图像的粘贴范围的上端用sl表示。当输出系统的处理位置已经移动到如图6中的虚线箭头Y6指示的输出视频图像的粘贴范围的下端时,输入系统的处理位置移动到cl+(el-sl)。如果它不超过输入视频图像的切割范围的下端,则以如前所述的相同方式将不同的帧缓存区用作读取缓存区。换句话说,如下所示:
如果判定条件是这样根据判定时刻适当地使用布局信息来设定,就有可能根据本发明防止输出视频图像被损坏并减少输入视频图像的延迟。判定时刻可以在任何时候,只要它在执行读取之前。根据上述表达式,sl被相应地设定。
现在将考虑视频信号是如,例如,ITU-R(国际电信联盟-无线电通信)BT.656中规定的隔行信号的情况。就这种情况下的输入视频图像和输出视频图像的状态而论,一个帧包括两个域:如图7所示的域A和域B。在这种情况下,在每个域作出判定。现在将说明更多细节。
在输出系统在如上述说明的帧头(第0行,域A的头)处作出判断的情况下,将获得类似结果,因此将忽略其说明。这次,将考虑输出系统在如右侧图中虚线箭头Y7指示的域B的头处作出判断的情况。思考方法是一样的。当输出系统的处理位置到达如虚线箭头Y8指示的粘贴范围的最后时,输入系统的处理位置变为cl+el+BLANK_HEIGHT。如果此位置在域B切割范围的最后之上,则发生超越或恰在其前的帧变成后面的(新的)一个,并且因此应从它进行读取。所以,将不同于当前正在进行写入的帧缓存区的帧缓存区用作读取缓存区的条件如下:
如果输入视频信号和输出视频信号在确定时刻传送,则隔行视频图像也可以这样被使用。判定条件应根据它适当地设置。
(第三实施例)
本发明第三实施例如图3所示。同样在本实施例中,视频处理设备也暂时将输入视频信号写入RAM11上的帧缓存区,读取输入视频信号,并与第一和第二实施例相同的方式生成并输出视频图像。第三实施例不同于第一和第二实施例的是写入装置14之前的缩小装置被去除并且代之以在读取装置16后配备放大装置19。这次,一部分被切割的输入视频图像以预定放大因数放大并贴在输出视频图像上。由于缩小和放大之间的差异,与上述说明相反,正由输入侧处理的输入视频图像的位置的移动速度变得比正由输出侧处理的输入视频图像的位置的移动速度快。除此之外,操作与第一和第二实施例中的相同。
图8与图4和5相同的方式表示输入视频图像和输出视频图像的状态。这次,一部分输入视频图像如图8所示被切割,并且它被放大两倍并贴在输出视频图像上。在那时,切割范围上端坐标由osl表示并且输出视频图像的粘贴范围上端坐标由sl表示。坐标sl对应,例如,开始位置。坐标osl对应,例如,与开始位置相关联的输入视频帧上的位置。如果当输出系统在处理右侧图中虚线箭头Y9指示的第0行时输入系统在对第cl行进行处理,则读取缓存区判定装置18作如下判定:
·当osl>sl时
当输出系统的处理位置到达如虚线箭头Y10指示的粘贴范围上端时,输入系统的处理位置变为cl+sl+BLANK_HEIGHT。如果此位置在输入视频图像上的切割范围下端之上,则发生超越或恰在其前的帧变成后面的(新的)一个,并且因此应该从它进行读取。所以,将不同于当前正在进行写入的帧缓存区的帧缓存区用作读取缓存区的条件如下:
·当osl≤sl时
如从前面的表达式右边变为减号的事实鉴别的,该条件一直变为不成立。反而,当输出系统的处理位置到达粘贴范围上端时,输入系统移动到双缓存区中的下一个帧缓存区并且另外在有些情况中到达下一个帧缓存器中的切割范围上端。如果在那时从下一个帧缓存区进行读取,则获得后面的视频图像。所以,应从下一帧缓存区进行读取。因此,将不同于当前正在进行写入的帧缓存区的帧缓存区用作读取缓存区的条件如下:
这是判定条件。现在将考虑在如图9所示的输出视频图像的粘贴范围上端(见实线箭头Y11)作出判定的情况。如果在这种情况下在这个时间点cl不超过输入视频图像上的切割范围上端,则将不同的帧缓存区用作读取缓存区。换句话说,如下:
如果即使当进行放大时也如此同样地设定判定条件,可以同样地获得本发明的效果。同样在隔行扫描情况下,该条件也应被同样地设定。
顺便一提,在第一至第三实施例中说明的缩小装置和放大装置只不过是一个实例。它们不限制本发明。
(第四实施例)
在第一至第三实施例中,已纪说明了输入侧交替地进行写入帧缓存区以及输出侧判定读取缓存区的情况。然而,本发明对输入侧在进行写入帧缓存区时判定写入缓存区以及输出侧交替地从帧缓存区读取的情况也有效。下面,将说明这种情况的实例。然而,本发明不局限于下面说明的实例,但是对应第一至第三实施例的实施例也可被结合。
根据本发明的第四实施例的构造如图11所示。图11不同于图2的是输入侧在写入帧缓存区时判定写入缓存区以及输出侧交替地从帧缓存区读取。
在该实施例中的帧缓存区是用于输出视频帧的缓存区。读取装置16从一个帧缓存区的整个区域中读取输出视频帧。写入装置16写入一个帧缓存区的部分区域或整个区域。
除此之外,操作与上述说明中的相同。为了方便起见,参考标号被重新分配给各元件。除上述点之外,每个元件的操作与具有相似名称的元件的相同。
图12表示输入视频图像和输出视频图像的状态。图12除cl是在输出侧上的以外与图5相同。如果当输入侧在对左侧图中实线箭头Y12指示的第0行进行处理时输出系统对第cl行进行处理,则读取缓存区判定装置28作如下决定。
·当oel<el时
当输入系统的处理位置到达切割范围下端时,输出系统的处理位置变为cl+oel+BLANK_HEIGHT。如果此位置低于输出视频图像上的粘贴范围下端,则读取装置侧发生超越或下一帧被较早地读取,并且因此应对它进行写入。所以,将不同于当前正在进行读取的帧缓存区的帧缓存区用作写入缓存区的条件如下:
·当oel≥el时
之前的表达式总是成立。作为替代,当输入系统的处理位置到达切割范围下端时,输出系统移动到下一帧缓存区并且另外在有些情况中到达帧缓存区中的粘贴范围下端。在那时,应当对是下一缓存区之后的缓存区的当前缓存区进行写入以使输出侧读取后面的视频图像。除此情形之外,所以,将不同于当前正在进行写入的帧缓存区的帧缓存区用作写入缓存区的条件变为如下:
如上所述,在该实施例中,读取缓存区判定装置28作出与第二实施例相反的判定。
在第三实施例中,描述了写入装置14的写入位置的移位比读取装置16的读取位置的移位快的放大情形,读取缓存区判定装置28也作出与第二实施例相反的判定。即,如果读取装置16的读取位置在写入装置14写入写入开始位置时超过写入终止位置,写入缓存区被设定为读取装置16读取的缓存区。
在至此说明的第四实施例中,在输出帧头(图12中的cl)处作出判定。作为选择,可以与上述第二和第三实施例相同的方式在另一位置(时刻)作出判定。
作为至此说明的第一至第四实施例的实例,进行放大或缩小处理的情形已被提及。然而,本发明不局限于此。在帧缓存区上写入装置侧的移动速度不同于读取装置侧是必要的。所以,本发明可应用于仅输入视频图像的速度不同于输出视频图像的速度的情况。同样在那种情况下,也根据本发明作出类似判定。
图1、2、3和11所示构造中的每个元件可以代表通过使计算机执行用普通程序技术生成的程序的功能,可以代表硬件,或可以代表它们的组合。
根据本发明实施例,即使当输入视频图像和输出视频图像是异步时也可以总是在双缓存中适当地做出缓存区选择的判定并且另外输入视频图像的切割位置和输出视频图像上的粘贴位置可以是任意的,如至此说明的。所以,可以防止输入图像被损坏并减少对应输入视频图像的输出视频图像延迟。
Claims (9)
1.一种视频处理设备,其特征在于,包含:
具有第一和第二存储区域的视频存储装置;
配置成对每一输入视频帧将表示输入视频帧的第一视频信号交替地写入所述第一和第二存储区域的写入装置;
配置成从所述第一存储区域或所述第二存储区域读取写入的第一视频信号的读取装置;
配置成生成表示包括由读取的第一视频信号表示的视频图像的输出视频帧的第二视频信号的生成装置;
配置成在所述读取装置进行读取之前获取指示所述写入装置是向所述第一存储区域还是所述第二存储区域进行写入的写入区域信息的写入区域获取装置;
配置成在所述读取装置进行读取之前获取将指示与写入装置正写入的所述第一视频信号相关联的第一或第二存储区域上的写入位置信息的写入位置获取装置;以及
配置成通过使用所述写入区域信息和所述写入位置信息判定所述读取装置应该从所述第一存储区域还是所述第二存储区域进行读取的区域判定装置;
其中
所述写入装置的写入位置的移位比所述读取装置的读取位置的移位快,
所述写入装置将所述第一视频信号写入所述第一或第二存储区域上的从写入开始位置至写入终止位置的范围内,
所述读取装置从第一或第二存储区域上的从读取开始位置至读取终止位置的范围内读取所述第一视频信号,以及
如果所述写入装置在所述读取装置从所述读取开始位置读取时的写入位置在读取开始位置和读取终止位置之间,区域判定装置将所述第一存储区域和所述第二存储区域中由所述写入区域信息指示的一个判定为所述读取装置读取的读取区域,且
如果所述写入装置在所述读取装置从所述读取开始位置读取时的写入位置不在读取开始位置和读取终止位置之间,所述区域判定装置将另一个存储区域判定为所述读取装置读取的读取区域。
2.一种视频处理设备,其特征在于,包括:
具有第一和第二存储区域的视频存储装置;
配置成对每一输入视频帧将表示输入视频帧的第一视频信号交替地写入所述第一和第二存储区域的写入装置;
配置成从所述第一存储区域或所述第二存储区域读取写入的第一视频信号的读取装置;
配置成生成表示包括由读取的第一视频信号表示的视频图像的输出图像帧的第二视频信号的生成装置;
配置成在所述读取装置进行读取之前获取指示所述写入装置是向所述第一存储区域还是所述第二存储区域进行写入的写入区域信息的写入区域获取装置;
配置成在所述读取装置进行读取之前获取将指示与写入装置正写入的所述第一视频信号相关联的第一或第二存储区域上的写入位置信息的写入位置获取装置;以及
配置成通过使用所述写入区域信息和所述写入位置信息判定所述读取装置应该从所述第一存储区域还是所述第二存储区域进行读取的区域判定装置;
配置成基于所述区域判定装置判定第一存储区域或第二存储区域时获取的写入位置信息和读取终止位置生成估计的写入位置的写入位置估计装置,所述估计的写入位置指示当所述读取装置在所述读取终止位置读取时所述写入装置正写入的位置;以及
配置成基于读取终止位置、在所述区域判定装置判定第一存储区域或第二存储区域时获取的写入区域信息、和在所述区域判定装置判定第一存储区域或第二存储区域时获取的写入位置信息生成估计的写入区域的写入区域估计装置,所述估计的写入区域指示在读取装置在所述读取终止位置读取时所述写入装置写入的区域;以及
其中
所述写入装置的写入位置的移位比所述读取装置的读取位置的移位慢,
所述写入装置将所述第一视频信号写入所述第一或第二存储区域上的从写入开始位置至写入终止位置的范围内,
所述读取装置从所述第一或第二存储区域上的从读取开始位置至读取终止位置的范围内读取所述第一视频信号,以及
如果所述估计的写入位置在读取开始位置和读取终止位置之间,所述区域判定装置将所述第一存储区域和所述第二存储区域中没有被估计的写入区域指示的一个判定为所述读取装置读取的读取区域,以及
如果所述估计的写入位置不在读取开始位置和读取终止位置之间,所述区域判定装置将另一个存储区域判定为所述读取装置读取的读取区域。
3.如权利要求2所述的视频处理设备,其特征在于,
所述写入位置估计装置基于所述读取装置的读取位置的移位速度和所述读取终止位置与所述区域判定装置判定所述读取区域时所述读取装置的读取位置之间的差别,估计从所述区域判定装置判定所述读取区域的时刻到所述读取装置在所述读取终止位置读取的时刻之间经过的时间,并且基于所经过的时间、所述写入位置信息和所述写入装置的写入位置的移位速度生成估计的写入位置,以及
如果所述估计的写入位置超过所述写入终止位置,所述写入区域估计装置将采用所述第一存储区域和所述第二存储区域中没有被所述写入区域信息指示的一个作为估计的写入区域,如果所述估计的写入位置不超过所述写入终止位置,将采用另一个存储区域作为估计的写入区域。
4.一种视频处理设备,其特征在于,包含:
具有第一和第二存储区域的视频存储装置;
配置成将表示输入视频帧的第一视频信号写入所述第一存储区域或所述第二存储区域的写入装置;
配置成对每一输出视频帧从所述第一存储区域和所述第二存储区域交替地读取写入的第一视频信号的读取装置;
配置成生成表示包括由读取的第一视频信号表示的视频图像的输出视频帧的第二视频信号的生成装置;
配置成在所述写入装置进行写入之前获取指示所述读取装置从所述第一存储区域还是所述第二存储区域进行读取的读取源信息的读取源获取装置;
配置成在所述写入装置进行写入之前获取指示与所述读取装置正读取的第一视频信号相关联的第一或第二存储区域上的位置的读取位置信息的读取位置获取装置;以及
配置成通过使用所述读取源信息和所述读取位置信息判定所述写入装置应该写入所述第一存储区域还是第二存储区域的区域判定装置。
5.如权利要求4的所述视频处理设备,其特征在于,
所述写入装置的写入位置的移位比所述读取装置的读取位置的移位快,
所述写入装置将所述第一视频信号写入第一或第二存储区域上从写入开始位置至写入终止位置的范围内,
所述读取装置从第一或第二存储区域上的从读取开始位置至读取终止位置的范围内读取所述第一视频信号,以及
如果所述读取装置在所述写入装置写入所述写入开始位置时的读取位置在写入开始位置和写入终止位置之间,所述区域判定装置将所述第一存储区域和所述第二存储区域中没有被所述读取区域信息指示的一个判定为读取装置读取的读取区域,以及
如果所述读取装置在所述写入装置写入所述写入开始位置时的读取位置不在写入开始位置和写入终止位置之间,所述区域判定装置将另一个存储区域判定为读取装置读取的读取区域。
6.如权利要求4所述的视频处理设备,其特征在于,
配置成基于写入终止位置和所述区域判定装置判定第一存储区域或第二存储区域时获取的读取位置信息生成估计的读取位置的读取位置估计装置,所述估计的读取位置指示当所述写入装置写入所述写入终止位置时读取装置正读取的位置;以及
配置成基于写入终止位置、在所述区域判定装置判定第一存储区域或第二存储区域时获取的读取区域信息和在所述区域判定装置判定第一存储区域或第二存储区域时获取的写入位置信息生成估计的读取区域的读取区域估计装置,所述估计的读取区域指示在所述写入装置在写入所述写入终止位置时所述读取装置正读取的区域;以及其中
所述写入装置的写入位置的移位比所述读取装置的读取位置的移位慢,
所述写入装置将所述第一视频信号写入所述第一或第二存储区域上从写入开始位置至写入终止位置的范围内,
所述读取装置从所述第一或第二存储区域上的从读取开始位置至读取终止位置的范围内读取所述第一视频信号,以及
如果所述估计的读取位置在写入终止位置和写入开始位置之间,所述区域判定装置将所述第一存储区域和所述第二存储区域中由所述估计的读取区域指示的一个判定为写入装置写入的写入区域,以及
如果所述估计的读取位置不在写入终止位置和写入开始位置之间,所述区域判定装置将另一个存储区域判定为写入装置写入的写入区域。
7.如权利要求6所述的视频处理设备,其特征在于,
所述读取位置估计装置基于所述写入装置的写入位置的移位速度和所述写入终止位置与所述区域判定装置判定所述写入区域时所述写入装置的写入位置之间的差别,估计从所述区域判定装置判定所述写入区域的时刻到所述写入装置写入所述写入终止位置的时刻之间经过的时间,并且基于所经过的时间、所述读取位置信息和所述读取装置的读取位置的移位速度生成估计的读取位置,以及
如果所述估计的读取位置超过所述读取终止位置,所述读取区域估计装置将采用所述第一存储区域和所述第二存储区域中没有被所述读取区域信息指示的一个作为估计的读取区域,如果所述估计的读取位置不超过所述读取终止位置,将另一个存储区域作为估计的读取区域。
8.一种视频处理方法,其特征在于,包含:
对每一输入视频帧将表示输入视频帧的第一视频信号交替地写入第一和第二存储区域;
从所述第一存储区域或所述第二存储区域读取写入的第一视频信号;
生成表示包括由读取的第一视频信号表示的视频图像的输出视频帧的第二视频信号;
在进行读取之前获取指示正进行的写入是写入所述第一存储区域还是所述第二存储区域的写入区域信息;
在进行读取之前获取指示与正被写入的第一视频信号相关联的所述第一或第二存储区域上的位置的写入位置信息;以及
通过使用所述写入区域信息和所述写入位置信息判定将从第一存储区域还是第二存储区域进行读取;
其中
所述写入的写入位置的移位比所述读取的读取位置的移位快,
所述写入包括将所述第一视频信号写入所述第一或第二存储区域上的从写入开始位置至写入终止位置的范围内,
所述读取包括从第一或第二存储区域上的从读取开始位置至读取终止位置的范围内读取所述第一视频信号,以及
如果所述写入在所述第一视频信号从所述读取开始位置被读取时的写入位置在读取开始位置和读取终止位置之间,所述判定包括将所述第一存储区域和所述第二存储区域中由所述写入区域信息指示的一个判定为进行读取的读取区域,且
如果所述写入在所述第一视频信号从所述读取开始位置被读取时的写入位置不在读取开始位置和读取终止位置之间,所述判定包括将另一个存储区域判定为进行读取的读取区域。
9.一种视频处理方法,其特征在于,包含:
对每一输入视频帧将表示输入视频帧的第一视频信号交替地写入第一和第二存储区域;
从所述第一存储区域或所述第二存储区域读取写入的第一视频信号;
生成表示包括由读取的第一视频信号表示的视频图像的输出视频帧的第二视频信号;
在进行读取之前获取指示正进行的写入是写入所述第一存储区域还是所述第二存储区域的写入区域信息;
在进行读取之前获取指示与正被写入的第一视频信号相关联的所述第一或第二存储区域上的位置的写入位置信息;以及
通过使用所述写入区域信息和所述写入位置信息判定将从第一存储区域还是第二存储区域进行读取;
其中
所述写入的写入位置的移位比所述读取的读取位置的移位慢,
所述写入包括将所述第一视频信号写入所述第一或第二存储区域上的从写入开始位置至写入终止位置的范围内,
所述读取包括从所述第一或第二存储区域上的从读取开始位置至读取终止位置的范围内读取所述第一视频信号,以及
如果所述估计的写入位置在读取开始位置和读取终止位置之间,所述判定包括将所述第一存储区域和所述第二存储区域中没有被估计的写入区域指示的一个判定为进行读取的读取区域,以及
如果所述估计的写入位置不在读取开始位置和读取终止位置之间,所述区域判定装置将另一个存储区域判定为进行读取的读取区域。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005244391A JP4346591B2 (ja) | 2005-08-25 | 2005-08-25 | 映像処理装置、映像処理方法およびプログラム |
JP2005244391 | 2005-08-25 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1921594A CN1921594A (zh) | 2007-02-28 |
CN100521758C true CN100521758C (zh) | 2009-07-29 |
Family
ID=37779130
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNB2006101256576A Expired - Fee Related CN100521758C (zh) | 2005-08-25 | 2006-08-25 | 视频处理设备和视频处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US7944509B2 (zh) |
JP (1) | JP4346591B2 (zh) |
CN (1) | CN100521758C (zh) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4256421B2 (ja) * | 2006-11-21 | 2009-04-22 | 株式会社東芝 | 映像合成装置、映像合成方法及び映像合成処理プログラム |
JP4776592B2 (ja) * | 2007-07-09 | 2011-09-21 | 株式会社東芝 | 画像生成装置、画像生成方法および画像生成プログラム |
JP4675944B2 (ja) * | 2007-08-29 | 2011-04-27 | 株式会社東芝 | 画像処理装置、画像処理方法、画像処理プログラム |
JP2009080580A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 映像表示装置及び方法 |
JP5415721B2 (ja) * | 2008-07-22 | 2014-02-12 | キヤノン株式会社 | 表示システム及びその表示方法 |
US8451191B2 (en) | 2008-07-22 | 2013-05-28 | Canon Kabushiki Kaisha | Display system, display method, information processing apparatus, and computer-readable storage medium |
NO329739B1 (no) * | 2008-12-23 | 2010-12-13 | Tandberg Telecom As | Fremgangsmate, anordning og dataprogram for a prosessere bilder i en konferanse mellom et flertall av videokonferanseterminaler |
CN102881273B (zh) * | 2012-09-10 | 2015-01-07 | 中国航空工业集团公司洛阳电光设备研究所 | 一种面向异步视频的嵌入式图像处理方法 |
US9826252B2 (en) * | 2014-07-29 | 2017-11-21 | Nxp Usa, Inc. | Method and video system for freeze-frame detection |
WO2020047843A1 (zh) * | 2018-09-07 | 2020-03-12 | 深圳鲲云信息科技有限公司 | 视频图像数据传输方法、系统、存储介质及程序产品 |
US11164496B2 (en) * | 2019-01-04 | 2021-11-02 | Channel One Holdings Inc. | Interrupt-free multiple buffering methods and systems |
US11792473B2 (en) * | 2021-08-06 | 2023-10-17 | Sony Group Corporation | Stream repair memory management |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4797746A (en) * | 1987-08-24 | 1989-01-10 | Rockwell International Corporation | Digital image interface system |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2888834B2 (ja) | 1987-08-14 | 1999-05-10 | ソニー株式会社 | 画像信号処理装置 |
US5428399A (en) * | 1991-04-15 | 1995-06-27 | Vistek Electronics Limited | Method and apparatus for image translation with improved motion compensation |
JPH05212913A (ja) | 1992-02-05 | 1993-08-24 | Matsushita Electric Ind Co Ltd | 画像形成装置 |
US5446496A (en) * | 1994-03-31 | 1995-08-29 | Hewlett-Packard Company | Frame rate conversion with asynchronous pixel clocks |
JPH09270954A (ja) | 1996-04-03 | 1997-10-14 | Hitachi Ltd | 画面合成回路 |
JPH10164566A (ja) | 1996-11-28 | 1998-06-19 | Aiphone Co Ltd | マルチ天井カメラ装置 |
JPH1188854A (ja) | 1997-09-16 | 1999-03-30 | Fujitsu Ltd | 多地点テレビ会議制御装置 |
JPH11187372A (ja) | 1997-12-22 | 1999-07-09 | Kyocera Corp | 多地点テレビ会議システム |
JP3684525B2 (ja) | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
EP1040424A2 (en) * | 1998-07-06 | 2000-10-04 | Koninklijke Philips Electronics N.V. | Plural image display reading image data from a memory |
US6054980A (en) * | 1999-01-06 | 2000-04-25 | Genesis Microchip, Corp. | Display unit displaying images at a refresh rate less than the rate at which the images are encoded in a received display signal |
US6515672B1 (en) * | 1999-12-23 | 2003-02-04 | Intel Corporation | Managing prefetching from a data buffer |
JP2001285713A (ja) | 2000-03-29 | 2001-10-12 | Victor Co Of Japan Ltd | 映像信号処理回路 |
JP2003046805A (ja) | 2001-08-02 | 2003-02-14 | Sony Corp | 信号変換処理方法および装置並びに映像信号処理装置 |
JP4047316B2 (ja) * | 2003-09-25 | 2008-02-13 | キヤノン株式会社 | フレームレート変換装置、それに用いられる追い越し予測方法、表示制御装置及び映像受信表示装置 |
PL362631A1 (en) * | 2003-10-06 | 2005-04-18 | Advanced Digital Broadcast Polska Sp.z o.o. | Method for controlling video display signal frames |
CN100466720C (zh) | 2005-01-17 | 2009-03-04 | 株式会社东芝 | 视频合成设备及视频合成方法 |
-
2005
- 2005-08-25 JP JP2005244391A patent/JP4346591B2/ja not_active Expired - Fee Related
-
2006
- 2006-08-25 CN CNB2006101256576A patent/CN100521758C/zh not_active Expired - Fee Related
- 2006-08-25 US US11/509,803 patent/US7944509B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4797746A (en) * | 1987-08-24 | 1989-01-10 | Rockwell International Corporation | Digital image interface system |
Also Published As
Publication number | Publication date |
---|---|
US7944509B2 (en) | 2011-05-17 |
US20070046679A1 (en) | 2007-03-01 |
JP2007060388A (ja) | 2007-03-08 |
JP4346591B2 (ja) | 2009-10-21 |
CN1921594A (zh) | 2007-02-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN100521758C (zh) | 视频处理设备和视频处理方法 | |
US7206028B2 (en) | Method and apparatus of adaptive de-interlacing of dynamic image | |
US7724271B2 (en) | Apparatus and method of transforming multidimensional video format | |
US7626637B2 (en) | Method and apparatus for capturing full-screen frames | |
US7634130B2 (en) | Moving image generating apparatus, moving image generating method and moving image generating program | |
CN106713942A (zh) | 视频处理方法和装置 | |
JP4559976B2 (ja) | 映像合成装置、映像合成方法及び映像合成プログラム | |
EP1705558A2 (en) | Method and apparatus for capturing full-screen frames | |
KR100392690B1 (ko) | 화상표시장치 | |
JP4423416B2 (ja) | 映像合成処理システム | |
KR100456402B1 (ko) | 디지털 영상처리장치 | |
CN111295703A (zh) | 影像处理装置、显示装置、影像处理方法、控制程序、以及记录介质 | |
JP2918049B2 (ja) | ピクチャ・イン・ピクチャのための記憶方法 | |
JP3295036B2 (ja) | 多画面表示装置 | |
KR100728240B1 (ko) | 복수 개의 다시점 영상을 단일의 대영상으로 변환하는 장치및 그 방법 | |
EP0690618A1 (en) | An imaging apparatus which simultaneously displays images formed in different analog formats on a single monitor | |
US20050117780A1 (en) | Image signal processing apparatus | |
JP2737557B2 (ja) | 2画面表示テレビジョン受信機及び2画面処理回路 | |
JPH10301556A (ja) | 画像表示制御装置および方法 | |
JP5089459B2 (ja) | 過去映像参照機能付き映像システム、映像情報処理方法、プログラム、及び記録媒体 | |
JPH1155591A (ja) | 画像処理装置およびその方法 | |
JP2006270160A (ja) | 画像データ処理装置 | |
WO2000060867A1 (en) | Digital video lan system | |
JP2001268394A (ja) | エッジスーパ処理装置及びエッジスーパ処理方法 | |
JPH01196980A (ja) | 動画像と他メディアの同期方式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20090729 Termination date: 20150825 |
|
EXPY | Termination of patent right or utility model |