CN102082901B

CN102082901B - 图像摄像装置

Info

Publication number: CN102082901B
Application number: CN201010571892.2A
Authority: CN
Inventors: 石垣智子; 笠原亮介
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-12-01
Filing date: 2010-11-30
Publication date: 2014-04-23
Anticipated expiration: 2030-11-30
Also published as: CN102082901A; EP2334064A2; EP2334064A3; US20110128408A1; US8624999B2

Abstract

本发明涉及图像摄像装置，其目的在于提供一种能够在以不同于NTSC方式的帧频来读取摄像元件中的图像数据、且逐行写入帧存储器、进而隔行读取摄像时，防止发生隔行方式特有的梳状噪音的图像摄像装置，并提供装设NTSC方式对应的振荡器的廉价摄像装置。该装置中的帧存储器(105)至少被分割为三个区域，控制部(10)将帧存储器的各个区域依次在写入区域和读取区域之间转换，当结束某一区域的读取时，判断下一个读取区域中的写入是否结束，而后转换读取区域。摄像元件(101)按照NTSC方式对应的振荡器(107)的时钟动作，并通过改变垂直方向的消隐期间乃至水平方向的消隐期间，来用不同于NTSC方式的帧频输出图像数据。

Description

图像摄像装置

技术领域

本发明涉及装在车辆上使用的车载照相机等图像摄像装置，具体涉及以NTSC方式输出的图像摄像装置。

背景技术

在一般的车载照相机中，为了配合NTSC方式显示装置等，用CMOS传感器等摄像元件，以约30fps摄影次数来拍摄。利用这种照相机拍摄比如街道上的LED信号机时会发生以下问题。

LED信号机使用经过商用全波整流后的驱动电压来驱动，虽然目视难以发现，但其信号以微小的时间周期反复点灯消灯。为此，在某一帧拍摄中，如果摄像元件的电荷积蓄时间与信号的消灯期间发生重复，尽管实际上红灯、绿灯、黄灯的其中之一处于点灯状态，但该帧却仍然将其拍摄成消灯状态。而这样的帧拍摄如果连续发生，则几十张被拍摄成消灯状态的信号机的影像将持续输出。这样的情况对于驾驶记录器来说问题尤为严重。驾驶记录器用于记录车载照相机拍摄的影像，其广泛用于事故分析等用途。如果不能正确识别事故或危险发生时的信号机状态，则会有碍于事故处理中的事故责任判断。

针对上述问题，例如在专利文献1(JP特开2009-181339号公报)中提出，将摄像元件的帧频设定为与NTSC方式的帧频相差预定的偏差频率。这样，即使是在拍摄LED信号灯时，也不会发生持续输出几十张被拍摄成消灯状态的信号机的影像，但是，这样的视频不同于NTSC方式的帧频，无法用NTSC方式的显示装置来显示。

针对该问题，虽然可用不同于NTSC方式的帧频(偏离帧频)来将从摄像元件读取的图像数据保存到帧存储器中，并用NTSC方式的帧频从该呈存储器中读取且输出到显示装置。但是，这种解决方法会带来以下问题。

一般采用逐行方式从摄像元件中读取图像数据。而NTSC方式的显示装置则通常采用隔行方式来显示图像。出于该原因，上述方法需要用逐行方式来将从摄像元件读取的图像数据写入帧存储器，而后以隔行方式从帧存储器中读取该图像数据。在这种情况下，将一个帧图像数据写入帧存储器所需要的时间不同于帧存储器读取一个帧图像数据所需要的时间，因此即便帧存储器为双缓冲，也难以避免隔行方式特有的梳状噪音(comb noise)的发生。所谓梳状噪音是指，来自不同帧的奇数区域构成的帧图像与偶数区域构成的帧图像之间发生的梳齿形图像偏离。

发明内容

本发明的目的在于，提供一种摄像装置，该装置用不同于NTSC方式帧频的帧频来读取摄像元件中的图像数据，并用逐行方式将该图像数据写入帧存储器，进而用NTSC方式帧频以隔行方式读取帧存储器，从而使得该摄像装置能够不受点灯机如LED信号机等在点灯期间中的闪烁周期的影响，而且可以使用NTSC方式的显示装置，进而，能够防止梳状噪音的发生。

本发明的目的还在于，提供一种廉价的摄像装置，其中的振荡器为用于发生NTSC方式时钟信号的振荡器，其虽然结构简单，但能够以不同于NTSC方式帧频的帧频来读取摄像元件中的图像数据。

为了达到上述目的，本发明提供以下图像摄像装置。

(1)本发明的一个方面为，提供一种图像摄像装置，其中包括以下元件：光学系统，用于被摄体光像的成像；摄像元件，拍摄该光学系统的光像，并用帧频Ffs输出图像数据，该帧频Ffs不同于NTSC方式的帧频Ffr；帧存储器，用于存放该图像数据；以及，控制部，将该摄像元件输出的图像数据逐行写入该帧存储器，并用NTSC方式的帧频Ffr对该帧存储器进行隔行读取，其特征在于，该帧存储器至少被分割为三个区域，该控制部将该帧存储器的各个区域依次在写入区域和读取区域之间转换，使各个区域轮流起到写入区域和读取区域的作用，依次在各个区域中逐行写入一帧图像数据，并依次从各个区域中隔行读取一帧图像数据。

(2)本发明的另一个方面为，提供根据(1)所述的图像摄像装置，其特征在于，所述控制部在结束从某一区域中读取一帧图像数据时，判断下一个读取区域中一帧图像数据的写入是否结束，如果没有结束，则再次从先前读取的区域读取一帧图像数据。

(3)本发明的另一个方面为，提供根据(2)所述的图像摄像装置，其特征在于，如果判断下一个读取区域中一帧图像数据的写入已经结束，则所述控制部判断再下一个读取区域中一帧图像数据的写入是否结束，如果已经结束，则越过下一个读取区域，开始读取该再下一个读取区域中的图像数据。

(4)本发明的另一个方面为，提供根据(1)至(3)中任意一项所述的图像摄像装置，其特征在于，所述控制部在从帧存储器中读取图像数据时，进行预定的图像转换处理。

(5)本发明的另一个方面为，提供根据(1)至(4)中任意一项所述的图像摄像装置，其特征在于，所述摄像元件以一定帧周期的帧频Ffs输出图像数据。

(6)本发明的另一个方面为，提供根据(1)至(4)中任意一项所述的图像摄像装置，其特征在于，所述摄像元件以可变帧周期的帧频Ffs输出图像数据，该可变帧周期中的相邻帧周期为不定帧周期，且帧周期的平均为NTSC方式的帧周期。

(7)本发明的另一个方面为，提供根据(1)至(6)中任意一项所述的图像摄像装置，其特征在于，还包括一个振荡器，用于发生NTSC方式对应的时钟信号，所述控制部基于该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频Ffr对帧存储器进行隔行读取，所述摄像元件输入具有该振荡器发生的NTSC方式对应的时钟频率的时钟后动作，改变垂直方向的消隐期间乃至水平方向的消隐期间，以用不同于NTSC方式的帧频Ffr的帧频Ffs来输出图像数据。

(8)本发明的另一个方面为，提供根据(7)所述的图像摄像装置，其特征在于，所述摄像元件具备寄存器，根据该寄存器中设定的参数值来改变垂直方向的消隐期间乃至水平方向的消隐期间。

(9)本发明的另一个方面为，提供根据(1)至(6)中任意一项所述的图像摄像装置，其特征在于，还包括一个振荡器，用于发生NTSC方式对应的时钟信号，所述控制部基于该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频Ffr对帧存储器进行隔行读取，所述摄像元件输入时钟后动作，该时钟具有与该振荡器发生的NTSC方式对应的时钟频率不同的时钟频率。

(10)本发明的另一个方面为，提供根据(9)所述的图像摄像装置，其特征在于，所述摄像元件通过该摄像元件内部的PLL即锁相环，对具有与所述NTSC方式对应的时钟频率不同的时钟频率的时钟进行转换，将其时钟频率转换成为该时钟频率的n倍，并用转换后的频率输出图像数据。

(11)本发明的另一个方面为，提供根据(10)所述的图像摄像装置，其特征在于，将所述时钟以及转换后的时钟设为，其时钟频率为NTSC方式对应的时钟频率的公倍数以及公约数以外的频率。

(12)本发明的另一个方面为，提供根据(11)所述的图像摄像装置，其特征在于，所述摄像元件通过改变垂直方向的消隐期间将乃至水平方向的消隐期间，来用帧频Ffs输出图像数据，该帧频Ffs不同于NTSC方式的帧频Ffr。

(13)本发明的另一个方面为，提供根据(6)至(12)中任意一项所述的图像摄像装置，其特征在于，还包括用于控制整个装置的CPU，该CPU设定所述摄像元件内部的寄存器的参数值。

(14)本发明的另一个方面为，提供根据(1)至(13)中任意一项所述的图像摄像装置，其特征在于，所述摄像元件将帧频Ffr的垂直同步信号与图像数据一起输出，所述控制部基于该摄像元件的垂直同步信号，来控制帧存储器的读取时刻。

为了不受点灯机如LED信号机等在点灯期间中的闪烁周期的影响，并且能够使用NTSC方式的显示装置，本发明的图像摄像装置用不同于NTSC方式帧频的帧频来读取摄像元件中的图像数据，并用逐行方式将该图像数据写入帧存储器，进而用NTSC方式帧频以隔行方式读取帧存储器，其中，将帧存储器至少分割为三个区域，并将各个区域在写入区域和读取区域之间转换，使各个区域轮流起到写入区域和读取区域的作用，当某个区域的读取结束时，需要确认下一个读取区域是否结束写入之后，才进行读取区域的转换，从而防止了隔行方式特有的梳状噪音的发生。

而且，本发明的图像摄像装置中的振荡器为对应于NTSC方式的时钟信号发生用的振荡器，摄像元件基于该振荡器发生的具有NTSC方式对应的时钟频率的时钟而动作，改变垂直方向的消隐期间乃至水平方向的消隐期间，用不同于NTSC方式帧频的帧频来输出图像，从而提供廉价的图像摄像装置。

关于本发明的图像摄像装置所具有的除了上述以外的效果，将在下面的实施方式中说明。

附图说明

图1是本发明的图像摄像装置的实施方式之一的整体结构的示意图。

图2是显示现有技术中的摄像元件输出的输出信号与从帧存储器读取的信号之间关系的图，其中，图2A为从摄像元件逐行读取的输出信号，图2B为从帧存储器隔行读取的读取信号。

图3是显示本发明实施方式中从摄像元件输出的输出信号和从帧存储器读取的读取信号之间关系的图，其中，图3A为从摄像元件逐行读取的输出信号，图3B为从帧存储器隔行读取的读取信号。

图4是图1中的控制部的详细结构示意图。

图5是图4中的坐标计算部的处理示意图，其中，图5A表示两个像素在转换前后坐标上的位置关系，图5B表示帧存储器中输入图像和输出图像之间的对应像素在转换前后的位置关系。

图6A至图6E是表示以周期T₀闪烁的照明光与摄像元件的曝光时刻的图(其一)。

图7是以周期T₀闪烁的照明光以及利用滚动快门的摄像元件的曝光时刻所拍摄的信号机拍摄状态的示意图。

图8A至图8E是表示以周期T₀闪烁的照明光与摄像元件的曝光时刻的图(其二)。

图9A至图9E显示在现有的双缓冲的情况下的写入和读取之间的转变以及输出图像的状态的示意图(写入时间＝读取时间)。

图10是显示双缓冲情况下的写入以及读取的时刻图表(写入时间＞读取时间)。

图11A至图11F显示双缓冲情况下的写入和读取之间的转变以及输出图像的状态的示意图(写入时间＞读取时间)。

图12是显示双缓冲情况下的写入以及读取的时刻图表(写入时间＜读取时间)。

图13A至图13C显示双缓冲情况下的写入和读取之间的转变以及输出图像的状态的示意图(写入时间＜读取时间)。

图14是一例发生梳状噪音的输出图像的图意图。

图15A和图15B显示将本发明设为三重缓冲时读取图像数据的处理流程图。

图16是三重缓冲时的写入以及读取的时刻图表。

图17A至图17G是三重缓冲情况下的写入和读取之间的转变以及输出图像的状态的示意图(写入时间＞读取时间)。

图18是三重缓冲时的写入以及读取的时刻图表(写入时间＜读取时间)。

图19A至图19E是三重缓冲情况下的写入和读取之间的转变以及输出图像的状态的示意图(写入时间＜读取时间)。

图20是显示图4中的地址制作部的实装例的图。

图21是图20中的状态机的动作示意图，其中，图21A显示写入时的移动，图21B显示读取时的移动。

图22是用于说明图20中的地址计算部动作的真值表。

图23是本发明图像摄像装置的另一实施方式的整体结构的示意图。

标记说明

101 光学系统

102 摄像系统

103 处理部

104 NTSC编码器

105 帧存储器

106 控制部

107 振荡器

108 CPU

109 PLL

201 帧存储器读取开始触发制作部

202 输出用垂直水平信号制作部

203 地址制作部

204 坐标计算部

具体实施方式

以下参考附图详细说明本发明的实施方式。

图1是本发明的图像摄像装置的实施方式之一，即实施方式1的整体结构示意图。该图像摄像装置包括光学系统101、摄像元件102、处理部103、NTSC编码器104、以及用于控制整体动作的CPU108等。处理部103内部具有帧存储器105、控制部106、振荡器107。NTSC编码器104连接NTSC方式显示装置、以及图像记录器等装置，但在图1中省略显示。振荡器107为发生对应于NTSC方式时钟信号用的水晶元件，具体的时钟频率为13.5MHz。该振荡器107的时钟(CK)不但用于该处理部10内部的控制部106，而且用于NTSC编码器104，进而还用于摄像元件102。

摄像元件102输入时钟，该时钟具有振荡器107发生的NTSC方式对应的时钟频率(13.5MHz)，以与NTSC方式帧频Ffr(约为30FPS)相差预定偏离频率的偏离帧频Ffs，比如27FPS，逐行读取通过光学系统101拍摄的图像数据，并将其送往处理部103。具体为，摄像元件具备寄存器(传感器寄存器)，根据CPU108对该寄存器设定的参数值，来改变垂直方向的消隐期间乃至水平方向的消隐期间，使得图像数据的帧频变为Ffs，如变成27FPs。摄像元件102将该帧频Ffs的垂直同步信号Sv与图像数据一起送往处理部103。

图像数据从摄像元件102输出后，被以该帧频Ffs如27FPS逐行写入处理部103中的帧存储器105。而后，在控制部106的控制下，以NTSC方式帧频Ffs，约30FPS，依次进行隔行读取该被写入帧存储器105的图像数据。控制部106在对帧存储器105指定读取地址的同时，还根据来自摄像元件102的垂直同步信号Sv，控制帧存储器105的读取时刻，并接受振荡器107发生的具有NTSC方式对应的时钟频率(13.5MHz)的时钟，以NTSC方式帧频Ffs的时刻从帧存储器105逐行读取。关于控制部106的结构将在以下叙述。

用NTSC编码器104对从帧存储器105读取的图像数据实行数字和模拟之间的转换处理，将其转换成NTSC方式的视频信号，并送往未图示显示装置或记录器。

如图1所示的结构，通过用与NTSC方式帧频Ffr相差预定的偏离频率的偏离帧频Ffs来取得摄像元件102中的图像数据，而后将该图像数据逐行写入帧存储器，进而通过用NTSC方式的帧频Ffr对该帧存储器进行隔行读取，从而实现不受LED信号机等点灯机在点灯期间中发生的闪烁周期的影响、并能够使用NTSC方式显示装置等的图像摄像装置。关于用于对付梳状噪音发生的对策将在以下叙述。

摄像元件102从设于处理部103内部振荡器107输入具有NTSC方式对应的时钟频率的时钟(CK)，使得从该摄像元件102输出的图像数据的帧频Ffs不同于NTSC方式帧频Ffr，因而，不再需要其他的用于该帧频Ffs的振荡器，能够提供廉价的摄像装置。

图2显示现有技术中的摄像元件输出的输出信号与从帧存储器读取的信号之间的关系，其中，图2A为从摄像元件逐行读取的输出信号，图2B为从帧存储器隔行读取的读取信号。该图表示在现有技术中，为了配合NTSC方式，摄像元件的输出信号和帧存储器的读取信号在垂直方向上的消隐期间相同。为此，若要将摄像元件输出的图像数据变成具有帧频Ffs，而该帧频Ffs不同于NTSC方式帧频Ffr，则需要用于从摄像元件读取图像数据的振荡器，该振荡器不同于从帧存储器读取图像数据的NTSC方式对应的时钟信号发生用的振荡器(13.5MKz)，为时钟频率不同的振荡器(如12.2MHz)。对此，本发明的实施方式不需要这样的振荡器。

图3显示本发明实施方式中从摄像元件输出的输出信号和从帧存储器读取的读取信号之间的关系，其中，图3A为从摄像元件逐行读取的输出信号，图3B为从帧存储器隔行读取的读取信号。在此，从帧存储器读取的读取信号与图2B相同。另一方面，从摄像元件输出的输出信号在垂直方向的消隐期间发生改变。也就是说，本实施方式即使采用同一个来自NTSC方式对应的时钟信号发生用的振荡器的时钟(13.5MHz)，也能够从摄像元件102读取图像数据并从帧存储器105读取图像数据，此时，从摄像元件读取图像数据在垂直方向上的消隐期间发生改变，使得该摄像元件102的输出图像数据变成为具有不同于NTSC方式帧频Ffr的帧频Ffs。如上所述，摄像元件102具有寄存器(传感器寄存器)，根据CPU108对该寄存器设定的参数值来改变垂直方向的消隐期间。虽然图3将Ffs设为Ffs＜Ffr，对此，也可通过改变传感器寄存器的参数值，将Ffs设为Ffs＞Ffr。进而，还可用CPU108依次改变每一帧传感器寄存器的参数值，从而如下所述，使得相邻的帧周期变得不一定，但若取其平均，则能够用NTSC方式的帧频Ffr来驱动摄像元件。

另外，图3是改变了从摄像元件102读取图像数据的垂直方向上的消隐期间，此外，还可改变水平方向的消隐期间，或改变垂直方向和水平方向双方的消隐期间，使得该摄像元件102的输出图像数据变成为具有帧频Ffs，该帧频Ffs不同于NTSC方式的帧频Ffr。

下面说明控制部106的构成动作。图4是显示控制部106详细结构的示意图。控制部106包括帧存储器读取开始触发制作部201、输出用垂直水平同步信号制作部202、地址制作部203。另外，地址制作部203中还可包括用于歪斜补偿或视点转换等的坐标计算部204。

帧存储器读取开始触发制作部201在收到摄像元件102发送的垂直同步信号Sv后，在摄像装置电源接通后如下开始动作。设定对摄像元件102逐行读取。放弃摄像元件接通电源后收到的第一个Sv，用第二个Sv来使得帧存储器读取开始触发(Tr)有效(assert)。

这样，便不会在帧存储器105中没有图像数据存在时从其中读取图像数据。

输出用垂直水平同步信号制作部202用振荡器107发生的对应NTSC方式的时钟频率(13.5MHz)制作垂直同步信号以及水平同步信号，将帧存储器105读取的NTSC方式图像数据变成帧频Ffr(约为30FPS)。

地址制作部203根据振荡器107发生的时钟(CK)以及输出用垂直水平同步信号制作部202生成的垂直同步信号和水平同步信号，依此指定帧存储器的读取地址，按照NTSC方式的帧频Ffr(约为30FPS)来逐个读取写入到该帧存储器中的图像数据。

在此，地址制作部203不仅是依次指定帧存储器105的读取地址，其中还可以包含坐标计算部204，用于按照某一种坐标转换规则来做指定，关于坐标转换规则例如有歪斜补偿、俯视转换、中间转换、边缘转换、三面镜转换等等。

图5显示坐标计算部204的处理示意图。其为一例对来自摄像元件的图像数据(输入图像)进行90°转动变形后的输出图像。图5A表示转换前后的两个像素在坐标位置上的位置关系，图5B表示帧存储器105中输入图像和输出图像之间的对应像素在转换前后的位置关系。

在读取帧存储器105中的图像数据时，为了将输入图像中坐标为(x1，y1)的像素的图像数据读作为输出图像中坐标为(X1，Y1)的像素，需要在坐标计算部204中计算读取地址。根据该读取地址，读取帧存储器105中对应地址上图像数据，对输入图像进行90°转动变形，获得输出图像。

同样还可以进行鱼眼照相机图像的变形，并补偿鱼眼图像造成的图像歪斜，或者，按照基于视点转换的图像变形，将图像转换成俯视图像，以将图像显示为便于驾驶员观察的图像。关于坐标计算部204的结构，存在各种处理算法，在此不一一详细说明。

下面详细说明通过用一与NTSC方式的帧频Ffs相差预定偏差帧频的帧频Ffr，以下称为偏差帧频，来读取摄像元件102中的图像数据，以改善类似LED信号机等点灯机在点灯期间中的闪烁周期的影响。

图6A至图6E以及图7显示以不同于NTSC方式的一定周期作为帧的取样周期进行取样时的状况。此时，摄像元件102内的传感寄存器器的参数值为一定。

在图6A至图6E中，图6A表示以周期T₀闪烁的照明光，如60Hz的信号机的光量变化。该图中，凸部部分为处于最明亮状态(明)，而谷部位暗状态(灭)。并设消灯时间为t₀。

图6B至图6E表示用全域快门进行逐行读取的曝光时刻。图中ti为曝光时间。图6B为以30FPS来驱动摄像元件，图6C为以30FPS以外的情况。在图6B的情况下，因基本上与NTSC方式的帧频Ffr(29.97Hz)同步，因此，一旦曝光进入暗的照明光时刻，便会持续数秒拍摄暗的照明光。而在图6C的情况下，因不与NTSC方式的帧频Ffr同步，因此，即使曝光进入暗的照明光时刻，也比较容易脱离，避免持续数秒拍摄暗的照明光。

使用滚动快门时的情况相同。图6D和图6E表示用滚动快门逐行读取摄像元件的曝光时刻。图中ti为曝光时间。滚动快门与全域快门不同，每行独立曝光。图6D和图6E表示按第一行、第二行、第三行......曝光时间逐渐向长时间方向移动。图6D为在以30FPS来驱动摄像元件的情况下，图6E为在以30FPS以外的情况下，对于在图中的阴影部分中曝光的行，当闪烁的照明光移动到该行中时，被拍摄成暗的状态。在图6C的情况下，因基本上与NTSC方式的帧频Ffr(29.97Hz)同步，因此，一旦曝光进入暗的照明光时刻，便会持续数秒拍摄暗的照明光。而在图6E的情况下，因不与NTSC方式的帧频Ffr同步，因此，即使曝光进入暗的照明光时刻，也比较容易脱离，避免持续数秒拍摄暗的照明光。

图7显示以周期T₀闪烁的照明光以及使用滚动快门进行逐行读取的摄像元件的曝光时刻所拍摄的信号机拍摄状态。图7左侧因曝光进入照明光的暗的时刻，因此为拍摄到信号进的颜色，但在右侧，曝光离开照明光的暗的时刻，因此可拍摄到信号机的颜色，如拍到绿色。

接着，在图8A至图8E中显示相邻帧的取样周期不稳定而且该取样周期平均后与NTSC方式(1秒钟30帧)相对应的情况。此时，每个帧的摄像元件102中的传感寄存器的参数值各不相同。

图8A与图6A相同，表示以周期T₀闪烁的照明光，如60Hz的信号机的光量变化。该图中，凸部部分为处于最明亮状态(明)，而谷部位暗状态(灭)。并设消灯时间为t₀。

图8B和图8C表示用全域快门进行逐行读取的曝光时刻。图8B是在以一定取样周期(Tf)为来驱动摄像元件的情况，图8C是在以不一定的设取样周期(Tf’、Tf”等)来驱动摄像元件的情况。在图8B的情况下，如果曝光进入照明光的暗的时刻，则暗的照明光的拍摄将持续数秒。对此，在图8C的情况下，即使曝光进入照明光的暗的时刻，也较容易脱离该暗的时刻，避免持续数秒拍摄暗的照明光。而且，如果将相邻帧的取样周期设为不一定的取样周期，并且使得该取样周期平均后成为每秒钟输出30帧，则还能够对应NTSC方式。

使用滚动快门时的情况相同。图8D和图8E表示用滚动快门逐行读取摄像元件的曝光时刻。滚动快门与全域快门不同，每行独立曝光。与上述图6D和图6E相同，图8D和图8E也表示按第一行、第二行、第三行......曝光时间逐渐向长时间方向移动。对于在图中的阴影部分中曝光的行，当闪烁的照明光移动到该行中时，被拍摄成暗的状态。图8D是在以一定取样周期(Tf)为来驱动摄像元件的情况，图8E是在以不一定的设取样周期(Tf’、Tf”等)来驱动摄像元件的情况。在图8D的情况下，如果曝光进入照明光的暗的时刻，则暗的照明光的拍摄将持续数秒。对此，在图8E的情况下，即使曝光进入照明光的暗的时刻，也较容易脱离该暗的时刻，避免持续数秒拍摄暗的照明光。而且，如果将相邻帧的取样周期设为不一定的取样周期，并且使得该取样周期平均后成为每秒钟输出30帧，则还能够对应NTSC方式。

进而，当用不同于NTSC方式帧频Ffr的帧频Ffs来逐行读取摄像元件102的图像数据时，可直接将该图像数据写入帧存储器105，并用NTSC方式的帧频来隔行读取帧存储器105中的图像数据。这样便能够直接利用NTSC方式的显示装置或图像记录器。但是，由于将一帧图像数据写入帧存储器105的写入时间不同于从该帧存储器105中读取一帧图像的读取时间，因此，会发生隔行方式特有的梳状噪音。以下对此作详细说明。

首先说明用NTSC方式帧频Ffr对帧存储器进行逐行写入、并同样地用NTSC方式帧频Ffr对帧存储器105进行隔行读取时的情况。此时，如果将帧存储器105分割为至少两个区域(双缓冲)，如区域A和区域B，并将各个区域在写入区域和读取区域之间转换，使各个区域依次起到写入区域的作用和读取区域的作用，这样，便不会发生梳状噪音。

图9A至图9E表示在上述情况下区域A和区域B在写入和读取之间的转变以及输出图像(接受方面)的状态。在此，写入为以30帧/秒逐行写入，读取为以60帧/秒隔行读取。接受方面以30帧/秒接受。图中相同图案表示从摄像元件输出的图像为同一个帧的图像。在以后的各图中也相同。

在图9A至图9E的情况下，将一帧图像数据写入帧存储器105中的一个区域的时间与从另一个区域中读取一帧(奇数区域+偶数区域)图像数据的时间相同。为此，一旦如图9A所示，使得开始写入和开始读取的时刻一致，则结束写入和结束读取便能够保持一致。为此，可在结束写入的时刻转换写入区域和读取区域。例如，结束了区域A的写入后，如图9D所示，开始区域B的写入以及区域A的读取。这样，如图9C和图9E所示，能够始终输出同一个帧的奇数区域和偶数区域所构成的帧，不发生梳状噪音。

下面说明用不同于NTSC方式帧频Ffr的帧频Ffs来对帧存储器105进行逐行写入，并用NTSC方式帧频Ffr来对帧存储器105进行隔行读取时的情况。此时，即使将帧存储器105作为双缓冲也会发生梳状噪音。

首先说明，当Ffs＜Ffr时，也就是一帧图像数据的写入时间大于一帧图像数据的读取时间的情况。

图10显示对此时的双缓冲(区域A和区域B)进行写入以及读取的时刻图表。首先瞩目于图10中的虚线，即区域A的读取结束时刻。在结束了区域A的读取后，即将开始写入区域和读取区域的转换，进行区域B的读取以及区域A的写入。然而，此刻区域B的写入还没有结束。出于该原因，区域A再次开始隔行读取，直到区域B的写入结束时，才开始写入区域及读取区域的转换，进行区域B的读取以及区域A的写入。在这种情况下，会在输出图像中出现不同帧的奇数区域行和偶数区域行混合的梳状噪音。若上述读取区域和写入区域的关系相反，也会发生相同情况。

图11A至图11F显示在上述Ffs＜Ffr情况下，即在一帧图像数据的写入时间大于一帧图像数据的读取时间的双缓冲(区域A和区域B)中，区域A和区域B在写入和读取之间的转变以及输出图像(接受方面)的状态。图11A至图11F中，读取为对应NTSC方式，并以30帧/秒隔行读取，而写入为以27帧/秒逐行写入。接受方面以30帧/秒接受。

首先瞩目于图11A所示的在同时开始区域A的逐行写入和区域B的隔行读取、并如图11C所示的结束区域B的读取的时刻。此时，区域A中正在进行写入。为此，区域B再次开始隔行读取，直到区域A的写入结束时刻，才如图11D所示，转换写入区域和读取区域，对区域B进行写入并对区域A进行读取。此时，在区域A中继续进行图11D状态以后的隔行读取(图11E)。其结果，在读取一帧图像数据时刻的输出图像如图11F所示，即发生梳状噪音。

接着说明，当Ffs＞Ffr时，也就是一帧图像数据的写入时间小于一帧图像数据的读取时间的情况。

图12显示对此时的双缓冲(区域A和区域B)进行写入以及读取的时刻图表。首先瞩目于图12中的虚线，即区域B的写入结束时刻。在结束了区域B的写入后，即将开始写入区域和读取区域的转换，进行区域A的写入以及区域B的读取。然而，此刻区域A中正在进行读取。在这种情况下进行写入区域和读取区域的转换，则与上述Ffs＜Ffr时相同，会在输出图像中出现不同帧的奇数区域行和偶数区域行混合的梳状噪音。若上述读取区域和写入区域的关系相反，也会发生相同情况。

图13显示在上述Ffs＞Ffr情况下，即在一帧图像数据的写入时间小于一帧图像数据的读取时间的双缓冲(区域A和区域B)中，区域A和区域B在写入和读取之间的转变以及输出图像(接受方面)的状态。图13中，读取为对应NTSC方式，并以30帧/秒(奇数区域行和偶数区域行分别为60帧/秒)隔行读取，而写入为以33帧/秒逐行写入。接受方面以30帧/秒接受。

首先瞩目于图13A所示的在同时开始区域A的逐行写入和区域B的隔行读取、且如图13B所示的结束区域A的写入的时刻。此时，区域B中正在进行读取。详细地说，奇数区域的读取已经结束，正在进行偶数区域的读取。但是，区域A的写入已经结束，因此转换写入区域和读取区域，进行区域B的写入和区域A的读取。此时，在区域A中继续进行图13B状态以后的隔行读取。其结果，在读取一帧图像数据时刻的输出图像如图13C所示，即发生梳状噪音。

图14A和图14B显示一例输出图像。其中，图14A显示了用NTSC方式帧频Ffr来驱动摄像元件、将该摄像元件的输出图像逐行写入帧存储器、并同样地用NTSC方式帧频Ffr隔行读取该帧存储器时的图像，该图像中未出现梳状噪音。对此，图14B显示了用不同于NTSC方式帧频的帧频Ffs(Ffs＜Ffr)来驱动摄像元件，并将该摄像元件的输出图像逐行写入帧存储器，并用NTSC方式帧频Ffr对帧存储器进行隔行读取时的图像，该图像中的一部分出现了梳状噪音。

对此，本发明能够防止上述问题，即防止在用不同于NTSC方式帧频Ffr的帧频Ffs来从摄像元件读取图像数据并逐行写入帧存储器、进而以NTSC方式帧频Ffr隔行读取帧存储器时、发生隔行方式特有的梳状噪音。以下详细叙述本发明的机制及结构。

本发明将帧存储器105至少分割为三个区域即区域A、区域B、区域C(三重缓冲)，并将各个区域依次在写入区域和读取区域之间转换，使各个区域轮流起到写入区域的作用和读取区域的作用。

在此，写入区域从区域A→区域C→区域B→区域A······反复移动，读取区域从区域B(状态1)→区域A(状态2)→区域C(状态3)→区域B(状态1)······反复移动。但是，例如在从状态1向状态2移动时，如果区域A的写入还没有结束，则再次读取区域B中的所有数据。另外，在从状态1向状态2移动时，如果区域A的写入结束，进而区域C的写入也结束，则越过状态2而移动到状态3。从状态2向状态3或从状态3向状态1移动时的与此情况相同。

图15A和15B(以下称为图15)显示将本发明的帧存储器105设为三重缓冲时，从帧存储器105读取图像数据时的处理流程图。以下对状态1进行说明，状态2和状态3情况相同。

首先，开始从区域B隔行读取(以下相同)数据(S1)，当结束该区域B中所有数据的读取时(S2)，确认区域A中的数据逐行写入是否结束(S3)。在此，如果区域A的数据写入没有结束，则再次读取区域B的所有数据(S1、S2)后，在此进入S3。

在S3中，如果确认区域A中的数据写入结束，则接着确认区域C的数据写入是否结束(S4)。而后，如果区域C中的数据写入没有结束，则移动到状态2，开始从区域A读取数据(S5)，而如果区域C的数据写入已经结束，则越过状态2移动到状态3，开始从区域读取数据(S9)。

这样，帧存储器至少为三重缓冲(区域A、区域B、区域C)，当从某个区域读取(或再读取)所有数据，并结束了该读取时，确认下一个读取区域的写入是否结束后，再进行读取区域的转换，这样便能够防止梳状噪音的发生。而且，当结束从某个区域的读取时，进一步确认再下一个读取区域的写入是否结束，如果写入结束，则对该区域转换读取区域，以提供最新的图像数据。此外，帧存储器至少需要设为三重缓冲，当然可以具有四重以上的存储区域。

对于写入时间和读取时间之间的大小关系，无论其为写入时间＞读取时间，还是写入时间＜读取时间，图15的处理流程都能够应对。以下对各种情况分别进行详细叙述。

首先说明写入时间(写入周期)＞读取时间(读取周期)的情况。该情况即为用小于NTSC方式帧频Ffr的帧频Ffs(Ffs＜Ffr)来从摄像元件102读取图像数据，并逐行写入帧存储器105，进而用NTSC方式帧频Ffr对帧存储器105进行读取的情况。

图16显示对此时的三重缓冲(区域A、区域B、区域C)进行写入以及读取的时刻图表。在图16中Sv为摄像元件102的垂直同步信号。写入结束信号在某个区域写入结束时有效(assert)，并在开始从该区域读取时无效(negate)。

在此瞩目于图16的时刻a。时刻a为状态1中结束从区域B读取数据的时刻(图15的S2)。按照图15的处理流程，确认区域A的数据写入是否结束(图15的S3)，根据写入结束信号为无效(negate)，可判断区域A的写入还没有结束。此时，再次开始读取区域B(图15的S1)。

接着，瞩目于图16的时刻b。时刻b时第二此结束区域B的读取的时刻(图15的S2)。按照图15的处理流程，在确认是否结束区域A的数据写入时(图15的S3)，根据写入结束信号为有效(assert)，可判断区域A的写入已经结束。此时，根据图15的处理流程，进一步确认区域C的写入是否结束(图15的S4)，因区域C正在写入，因此，开始从区域A读取(图15的S5)。

这样，虽然因两次读取写入区域B的数据，而对若干个帧一次输出了相同图像，但是，通过等待下一个读取区域的写入结束后转换读取区域，从而即便是在帧存储器的一帧写入时间大于一帧读取时间的情况下，也能够输出同一帧中以奇偶帧图像构成的帧，防止了梳状噪音的发生。

图17A至图17G显示上述写入时间(写入周期)＞读取时间(读取周期)时三重缓冲(区域A、区域B、区域C)在写入和读取之间的转变以及输出图像(接受方面)的状态。在此，仍然以对应NTSC方式且30帧/秒的隔行读取(奇数区域行和偶数区域行分别为60帧/秒)、以及以27帧/秒的逐行写入为例。接受方面以30帧/秒接受。

首先瞩目图17E。图17E为从图17A到图17D，经过多次从状态1→状态2→状态3的反复后返回状态1的情况。图17E表示结束了从区域B读取奇数区域以及偶数区域的所有数据(一帧)时的状态。此时，区域A还出于写入之中。对此，如图17F所示，再次开始区域B的读取。而后，当区域B的读取(再次读取)结束，并且此时区域A的写入也已结束，而区域C的写入没有结束时，开始读取区域A，移动到图17G所表示的状态2。

如图17E和图17G所示，在写入时间＞读取时间的情况下，通过对若干个帧一次输出相同帧，防止了梳状噪音的发生。

接着说明写入时间(写入周期)＜读取时间(读取周期)的情况。该情况即为用大于NTSC方式帧频Ffr的帧频Ffs(Ffs＞Ffr)来从摄像元件102读取图像数据，并逐行写入帧存储器105，进而用NTSC方式帧频Ffr对帧存储器105进行读取的情况。

图18显示对此时的三重缓冲(区域A、区域B、区域C)进行写入以及读取的时刻图表。在图18中Sv为摄像元件102的垂直同步信号。写入结束信号在某个区域写入结束时有效(assert)，并在开始从该区域读取时无效(negate)。

在此瞩目于图18的时刻a。时刻a为状态1中结束从区域B读取数据的时刻(图15的S2)。按照图15的处理流程，确认区域A的数据写入是否结束(图15的S3)，得知区域A的写入已经结束。在通常情况下，读取区域被转换到区域A(转移到状态2)，并按照图15的处理流程，进一步确认区域C的写入是否结束(S4)。但在图18中，由于区域C的写入在时刻b之前的时刻a已经结束。此时，读取区域可越过区域A而转移到区域C(移动到状态3)，开始区域C的读取(图15的S5)。

这样，在写入时间＜读取时间的情况下，虽然对若干个帧一次输出相同的图像数据，但能够防止梳状噪音的发生。而且还能够吸收读取图像数据的帧频Ffs和对应于NTSC方式的帧频Ffr之间的差分。进而因区域C中保存了比区域A中的更加新的图像数据，因而越过区域A并选择区域C，能够提供最新的图像数据。

图19A至图19E显示在上述写入时间(写入周期)＜读取时间(读取周期)时三重缓冲(区域A、区域B、区域C)在写入以及读取之间的移动以及输出图像的状态。在此显示的例也用对应NTSC方式且30帧/秒来隔行读取，并以33帧/秒来逐行写入。

首先瞩目图19D。图19D为从图19A到图19C经过多次从状态1→状态2→状态3的反复后返回状态1的情况。图19D表示结束了从区域B读取了奇数区域以及偶数区域的所有数据(一帧)时的状态。此时如图19C所示，区域A写入结束，而且如图19D所示，区域C的写入也已结束。因此，越过区域A，开始从区域C读取(移动到状态3)。图19E表示此时的状态。图19E表示结束了从区域B读取奇数区域以及偶数区域的所有数据(一帧)时的状态，还表示结束对区域B的写入的状态。

如图19D以及图19E所示，在写入时间＜读取时间的情况下，通过对若干个帧一次输出相同帧，防止了梳状噪音的发生。

图15的处理流程由图1的控制部106内部的地址制作部203实现。图20显示地址制作部203的详细实装例。地址制作部203中包括状态机1100、地址计算部1101、以及RAM/IF1102。地址计算部1101还兼有图4中的坐标计算部204。图中，Sv是随从来自摄像元件102的帧频Ffs的垂直同步信号。Vv是随从NTSC方式帧频Ffr的垂直同步信号。用输出用垂直水平同步信号制作部202(图4)制作Vv。

RAM/1F1102收到Sv后，依次指定写入地址o_calram_a，并输出o_calram_xwe＝00。而当收到Vv时，则依次指定写入地址o_calram_a，并输出o_calram_xwe＝01。o_calram_xwe是write enable信号(作为负理论)。

状态机1100的动作即移动如图21A和图21B所示。图21A是写入时的移动图，图21B是读取时的移动图。图21B中的实线表示下一个读取区域已经结束写入(以下称为写入结束信号1)，虚线表示再下一个读取区域已经结束写入(以下称为写入信号2)。

发生Sv后写入移动到下一个状态。此外还在下一个地址中写入数据。例如，当处于状态B(写入到区域B)时，发生Sv后状态B便移动到状态A(写入到区域A)。输出的o_write为00→01。除了Sv的发生以外，如果处于状态B，则将数据写入区域B的下一个地址。

在发生Vv后，如果写入结束信号有效，则读取(READ)移动到下一个状态。此外，读取下一个地址的数据。所有数据的读取结束后，返回区域目前区域中的最初的地址，并依次读取。例如，在状态B8(读取区域B)时，发生Vv时写入结束信号1有效，而写入结束信号2无效，则移动到状态A(读取状态A)。输出的o_read为00→01。除了发生Vv以外，或者在发生Vv是写入结束信号无效，例如，若处于状态B，则读取区域B的下一个地址中的数据。当结束了区域B中所有数据的读取后，例如，返回区域B最初的地址，一次读取。而例如，在状态B时，当发生Vv时写入结束信号1有效，且写入结束信号2也有效，则移动到状态C(读取区域C)。输出的o_read为00→10。

地址计算部1101按照图22所示的真值表动作。从状态机1102接受i_write和i_read，从RAM/IF1102接收i_addr和i_xwe。i_write表示在哪个区域写入，i_read表示在哪个区域读取，i_addr表示存储器地址，i_xwe为对存储器指定写入或读取。如图22所示，通过用i_write和i_read指定的区域，安排i_addr，并指定帧存储器105的地址。

图23显示另一例涉及本发明的图像摄像装置的实施方式(实施方式2)的整体结构的示意图。本图像摄像装置包括光学系101、摄像元件102、处理部103、NTSC编码器104、以及用于控制整体动作的CPU108等。处理部103内部具有帧存储器105、控制部106、振荡器107、以及PLL(锁相环)109。NTSC编码器104与NTSC方式的显示装置或图像记录器相连接，但在图23中省略显示。在此，振荡器107位用于发生对应于NTSC方式时钟信号的水晶元件。PLL109直接输出接受到的NTSC方式对应的时钟频率CK(13.5MHz)，同时，制作不同于NTSC方式对应的时钟频率(13.5MHz)的时钟频率CK′。PLL109为内藏于控制部中的芯片中的内藏PLL，因此，不需要增加元件，并不需要考虑价格或基板的设置面积，便能够实现图23的结构。

来自PLL109的NTSC方式对应的时钟频率CK(13.5MHz)不但被提供到该处理部103内的控制部106，而且还同时被提供到NTSC编码器104。不同于NTSC方式对应的时钟频率的时钟频率(CK′)被提供到摄像元件102。由于在EMC(电磁兼容)中时钟频率越小其效果越高，为此，优选时钟频率CK′小于时钟频率CK，例如设CK′＝12.65625MHz。

摄像元件102中，从PLL109输入不同于NTSC方式对应的时钟频率的时钟频率CK′，并通过该摄像元件102内部的PLL(未图示)转换为n倍频率。以下，将转换后的频率作为传感器输出时钟频率。例如，在n＝2时，传感器输出时钟频率为25.3125MHz。一般的NTSC传感器输出时钟频率为27MHz，本结构的传感器输出时钟频率为25.3125MHz，通过比较这两个频率可知，本结构的传感器输出时钟频率较低，因此对EMC对策更为有效。另外，将传感器输出时钟频率设为一般NTSC传感器输出时钟频率的公约数或公倍数以外的频率，也对EMC对策有效。摄像元件102用与NTSC方式帧频Ffr相差预定偏离频率的偏离帧频Ffs，比如27FPS，通过光学系101逐行读取拍摄的图像数据，并将其送往处理部103。

与实施方式1相同，摄像元件具备寄存器(传感器寄存器)，根据CPU108对该寄存器设定的参数值，来改变垂直方向的消隐期间乃至水平方向的消隐期间，使得图像数据的帧频变为Ffs，如变成27FPS。摄像元件102将该帧频Ffs的垂直同步信号Sv与图像数据一起送往处理部103。处理部103的动作与实施方式1相同，在此不重复说明。

Claims

1.一种图像摄像装置，其中包括以下元件:

光学系统，用于被摄体光像的成像;

摄像元件，拍摄该光学系统的光像，并用帧频Ffs输出图像数据，该帧频Ffs不同于NTSC方式的帧频Ffr;

帧存储器，用于存放该图像数据；以及，

控制部，将该摄像元件输出的图像数据逐行写入该帧存储器，并用NTSC方式的帧频Ffr对该帧存储器进行隔行读取，

其特征在于，该帧存储器至少被分割为三个区域，该控制部将该帧存储器的各个区域依次在写入区域和读取区域之间转换，使各个区域轮流起到写入区城和读取区域的作用，依次在各个区域中逐行写入一帧图像数据，并依次从各个区域中隔行读取一帧图像数据；

所述控制部在结束从某一区域中读取一帧图像数据时，判断下一个读取区域中一帧图像数据的写入是否结束，如果没有结束，则再次从先前读取的区域读取一帧图像数据；

如果判断下一个读取区域中一帧图像数据的写入已经结束，则所述控制部判断再下一个读取区域中一帧图像数据的写入是否结束，如果已经结束，则越过下一个读取区域，开始读取该再下一个读取区域中的图像数据。

2.根据权利要求l所述的图像摄像装置，其特征在于，所述控制部在从帧存储器中读取图像数据时，进行预定的图像转换处理。

3.根据权利要求1所述的图像摄像装置，其特征在于，所述摄像元件以一定帧周期的帧频Ffs输出图像数据。

4.根据权利要求1所述的图像摄像装置，其特征在于，所述摄像元件以可变帧周期的帧频Ffs输出图像数据，该可变帧周期中的相邻帧周期为不定帧周期，且帧周期的平均为NTSC方式的帧周期。

5.根据权利要求1所述的图像摄像装置，其特征在于，

还包括一个振荡器，用于发生NTSC方式对应的时钟信号，

所述控制部基于该振荡器发生的NTSC方式对应的时钟频率，控制用NTSC方式的帧频Ffr对帧存储器进行隔行读取，

所述摄像元件输入具有该振荡器发生的NTSC方式对应的时钟频率的时钟后动作，改变垂直方向的消隐期间乃至水平方向的消隐期间，以用不同于NTSC方式的帧频Ffr的帧频Ffs来输出图像数据。

6.根据权利要求5所述的图像摄像装置，其特征在于，所述摄像元件具备寄存器，根据该寄存器中设定的参数值来改变垂直方向的消隐期间乃至水平方向的消隐期间。

7.根据权利要求1所述的图像摄像装置，其特征在于，

还包括一个振荡器，用于发生NTSC方式对应的时钟信号，

所述摄像元件输入时钟后动作，该时钟具有与该振荡器发生的NTSC方式对应的时钟频率不同的时钟频率。

8.根据权利要求7所述的图像摄像装置，其特征在于，所述摄像元件通过该摄像元件内部的PLL即锁相环，对具有与所述NTSC方式对应的时钟频率不同的时钟频率的时钟进行转换，将其时钟频率转换成为该时钟频率的n倍，并用转换后的频率输出图像数据。

9.根据权利要求8所述的图像摄像装置，其特征在于，将所述时钟以及转换后的时钟设为，其时钟频率为NTSC方式对应的时钟频率的公倍数以及公约数以外的频率。

10.根据权利要求9所述的图像摄像装置，其特征在于，所述摄像元件通过改变垂直方向的消隐期间将乃至水平方向的消隐期间，来用帧频Ffs输出图像数据，该帧频Ffs不同于NTSC方式的帧频Ffr。

11.根据权利要求4所述的图像摄像装置，其特征在于，还包括用于控制整个装置的CPU，该CPU设定所述摄像元件内部的寄存器的参数值。

12.根据权利要求1所述的图像摄像装置，其特征在于，所述摄像元件将帧频Ffr的垂直同步信号与图像数据一起输出，所述控制部基于该摄像元件的垂直同步信号，来控制帧存储器的读取时刻。