[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN108209867B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN108209867B
CN108209867B CN201711025085.9A CN201711025085A CN108209867B CN 108209867 B CN108209867 B CN 108209867B CN 201711025085 A CN201711025085 A CN 201711025085A CN 108209867 B CN108209867 B CN 108209867B
Authority
CN
China
Prior art keywords
period
light
signal
image sensor
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711025085.9A
Other languages
English (en)
Other versions
CN108209867A (zh
Inventor
中村达也
安藤贵真
盐野照弘
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN108209867A publication Critical patent/CN108209867A/zh
Application granted granted Critical
Publication of CN108209867B publication Critical patent/CN108209867B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • A61B5/14553—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases specially adapted for cerebral tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/21—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from near infrared [NIR] radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/532—Control of the integration time by controlling global shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0462—Apparatus with built-in sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/04—Constructional details of apparatus
    • A61B2560/0462—Apparatus with built-in sensors
    • A61B2560/0468—Built-in electrodes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0233—Special features of optical sensors or probes classified in A61B5/00
    • A61B2562/0242—Special features of optical sensors or probes classified in A61B5/00 for varying or adjusting the optical path length in the tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/04—Arrangements of multiple sensors of the same type
    • A61B2562/046—Arrangements of multiple sensors of the same type in a matrix array
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G01N2021/177—Detector of the video camera type

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Neurology (AREA)
  • Physiology (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Optics & Photonics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Hematology (AREA)
  • General Physics & Mathematics (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Toxicology (AREA)
  • Pulmonology (AREA)
  • Educational Technology (AREA)
  • Neurosurgery (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Immunology (AREA)
  • Chemical & Material Sciences (AREA)

Abstract

有关本公开的一实施方式的摄像装置具备：光源，射出向对象物照射的1个以上的脉冲光；光检测器，检测从上述对象物返回的1个以上的反射脉冲光。上述光检测器在包括作为从上述1个以上的反射脉冲光的强度开始增加起到增加结束为止的期间的上升期间的至少一部分的第1期间中，检测上述1个以上的反射脉冲光；在比作为从上述强度开始减少起到减少结束为止的期间的下降期间的开始靠后、且包括上述下降期间的一部分的第2期间中，检测上述1个以上的反射脉冲光。

Description

摄像装置
技术领域
本公开涉及取得对象物的内部的信息的摄像装置。
背景技术
在生物体计测及材料分析的领域中，使用向对象物照射光、根据透过了对象物的内部的光的信息，以非接触方式取得对象物的内部信息的方法。例如，日本特开2015－134157号公报公开了一种将人的头部用光照射、使用CMOS或CCD那样的图像传感器检测在生物体内扩散的光的方法。此外，日本特开平4－189349号公报公开了一种作为使用条纹高速摄影机(streak camera)检测在深度方向上处于不同的位置处的信息的方法的时间分解检测法。
发明内容
有关本公开的一技术方案的摄像装置具备：光源，射出向对象物照射的1个以上的脉冲光；以及光检测器，检测从上述对象物返回的1个以上的反射脉冲光；在包括上升期间的至少一部分的第1期间中，上述光检测器检测上述1个以上的反射脉冲光，上述上升期间是从上述1个以上的反射脉冲光的强度开始增加起到增加结束为止的期间；在比下降期间的开始靠后、且包括上述下降期间的一部分的第2期间中，上述光检测器检测上述1个以上的反射脉冲光，上述下降期间是从上述强度开始减少起到减少结束为止的期间。
上述包含性或具体的形态也可以通过系统、方法、集成电路、计算机程序或记录介质实现。或者，也可以通过系统、装置、方法、集成电路、计算机程序及记录介质的任意的组合实现。
附图说明
图1是表示摄像装置的概略性的结构的示意图。
图2是简单地表示研究例的图像传感器中的1个像素的结构的图。
图3是表示光从光源射出的定时、与来自对象物的光向图像传感器入射的定时和电子快门的定时之间的关系的图。
图4是示意地表示本公开的实施方式1的摄像装置的结构的图。
图5是表示带通滤波器的分光透过率的例子的曲线图。
图6是表示图像传感器的1个像素的概略性的结构的图。
图7A是表示在实施方式1中取得第一帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图7B是表示在实施方式1中取得第二帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图7C是表示在实施方式1中取得第一帧期间的图像信号的期间中的摄像装置的动作的变形例的时序图。
图7D是表示在实施方式1中取得第一帧期间的图像信号的期间中的摄像装置的动作的变形例的时序图。
图8是示意地表示实施方式2的摄像装置中的图像传感器及光学系统的图。
图9是表示实施方式2的双带通滤波器的分光透过率的例子的图。
图10A是表示在实施方式2中取得第一帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图10B是表示在实施方式2中取得第二帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图10C是表示在实施方式2中取得第三帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图10D是表示在实施方式2中取得第四帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图11是简单地表示实施方式3的图像传感器中的1个像素的结构的图。
图12A是表示在实施方式3中取得第一帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图12B是表示在实施方式3中取得第二帧期间的图像信号的期间中的摄像装置的动作的例子的时序图。
图13是表示实施方式4的摄像装置的动作的例子的时序图。
图14是表示实施方式4的摄像装置的动作的变形例的时序图。
具体实施方式
(作为本公开的基础的认识)
在说明本公开的实施方式之前，说明作为本公开的基础的认识。
根据本申请发明者们的研究可知，在上述现有技术中有以下的课题。
在日本特开2015－134157号公报所记载的方法中，检测到的光中包含的成分几乎全部都是被生物体的表面反射的光的成分，经由生物体内部(例如脑)的光的成分是微量的。因此，需要更高效率地检测生物体内部的信息，将表面的成分与脑的成分分离。另一方面，在日本特许第5658993号说明书所公开的方法中，关于对象物的空间信息，仅能够取得1维的信息。此外，由于使用脉冲宽度为几百飞秒到几皮秒的超短脉冲的光源及条纹高速摄影机，所以非常昂贵。
本申请发明者们研究了基于与上述现有技术不同原理的摄像装置。图1是表示这样的摄像装置的概略性的结构的示意图。本申请发明者们尝试了使用图1所示那样的摄像装置101以非接触方式计测作为对象物102的人体头部的内部的脑血流。该摄像装置101具备发出近红外域的脉冲光的第1光源103、检测从第1光源103射出并从对象物102返回来的脉冲光的作为光检测器的图像传感器113、和控制第1光源103及图像传感器113的控制电路114。
第1光源103例如是激光脉冲光源，将近红外域的波长的短脉冲光以由控制电路114决定的高速的模式反复射出。从第1光源103射出的光的波长在检测对象是生物体的情况下可以设定为例如约650nm以上约950nm以下。该波长范围包含在从红色到近红外线的波长范围中，生物体内的吸收率较低，适合于取得生物体内的信息的用途。另外，在本说明书中，不仅是可视光，关于红外线也使用“光”的用语，有时将红外线称作“红外光”。
图像传感器113具有能够以例如从皮秒到纳秒的时间跨度进行信号的蓄积及排出的控制的较高的时间分辨率。控制电路114控制第1光源103的发光定时和图像传感器113的各像素的曝光定时。
如果将光向对象物102(例如人的额头)照射，则被对象物102的最表面反射的作为较强的光的表面反射成分I1首先到达图像传感器113。接着，在对象物102的内部被散射而返回来的作为较弱的光的内部散射成分I2晚于表面反射成分I1而到达图像传感器113。皮肤血流的信息主要被反映到内部散射成分I2的较早的时间中，脑血流的信息主要被反映到内部散射成分I2的较晚的时间中，但由于哪种都以相同的时间被以特定的比例混合，所以需要将皮肤血流成分与脑血流成分分离。所以，本申请发明者们尝试了利用时间分解法检测作为在对象物102的内部中被散射的光的内部散射成分I2，利用图像运算将生物体的皮肤血流成分与脑血流成分分离。
以下，参照图2及图3，说明作为将来自对象物102的表面反射成分I1与内部散射成分I2分离而检测的方法的例子的研究例。
图2是简单地表示图像传感器113中的1个像素401的结构的图。图像传感器113具有2维地排列在摄像面上的多个像素、和控制各像素的信号电荷的蓄积及排出的定时的控制电路414。控制电路414基于来自控制电路114的指令而动作。
图像传感器113的各像素401包括作为光电变换部的光敏二极管403、蓄积信号电荷的作为电荷蓄积部的浮动扩散层(Floating Diffusion)404、和将信号电荷排出的漏极402。
起因于1次的脉冲光的发光而入射到各像素401中的光(光子)被光敏二极管403变换为作为信号电荷的信号电子。变换后的信号电子按照从控制电路414输入的控制信号，被向漏极402排出，或被分配给蓄积信号电荷的浮动扩散层404。通过由控制电路414进行的该控制，实现电子快门。
图3是表示脉冲光从第1光源103射出的定时、与来自对象物102的光向图像传感器113入射的定时、和电子快门的定时之间的关系的图。在图3中，信号A表示从第1光源103射出的脉冲光的波形。信号B表示作为被对象物102的表面反射回来的光的表面反射成分I1的波形。信号C表示作为被生物体的内部散射回来的光的内部散射成分I2的波形。信号D表示将表面反射成分I1和内部散射成分I2加在一起的波形。信号D相当于由图像传感器113检测到的反射脉冲光的波形。信号E表示电子快门的OPEN(开)、CLOSE(关)的定时。横轴表示时间，纵轴在信号A至D中表示光的强度，在信号E中表示电子快门的OPEN或CLOSE的状态。这里，所谓“CLOSE”，是指信号电荷被向漏极402排出的状态。所谓“OPEN”，是指信号电荷没有被向漏极402排出的状态。控制电路414通过例如由电压的调整使浮动扩散层404及漏极402中的信号电荷的电势能(以下，单称作“电势”)变化，能够控制信号电荷向浮动扩散层404的蓄积及信号电荷向漏极402的排出。
如果第1光源103向对象物102照射脉冲光，则如上述那样发生表面反射成分I1及内部散射成分I2。内部散射成分I2由于是穿过了对象物102的内部的光，所以与表面反射成分I1相比光路长较长。此外，与仅经由皮肤及头盖骨等的生物体的浅部的光相比，到达了脑等的生物体的深部的光平均性的光路长更长。因而，内部散射成分I2中的到达了脑的光比仅经由皮肤的光晚而到达图像传感器113。由图像传感器113检测到的相当于反射脉冲光的波形的信号D的波形具有：上升期间，是从信号D的强度开始增加(图3中的时刻a)到结束(图3中的时刻c)的期间；下降期间，是从信号D的强度开始减少(图3中的时刻d)到结束(图3中的时刻f)的期间。控制电路414在照射脉冲光之前将图像传感器113的电子快门设为OPEN，在信号D的波形的上升期间的途中(图3中的时刻b)将电子快门设为CLOSE。由此，在包括信号D的波形的上升期间的至少一部分的第1期间(图3中的时刻a至时刻b)，主要起因于穿过了皮肤、头盖骨等的生物体的浅部的光路长较短的成分的信号电荷被蓄积到浮动扩散层404中。然后，图像传感器113的电子快门维持CLOSE的状态，如果表面反射成分I1向图像传感器113的入射结束(图3中的时刻e)，则控制电路414将电子快门设为OPEN。时刻e相对于比信号D的下降期间的开始靠后的时刻。由此，在比信号D的波形的下降期间的开始靠后、包括下降期间的一部分的第2期间(图3中的时刻e至时刻f)中，主要起因于穿过了脑等的生物体的深部的光路长较长的成分的信号电荷被蓄积到浮动扩散层404中。然后，控制电路414将电子快门再次设为CLOSE。控制电路114在从电子快门成为CLOSE起经过规定时间后，再次开始脉冲发光。以后，将上述动作反复进行多次(例如几百次到几万次左右)。在此期间中，基于蓄积在浮动扩散层404中的信号电荷生成1个帧的图像。
在本设备中，当电子快门是CLOSE(即，漏极排出为有效)时，信号电荷被向漏极402排出。另一方面，当电子快门是OPEN(即，漏极排出为无效)时，信号电荷被向浮动扩散层404蓄积。设计各像素的光敏二极管403、浮动扩散层404及漏极402中的信号电荷的电势，以实现这样的动作。
通过这样的电子快门的控制，通过检测从生物体回来的脉冲光中的、作为上升期间中的成分的上升成分和作为下降期间中的成分的下降成分，能够取得皮肤血流的信息和脑血流的信息。此时，考虑图像传感器的动态范围，检测到的上升成分和下降成分的信号量优选的是不饱和。但是，由于入射到生物体中而到达脑后返回来的光经由皮肤，所以特别是下降成分不仅包含脑血流的信息，还包含较多皮肤血流的信息。因此，仅通过上升成分和下降成分的取得，难以将皮肤血流与脑血流分离。本申请发明者们如后述那样，尝试了将由图像传感器检测到的上升成分和下降成分分别图像化、通过运算图像来将皮肤血流信息与脑血流信息分离。
作为与这样的电子快门驱动很相似的摄像装置，可以举出用来测量与对象物的距离的Time Of Flight法(飞行时间法，TOF法)。在TOF法中，向对象物照射脉冲光，检测反射的脉冲光的第1部分及第2部分。在TOF法中，为了使检测到的光量变大，检测反射的脉冲光，以使第1部分及第2部分都包含反射的脉冲光的波形中的强度为最大的部分。
相对于此，在有关本公开的一技术方案的摄像装置中，由于第2期间是比反射脉冲光的波形的下降期间的开始靠后的期间，所以不包含反射脉冲光的强度为最大的部分。
本公开例如包括以下的项目中记载的形态。
[项目1]
有关本公开的项目1的摄像装置具备：光源，射出向对象物照射的1个以上的脉冲光；以及光检测器，检测从上述对象物返回的1个以上的反射脉冲光；在包括上升期间的至少一部分的第1期间中，上述光检测器检测上述1个以上的反射脉冲光，上述上升期间是从上述1个以上的反射脉冲光的强度开始增加起到增加结束为止的期间；在比下降期间的开始靠后、且包括上述下降期间的一部分的第2期间中，上述光检测器检测上述1个以上的反射脉冲光，上述下降期间是从上述强度开始减少起到减少结束为止的期间。
[项目2]
在项目1所记载的摄像装置中，也可以是，上述光检测器是包括多个像素的图像传感器；上述多个像素中的每个像素包括：光电变换部，将从上述对象物返回的光变换为信号电荷；以及电荷蓄积部，蓄积上述信号电荷；在上述第1期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；在上述第2期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷。
[项目3]
在项目2所记载的摄像装置中，也可以是，上述图像传感器在上述上升期间与上述下降期间之间的第3期间中，不在上述电荷蓄积部中蓄积上述信号电荷。
[项目4]
在项目2或3所记载的摄像装置中，也可以是，上述图像传感器在多个帧期间中的每个帧期间中，基于蓄积在上述电荷蓄积部中的上述信号电荷取得1个帧的上述对象物的图像；上述第1期间及上述第2期间分别包含在上述多个帧期间中的不同的帧期间中。
[项目5]
在项目2～4中任一项所记载的摄像装置中，也可以是，上述多个像素中的每个像素包括第1电荷蓄积部及第2电荷蓄积部，上述第1电荷蓄积部及上述第2电荷蓄积部分别是上述电荷蓄积部；在上述第1期间中，上述图像传感器在上述第1电荷蓄积部中蓄积上述信号电荷；在上述第2期间中，上述图像传感器在上述第2电荷蓄积部中蓄积上述信号电荷。
[项目6]
在项目5所记载的摄像装置中，也可以是，上述图像传感器在多个帧期间的每个帧期间中，基于蓄积在上述电荷蓄积部中的上述信号电荷，取得1个帧的上述对象物的图像；上述第1期间及上述第2期间包含在上述多个帧期间中的同一个帧期间中。
[项目7]
也可以是，上述1个以上的反射脉冲光包括第1反射脉冲光和第2反射脉冲光；在上述第1反射脉冲光的上述第1期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；在上述第2反射脉冲光的上述第2期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷。
[项目8]
在项目2～6中任一项所记载的摄像装置中，也可以是，上述1个以上的反射脉冲光包括多个反射脉冲光；在多个上述第1期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；在多个上述第2期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；上述多个第1期间的数量比上述多个第2期间的数量少。
在本公开中，电路、单元、装置、部件或部的全部或一部分，或框图的功能块的全部或一部分，也可以由包括半导体装置、半导体集成电路(IC)，LSI(large scaleintegration：大规模集成电路)的一个或多个电子电路执行。LSI或IC既可以集成在一个芯片上，也可以将多个芯片组合而构成。例如，也可以将存储元件以外的功能块集成到一个芯片上。这里称作LSI或IC，但根据集成程度而叫法变化，也可以称作系统LSI、VLSI(verylarge scale integration：超大规模集成电路)或ULSI(ultra large scaleintegration：特大规模集成电路)。在LSI的制造后编程的Field Programmable GateArray(FPGA：现场可编程门阵列)、或能够进行LSI内部的接合关系的再构成或LSI内部的电路划分的设置的可重构逻辑器件也能够以相同的目的使用。
进而，电路、单元、装置、部件或部的全部或一部分的功能或操作可以通过软件处理来执行。在此情况下，软件被记录到一个或多个ROM、光盘、硬盘驱动器等的非暂时性记录介质中，当软件被处理装置(processor：处理器)执行时，由该软件确定的功能被处理装置(processor)及周边装置执行。系统或装置也可以具备记录有软件的一个或多个非暂时性记录介质、处理装置(processor)及需要的硬件设备、例如接口。
(实施方式1)
本实施方式的摄像装置作为对象物而以生物体等的光散射体为对象。更具体地讲，本实施方式的摄像装置观测应观测的被检者的表皮和脑内的血流变化量的分布和其时间变化。由此，能够生成表示该分布的静止图像或运动图像的2维图像。通过利用该图像的信息，例如能够推测被检者的脑活动(例如，注意力集中程度或感情等)。本实施方式的摄像装置由于能够以非接触方式检测上述那样的生物体信息，所以能够消除伴随着检测的麻烦，所以与以往技术相比能够使脑血流信息的检测精度大幅提高。以下，说明能够进行这样的高精度的检测的本实施方式的摄像装置的结构及动作。
[1.结构]
图4是示意地表示本实施方式的摄像装置101的结构的图。在图4中，不仅是摄像装置101，还表示了作为检测对象的对象物102(人体头部)。本实施方式的摄像装置101大体上具有与图1所示的研究例中的摄像装置101相同的结构。
摄像装置101具备第1光源103、作为光检测器的图像传感器113、带通滤波器112、光学系统111、控制电路114和信号处理电路115。第1光源103朝向对象物102位于的方向射出脉冲光。在本实施方式中，第1光源103是射出中心波长为750nm的窄带域的脉冲光的激光源。图像传感器113被配置在光学系统111的成像面上，检测来自对象物102的反射光。光学系统111配置在对象物102与图像传感器113之间，可以包括1个或多个透镜。光学系统111将来自对象物102的光聚光而向图像传感器113的摄像面成像。带通滤波器112配置在光学系统111与图像传感器113之间，主要仅使与来自第1光源103的光的波长相当的波长的光透过。
控制电路114连接在第1光源103及图像传感器113上，控制它们的动作。更具体地讲，控制电路114同步地控制第1光源103的发光定时和图像传感器113的各像素的信号蓄积及信号排出的定时。由此，能够以较高的精度检测生物体内部的头皮及脑血流的信息。信号处理电路115连接在图像传感器113上，基于从图像传感器113输出的电信号，生成并输出图像数据(例如2维的运动图像的数据)。生成的图像数据例如被向未图示的显示器发送，在显示器上可以显示表示脑血流的状态的图像。另外，信号处理电路115也可以设在摄像装置101的外部的装置中。例如，也可以以是以有线或无线方式与摄像装置101连接的外部的计算机具备信号处理电路115。在这样的形态中，由于摄像装置101不需要进行计算负荷较高的运算，所以能够将摄像装置101便宜地构成。另外，摄像装置101可以包含在图4中没有表示的其他要素。例如，摄像装置101也可以具备使来自第1光源103的光的行进方向变化的反射镜等的光学系统、或进行无线通信的通信电路等。
图4所示的各构成要素不需要配置在同一个箱体内。例如，摄像装置101可以通过智能电话或平板电脑那样的信息终端与连接在该信息终端上的其他装置的组合实现。这样的其他的装置可以具备第1光源103、图像传感器113、带通滤波器112及光学系统111。通过在信息终端中安装特定的软件，能够使信息终端的处理器(CPU及GPU等)作为控制电路114及信号处理电路115发挥功能。
以下，更详细地说明各构成要素。
[1－1.第1光源103]
本实施方式的第1光源103是射出中心波长为750nm的窄带域的脉冲光的激光脉冲光源。第1光源103如后述那样，以由控制电路114决定的规定的模式反复射出脉冲光。第1光源103射出的脉冲光例如可以是作为上升时间的从开始上升到完全上升的时间、和作为下降时间的从开始下降到完全下降的时间接近于零的矩形波状的光。第1光源103可以是脉冲光的上升部分和下降部分相对于时间轴接近于垂直(即，时间响应特性陡峭的)激光二极管(LD)等的光源。在第1光源103中，可以使用例如半导体激光器、固体激光器、纤维激光器等的发出脉冲光的任意的种类的光源。
在本实施方式的摄像装置101中，由于对象物102是人体，所以可以使用考虑到对视网膜的影响的第1光源103。例如在使用激光源的情况下，可以使用由各国制定的激光安全基准的等级1的光源。在满足等级1的情况下，向对象物102照射辐射释放极限(AEL)低于1mW的低照度的光。即使第1光源103自身不满足等级1，也可以通过与其他光学元件的组合满足等级1。例如，也可以将扩散板或ND滤光器等的元件配置在第1光源103与对象物102之间，通过使光扩散或衰减来满足激光安全基准的等级1。
第1光源103发出的光的波长并不限定于750nm。例如可以使用包含在650nm以上950nm以下的波长范围中的任意的波长的光。上述波长范围被称作“生物体之窗”，具有比较难以被生物体内的水分及血红蛋白吸收的性质。在将生物体作为检测对象的情况下，通过使用上述波长范围的光，能够使检测灵敏度变高。在如本实施方式那样检测对象物102的皮肤及脑的血流变化的情况下，考虑到使用的光主要被氧化血红蛋白及脱氧血红蛋白吸收，对于各个波长的光吸收程度不同。在血流中发生了变化的情况下，可以认为氧化血红蛋白及脱氧血红蛋白的浓度变化，所以光的吸收程度也变化。因而，血流变化的前后，检测的光量也变化。
另外，在本公开中，对象物102并不限定于生物体。例如，也可以将气体、药品、食品等的其他种类的光散射体作为对象物102。第1光源103发出的光的波长域并不限定于作为近红外线的波长域(约700nm以上约2500nm以下)，例如也可以是可视光的波长域(约400nm以上约700nm以下)、紫外线的波长域(约10nm以上约400nm以下)。根据用途，也可以使用中红外线、远红外线或太赫兹波或毫米波等的电波域的电磁波。
如参照图1说明那样，从第1光源103到达对象物102的光被分为作为由对象物102的表面反射的成分的表面反射成分I1、和作为在对象物102的内部1次反射或散射、或多重散射的成分的内部散射成分I2。表面反射成分I1包括直接反射成分、扩散反射成分的2种。直接反射成分是以与入射角相等的反射角被反射的成分。扩散反射成分是起因于表面的凹凸形状而扩散并被反射的成分。在本公开中，假设由对象物102的表面反射的表面反射成分I1包含这2个成分。此外，内部散射成分I2包含由表面附近的内部组织散射、反射的成分。表面反射成分I1及内部散射成分I2通过反射或散射而行进方向变化，其一部分透过光学系统111及双带通滤波器112而到达图像传感器113。
[1－2.光学系统111及双带通滤波器112]
本实施方式的光学系统111是用来将光效率良好地向图像传感器113成像的，既可以是将多片组合的，也可以是一片透镜。此外，也可以是远心的光学系统。为了调节对象物的像角，也可以使用鱼眼透镜或广角透镜，或使用变焦透镜。此外，也可以为了调节明亮度而在透镜的前后或途中设置光瞳。
双带通滤光器112是主要使750nm的光透过的滤光器。图5是表示带通滤光器112的分光透过率的例子的曲线图。如图示那样，带通滤光器112使从第1光源103射出的以750nm为中心波长的窄频带的光透过，将其以外的波长的光遮光。通过配置这样的带通滤光器112，能够抑制杂光(例如背景光)入射到图像传感器113中。
[1－3.图像传感器113]
图像传感器113接收从第1光源103射出、由对象物102反射的光。图像传感器113具有2维地排列在摄像面上的多个像素，取得对象物102的内部的2维信息。图像传感器113例如可以是CCD图像传感器或CMOS图像传感器。
图像传感器113具有电子快门。电子快门是控制相当于将接收到的光变换为有效的电信号并蓄积的1次的信号蓄积的期间即曝光期间的长度的快门幅度、和从1次的曝光期间结束到下个曝光期间开始的时间的电路。在本说明书中，将电子快门曝光的状态表现为“OPEN”，将电子快门停止曝光的状态表现为“CLOSE”。图像传感器113通过电子快门能够将从1次的曝光期间结束到下个曝光期间开始的时间以亚纳秒(例如30ps～1ns)的时间跨度进行调整。在本实施方式中，与以到对象物的距离的测量为目的的以往的TOF(Time ofFlight)照相机不同，不需要使快门幅度比脉冲宽度大。以往的TOF照相机为了将对象物的明亮度修正，检测从光源射出并被对象物反射回来的脉冲光的全部。
因而，在以往的TOF照相机中，需要快门幅度比光的脉冲宽度大。相对于此，本实施方式的摄像装置101由于不需要将来自对象物的光量修正，所以不需要快门幅度比脉冲宽度大。在本实施方式中，快门幅度例如可以是1～30ns左右。根据本实施方式的摄像装置101，由于能够使快门幅度比以往缩短，所以能够减少检测信号中包含的暗电流。
对象物102例如是人的额头，在检测脑血流等的信息的用途中，对象物102的内部中的光的衰减率非常大，例如可以衰减到100万分之1左右。因此，为了检测内部散射光I2，有仅通过1脉冲的照射而光量不足的情况。在此情况下，也可以是第1光源103多次发光脉冲光，对应于此而图像传感器113也通过电子快门多次曝光。根据这样的动作，通过将检测信号累积，能够使灵敏度提高。
像素的结构与图2相同。另外，图2示意地表示1个像素401的结构，并不一定反映现实的构造。像素401包括进行光电变换的光敏二极管403、作为蓄积信号电荷的电荷蓄积部的浮动扩散层404、和将信号电荷排出的漏极402。浮动扩散层404及漏极402的功能与参照图2说明的功能是同样的。
图像传感器113具备基于来自控制电路114的指令控制各像素401中的信号电荷的蓄积及排出的控制电路414。控制电路414可以是具有处理器和存储器的电路(例如微控制器单元)。控制电路414按照保存在存储器中的控制程序，根据来自外部的控制电路114的指示，控制信号电荷向浮动扩散层404的蓄积、以及信号电荷向漏极402的排出。由此，图像传感器113能够以较高的时间分辨率进行摄像，也有称作“时间分解图像传感器”的情况。
起因于1次的脉冲光的发光而入射到各像素401中的光被光敏二极管403变换为作为信号电荷的信号电子。按照从控制电路414输入的控制信号，变换后的信号电子被向漏极402排出，或被分配给浮动扩散层404的某个。
图6是示意地表示图像传感器113的结构的一例的图。在图6中，由虚线的框包围的区域相当于1个像素401。像素401包括浮动扩散层404。蓄积在浮动扩散层404中的信号如同通常的CMOS图像传感器的像素的信号那样被处置，从图像传感器113输出。另外，在图6中，仅表示了与从在各浮动扩散层404中完成信号电荷的蓄积后、将浮动扩散层内的信号电荷从图像传感器113输出的动作即低速读出动作有关的要素。漏极402、光敏二极管403及控制电路314由于不与低速读出动作直接相关，所以从图6中省略。
各像素401包括3个信号检测电路。各信号检测电路包括源级跟随器晶体管509、行选择晶体管508和复位晶体管510。在该例中，复位晶体管510相当于图2所示的漏极402。通过输入到复位晶体管510的栅极中的脉冲信号控制信号电荷的排出。各晶体管例如是形成在半导体基板上的电场效应晶体管，但并不限定于此。如图示那样，源级跟随器晶体管509的输入端子及输出端子的一方(典型的是源极)与行选择晶体管508的输入端子及输出端子中的一方(典型的是漏极)连接。作为源级跟随器晶体管509的控制端子的栅极电连接在图6中没有表示的光敏二极管403上。作为由光敏二极管403生成的信号电荷的空穴或电子被蓄积到作为光敏二极管403与源级跟随器晶体管509之间的蓄积部的浮动扩散层404中。
通过由行选择电路502将行选择晶体管508的栅极设为ON，将蓄积在浮动扩散层404中的信号电荷读出。此时，根据浮动扩散层404的信号的电位，从源级跟随器电源505向源级跟随器晶体管509及源级跟随器负荷506流入的电流被放大。基于从垂直信号线504读出的该电流的模拟信号被按每个列连接的模拟－数字(AD)变换电路507变换为数字信号数据。该数字信号数据被列选择电路503按列读出，被从图像传感器113输出。
行选择电路502及列选择电路503在进行1个行的读出后，进行下一行的读出，以下同样，将全部的行的浮动扩散层的信号电荷的信息读出。控制电路414在将全部的信号电荷读出后，通过将复位晶体管510的栅极开启，将全部的浮动扩散层复位。由此，1个帧的摄像完成。以下同样，通过反复进行帧的高速摄像，由图像传感器113进行的一系列的帧的摄像结束。
另外，在本实施方式中，说明了CMOS型的图像传感器113的例子，但图像传感器113也可以是CCD型，也可以是单一光子计数型元件，也可以是作为放大型图像传感器的EMCCD、ICCD。
[1－4.控制电路114及信号处理电路115]
控制电路114例如可以是微处理器及存储器的组合，或内置有处理器及存储器的微控制器等的集成电路。控制电路114通过例如处理器将记录在存储器中的控制程序执行，进行向第1光源103的点亮指示、向图像传感器113的摄像指示、以及向信号处理电路115的运算指示等。基于来自控制电路114的指示，图像传感器113的控制电路414控制各像素的信号电荷的蓄积及排出。
信号处理电路115是将从图像传感器113输出的图像信号处理的电路。信号处理电路115例如可以通过数字信号处理器(DSP)、现场可编程门阵列(FPGA)等的可编程逻辑设备(PLD)、或中央运算处理装置(CPU)或图像处理用运算处理器(GPU)与计算机程序的组合来实现。另外，控制电路114及信号处理电路115也可以由合并的1个电路实现。
本实施方式的信号处理电路115基于从图像传感器113输出的信号，生成表示皮肤及脑血流的时间变化的运动图像数据。信号处理电路115并不限于这样的运动图像数据，也可以生成其他信息。例如，也可以通过与其他设备同步而生成脑的血流量、血压、血中氧饱和度或心拍数等的生物体信息。
已知在脑血流量或血流内成分(例如血红蛋白)的变化与人的神经活动之间有密切的关系。例如，通过神经细胞的活动对应于人的感情的变化而变化，脑血流量或血液内的成分变化。因而，只要能够计测脑血流量或血液内成分的变化等的生物体信息，就能够推测被检者的心理状态。所谓被检者的心理状态，例如是指心情(例如，快乐、不快)、感情(例如，安心、不安、悲伤、愤怒等)、健康状态(例如，精神好、倦怠)、温度感觉(例如，热、冷、闷热)等。此外，派生于此，表示脑活动的程度的指标例如熟练度、熟悉度及注意力集中程度等也包含在心理状态中。信号处理电路115也可以基于脑血流量等的变化推测被检者的注意力集中程度等的心理状态，输出表示推测结果的信号。
[2.动作]
接着，使用图7A及7B对本实施方式的摄像装置101的动作进行说明。
如参照图1说明那样，被照射在作为对象物102的头部上的750nm的波长的光的大部分的能量被对象物102的表面反射。但是，很少一部分的成分一边散射一边到达到对象物102的深部，进而继续散射，极少量的能量成分作为内部散射成分再次到达头部的额头表面。该光的一部分透过光学系统111及带通滤光器112而到达图像传感器113。
所以，本实施方式的控制电路114如图7A所示，在第一帧期间中，在照射脉冲光之前将图像传感器的电子快门设为OPEN，在相当于发光脉冲宽度的期间中维持快门OPEN的状态，在到达图像传感器113的反射光上升的途中将电子快门设为CLOSE。然后，进行下个脉冲发光，进行相同的动作。通过反复进行以上的动作，能够检测到主要仅穿过了皮肤及头盖骨的光。
在第二帧期间中，如图7B所示，在图像传感器113的各像素中，在脉冲光的表面反射成分入射的期间中将电子快门设为CLOSE，在表面反射成分和内部散射成分的下降成分入射的期间中将电子快门切换为OPEN。并且，在相当于发光脉冲宽度的期间中维持快门OPEN的状态，再次将快门设为CLOSE。然后，进行下个脉冲发光，进行相同的动作。通过反复进行以上的动作，能够将表面反射成分除去而效率良好地检测经由到脑的内部散射成分。
另外，从开始发光到将电子快门从CLOSE切换为OPEN的时间可以在检测开始前预先决定。例如，在检测开始前，进行由第1光源103进行的预发光，通过由图像传感器113检测该光，能够测量从开始发光到表面反射成分的后端到达图像传感器113的时间。只要将该时间设定为从开始发光到将电子快门设为OPEN的时间就可以。
对象物102是人的额头，当检测脑血流等的信息时，由于内部中的光的衰减率非常大，所以为了仅检测内部散射光，仅通过1个脉冲的照射，光量可能不足。因此，在本实施方式中，将脉冲光多次发光，与此对应而通过图像传感器113的电子快门进行多次曝光。由此，检测信号被累积，所以能够使灵敏度提高。但是，根据用途，有时也可以不进行多次发光及曝光。在此情况下，关于各光源，每1帧进行1次的发光及曝光。
图7A及图7B是表示本实施方式的摄像装置101的动作的例子的系统时序图。在图7A及图7B中，信号A表示从第1光源103射出的脉冲光的波形。信号E表示电子快门的OPEN、CLOSE的定时。信号F表示浮动扩散层404的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。
图7A例示作为取得第一帧的图像信号的期间的第1帧期间的动作。1个帧期间是使用射出750nm的波长的光的第1光源103摄像的期间。控制电路114首先使第1光源103以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。第一帧期间中的蓄积在浮动扩散层404中的信号电荷被用于基于从对象物102反射来的750nm的波长的脉冲光的上升成分的图像的生成。
图7B例示作为取得第二帧的图像信号的期间的第2帧期间的动作。1个帧期间是使用射出750nm的波长的光的第1光源103摄像的期间。控制电路114首先使第1光源103以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。第二帧期间中的蓄积在浮动扩散层404中的信号电荷被用于基于从对象物102反射来的750nm的波长的脉冲光的下降成分的图像的生成。以下，更详细地说明该动作。
控制电路114首先使射出750nm的波长的光的第1光源103多次射出脉冲光。例如，控制电路114使第1光源103以约10MHz的频率持续100毫秒左右的期间反复发出1000次左右约10ns的脉冲宽度的脉冲光。在反复进行第1光源103的发光的期间中，浮动扩散层404被设为有效(低电势)的状态。在该状态下，同步于第1光源103的发光而切换电子快门的OPEN及CLOSE的状态。更具体地讲，在第一帧期间中，图像传感器113的控制电路414仅在从对象物102返回来的脉冲光的上升成分向光敏二极管403入射的期间中使漏极402的电势相对变高，将电子快门设为OPEN(将漏极402设为无效)。
在该期间以外，控制电路414使漏极402的电势相对变低，将电子快门设为CLOSE(将漏极402设为有效)。通过这样的控制，起因于来自对象物102的脉冲光的上升成分而由光敏二极管403发生的信号电荷被向浮动扩散层404反复蓄积。图像传感器113根据蓄积的信号电荷生成像素信号，向信号处理电路115发送。在信号处理电路115中，根据各个像素的信号生成图像，向内部存储器等保存。此时的图像意味着头皮及头盖骨等的生物体的浅部的图像信息。
在第二帧期间中，图像传感器113的控制电路414在向对象物102照射脉冲光后，使漏极402的电势相对地变低，将电子快门设为CLOSE，在来自对象物102的脉冲光的下降成分向光敏二极管403入射的期间中使漏极402的电势相对变低，将电子快门设为CLOSE。在该期间以外，控制电路414使漏极402的电势相对变低，将电子快门设为CLOSE(将漏极402设为有效)。
通过这样的控制，起因于来自对象物102的脉冲光的下降成分而在光敏二极管403中产生的信号电荷被向浮动扩散层404反复蓄积。图像传感器113将蓄积的信号电荷向信号处理电路115转送。图像传感器113根据蓄积的信号电荷生成像素信号，向信号处理电路115发送。在信号处理电路115中，根据各个像素的信号生成帧数据。此时的图像意味着包含头皮及头盖骨等的生物体的浅部、和脑等生物体的深部的两者的图像信息。通过以上的处理，信号处理电路115生成从生物体反射的脉冲光的上升成分和下降成分的各自的帧数据。
在图7A及图7B中，表示了在1个帧期间中、作为从第1光源103射出的脉冲光的数量的发光次数与作为电子快门为OPEN的状态的次数的曝光次数相等的例子，但并不限定于此。图7C及图7D是表示在实施方式1中取得第一帧期间的图像信号的期间中的摄像装置的动作的变形例的时序图。
如图3的信号D所示，由作为光检测器的图像传感器113检测到的反射脉冲光的波形在上升期间中相比下降期间变得陡峭。因而，在快门幅度相同的情况下，在1脉冲中，在上升期间中检测到的信号量变得比在下降期间中检测到的信号量大，如果累积，则在上升期间中检测到的信号量容易饱和。所以，也可以如图7C所示的变形例那样，在第1帧期间中使发光次数相比图7A变少。或者，也可以如图7D所示的变形例那样，在第1帧期间中使曝光次数相比图7A变少。
[3.图像的运算]
在从图像传感器113发送给信号处理电路115的、按照每帧蓄积的上升成分的信号中，主要包含皮肤的血流变化的信息，在下降成分的信号中，包含皮肤和脑的血流变化的信息。因此，为了仅提取脑的血流变化的信息，只要使用这些信号将皮肤的血流变化的信息与脑的血流变化的信息分离就可以。
本申请发明者们考虑，皮肤血流变化和脑血流变化都是伴随着血管或毛细血管的膨胀、收缩活动的，着眼于皮肤及脑各自的血管分布不同，皮肤的血流变化的分布和脑的血流变化的分布处于不相关的关系。基于该考虑，通过使用在根据上升成分的信号制作的图像及根据下降成分的信号制作的图像中分别反映出的信号的运算，将皮肤的血流变化的图像与脑的血流变化的图像分离。以下，对其详细情况进行说明。
在上升成分的信号和下降成分的信号中，分别以不同的比率包含皮肤血流变化的信息和脑血流变化的信息，表示为以下的理论式(1)。
[数式1]
Figure BDA0001448206740000191
这里，Sr和Sf分别表示反射的脉冲光的上升成分和下降成分，a、b、c、d表示系数，Ss和Sb分别表示皮肤血流变化的成分和脑血流变化的成分。即，左边是由图像传感器检测到的已知的像素信号值，右边是未知数。
例如，如果假定上升成分由皮肤血流变化的成分构成，则将a＝l，b＝0，Ss＝Sr代入，c和d及Sb为未知数。此时，左边与右边相等那样的未知数的组合存在许多。这里，利用皮肤血流变化的分布与脑血流变化的分布不相关，提取在皮肤的血流变化Ss和脑的血流变化Sb的全像素成分中相关系数最接近于0那样的系数c和d及Sb的值。由此求出的Ss和Sb的信号分别表示皮肤的血流变化及脑的血流变化。
此次，以上升成分等于皮肤血流变化的成分的前提进行了说明，但由于可以考虑也包含一些脑血流成分，所以也可以将a及b作为变量处置。
在式(1)中，为了求出系数而利用皮肤血流变化与脑血流变化的分布的相关性，但也可以使用独立成分分析等的多变量解析。此外，也可以使用拥有与人同样的光学特性的模型来预先求出能够将皮肤血流变化与脑血流变化分离的最优的a、b、c、d。
此外，皮肤血流的变化和脑血流的变化分别可以考虑为在时间上连续地变化。因此，可以考虑帧间的相关性较高。也可以通过除了式(1)以外还求出帧间的相关性及各个像素的运动矢量，精度良好地求出满足式(1)的Ss和Sb。
通过进行这样的图像运算，能够根据在上升成分和下降成分中分别以不同的比率包含的皮肤血流变化的成分和脑血流变化的成分，作为图像分别区分出皮肤血流变化和脑血流变化。
在本实施方式中，在信号处理电路115内进行图像处理，但也可以利用外部的计算机及运算处理电路来实施。
此外，在本实施方式中对光检测器是图像传感器的例子进行了说明，但并不限定于此。作为光检测器，也可以使用雪崩光敏二极管与存储器的组合、或PIN光敏二极管与存储器的组合。作为光检测器，即使是使用雪崩光敏二极管与存储器的组合、或PIN光敏二极管与存储器的组合的情况，例如通过将反射脉冲光的上升成分和下降成分分别按照脉冲检测、反复向存储器蓄积，也能得到充分的信号量。通过将蓄积在存储器中的信号量按照数式(1)运算，能够将皮肤血流变化和脑血流的变化分离。
(实施方式2)
接着，说明本公开的实施方式2的摄像装置201。本实施方式在使用分别射出相互不同波长的脉冲光的2个光源这一点上与实施方式1的摄像装置101不同。对使用实施方式2的摄像装置201求出血流的血红蛋白信息的例子进行说明。以下，以与实施方式1不同的点为中心进行说明。
图8是示意地表示本实施方式的摄像装置201的结构的图。摄像装置101具备第1光源103、第2光源203、图像传感器113、双带通滤波器212、光学系统111、控制电路114和信号处理电路115。第1光源103、第2光源203朝向对象物102位于的方向射出脉冲光。在本实施方式中，第1光源103是射出中心波长为750nm的窄带域的脉冲光的激光源，第2光源是射出中心波长为850nm的窄带域的脉冲光的激光源。双带通滤波器212被配置在光学系统111与图像传感器113之间，主要仅使与来自第1光源103、第2光源203的光的波长相当的波长的光透过。控制电路114连接在第1光源103、第2光源203及图像传感器113上，控制它们的动作。更具体地讲，控制电路114同步控制第1光源103、第2光源203的发光定时、和图像传感器113的各像素的信号蓄积及信号排出的定时。由此，能够以较高的精度检测生物体内部的头皮及脑血流的信息，特别是，能够检测出血流包含的氧化血红蛋白和脱氧血红蛋白的变化量。
图9是表示双带通滤波器212的分光透过率的例子的曲线图。如图示那样，双带通滤波器212使从第1光源103射出的以750nm为中心波长的窄带域的光、和从第2光源203射出的以850nm为中心波长的窄带域的光透过，将其以外的波长的光遮光。通过配置这样的双带通滤波器212，能够抑制杂光(例如背景光)入射到图像传感器113中。
图10A至图10D是表示本实施方式的摄像装置201的动作的例子的时序图。在图10A至图10D中，信号A1表示从第1光源103射出的脉冲光的波形。信号A2表示从第2光源203射出的脉冲光的波形。信号E表示电子快门的OPEN，CLOSE的定时信号F表示浮动扩散层404的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。
图10A例示取得第一帧的图像信号的第1帧期间的动作。第1帧期间是使用射出750nm的波长的光的第1光源103摄像的期间。控制电路114首先使第1光源103以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。第1帧期间中的蓄积在浮动扩散层404中的信号电荷被用于基于反射来的750nm的波长的脉冲光的上升成分的图像的生成。
图10B例示取得第二帧的图像信号的第2帧期间的动作。第2帧期间是使用射出750nm的波长的光的第1光源103摄像的期间。控制电路114首先使第1光源103以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。第2帧期间中的蓄积在浮动扩散层404中的信号电荷被用于基于反射来的750nm的波长的脉冲光的下降成分的图像的生成。
图10C例示取得第三帧的图像信号的第3帧期间的动作。第3帧期间是使用射出850nm的波长的光的第2光源203摄像的期间。控制电路114首先使第2光源203以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。第3帧期间中的蓄积在浮动扩散层404中的信号电荷被用于基于反射来的850nm的波长的脉冲光的上升成分的图像的生成。
图10D例示取得第四帧的图像信号的第4帧期间的动作。第4帧期间是使用射出850nm的波长的光的第2光源203摄像的期间。控制电路114首先使第2光源203以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。第4帧期间中的蓄积在浮动扩散层404中的信号电荷被用于基于反射来的850nm的波长的脉冲光的下降成分的图像的生成。
在从图像传感器113发送给信号处理电路115的、按照每帧蓄积的上升成分的信号及下降成分的信号中，分别包含750nm的波长的图像数据及850nm的波长的图像数据。由于通常氧化血红蛋白和脱氧血红蛋白的对于波长的吸光系数是已知的，所以根据不同的2种波长的图像数据，能够计算出上升成分和下降成分的氧化血红蛋白量及脱氧血红蛋白量。但是，由于上升成分和下降成分都以不同的比率包含皮肤血流和脑血流的血红蛋白量，所以只要将它们分离就可以。分离方法可以以与实施方式1同样的方法实施，所以这里省略说明。
如以上这样，本实施方式的摄像装置201具备发出向对象物102照射的脉冲光的第1光源103、第2光源203、图像传感器113、控制电路114和信号处理电路115。图像传感器113具有多个像素，各像素具有光敏二极管403和作为电荷蓄积部的浮动扩散层404。第1光源103射出第一波长域(例如以750nm为中心的波长域)的脉冲光。
第2光源203射出第二波长域(例如以850nm为中心的波长域)的脉冲光。控制电路114控制使第1光源103射出脉冲光的定时、使第2光源203射出脉冲光的定时、使浮动扩散层404蓄积信号电荷的定时、和将信号电荷排出的定时。控制电路114执行以下的动作。
(1)在第1帧期间中，使第1光源103射出脉冲光。
(2)在包含上升期间的至少一部分的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷，所述上升期间，是从第1光源103射出的脉冲光中的主要被对象物102的表面反射的表面反射成分I1入射到图像传感器113中的期间。
(1)在第2帧期间中，使第1光源103射出脉冲光。
(2)在从第1光源103射出的脉冲光中的表面反射成分I1的后端入射到图像传感器113中之后，在主要由对象物102的内部散射回来的内部散射成分I2向图像传感器113入射的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷。
(3)在第3帧期间中，使第2光源203射出脉冲光。
(4)在包含上升期间的至少一部分的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷，所述上升期间，是从第2光源203射出的脉冲光中的主要被对象物102的表面反射的表面反射成分I1入射到图像传感器113中的期间。
(5)在第4帧期间中，使第2光源203射出脉冲光。
(6)在从第2光源203射出的脉冲光中的表面反射成分I1的后端入射到图像传感器113中之后，在主要由对象物102的内部散射回来的内部散射成分I2向图像传感器113入射的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷。
信号处理电路115根据第1帧期间中的图像信号和第3帧期间中的图像信号，计算上升成分中的氧化血红蛋白量及脱氧血红蛋白量，在根据第2帧期间中的图像信号和第4帧期间中的图像信号计算出下降成分中的氧化血红蛋白量及脱氧血红蛋白量之后，通过图像运算求出皮肤血流和脑血流的血红蛋白浓度变化的分布。
根据以上的结构及动作，通过按照每帧检测从生物体反射的脉冲光的上升成分和下降成分，能够求出皮肤血流中的血红蛋白变化和脑血流中的血红蛋白变化的分布。
在本实施方式中使用2种波长的光，但也可以使用3种或其以上的波长的光。
(实施方式3)
接着，说明本公开的实施方式3的摄像装置201。本实施方式在通过设置多个包含在一个像素中的电荷蓄积部、在1个帧期间中检测多个波长的反射光这一点，或者在1个帧期间中能够检测上升成分和下降成分这一点，与实施方式1及实施方式2不同。以下，以与实施方式1及2不同的点为中心进行说明。
图11是表示图像传感器113的1个像素401的概略性的结构的图。另外，图11示意地表示1个像素401的结构，并不一定反映现实的构造。像素401包括进行光电变换的光敏二极管403、作为蓄积信号电荷的电荷蓄积部的2个浮动扩散层404、405、和将信号电荷排出的漏极402。各浮动扩散层404、405及漏极402的功能与参照图2说明的功能是同样的。
图像传感器113具备基于来自控制电路114的指令控制各像素401中的信号电荷的蓄积及排出的控制电路414。控制电路414可以是具有处理器和存储器的电路(例如，微控制器单元)。控制电路414按照保存在存储器中的控制程序，根据来自外部的控制电路114的指示，控制信号电荷向浮动扩散层404、405的蓄积、以及信号电荷向漏极402的排出。
起因于1次的脉冲光的发光而入射到各像素401中的光被光敏二极管403变换为作为信号电荷的信号电子。变换后的信号电子按照从控制电路414输入的控制信号，被向漏极402排出，或被分配给浮动扩散层404、405的某个。
图12A及12B是表示本实施方式的摄像装置201的动作的例子的时序图。在图12A及图12B中，信号A1表示从第1光源103射出的脉冲光的波形。信号A2表示从第2光源203射出的脉冲光的波形。信号E表示电子快门的OPEN、CLOSE的定时。信号F1表示浮动扩散层404的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。信号F2表示浮动扩散层405的ON、OFF的定时。
图12A例示取得第一帧的图像信号的第1帧期间的动作。第1帧期间是使用射出750nm的波长的光的第1光源103和射出850nm的波长的光的第2光源203进行摄像的期间。控制电路114首先使第1光源103以规定的周期多次发光，同步于该发光，使浮动扩散层404蓄积信号电荷。接着，使第2光源203以规定的周期多次发光，同步于该发光，使浮动扩散层405蓄积信号电荷。第1帧期间中的蓄积在浮动扩散层404、405中的信号电荷被用于基于750nm、850nm的各自的波长的脉冲光的上升成分的图像的生成。
图12B例示取得第二帧的图像信号的第2帧期间的动作。第2帧期间是使用射出750nm的波长的光的第1光源103和射出850nm的波长的光的第2光源203进行摄像的期间。控制电路114首先使第1光源103以规定的周期多次发光，同步于该发光而使浮动扩散层404蓄积信号电荷。接着，使第2光源203以规定的周期多次发光，同步于该发光而使浮动扩散层405蓄积信号电荷。第2帧期间中的蓄积在浮动扩散层404、405中的信号电荷被用于基于反射来的750nm、850nm的各自的波长的脉冲光的下降成分的图像的生成。
在从图像传感器113发送给信号处理电路115的、蓄积在浮动扩散层404中的上升成分的信号及蓄积在浮动扩散层405中的下降成分的信号中，分别包含750nm的波长的图像数据及850nm的波长的图像数据。由于通常氧化血红蛋白和脱氧血红蛋白的对于波长的吸光系数是已知的，所以根据不同的2种波长的图像数据，能够计算出上升成分和下降成分的氧化血红蛋白量及脱氧血红蛋白量。但是，由于上升成分和下降成分都以不同的比率包含皮肤血流和脑血流的血红蛋白量，所以只要将它们分离就可以。分离方法可以以与实施方式1同样的方法实施，所以这里省略说明。
如以上这样，本实施方式的摄像装置201具备发出向对象物102照射的脉冲光的第1光源103、第2光源203、图像传感器113、控制电路114和信号处理电路115。图像传感器113具有多个像素，各像素具有光敏二极管403和浮动扩散层404、405。第1光源103射出第一波长域(例如以750nm为中心的波长域)的脉冲光。第2光源射出第二波长域(例如以850nm为中心的波长域)的脉冲光。控制电路114控制使第1光源103射出脉冲光的定时、使第2光源203射出脉冲光的定时、使浮动扩散层404蓄积信号电荷的定时、使浮动扩散层405蓄积信号电荷的定时、和将信号电荷排出的定时。控制电路114执行以下的动作。
(1)在第1帧期间中，使第1光源103射出脉冲光，接着使第2光源203射出脉冲光。
(2)在包含上升期间的至少一部分的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷，所述上升期间，是从第1光源103射出的脉冲光中的被对象物102的表面反射的表面反射成分I1向图像传感器113入射的期间。接着，在包含从第2光源射出的脉冲光中的上升期间的至少一部分的期间中，将图像传感器113设为使浮动扩散层405蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层405蓄积信号电荷。
(3)在第2帧期间中，使第1光源103射出脉冲光，接着使第2光源203射出脉冲光。
(4)在从第1光源103射出的脉冲光中的表面反射成分I1的后端入射到图像传感器113中之后，在由对象物102的内部散射回来的内部散射成分I2向图像传感器113入射的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷。接着，在从第2光源203射出的脉冲光中的表面反射成分I1的后端入射到图像传感器113中之后，在由对象物102的内部散射回来的内部散射成分I2向图像传感器113入射的期间中，将图像传感器113设为使浮动扩散层405蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层405蓄积信号电荷。
信号处理电路115根据第1帧期间中的蓄积在浮动扩散层404及浮动扩散层405中的信号电荷，计算出上升成分中的氧化血红蛋白量及脱氧血红蛋白量，根据第2帧期间中的蓄积在浮动扩散层404及浮动扩散层405中的信号电荷，计算出下降成分中的氧化血红蛋白量及脱氧血红蛋白量后，通过图像运算，求出皮肤血流和脑血流的血红蛋白浓度变化的分布。
根据以上的结构及动作，通过按不同帧检测从生物体反射的各波长的脉冲光的上升成分和下降成分，能够高速地求出皮肤血流中的血红蛋白变化和脑血流中的血红蛋白变化的分布。由此，与实施方式1及2相比，帧速率变快。
在本实施方式中，使用2个浮动扩散层进行了说明，但随着波长的数量增加而增加浮动扩散层，通过实施同样的动作，在使用多波长的情况下也能够使帧速率变快。
(实施方式4)
接着，说明本公开的实施方式4的摄像装置101。本实施方式通过浮动扩散层的控制的高速化，能够以与由第1光源103射出的脉冲光大致相同的定时取得由对象物102反射的脉冲光的上升成分和下降成分。与实施方式1至3相比，能够使帧速率提高。
像素的概略性的结构与图11相同。另外，图11示意地表示1个像素401的结构，并不一定反映现实的构造。像素401包括进行光电变换的光敏二极管403、作为蓄积信号电荷的电荷蓄积部的2个浮动扩散层404、405、和将信号电荷排出的漏极402。各浮动扩散层404、405及漏极402的功能与参照图2说明的功能是同样的。
图像传感器113具备基于来自控制电路114的指令控制各像素401中的信号电荷的蓄积及排出的控制电路414。控制电路414可以是具有处理器和存储器的电路(例如微控制器单元)。控制电路414按照保存在存储器中的控制程序，根据来自外部的控制电路114的指示，控制信号电荷向浮动扩散层404、405的蓄积、以及信号电荷向漏极402的排出。
起因于1次的脉冲光的发光而入射到各像素401中的光被光敏二极管403变换为作为信号电荷的信号电子。变换后的信号电子按照从控制电路414输入的控制信号，被向漏极402排出，或被分配给浮动扩散层404、405的某个。
图13是表示本实施方式的摄像装置101的动作的例子的时序图。在图13中，信号A表示从第1光源103射出的脉冲光的波形。信号E表示电子快门的OPEN、CLOSE的定时。信号F1表示浮动扩散层404的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。信号F2表示浮动扩散层405的ON、OFF的定时。
在1个帧期间中，使用射出750nm的波长的光的第1光源103进行摄像。控制电路114使第1光源103发光，同步于该发光，对于脉冲光的上升成分使被高速控制动作的浮动扩散层404蓄积信号电荷。接着，对于脉冲光的下降成分使被高速控制动作的浮动扩散层405蓄积信号电荷。通过将该动作在1帧内多次反复进行，将被对象物102反射的脉冲光中的上升成分向浮动扩散层404蓄积，将下降成分向浮动扩散层405蓄积，用于图像的生成。
在从图像传感器113发送给信号处理电路115的图像数据中，包括蓄积在浮动扩散层404中的上升成分的图像数据、以及蓄积在浮动扩散层405中的下降成分的图像数据。但是，由于上升成分和下降成分都以不同的比率包含皮肤血流和脑血流的血流量，所以只要将它们分离就可以。分离方法可以以与实施方式1同样的方法实施，所以这里省略说明。
图14是表示本实施方式的摄像装置101的动作的变形例的时序图。在图14中，信号A表示从第1光源103射出的脉冲光的波形。信号E表示电子快门的OPEN、CLOSE的定时。信号F1表示浮动扩散层404的ON(即在浮动扩散层中蓄积电荷的状态)、OFF(即在浮动扩散层中不蓄积电荷的状态)的定时。信号F2表示浮动扩散层405的ON、OFF的定时。
如在图7C及图7D所示的实施方式1的变形例中说明那样，由图像传感器113检测到的反射脉冲光的上升成分的强度比下降成分的强度大，信号量容易饱和，所以也可以如图14所示那样，使检测上升成分的曝光次数比检测下降成分的曝光次数少。
如以上这样，本实施方式的摄像装置101具备发出向对象物102照射的脉冲光的第1光源103、图像传感器113、控制电路114和信号处理电路115。图像传感器113具有多个像素，各像素具有光敏二极管403和浮动扩散层404、405。第1光源103射出第一波长域(例如以750nm为中心的波长域)的脉冲光。控制电路114控制使第1光源103射出脉冲光的定时、使浮动扩散层404蓄积信号电荷的定时、使浮动扩散层405蓄积信号电荷的定时、和将信号电荷排出的定时。控制电路114执行以下的动作。
(1)在一个帧期间中，使第1光源103射出脉冲光。
(2)在包含上升期间的至少一部分的期间中，将图像传感器113设为使浮动扩散层404蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层404蓄积信号电荷，所述上升期间，是从第1光源103射出的脉冲光中的被对象物102的表面反射的表面反射成分I1向图像传感器113入射的期间。接着，在从第1光源103射出的脉冲光中的表面反射成分I1的后端入射到图像传感器113中之后，在由对象物102的内部散射回来的内部散射成分I2向图像传感器113入射的期间中，将图像传感器113设为使浮动扩散层405蓄积信号电荷的状态、并且信号电荷不被排出的状态，使浮动扩散层405蓄积信号电荷。
(3)将(2)在1帧内反复进行。
(4)信号处理电路115根据蓄积在浮动扩散层404中的信号，计算上升成分中的血流变化量，根据蓄积在浮动扩散层405中的信号计算下降成分中的血流变化量，通过图像运算，求出皮肤血流和脑血流的血流变化量的分布。
另外，本实施方式使用1个波长的光进行了说明，但也可以使向对象物102照射的相互不同的波长的光的数量增加，与其对应而使浮动扩散层的数量增加。通过使向对象物102照射的相互不同的波长的光的数量增加，能够求出血中的血红蛋白浓度变化。
根据以上的结构及动作，通过对于从生物体反射的各波长的脉冲光在1个帧内检测上升成分和下降成分，能够高速地求出皮肤血流中的血流变化和脑血流中的血流变化的分布。由此，与实施方式1至3相比，帧速率变得更快。
标号说明
101 摄像装置
102 对象物
103 第1光源
203 第2光源
113 图像传感器
114 控制电路
401 像素
402 漏极
403 光敏二极管
404 浮动扩散层
414 控制电路

Claims (11)

1.一种摄像装置，其特征在于，
具备：
光源，射出向对象物照射的1个以上的脉冲光；以及
光检测器，检测从上述对象物返回的1个以上的反射脉冲光；
在包括上升期间的至少一部分的第1期间中，上述光检测器检测上述1个以上的反射脉冲光，上述上升期间是从上述1个以上的反射脉冲光的强度开始增加起到增加结束为止的期间；
在比下降期间的开始靠后、且包括上述下降期间的一部分的第2期间中，上述光检测器检测上述1个以上的反射脉冲光，上述下降期间是从上述强度开始减少起到减少结束为止的期间，
上述第2期间包含上述强度的减少结束的时刻。
2.如权利要求1所述的摄像装置，其特征在于，
上述光检测器是包括多个像素的图像传感器；
上述多个像素中的每个像素包括：
光电变换部，将从上述对象物返回的光变换为信号电荷；以及
电荷蓄积部，蓄积上述信号电荷；
在上述第1期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；
在上述第2期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷。
3.如权利要求2所述的摄像装置，其特征在于，
上述图像传感器在上述上升期间与上述下降期间之间的第3期间中，不在上述电荷蓄积部中蓄积上述信号电荷。
4.如权利要求2所述的摄像装置，其特征在于，
上述图像传感器在多个帧期间中的每个帧期间中，基于蓄积在上述电荷蓄积部中的上述信号电荷取得1个帧的上述对象物的图像；
上述第1期间及上述第2期间分别包含在上述多个帧期间中的不同的帧期间中。
5.如权利要求2所述的摄像装置，其特征在于，
上述多个像素中的每个像素包括第1电荷蓄积部及第2电荷蓄积部，上述第1电荷蓄积部及上述第2电荷蓄积部分别是上述电荷蓄积部；
在上述第1期间中，上述图像传感器在上述第1电荷蓄积部中蓄积上述信号电荷；
在上述第2期间中，上述图像传感器在上述第2电荷蓄积部中蓄积上述信号电荷。
6.如权利要求5所述的摄像装置，其特征在于，
上述图像传感器在多个帧期间的每个帧期间中，基于蓄积在上述电荷蓄积部中的上述信号电荷，取得1个帧的上述对象物的图像；
上述第1期间及上述第2期间包含在上述多个帧期间中的同一个帧期间中。
7.如权利要求2所述的摄像装置，其特征在于，
上述1个以上的反射脉冲光包括第1反射脉冲光和第2反射脉冲光；
在上述第1反射脉冲光的上述第1期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；
在上述第2反射脉冲光的上述第2期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷。
8.如权利要求2所述的摄像装置，其特征在于，
上述1个以上的反射脉冲光包括多个反射脉冲光；
在多个上述第1期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；
在多个上述第2期间中，上述图像传感器在上述电荷蓄积部中蓄积上述信号电荷；
上述多个第1期间的数量比上述多个第2期间的数量少。
9.如权利要求1所述的摄像装置，其特征在于，
上述第2期间与上述第1期间在时间上分离。
10.如权利要求1所述的摄像装置，其特征在于，
上述第1期间和上述第2期间均比上述脉冲光的脉冲宽度短。
11.如权利要求1所述的摄像装置，其特征在于，
上述1个以上的反射脉冲光包括第1反射脉冲光和第2反射脉冲光，
上述光检测器，在上述第1反射脉冲光的上述第1期间中检测上述第1反射脉冲光，在上述第2反射脉冲光的上述第2期间中检测上述第2反射脉冲光。
CN201711025085.9A 2016-12-15 2017-10-27 摄像装置 Active CN108209867B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016243290 2016-12-15
JP2016-243290 2016-12-15

Publications (2)

Publication Number Publication Date
CN108209867A CN108209867A (zh) 2018-06-29
CN108209867B true CN108209867B (zh) 2022-03-18

Family

ID=62562891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711025085.9A Active CN108209867B (zh) 2016-12-15 2017-10-27 摄像装置

Country Status (3)

Country Link
US (1) US10270998B2 (zh)
JP (1) JP7065421B2 (zh)
CN (1) CN108209867B (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6998532B2 (ja) * 2017-12-13 2022-01-18 パナソニックＩｐマネジメント株式会社 光センシング装置
NL2021199B1 (en) * 2018-06-28 2020-01-07 Fugro N V Surveying instrument for and surveying method of surveying reference points
WO2019176535A1 (ja) 2018-03-15 2019-09-19 パナソニックＩｐマネジメント株式会社 ユーザの心理状態を推定するためのシステム、記録媒体、および方法
US11300502B1 (en) * 2018-05-17 2022-04-12 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Time-wavelength optical sampling systems and methods for determining composition of a sample based on detected pulses of different durations
JP2019201707A (ja) * 2018-05-21 2019-11-28 株式会社サンセイアールアンドディ 遊技機
CN111970971B (zh) * 2018-05-30 2024-08-27 松下知识产权经营株式会社 识别装置及识别方法
JPWO2020044854A1 (ja) * 2018-08-30 2021-08-26 パナソニックＩｐマネジメント株式会社 生体計測装置、及び生体計測方法
JP2020043229A (ja) * 2018-09-11 2020-03-19 ソニーセミコンダクタソリューションズ株式会社 光源装置、センシングモジュール
JP7417867B2 (ja) * 2018-12-10 2024-01-19 パナソニックＩｐマネジメント株式会社 光計測装置
JPWO2020121705A1 (ja) * 2018-12-14 2021-11-04 ミラクシアエッジテクノロジー株式会社 撮像装置
WO2020129426A1 (ja) * 2018-12-20 2020-06-25 パナソニックＩｐマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP7386438B2 (ja) * 2018-12-20 2023-11-27 パナソニックＩｐマネジメント株式会社 生体計測装置、生体計測方法、コンピュータ読み取り可能な記録媒体、およびプログラム
JP2022037256A (ja) * 2018-12-27 2022-03-09 パナソニックＩｐマネジメント株式会社 撮像装置
CN110471083B (zh) * 2019-08-22 2023-03-24 西安电子科技大学 一种纵向距离的激光三维成像装置及方法
CN114846355A (zh) * 2020-01-17 2022-08-02 松下知识产权经营株式会社 测距装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09173305A (ja) * 1995-12-22 1997-07-08 Nippon Colin Co Ltd 動脈弾性度評価装置
CN1200657A (zh) * 1995-10-23 1998-12-02 斯托迈奇克公司 用于反射成象分析的方法与装置
CN1342054A (zh) * 1998-11-05 2002-03-27 斯托迈奇克公司 提供高对比度成像的方法和装置
JP2012125370A (ja) * 2010-12-15 2012-07-05 Hitachi Ltd 生体計測装置
CN104582588A (zh) * 2012-08-31 2015-04-29 株式会社日立医疗器械 生物体光测量装置及使用生物体光测量装置的生物体光测量方法
CN105164550A (zh) * 2014-02-28 2015-12-16 松下知识产权经营株式会社 测距装置以及测距方法
CN105395184A (zh) * 2015-12-04 2016-03-16 华中科技大学 生物组织血流、血氧和血容量的多参数检测方法及装置
JP2016101419A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 光音響装置、被検体情報取得方法、およびプログラム
CN105723239A (zh) * 2013-11-20 2016-06-29 松下知识产权经营株式会社 测距摄像系统
CN106092972A (zh) * 2015-04-27 2016-11-09 松下知识产权经营株式会社 光传感装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3162070B2 (ja) 1990-11-22 2001-04-25 オリンパス光学工業株式会社 被検体内部情報観察装置
US5305759A (en) * 1990-09-26 1994-04-26 Olympus Optical Co., Ltd. Examined body interior information observing apparatus by using photo-pulses controlling gains for depths
JPH04135551A (ja) 1990-09-27 1992-05-11 Olympus Optical Co Ltd 光三次元像観察装置
JPH05103786A (ja) * 1991-10-16 1993-04-27 Olympus Optical Co Ltd 代謝情報測定装置
JPH0622968A (ja) 1992-07-03 1994-02-01 Olympus Optical Co Ltd 散乱体内観察装置
JP3304559B2 (ja) * 1993-10-25 2002-07-22 株式会社日立製作所 光計測方法および装置
JPH11164826A (ja) 1997-12-04 1999-06-22 Hitachi Ltd 生体光計測装置
US7904139B2 (en) * 1999-08-26 2011-03-08 Non-Invasive Technology Inc. Optical examination of biological tissue using non-contact irradiation and detection
US7840257B2 (en) 2003-01-04 2010-11-23 Non Invasive Technology, Inc. Examination of biological tissue using non-contact optical probes
US6556858B1 (en) 2000-01-19 2003-04-29 Herbert D. Zeman Diffuse infrared light imaging system
JP2001264439A (ja) 2000-03-17 2001-09-26 Olympus Optical Co Ltd 距離測定装置及び距離測定方法
JP2003010189A (ja) 2001-07-04 2003-01-14 Communication Research Laboratory 生体機能情報撮像装置
JP2008500839A (ja) 2002-11-18 2008-01-17 ヴァージニア テック インテレクチュアル プロパティーズ インク 摂動検出システム、装置及び方法
JP4409332B2 (ja) 2004-03-30 2010-02-03 株式会社トプコン 光画像計測装置
JP4566685B2 (ja) * 2004-10-13 2010-10-20 株式会社トプコン 光画像計測装置及び光画像計測方法
EP1880657B1 (en) * 2005-05-12 2017-01-18 Olympus Corporation Biological observation apparatus
JP2006314557A (ja) 2005-05-12 2006-11-24 Olympus Medical Systems Corp 生体観測装置
WO2007105495A1 (ja) * 2006-03-13 2007-09-20 Olympus Medical Systems Corp. 散乱媒質内部観察装置、撮像システム、撮像方法及び内視鏡装置
JP2007260123A (ja) 2006-03-28 2007-10-11 Olympus Medical Systems Corp 撮像システムおよび撮像方法
US8998802B2 (en) * 2006-05-24 2015-04-07 Olympus Medical Systems Corp. Endoscope, endoscopic apparatus, and examination method using endoscope
JP4345836B2 (ja) * 2007-03-28 2009-10-14 セイコーエプソン株式会社 画像読取装置及び画像読取方法
JP5420163B2 (ja) * 2007-10-24 2014-02-19 浜松ホトニクス株式会社 生体計測装置
JP2010194291A (ja) 2009-01-30 2010-09-09 Fujifilm Corp 内視鏡装置及びその駆動方法
JP2010232477A (ja) 2009-03-27 2010-10-14 Panasonic Corp 固体撮像装置、固体撮像装置の駆動方法、固体撮像装置の信号処理方法およびカメラ
JP5431810B2 (ja) 2009-07-03 2014-03-05 株式会社豊田中央研究所 画像センサとその画像センサに用いられる受光装置
JP2011243862A (ja) * 2010-05-20 2011-12-01 Sony Corp 撮像デバイス及び撮像装置
US8686367B2 (en) * 2012-03-01 2014-04-01 Omnivision Technologies, Inc. Circuit configuration and method for time of flight sensor
JP2013224838A (ja) 2012-04-20 2013-10-31 Seiko Epson Corp 成分濃度測定装置及び成分濃度測定方法
JP6594620B2 (ja) * 2013-12-20 2019-10-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 光脳機能計測装置
US9921300B2 (en) * 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
JP6666620B2 (ja) * 2015-02-20 2020-03-18 国立大学法人静岡大学 距離画像計測装置
US10194809B2 (en) * 2015-08-24 2019-02-05 Verily Life Sciences Llc Integrated electronics for photoplethysmography and electrocardiography
US10383576B2 (en) * 2016-10-04 2019-08-20 David R. Hall Synthetic aperture photoplethysmography sensor

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1200657A (zh) * 1995-10-23 1998-12-02 斯托迈奇克公司 用于反射成象分析的方法与装置
JPH09173305A (ja) * 1995-12-22 1997-07-08 Nippon Colin Co Ltd 動脈弾性度評価装置
CN1342054A (zh) * 1998-11-05 2002-03-27 斯托迈奇克公司 提供高对比度成像的方法和装置
JP2012125370A (ja) * 2010-12-15 2012-07-05 Hitachi Ltd 生体計測装置
CN104582588A (zh) * 2012-08-31 2015-04-29 株式会社日立医疗器械 生物体光测量装置及使用生物体光测量装置的生物体光测量方法
CN105723239A (zh) * 2013-11-20 2016-06-29 松下知识产权经营株式会社 测距摄像系统
CN105164550A (zh) * 2014-02-28 2015-12-16 松下知识产权经营株式会社 测距装置以及测距方法
JP2016101419A (ja) * 2014-11-28 2016-06-02 キヤノン株式会社 光音響装置、被検体情報取得方法、およびプログラム
CN106092972A (zh) * 2015-04-27 2016-11-09 松下知识产权经营株式会社 光传感装置
CN105395184A (zh) * 2015-12-04 2016-03-16 华中科技大学 生物组织血流、血氧和血容量的多参数检测方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
脑死亡2例临床与影像诊断分析;丰佳萌;《中国误诊学杂志》;20110425;第2998-2999页 *

Also Published As

Publication number Publication date
JP2018096988A (ja) 2018-06-21
US20180176496A1 (en) 2018-06-21
JP7065421B2 (ja) 2022-05-12
CN108209867A (zh) 2018-06-29
US10270998B2 (en) 2019-04-23

Similar Documents

Publication Publication Date Title
CN108209867B (zh) 摄像装置
US11303828B2 (en) Imaging apparatus including light source that emits pulsed light, image sensor, and control circuit
CN107528998B (zh) 摄像装置
CN107468209B (zh) 摄像装置
US10352853B2 (en) Measuring device including light source that emits at least one light pulse group, photodetector, and control circuit
JP2017187471A (ja) 撮像装置
WO2020121705A1 (ja) 撮像装置
CN112188866A (zh) 生物体计测装置及生物体计测方法
US20220400964A1 (en) Measurement apparatus and method for controlling measurement apparatus
WO2022138063A1 (ja) 生体計測装置、生体計測方法、及び、コンピュータプログラム
CN112236084A (zh) 光计测装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant