[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP6729394B2 - 画像処理装置、画像処理方法、プログラム及びシステム - Google Patents

画像処理装置、画像処理方法、プログラム及びシステム Download PDF

Info

Publication number
JP6729394B2
JP6729394B2 JP2016569234A JP2016569234A JP6729394B2 JP 6729394 B2 JP6729394 B2 JP 6729394B2 JP 2016569234 A JP2016569234 A JP 2016569234A JP 2016569234 A JP2016569234 A JP 2016569234A JP 6729394 B2 JP6729394 B2 JP 6729394B2
Authority
JP
Japan
Prior art keywords
image
visible light
filtering
image processing
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016569234A
Other languages
English (en)
Other versions
JPWO2016113983A1 (ja
Inventor
健一郎 細川
健一郎 細川
拓郎 川合
拓郎 川合
昌俊 横川
昌俊 横川
敏之 佐々木
敏之 佐々木
神尾 和憲
和憲 神尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2016113983A1 publication Critical patent/JPWO2016113983A1/ja
Application granted granted Critical
Publication of JP6729394B2 publication Critical patent/JP6729394B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本開示は、画像処理装置、画像処理方法、プログラム及びシステムに関する。
従来、運転支援及びその他の目的で、赤外線カメラにより撮像される画像が活用されている(例えば、特許文献1参照)。例えば、可視光画像の代わりに近赤外画像を撮像することにより、夜間又は悪天候時のような劣悪な条件の下でも、ある程度視認性の高い画像をユーザに提供することができる(例えば、特許文献2参照)。赤外線画像は、通常は色の無いグレースケールの画像だが、可視光画像からの色情報を用いて赤外線画像をカラー化することも提案されている(例えば、特許文献3参照)。
特開2000−115759号公報 特開2007−158820号公報 特開2014−197727号公報
一般に、画像に映る被写体(例えば、人体又は物体)をユーザ又は画像処理アプリケーションに認識させるような用途では、可能な限り画質の良好なカラー画像が提供されることが有益である。しかし、赤外線画像をカラー化するための既存の技術は、その用途に合った十分な画質を達成できているとは言い難い。
そこで、本開示に係る技術は、より改善された画質を有するカラー画像を生成することのできる仕組みを実現することを目的とする。
本開示によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、を備える画像処理装置が提供される。
また、本開示によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、を含む画像処理方法が提供される。
また、本開示によれば、画像処理装置を制御するコンピュータを、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、として機能させるためのプログラムが提供される。
また、本開示によれば、遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、を含む画像処理システムが提供される。
本開示に係る技術によれば、より改善された画質を有するカラー画像を生成することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果と共に、又は上記の効果に代えて、本明細書に示されたいずれかの効果、又は本明細書から把握され得る他の効果が奏されてもよい。
波長に依存する赤外線画像の多様な用途について説明するための説明図である。 可視光画像、近赤外画像及び遠赤外画像の一例を示す説明図である。 第1の実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。 車両におけるカメラ及びディスプレイの配置のいくつかの例を示す説明図である。 第1の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 画像の取得に関連する処理の第1の例について説明するための説明図である。 画像の取得に関連する処理の第2の例について説明するための説明図である。 画像の取得に関連する処理の第3の例について説明するための説明図である。 画像の取得に関連する処理の第4の例について説明するための説明図である。 撮像条件の第1の例について説明するための説明図である。 撮像条件の第1の例に対応するフィルタ構成の一例について説明するための説明図である。 撮像条件の第2の例について説明するための説明図である。 撮像条件の第2の例に対応するフィルタ構成の一例について説明するための説明図である。 撮像条件の第3の例について説明するための説明図である。 撮像条件の第3の例に対応するフィルタ構成の一例について説明するための説明図である。 第1の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。 フィルタ構成設定処理の流れの第1の例を示すフローチャートである。 フィルタ構成設定処理の流れの第2の例を示すフローチャートである。 第2の実施形態に係る画像処理装置の論理的機能の構成の一例を示すブロック図である。 第2の実施形態に係る領域認識処理の一例について説明するための説明図である。 領域認識処理の結果に基づいて領域ごとに設定され得るフィルタ構成の第1の例について説明するための説明図である。 領域認識処理の結果に基づいて領域ごとに設定され得るフィルタ構成の第2の例について説明するための説明図である。 第2の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。 本開示に係る技術のいくつかの応用例について説明するための説明図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.基本的な原理
1−1.赤外線の多様な用途
1−2.画像ごとの性質
2.第1の実施形態
2−1.ハードウェア構成
2−2.機能構成
2−3.処理の流れ
3.第2の実施形態
3−1.機能構成
3−2.処理の流れ
4.応用例
5.まとめ
<1.基本的な原理>
[1−1.赤外線の多様な用途]
図1は、波長に依存する赤外線画像の多様な用途について説明するための説明図である。図1の水平方向は赤外線の波長に対応し、左から右へと波長は長くなる。0.7μm以下の波長を有する光線は可視光線であり、人間の視覚はこの可視光線を感知する。可視光領域に隣接する波長領域は近赤外(NIR)領域であり、NIR領域に属する赤外線を近赤外線という。NIR領域の波長の上限は、定義に依存して異なるものの、2.5μmから4.0μmの間にあるとされることが多い。NIR領域のうち相対的に波長の長い部分は、短波長赤外(SWIR)領域と呼ばれることもある。近赤外線は、例えば、暗視(night vision)、透視、光通信及び測距のために利用され得る。NIR画像を撮像するカメラは、通常、まず近傍に赤外線を照射し、その反射光を捕捉する。NIR領域に長波長側で隣接する波長領域は遠赤外(FIR)領域であり、FIR領域に属する赤外線を遠赤外線という。遠赤外線は、暗視、サーモグラフィ及び加熱のために利用され得る。物体からの黒体放射によって発せられる赤外線は、遠赤外線に相当する。そのため、遠赤外線を用いた暗視装置は、赤外線を照射せずとも、物体からの黒体放射を捕捉することによりFIR画像を生成することができる。FIR領域のうち相対的に波長の短い部分は、中波長赤外(MWIR)領域と呼ばれることもある。中波長赤外線の波長範囲では物質固有の吸収スペクトルが現れることから、中波長赤外線は、物質の同定のために利用され得る。
[1−2.画像ごとの性質]
可視光画像は、本質的に色を表現可能であることから、画像に映る被写体をユーザ又は何らかのアプリケーションに認識させる目的で既に広く利用されている。可視光画像の欠点は、環境光に乏しい状況(例えば、夜間又は悪天候時)においてその視認性が著しく低下することである。また、可視光は人間の視覚により感知されるため、可視光を照射すること(いわゆるフラッシュ)により環境光を作り出すことは、多くの場面で忌避される。赤外線画像は、このような可視光画像の欠点を補うことができる。例えば、特許文献2により提案されている技術では、夜間又は悪天候時のような劣悪な条件の下で、可視光画像の代わりに、より視認性の高いNIR画像が運転者へ提供される。赤外線画像は、通常は色の無いグレースケールの画像だが、特許文献3は、可視光画像からの色情報を用いて赤外線画像をカラー化することを提案している。一般に、ユーザ又はアプリケーションへ提供されるカラー画像は、可能な限り良好な画質を有していることが望ましい。
図2は、可視光画像、近赤外(NIR)画像及び遠赤外(FIR)画像の一例を示す説明図である。図2の左には可視光画像Im01が、中央にはNIR画像Im02が、右にはFIR画像Im03が示されている。これら画像には、同じ人物が映っている。可視光画像Im01では、人物の顔貌が最も良好に表現されているが、環境光が十分に当たっていない被写体の周縁部において、被写体と背景との境界が曖昧になっている。対照的に、NIR画像Im02では、被写体と背景との境界は鮮明であるが、人物の顔よりもむしろ近赤外線を最も強く反射した衣服が、最も明るく映っている。これは、同じように近赤外線を強く反射する物体が背景に存在する状況下では、被写体が背景に埋没してしまう可能性を意味する。FIR画像でも、被写体と背景との境界は鮮明である。FIR画像では、人物の顔貌の詳細は表現されていないが、衣類よりも顔の方がより明るく映っていることから、可視光画像及びNIR画像と比較してFIR画像がより生体の検出に適していることが理解され得る。
被写体の色に関する色情報は、通常、可視光画像のみに含まれる。しかし、最終的に出力すべきカラー画像を決定するにあたっては、画像内のどの領域をより鮮明に表現すべきか、どの領域において色のディテールが必要であるかといった観点での考慮もなされるべきである。そして、こうした観点の情報は、可視光画像よりもむしろFIR画像及びNIR画像にそれぞれ含まれる。そこで、本明細書では、可視光画像に加えてFIR画像及びNIR画像までをも考慮して、より改善された画質を有するカラー画像を生成するためのいくつかの実施形態について説明する。
<2.第1の実施形態>
本節では、一例として、車載装置としての画像処理装置100を説明する。画像処理装置100は部分的に車両への搭載に特化した構成を有するものの、本開示に係る技術の用途はかかる例に限定されない。本開示に係る技術は、例えば、監視カメラなどのセキュリティ機器、医療/診断機器、検査機器、又は、スマートフォン若しくはタブレットPC(Personal Computer)などの情報機器といった任意の種類の装置におけるカラー画像の生成に適用可能である。
[2−1.ハードウェア構成]
図3は、第1の実施形態に係る画像処理装置100のハードウェア構成の一例を示すブロック図である。図3を参照すると、画像処理装置100は、カメラモジュール102、センサモジュール104、入力インタフェース106、メモリ108、ディスプレイ110、通信インタフェース112、車両ネットワーク(NW)インタフェース113、ストレージ114、バス116及びプロセッサ118を備える。
(1)カメラモジュール
カメラモジュール102は、FIR領域、NIR領域及び可視光領域において被写体を撮像するモジュールである。カメラモジュール102は、典型的には、FIR領域に属する波長を有する遠赤外線を感知する撮像素子の配列と、NIR領域に属する波長を有する近赤外線を感知する撮像素子の配列と、可視光を感知する撮像素子の配列とを含む。これら配列は同一の基板上に配置されてもよく、又は異なる基板上に配置されてもよい。カメラモジュール102は、さらに近赤外線を照射する発光素子をも有し得る。カメラモジュール102は、例えば、ユーザ入力などのトリガに応じて又は周期的に、FIR画像、NIR画像及び可視光画像を撮像する。これら画像は、映像を構成する一連のフレームの一部であってもよい。
(2)センサモジュール
センサモジュール104は、測位センサ、加速度センサ、深度センサ、照度センサ、温度センサ及び湿度センサなどを含み得るセンサ群を有するモジュールである。測位センサは、例えば、GPS(Global Positioning System)衛星からのGPS信号又は無線アクセスポイントからの無線信号に基づいて、画像処理装置100の現在位置を測定する。加速度センサは、画像処理装置100に加わる3軸加速度を測定する。深度センサは、カメラモジュール102の画角内に存在する被写体への距離(即ち、深度(depth))を測定する。照度センサは、画像処理装置100が置かれている環境の照度を測定する。温度センサ及び湿度センサは、環境の温度及び湿度をそれぞれ測定する。センサモジュール104において生成されるセンサデータは、後述する画像のキャリブレーション及び撮像条件の判定といった目的のために利用され得る。
(3)入力インタフェース
入力インタフェース106は、ユーザが画像処理装置100を操作し又は画像処理装置100へ情報を入力するために使用される。入力インタフェース106は、例えば、タッチセンサ、キーパッド、ボタン又はスイッチなどの入力デバイスを含んでもよい。また、入力インタフェース106は、音声入力用のマイクロフォン及び音声認識モジュールを含んでもよい。また、入力インタフェース106は、ユーザにより選択される命令をリモートデバイスから受信する遠隔制御モジュールを含んでもよい。
(4)メモリ
メモリ108は、RAM(Random Access Memory)及びROM(Read Only Memory)を含み得る記憶媒体である。メモリ108は、プロセッサ118に連結され、プロセッサ118により実行される処理のためのプログラム及びデータを記憶する。
(5)ディスプレイ
ディスプレイ110は、画像を表示する画面を有する表示モジュールである。ディスプレイ110は、例えば、LCD(Liquid Crystal Display)、OLED(Organic light-Emitting Diode)又はCRT(Cathode Ray Tube)などであってよい。
(6)通信インタフェース
通信インタフェース112は、画像処理装置100と他の装置との間の通信を仲介するモジュールである。通信インタフェース112は、任意の無線通信プロトコル又は有線通信プロトコルに従って、通信接続を確立する。
(7)車両NWインタフェース
車両NWインタフェース113は、画像処理装置100が搭載される車両の車両ネットワークとの間の通信を仲介するモジュールである。車両NWインタフェース113は、例えば、図示しない端子を介して車両ネットワークに接続され、車速データ及び舵角(ステアリング角度)データなどの車両側で生成されるデータを取得する。
(8)ストレージ
ストレージ114は、画像データを蓄積し、及び画像処理装置100により実行される画像処理において利用されるデータベースを記憶する記憶デバイスである。ストレージ114は、半導体メモリ又はハードディスクなどの記憶媒体を内蔵する。なお、本明細書で説明するプログラム及びデータは、画像処理装置100の外部のデータソース(例えば、データサーバ、ネットワークストレージ又は外付けメモリなど)から取得されてもよい。
(9)バス
バス116は、カメラモジュール102、センサモジュール104、入力インタフェース106、メモリ108、ディスプレイ110、通信インタフェース112、車両NWインタフェース113、ストレージ114及びプロセッサ118を相互に接続する。
(10)プロセッサ
プロセッサ118は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などの処理モジュールである。プロセッサ118は、メモリ108又は他の記憶媒体に記憶されるプログラムを実行することにより、改善された画質を有するカラー画像を生成するための後述する機能を動作させる。
図4は、車両におけるカメラ及びディスプレイの配置のいくつかの例を示す説明図である。図4には、一例としての車両1の簡易平面図が実線で示されている。例えば、カメラ102aは、車両1の車体前部中央に配置され、車両1の前方に向けられる。カメラ102bは、車体後部中央に配置され、車両1の後方に向けられる。カメラ102cは、車両1の両側部に複数配置され、車両1の側面方向に向けられる。図3に示したカメラモジュール102は、これらカメラ102a、102b及び102c、並びに他の配置を有する他のカメラ、のいかなる組合せを有していてもよい。
ディスプレイ110aは、ダッシュボード上又はその近傍に配置され、典型的にはナビゲーション装置と共用される。ディスプレイ110bは、ルームミラーに配置され、例えばカメラ102bにより撮像される車体後方の画像を表示する。ディスプレイ110cは、運転者により装着されるウェアラブル装置(例えば、ヘッドマウントディスプレイ)である。図3に示したディスプレイ110は、これらディスプレイ110a、110b及び110c、並びに他の配置を有する他のディスプレイ、のいかなる組合せを有していてもよい。なお、図3に示したカメラモジュール102及びディスプレイ110並びにいくつかのその他の構成要素は、画像処理装置100の外部に存在し、画像処理装置100と信号線で接続されてもよい。
[2−2.機能構成]
図5は、図3に示した画像処理装置100の構成要素が互いに連係することにより実現される論理的機能の構成の一例を示すブロック図である。図5を参照すると、画像処理装置100は、画像取得部120、データ取得部130、判定部140、生成部160及びデータベース170を備える。
(1)画像取得部
画像取得部120は、共通する被写体を映した遠赤外(FIR)画像、近赤外(NIR)画像及び可視光画像をカメラモジュール102から取得し、取得した画像を判定部140及び生成部160へ出力する。画像取得部120により取得される画像は、信号の増幅、デモザイク及びノイズ除去などのプリミティブな処理を経た画像であってよい。また、画像取得部120は、必要に応じて、画像のキャリブレーション、波長成分の分離及び視点の統合といった、カラー画像の生成のための予備的処理を行う。なお、本明細書では、FIR画像及びNIR画像をも考慮して画質の改善された画像をカラー画像といい、画質改善前の可視光カメラにより撮像された画像を可視光画像という(可視光画像もまた、色を有する)。
図6A〜図6Dは、画像の取得に関連する処理の例を、対応するカメラモジュール102の構成例と共にそれぞれ示している。図6Aに示した第1の例において、カメラモジュール102は、可視光画像を撮像するイメージセンサ102a−1、NIR画像を撮像するイメージセンサ102a−2及びFIR画像を撮像するイメージセンサ102a−3を含む。これらイメージセンサは、互いに異なる基板上にあるため、原始的に撮像される可視光画像、NIR画像及びFIR画像は、画角におけるズレを包含する。そこで、画像取得部120は、画像間の画角のズレを補償するためのキャリブレーション121を実行する。キャリブレーション121は、画角のズレのみならず、空間解像度の相違、時間解像度の相違及び収差を解消する処理をも含んでよい。空間解像度の相違は、より解像度の低い画像における画素値の補間、又はより解像度の高い画像における画素の間引きによって解消され得る。時間解像度(即ち、フレームレート)の相違は、フレームの補間又はフレームの間引きによって解消され得る。収差(例えば、色収差及び単色収差)は、画像取得部120での画素演算によって軽減されてもよく、又は光学系において補正されてもよい。
図6Bに示した第2の例において、カメラモジュール102は、可視光画像及びNIR画像を撮像する単板のイメージセンサ102a−4及びFIR画像を撮像するイメージセンサ102a−3を含む。第2の例では、可視光画像とNIR画像との間に画角のズレはなく、よってキャリブレーション122は、FIR画像に関連する画角のズレの補償と、その他の上述した処理とを含み得る。さらに、単板のイメージセンサ102a−4においては、撮像画像に、可視光領域とNIR領域との間の波長の相関に起因する混色(例えば、R(赤)成分がNIR画素値に影響を与える、など)が生じることがある。そこで、画像取得部120は、可視光画像とNIR画像との間で混ざり合った波長成分を分離するための成分分離処理123(例えば、成分分離用のフィルタ演算)を実行し得る。
図6Cに示した第3の例において、カメラモジュール102は、可視光画像、NIR画像及びFIR画像を撮像する単板のイメージセンサ102a−5を含む。第3の例では、3種類の画像の間に画角のズレはない。但し、撮像画像には、可視光領域、NIR領域及びFIR領域の間の波長の相関に起因する混色が生じている可能性があるため、画像取得部120は、それぞれの波長成分を分離するための成分分離処理124を実行し得る。
図6Dに示した第4の例において、カメラモジュール102は、隣接する(部分的に重複し得る)画角で可視光画像を撮像するイメージセンサ102c−1及び102c−4、隣接する(部分的に重複し得る)画角でNIR画像を撮像するイメージセンサ102c−2及び102c−5、並びに隣接する(部分的に重複し得る)画角でFIR画像を撮像するイメージセンサ102c−3及び102c−6を含む。画像取得部120は、例えば、イメージセンサ102c−1及び102c−4からの可視光画像を画角の境界において結合するための視点マージ処理125aを実行して、よりサイズの大きい単一の可視光画像を生成し得る。同様に、画像取得部120は、視点マージ処理125bを通じて単一のNIR画像を、視点マージ処理125cを通じて単一のFIR画像をそれぞれ生成し得る。画像取得部120は、これら可視光画像、NIR画像及びFIR画像についてもキャリブレーション126を実行し、画角のズレ、空間解像度の相違、時間解像度の相違及び収差を解消する。
(2)データ取得部
データ取得部130は、画像処理装置100におけるカラー画像の生成のために利用される画像以外の様々なデータを取得する。例えば、データ取得部130は、センサモジュール104から画像処理装置100の地理的位置を示す測位データを、通信インタフェース112を介して外部のデータサーバから天候データを取得してもよい。測位データ及び天候データは、後述する判定部140による撮像条件の判定の際に、現在地の天候を判定するために利用される。なお、天候データは、入力インタフェース106を介してユーザにより入力されてもよい。また、データ取得部130は、センサモジュール104から照度データ、温度データ及び湿度データを取得してもよい。これらデータもまた、判定部140による撮像条件の判定のために利用され得る。
また、データ取得部130は、車両NWインタフェース113を介して車両ネットワークから車速データ及び舵角データを含むドライビングデータを取得してもよい。ドライビングデータは、例えば、画像取得部120によるフレームレート変換の際に、動き予測又は動きボケ補正のために利用され得る。
(3)判定部
判定部140は、FIR画像、NIR及び可視光画像が撮像された際の撮像条件を判定する。本実施形態において、撮像条件は、時間帯、天候及び環境照度のうちの1つ以上を含む。例えば、判定部140は、現在時刻が属する時間帯を判定する。時間帯は、例えば「日中」及び「夜間」の2種類、「朝」、「昼」、「夕方」及び「夜」の4種類など、どのように区分されてもよい。また、判定部140は、測位データにより示される現在地の天候を、外部サーバから取得され又はユーザにより入力される天候データを参照することにより判定し得る。天候の定義もまたどのような定義であってもよい。一例として、判定部140は、その時点の天候を「晴れ」、「曇り」、「雨」、「雪」及び「霧」のいずれかに分類し得る。判定部140は、天候データから天候を判定する代わりに、温度データ及び湿度データから現在地の天候を推定してもよい。また、判定部140は、センサモジュール104からの照度データに基づいて、環境照度を判定し得る。判定部140は、これら判定の結果を示す撮像条件情報を、生成部160へ出力する。
(4)生成部
生成部160は、FIR画像、NIR画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。FIR画像から選択される画素は、例えば、環境光に乏しい状況下での被写体の識別、特に生体領域の色彩を強調することに寄与する。NIR画像から選択される画素もまた、環境光に乏しい状況下での被写体の識別に寄与するが、近赤外線の照射の作用にも起因して、特に被写体のディテールの鮮明化に寄与する。また、可視光よりも直進性の強い赤外線は、雨又は霧の条件下での視認性の高い画像の生成にも寄与する。可視光画像から選択される画素は、カラー画像に色情報を直接的に提供する。
本実施形態において、生成部160は、判定部140により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。以下、図7〜図12を用いて撮像条件のいくつかの例と対応するフィルタ構成の例とを説明する。
図7は、撮像条件の第1の例について説明するための説明図である。図7を参照すると、例示的な可視光画像Im11が示されている。可視光画像Im11が撮像された際の天候は「晴れ」であり、時間帯は「昼」である。即ち、可視光画像Im11に関連付けられる撮像条件C1は、「晴れ」及び「昼」の組合せを表す。図8は、撮像条件C1に対応するフィルタ構成の一例について説明するための説明図である。図8を参照すると、1次元の波長方向の軸と2次元の空間方向の軸とが示されており、さらに可視光(RGB)画像、NIR画像及びFIR画像が対応する波長位置に部分的に示されている。なお、可視光画像は、実際には3つの波長成分を有するが、ここでは説明の簡明さのために1つの波長位置に集約されている。なお、可視光画像は、図示した例に限定されず、RGB以外の表色系で表現されてもよい。図8の各画像の格子は画素の配列を意味し、太線の矩形は1つの注目画素の画素位置を示している。各画素に付された網掛けの濃さは、当該画素に割り当てられるフィルタ係数(即ち、フィルタ演算における重み)を表現する。撮像条件C1は、上述したように「晴れ」及び「昼」の組合せを表しており、従って可視光画像からより多くの画素がフィルタタップとして選択され、かつ可視光画像の画素により大きいフィルタ係数が与えられている。
図9は、撮像条件の第2の例について説明するための説明図である。図9を参照すると、例示的な可視光画像Im12が示されている。可視光画像Im12が撮像された際の天候は「晴れ」であり、時間帯は「夜」である。即ち、可視光画像Im12に関連付けられる撮像条件C2は、「晴れ」及び「夜」の組合せを表す。図10は、撮像条件C2に対応するフィルタ構成の一例について説明するための説明図である。図10の例では、夜間の撮像において可視光画像に現れ易いノイズの影響を低減するために可視光画像からより広い範囲内の画素がフィルタタップとして選択され、それに加えてNIR画像及びFIR画像からも(撮像条件C1と比較して)より多くの画素が選択されている。また、NIR画像の注目画素に、最も大きいフィルタ係数が与えられている。
図11は、撮像条件の第3の例について説明するための説明図である。図11を参照すると、例示的な可視光画像Im13が示されている。可視光画像Im13が撮像された際の天候は「霧」であり、時間帯は「昼」である。即ち、可視光画像Im13に関連付けられる撮像条件C3は、「霧」及び「昼」の組合せを表す。図12は、撮像条件C3に対応するフィルタ構成の一例について説明するための説明図である。図12の例では、光の散乱の影響を考慮して各画像からからより広い範囲内の画素がフィルタタップとして選択され、かつ直進性の強い遠赤外線を活用するためにFIR画像の注目画素により大きいフィルタ係数が与えられている。
上述したフィルタ構成は、説明のための例に過ぎない。画像ごとのフィルタタップの数及び配置、並びにフィルタタップごとのフィルタ係数は、どのように構成されてもよい。撮像条件のうちのいくつかについては、FIR画像、NIR画像及び可視光画像のうちの1つ又は2つからフィルタタップが選択されなくてもよい。一例として、生成部160は、学習処理を通じて事前に決定されるフィルタ構成で、フィルタリングを実行し得る。フィルタ構成を決定するための事前の学習処理では、ある被写体を映した(必要に応じてキャリブレーションされた)FIR画像、NIR画像及び可視光画像のセットと、良好な撮像条件下で同じ被写体を映した(即ち、十分に画質の良好な)カラー画像との組合せが、多数用意される。これら画像は、教師あり学習における生徒画像と教師画像とに相当する。そして、例えば、ブースティング又はサポートベクタマシンといった既存のアルゴリズムに従って、FIR画像、NIR画像及び可視光画像のセットから画質の良好なカラー画像を生成するためのフィルタ構成が決定される。こうした学習を、撮像条件の候補ごとに別個に行うことで、個々の撮像条件のために最適化されたフィルタ構成を別々に決定することができる。例えば、データベース170は、このように事前に学習される撮像条件ごとのフィルタ構成を示すフィルタ構成データを記憶する。
生成部160は、例えば、判定部140から入力される撮像条件情報により示される撮像条件に対応するフィルタ構成データをデータベース170から取得し、取得したフィルタ構成データにより示されるフィルタタップとフィルタ係数とを設定する。そして、生成部160は、画像取得部120から入力される画像の画素を順次スキャンしながら、設定したフィルタ構成でのフィルタリングを繰り返すことにより、カラー画像を生成する。
生成部160は、生成したカラー画像をディスプレイ110の画面に表示させてもよい。また、生成部160は、生成したカラー画像を後段のアプリケーションへ出力してもよい。後段のアプリケーションは、例えば、ADAS(Advanced Driver Assistance Systems)等の運転支援アプリケーションであってよい。運転支援アプリケーションは、例えば、生成部160により生成されるカラー画像に基づいて、歩行者検知、衝突警報の報知又は駐車支援情報の提示などの運転支援処理を実行し得る。
一変形例において、生成部160は、判定部140により判定される撮像条件と学習時の撮像条件との差に基づいてフィルタ係数を調整し、調整したフィルタ係数を用いて上記フィルタリングを実行してもよい。この変形例では、撮像条件は数値によって表現される。例えば、時間帯が、最も暗い夜間を下限、最も明るい正午を上限とする所定のレンジ内の数値で表現されてもよい。また、天候が、雲量のような数値で表現されてもよい。また、時間帯、天候及び環境照度の組合せに基づく統合的な数値が計算されてもよい。事前の学習処理では、代表的な(離散的な)いくつかの撮像条件値について最適なフィルタ構成が決定され、決定されたフィルタ構成を示すフィルタ構成データがデータベース170に格納される。生成部160は、判定部140により判定された撮像条件に最も近い条件で学習されたフィルタ構成データをデータベース170から取得し、取得したフィルタ構成データにより示されるフィルタ係数を撮像条件の差に基づいて調整して、カラー画像の生成のために使用する。例えば、学習時よりも現在時刻がより暗い時刻になっていれば、生成部160は、可視光画像の画素の重みを引き下げ、代わりにNIR画像及びFIR画像の画素の重みを引き上げてもよい。こうした調整によって、撮像条件の連続的な変化に追随して、カラー画像の生成のためのフィルタ構成をも連続的に変化させることが可能となる。それにより、カラー画像の見え方が唐突かつ不連続に変わってしまうような不自然なカラー映像がユーザ又は後段のアプリケーションに提供されることを防止することができる。
(5)データベース
データベース170は、撮像条件の候補ごとに予め決定されるフィルタ構成を示す上述したフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットは、FIR画像、NIR画像及び可視光画像の各々から選択すべきフィルタタップの画素位置と、それぞれのフィルタタップに適用すべきフィルタ係数とを示す。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報が関連付けられる。
[2−3.処理の流れ]
(1)カラー画像生成処理
図13は、第1の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図13に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。
まず、カメラモジュール102は、FIR領域、NIR領域及び可視光領域において、被写体を映した原画像を撮像する(ステップS100)。次に、画像取得部120は、カメラモジュール102により撮像された原画像に必要に応じてキャリブレーション等の予備的処理を行い、FIR画像、NIR画像及び可視光画像を取得する(ステップS105)。
次に、データ取得部130は、画像処理装置100におけるカラー画像の生成のために利用される補助データを取得する(ステップS110)。ここで取得される補助データは、測位データ、天候データ、照度データ、温度データ及び湿度データのうちのいくつかを含み得る。
次に、判定部140は、例えばデータ取得部130から入力される補助データを用いて、カメラモジュール102により画像が撮像された際の撮像条件を判定する(ステップS120)。そして、判定部140は、時間帯、天候及び環境照度のうちの1つ以上を含む判定した撮像条件を示す撮像条件情報を、生成部160へ出力する。
次に、生成部160は、判定部140により判定された撮像条件に対応するフィルタ構成データをデータベース170から取得し、取得したフィルタ構成データにより示されるフィルタ構成を設定する(ステップS140)。そして、生成部160は、設定したフィルタ構成で、画像取得部120から入力されるFIR画像、NIR画像及び可視光画像をフィルタリングすることにより、カラー画像を生成する(ステップS150)。
次に、生成部160は、後段のアプリケーションが存在する場合には(ステップS160)、生成したカラー画像を当該アプリケーション(例えば、運転支援アプリケーション)へ出力する(ステップS165)。そして、生成部160(又は後段のアプリケーション)は、カラー画像をディスプレイ110の画面に表示させる(ステップS170)。
(2)フィルタ構成設定処理
図14Aは、図13のステップS140において実行され得るフィルタ構成設定処理の流れの第1の例を示すフローチャートである。図14Aを参照すると、まず、生成部160は、例えば判定部140から入力される撮像条件情報により示される撮像条件を用いたルックアップにより、当該撮像条件に対応するフィルタ構成データをデータベース170から取得する(ステップS141)。次に、生成部160は、取得したフィルタ構成データに従って、FIR画像、NIR画像及び可視光画像の画素を含み得るフィルタタップを設定する(ステップS143)。また、生成部160は、設定したフィルタタップに、フィルタ構成データにより示されるフィルタ係数をそれぞれ設定する(ステップS145)。
図14Bは、図13のステップS140において実行され得るフィルタ構成設定処理の流れの第2の例を示すフローチャートである。図14Bを参照すると、まず、生成部160は、判定部140により判定された撮像条件に対応するフィルタ構成データをデータベース170から取得する(ステップS141)。次に、生成部160は、取得したフィルタ構成データに従って、FIR画像、NIR画像及び可視光画像の画素を含み得るフィルタタップを設定する(ステップS143)。また、生成部160は、フィルタ構成データにより示されるフィルタ係数を、判定部140により判定された撮像条件と学習時の撮像条件との差に基づいて調整する(ステップS147)。そして、生成部160は、ステップS143において設定したフィルタタップに、調整したフィルタ係数をそれぞれ設定する(ステップS149)。
<3.第2の実施形態>
前節で説明した第1の実施形態では、1つのカラー画像を生成する際に1種類のフィルタ構成が使用される。これに対し、第2の実施形態では、画像がいくつかの部分領域にセグメント化され、部分領域ごとに最適なフィルタ構成が使用される。こうしたフィルタ構成の切り替え又は適応的な選択によって、カラー画像のさらなる画質の改善を見込むことができる。
[3−1.機能構成]
第2の実施形態に係る画像処理装置200のハードウェア構成は、図3を用いて説明した画像処理装置100のハードウェア構成と同様であってよい。図15は、第2の実施形態に係る画像処理装置200の論理的機能の構成の一例を示すブロック図である。図15を参照すると、画像処理装置200は、画像取得部120、データ取得部230、判定部140、認識部250、生成部260及びデータベース270を備える。
(1)データ取得部
データ取得部230は、画像処理装置200におけるカラー画像の生成のために利用される補助データを取得する。例えば、データ取得部230は、第1の実施形態に係るデータ取得部130と同様に、センサモジュール104から測位データを、通信インタフェース112を介して外部のデータサーバから(又はユーザにより入力される)天候データを取得してもよい。また、データ取得部130は、センサモジュール104から照度データ、温度データ及び湿度データを取得してもよい。また、データ取得部130は、車両NWインタフェース113を介して車両ネットワークからドライビングデータを取得してもよい。また、本実施形態において、データ取得部230は、深度センサにより測定された被写体への距離を画素ごとに示す深度データ(深度マップともいう)を、センサモジュール104から取得してもよい。深度データは、後述する認識部150における画像のセグメント化又は生成部160におけるフィルタ構成の設定のために利用され得る。
(2)認識部
認識部250は、画像取得部120から入力されるFIR画像、NIR画像及び可視光画像のうちの少なくとも1つにおいて、画像を複数の部分領域にセグメント化する。そして、認識部250は、セグメント化した個々の部分領域を特定する領域情報を生成し、生成した領域情報を生成部260へ出力する。ここでの領域情報は、各領域の位置、サイズ及び形状を示す情報であってもよく、又は各領域に属する画素のビット値が“1”をそれ以外の画素のビット値が“0”を示すようなビットマップであってもよい。また、領域情報は、各領域の種別(生体領域若しくは物体領域)及び識別情報(領域IDなど)を含んでもよい。
例えば、認識部250は、画像内で生体が映る生体領域を認識する。ここでの生体とは、人体のみであってもよく、又は人体に加えて動物の体を含んでもよい。認識部250は、任意の既存の人体認識技術(例えば、既知の人体の画像特徴量に基づく技術など)を用いて可視光画像又はNIR画像内の人体領域を認識してもよい。また、認識部250は、FIR画像において相対的に高い階調値を示す領域を生体領域として認識してもよい。認識部250は、画像内で1つ以上の生体領域が認識されると、認識された生体領域の各々を特定する生体領域情報を生成する。また、認識部250は、任意の既存の物体認識技術を用いて、画像内で予め定義される物体が映る物体領域を認識してもよい。ここでの物体とは、例えば、車両、信号機又は道路標識などを含み得る。この場合、認識部250は、画像内で認識された物体領域の各々を特定する物体領域情報を生成する。認識部250は、データ取得部230により取得される深度データを用いて、画像に映るある生体又は物体と(例えば重なって見える)他の生体又は物体とを区別してもよい。
図16は、認識部250により実行される領域認識処理の一例について説明するための説明図である。図16の左には、一例としての可視光画像Im21が示されている。可視光画像Im21には、2人の人物と1台の車両とが映っている。図16の右は、可視光画像Im21について認識部250により領域認識処理が実行された結果を示している。領域認識処理の結果として、可視光画像Im21は4つの領域R0、R11、R12及びR2にセグメント化されている。領域R11及びR12は、それぞれ1人の人物が映る生体領域である。領域R2は、車両が映る物体領域であって、非生体領域である。領域R0は、被写体が映っていない非生体領域である。
(3)生成部
生成部260は、FIR画像、NIR画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する。より具体的には、生成部260は、第1の実施形態に係る生成部160と同様に、判定部140により判定される撮像条件に依存して異なるフィルタ構成で、カラー画像の生成のためのフィルタリングを実行する。さらに、本実施形態において、生成部260は、認識部250から入力される領域情報に依存して、カラー画像の生成のためのフィルタ構成を変化させる。一例として、生成部260は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。また、生成部260は、カメラから生体までの距離に依存してさらに異なるフィルタ構成で、生体領域についてのフィルタリングを実行してもよい。
図17A及び図17Bは、図16に例示した領域認識処理の結果に基づいて、生成部260により領域ごとに設定され得るフィルタ構成の例をそれぞれ示している。図17Aに示した第1の例では、ある撮像条件に対応するフィルタ構成として、生体領域用のフィルタ構成F11及び非生体領域用のフィルタ構成F12が設定されている。フィルタ構成F11は、領域R11及びR12に適用される。フィルタ構成F12は、領域R0及びR1に適用される。生体領域用のフィルタ構成F11は、例えば、非生体領域用のフィルタ構成F12と比較して、より生体の識別性を高めるためのフィルタ係数を有する。図17Bに示した第2の例では、ある撮像条件に対応するフィルタ構成として、生体領域R11用の第1のフィルタ構成F21、生体領域R12用の第2のフィルタ構成F22、物体領域R2用の第3のフィルタ構成F23、及び非生体領域R0用の第4のフィルタ構成F24が設定されている。例えば、深度データに従ってより近くの人体が映っていると推定される生体領域R11用の第1のフィルタ構成F21は、他のフィルタ構成と比較して、より輝度又は彩度を高めるためのフィルタ係数を有していてもよい。これらフィルタ構成は、撮像条件が変化すればまた異なる構成となる。本実施形態においては、撮像条件及び領域の種別の組合せごとに(又はさらに被写体までの距離の代表値ごとに)、学習処理を通じて事前に最適なフィルタ構成が決定され得る。
生成部260は、例えば、認識部250から入力される領域情報に従って、領域ごとに、当該領域の種別と撮像条件情報により示される撮像条件との組合せに対応するフィルタ構成データをデータベース270から取得する。そして、生成部260は、取得したフィルタ構成データにより示されるフィルタ構成で、画像取得部120から入力される画像の画素を順次スキャンしながらフィルタリングを繰り返すことにより、カラー画像を生成する。
生成部260は、生成したカラー画像をディスプレイ110の画面に表示させてもよい。また、生成部260は、生成したカラー画像を、運転支援アプリケーションなどの後段のアプリケーションへ出力してもよい。また、生成部260は、アプリケーション支援情報を後段のアプリケーションへ出力してもよい。ここでのアプリケーション支援情報は、例えば次のリストのうちの1つ以上を含み得る:
a)生体領域情報及び物体領域情報のうちの少なくとも1つを含む領域情報
b)a)の各領域について計算される尤度情報
c)生体認識又は物体認識に付随して計算され得る画像特徴量
d)カラー画像の生成に付随して計算され得る色別確率分布
例えば、夜間のFIR画像における各領域の階調値は、その領域に生体が映っている尤もらしさとの強い相関を有する。そこで、FIR画像を用いて生成されるb)尤度情報をa)生体領域情報と共に運転支援アプリケーションに提供することで、運転支援アプリケーションにおける歩行者検出などの処理の正確性向上に寄与することができる。また、上述したアプリケーション支援情報は、重複する情報の後段のアプリケーションにおける冗長的な生成(例えば、再度の画像のセグメント化、又は画像特徴量の算出)を回避するために再利用されてもよい。
(4)データベース
データベース270は、撮像条件の候補及び領域種別の組合せごとに予め決定されるフィルタ構成を示すフィルタ構成データの複数のセットを記憶する。フィルタ構成データの各セットには、対応する撮像条件を識別する撮像条件情報と、領域種別とが関連付けられる。フィルタ構成データの各セットには、さらにカメラから被写体までの距離の代表値が関連付けられてもよい。また、データベース270は、認識部250による領域認識処理において利用され得る(人体、生体又は物体の)画像特徴量データを記憶してもよい。
[3−2.処理の流れ]
図18は、第2の実施形態に係るカラー画像生成処理の流れの一例を示すフローチャートである。図18に示したカラー画像生成処理は、典型的には、映像を構成する一連のフレームの各々について繰り返される。
まず、カメラモジュール102は、FIR領域、NIR領域及び可視光領域において、被写体を映した原画像を撮像する(ステップS100)。次に、画像取得部120は、カメラモジュール102により撮像された原画像に必要に応じてキャリブレーション等の予備的処理を行い、FIR画像、NIR画像及び可視光画像を取得する(ステップS105)。
次に、データ取得部230は、画像処理装置200におけるカラー画像の生成のために利用される補助データを取得する(ステップS210)。ここで取得される補助データは、撮像条件の判定のために利用されるデータに加えて、深度データを含み得る。
次に、判定部140は、例えばデータ取得部230から入力される補助データを用いて、カメラモジュール102により画像が撮像された際の撮像条件を判定する(ステップS120)。そして、判定部140は、判定した撮像条件を示す撮像条件情報を、生成部260へ出力する。
次に、認識部250は、画像に映る生体を検出することにより、画像内の生体領域を認識する(ステップS230)。次に、生成部260は、判定された撮像条件に対応する生体領域用のフィルタ構成データをデータベース270から取得し、取得したフィルタ構成データにより示されるフィルタ構成を生体領域に設定する(ステップS240)。なお、画像に生体が映っていない場合には、ステップS240は省略される。また、生成部260は、判定された撮像条件に対応する非生体領域用のフィルタ構成データをデータベース270から取得し、取得したフィルタ構成データにより示されるフィルタ構成を非生体領域に設定する(ステップS245)。
そして、生成部260は、設定した(領域種別ごとに異なる)フィルタ構成で、画像取得部120から入力されるFIR画像、NIR画像及び可視光画像をフィルタリングすることにより、カラー画像を生成する(ステップS250)。
次に、生成部260は、後段のアプリケーションが存在する場合には(ステップS260)、生成したカラー画像及びアプリケーション支援情報を当該アプリケーション(例えば、運転支援アプリケーション)へ出力する(ステップS265)。そして、生成部260(又は後段のアプリケーション)は、カラー画像をディスプレイ110の画面に表示させる(ステップS170)。
ここでは、主に領域種別に基づいて画像の部分領域ごとにフィルタ構成が切り替えられる例を説明した。しかしながら、上述した例に限定されず、フィルタ構成は、例えば画素ごとに切り替えられてもよい。また、(部分領域ごとか画素ごとかに関わらず)フィルタ構成の切り替えは、他の任意の情報に基づいて行われてもよい。例えば、FIR画像、NIR画像及び可視光画像のうちの少なくとも1つのエッジ強度、帯域又はアクティビティといった局所的な画像特徴量に基づいて、フィルタ構成が適応的に選択されてもよい。FIR画像とNIR画像との間の相互相関といった、異なる種類の画像にまたがる画像特徴量が利用されてもよい。また、上述した撮像条件及び領域種別の一方又は双方とここで例示した画像特徴量のうちの1つ以上との組合せが利用されてもよい。画像特徴量と最適なフィルタ構成との関連付けは、学習処理を通じて決定されてもよく、又は開発者によりモデル化され若しくはチューニングされてもよい。
<4.応用例>
本開示に係る技術は、実装レベルの異なる様々な形態の製品に応用可能である。図19は、本開示に係る技術のいくつかの応用例について説明するための説明図である。図19に示した一例としての車両1は、車載システム10を含む。車載システム10は、画像処理システム20、アプリケーションモジュール30及び1つ以上の周辺モジュール40を有する。画像処理システム20は、カメラモジュール102と、カメラモジュール102に接続される画像処理モジュール100又は200とを含む。画像処理モジュール100又は200は、単一のチップ(又はプロセッサ)から構成されてもよく、又は複数のチップの集合であってもよい。アプリケーションモジュール30は、接続端子及び信号線を介して画像処理システム20に接続される。アプリケーションモジュール30は、画像処理モジュール100又は200により生成されるカラー画像を受信し、受信したカラー画像に基づいてアプリケーションを実行する。アプリケーションモジュール30は、例えばCPU又はSoC(System-on-a-chip)などの形態で実装され得る。周辺モジュール40は、例えばディスプレイを含み、アプリケーションモジュール30により加工されるカラー画像がディスプレイの画面上に表示される。
<5.まとめ>
ここまで、図1〜図19を用いて、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像が取得され、取得された遠赤外画像、近赤外画像及び可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像が生成される。かかる構成によれば、遠赤外画像、近赤外画像及び可視光画像のそれぞれの性質を活用して、生成されるカラー画像の画質を効果的に改善することができる。例えば、遠赤外画像は、特に生体の視認性が重要視される用途において、画像内のどの領域をより鮮明に表現すべきかの情報を提供し、生体領域の色彩の強調に寄与する。近赤外画像は、環境光に乏しい状況下で、被写体のディテールの鮮明化に寄与する。可視光画像は、カラー画像に色情報を直接的に提供する。こうした画像の種別ごとの性質の統合的な活用によって、既存の技術では達成されない高い画質を有するカラー画像を提供することが可能となる。
また、上述した実施形態によれば、入力画像が撮像された際の撮像条件に依存して異なるフィルタ構成で、上記フィルタリングが実行される。従って、時間の推移又は天候の変化等の撮像条件の変化に対して、3種類の画像を適応的に組合せることでよりロバストに高画質のカラー画像を生成することが可能である。
また、上述した実施形態によれば、学習処理を通じて事前に決定されるフィルタ構成で、上記フィルタリングが実行される。従って、リアルタイム性が重要視されるような用途においても、迅速にフィルタ構成を設定し又は適応的に変化させて、有意な遅延なく高画質のカラー画像を安定的に生成することが可能である。
また、ある実施形態によれば、いずれかの入力画像において生体が映る生体領域が認識され、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、生体領域についての上記フィルタリングが実行される。従って、生体を背景に埋没させることなく、カラー画像において生体を強調的に表示すること、また後段の処理において生体の認識の確実性を高めることが可能である。
また、ある実施形態によれば、カメラから被写体までの距離に依存して異なるフィルタ構成で、その被写体が映る領域についての上記フィルタリングが実行される。従って、例えば運転支援の用途において、運転者が注意すべき近傍の歩行者又は障害物などの対象物をカラー画像において特に強調することが可能である。
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体(非一時的な媒体:non-transitory media)に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPU(Central Processing Unit)などのプロセッサにより実行される。
また、本明細書においてフローチャートを用いて説明した処理は、必ずしもフローチャートに示された順序で実行されなくてもよい。いくつかの処理ステップは、並列的に実行されてもよい。また、追加的な処理ステップが採用されてもよく、一部の処理ステップが省略されてもよい。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的又は例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果と共に、又は上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏し得る。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
を備える画像処理装置。
(2)
前記画像処理装置は、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部、をさらに備え、
前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行する、
前記(1)に記載の画像処理装置。
(3)
前記生成部は、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行する、前記(2)に記載の画像処理装置。
(4)
前記生成部は、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、前記(3)に記載の画像処理装置。
(5)
前記撮像条件は、時間帯、天候及び環境照度のうちの1つ以上を含む、前記(2)〜(4)のいずれか1項に記載の画像処理装置。
(6)
前記画像処理装置は、
前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも1つにおいて生体が映る生体領域を認識する認識部、
をさらに備え、
前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
前記(1)〜(5)のいずれか1項に記載の画像処理装置。
(7)
前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、前記(6)に記載の画像処理装置。
(8)
前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
前記(6)又は前記(7)に記載の画像処理装置。
(9)
前記画像処理装置は、車両に搭載され、
前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
前記(1)〜(7)のいずれか1項に記載の画像処理装置。
(10)
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
を含む画像処理方法。
(11)
画像処理装置を制御するコンピュータを、
共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
として機能させるためのプログラム。
(12)
遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する画像処理モジュールと、
を含む画像処理システム。
(13)
前記画像処理システムは、車両に搭載され、
前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
前記(12)に記載の画像処理システム。
1 車両
10 車載システム
20 画像処理システム
30 アプリケーションモジュール
40 周辺モジュール
100,200 画像処理装置(画像処理モジュール)
102 カメラモジュール
110 ディスプレイ
120 画像取得部
130,230 データ取得部
140 判定部
250 認識部
160,260 生成部
170,270 データベース

Claims (10)

  1. 共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部と、
    を備え
    前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行す
    画像処理装置。
  2. 前記撮像条件は、時間帯、天候及び環境照度のうちの1つ以上を含む、請求項に記載の画像処理装置。
  3. 前記画像処理装置は、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像のうちの少なくとも1つにおいて生体が映る生体領域を認識する認識部、
    をさらに備え、
    前記生成部は、非生体領域のために使用されるフィルタ構成とは異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、
    請求項1に記載の画像処理装置。
  4. 前記生成部は、カメラから前記生体までの距離に依存して異なるフィルタ構成で、前記生体領域についての前記フィルタリングを実行する、請求項に記載の画像処理装置。
  5. 前記認識部は、認識した前記生体領域を特定する生体領域情報を生成し、
    前記生成部は、前記カラー画像と共に前記生体領域情報を後段のアプリケーションへ出力する、
    請求項に記載の画像処理装置。
  6. 前記画像処理装置は、車両に搭載され、
    前記生成部は、前記カラー画像を運転支援アプリケーションへ出力する、
    請求項1に記載の画像処理装置。
  7. 共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得することと、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成することと、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定することと、
    を含み、
    判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
    画像処理方法。
  8. 画像処理装置を制御するコンピュータを、
    共通する被写体を映した遠赤外画像、近赤外画像及び可視光画像を取得する画像取得部と、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成する生成部と、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する判定部と、
    として機能させ
    前記生成部は、前記判定部により判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、前記判定部により判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行す
    プログラム。
  9. 遠赤外領域、近赤外領域及び可視光領域において被写体を撮像し、対応する遠赤外画像、近赤外画像及び可視光画像を出力するカメラモジュールと、
    前記遠赤外画像、前記近赤外画像及び前記可視光画像の画素を含むフィルタタップをフィルタリングすることにより、カラー画像を生成し、前記遠赤外画像、前記近赤外画像及び前記可視光画像が撮像された際の撮像条件を判定する画像処理モジュールと、
    を含み、
    前記画像処理モジュールは、判定される前記撮像条件に依存して異なるフィルタ構成で、前記フィルタリングを実行し、学習処理を通じて事前に決定される前記フィルタ構成で、前記フィルタリングを実行し、判定される前記撮像条件と学習時の撮像条件との差に基づいて調整されるフィルタ係数を用いて、前記フィルタリングを実行する、
    画像処理システム。
  10. 前記画像処理システムは、車両に搭載され、
    前記画像処理モジュールにより生成される前記カラー画像に基づくアプリケーションを実行するアプリケーションモジュール、をさらに含む、
    請求項に記載の画像処理システム。
JP2016569234A 2015-01-13 2015-11-02 画像処理装置、画像処理方法、プログラム及びシステム Expired - Fee Related JP6729394B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015004121 2015-01-13
JP2015004121 2015-01-13
PCT/JP2015/080965 WO2016113983A1 (ja) 2015-01-13 2015-11-02 画像処理装置、画像処理方法、プログラム及びシステム

Publications (2)

Publication Number Publication Date
JPWO2016113983A1 JPWO2016113983A1 (ja) 2017-10-19
JP6729394B2 true JP6729394B2 (ja) 2020-07-22

Family

ID=56405540

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016569234A Expired - Fee Related JP6729394B2 (ja) 2015-01-13 2015-11-02 画像処理装置、画像処理方法、プログラム及びシステム

Country Status (5)

Country Link
US (1) US10176543B2 (ja)
EP (1) EP3229468B1 (ja)
JP (1) JP6729394B2 (ja)
CN (1) CN107113408B (ja)
WO (1) WO2016113983A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015223175A1 (de) * 2015-11-24 2017-05-24 Conti Temic Microelectronic Gmbh Fahrerassistenzsystem mit adaptiver Umgebungsbilddatenverarbeitung
JP6365598B2 (ja) * 2016-06-17 2018-08-01 トヨタ自動車株式会社 車両ヒータの制御装置
WO2018150685A1 (ja) * 2017-02-20 2018-08-23 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP7020471B2 (ja) * 2017-02-24 2022-02-16 ソニーグループ株式会社 画像処理装置及び撮像装置
JP7014218B2 (ja) * 2017-03-08 2022-02-01 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP6867023B2 (ja) * 2017-06-16 2021-04-28 ディーピーティー株式会社 移動体用映像表示装置およびその方法
JP7075201B2 (ja) * 2017-12-15 2022-05-25 東芝ライフスタイル株式会社 電気掃除機
US10785422B2 (en) * 2018-05-29 2020-09-22 Microsoft Technology Licensing, Llc Face recognition using depth and multi-spectral camera
JP7171254B2 (ja) * 2018-06-13 2022-11-15 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
JP7155737B2 (ja) * 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
CN111488756B (zh) * 2019-01-25 2023-10-03 杭州海康威视数字技术股份有限公司 基于面部识别的活体检测的方法、电子设备和存储介质
CN111429722A (zh) * 2020-03-30 2020-07-17 淮阴工学院 基于实时路况的辅助车速报警控制系统
CN111460186B (zh) * 2020-03-31 2022-04-08 河北工业大学 包含车辆可见光图像和红外图像数据库的建立方法
CN111507930B (zh) * 2020-06-18 2023-10-10 杭州海康威视数字技术股份有限公司 图像融合方法、装置、存储介质和计算机设备
CN117146780B (zh) * 2023-10-31 2024-01-09 季华实验室 成像方法、终端设备及介质

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000115759A (ja) 1998-10-05 2000-04-21 Sony Corp 撮像表示装置
JP3659914B2 (ja) 2000-10-31 2005-06-15 松下電器産業株式会社 物体認識装置、物体を認識する方法、プログラムおよび記録媒体
EP1202214A3 (en) 2000-10-31 2005-02-23 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
US7248297B2 (en) * 2001-11-30 2007-07-24 The Board Of Trustees Of The Leland Stanford Junior University Integrated color pixel (ICP)
US7929727B2 (en) * 2002-07-26 2011-04-19 Tenebraex Corporation Methods for visually separating an object from its background, methods for detecting a camouflaged object against its background and detection apparatus embodying such methods
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
CN2842571Y (zh) 2005-10-28 2006-11-29 沈阳理工大学 一种抗天气干扰图像采集装置
JP2007158820A (ja) 2005-12-06 2007-06-21 Fujitsu Ten Ltd 撮影制御装置
CN100550996C (zh) 2006-07-31 2009-10-14 株式会社理光 图像处理装置,成像装置以及图像处理方法
JP4386096B2 (ja) 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
JP5110356B2 (ja) 2007-07-10 2012-12-26 オムロン株式会社 検出装置および方法、並びに、プログラム
JP4317586B2 (ja) 2007-08-07 2009-08-19 パナソニック株式会社 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
KR101441589B1 (ko) * 2008-10-07 2014-09-29 삼성전자 주식회사 가시광선 이미지와 원적외선 이미지를 광학적으로 융합하는장치
US9451183B2 (en) * 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
JP5148573B2 (ja) * 2009-08-31 2013-02-20 富士フイルム株式会社 画像処理システム、画像処理方法およびプログラム
JP5578965B2 (ja) * 2010-07-02 2014-08-27 富士フイルム株式会社 オブジェクト推定装置および方法ならびにプログラム
JP5470218B2 (ja) * 2010-10-25 2014-04-16 株式会社日立製作所 撮像装置
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
JP5519083B2 (ja) * 2011-09-29 2014-06-11 富士フイルム株式会社 画像処理装置、方法、プログラムおよび撮像装置
JP5409829B2 (ja) 2012-02-17 2014-02-05 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
CN102647449B (zh) 2012-03-20 2016-01-27 西安联客信息技术有限公司 基于云服务的智能摄影方法、装置及移动终端
US9405104B2 (en) * 2012-12-26 2016-08-02 GM Global Technology Operations LLC Split sub-pixel imaging chip with IR-pass filter coating applied on selected sub-pixels
JP6015946B2 (ja) 2013-03-29 2016-10-26 マツダ株式会社 車両用撮像装置
JP2014241584A (ja) * 2013-05-14 2014-12-25 パナソニックIpマネジメント株式会社 画像処理方法、及び画像処理システム

Also Published As

Publication number Publication date
EP3229468A1 (en) 2017-10-11
WO2016113983A1 (ja) 2016-07-21
CN107113408A (zh) 2017-08-29
US10176543B2 (en) 2019-01-08
US20170372444A1 (en) 2017-12-28
CN107113408B (zh) 2021-05-11
EP3229468A4 (en) 2018-06-13
EP3229468B1 (en) 2020-03-18
JPWO2016113983A1 (ja) 2017-10-19

Similar Documents

Publication Publication Date Title
JP6729394B2 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
CN108460734B (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
CN104512411B (zh) 车辆控制系统及图像传感器
EP3264367A2 (en) Image generating apparatus, image generating method, and recording medium
KR101811157B1 (ko) 사발형 영상 시스템
US8077204B2 (en) Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method
JP4482599B2 (ja) 車両の周辺監視装置
US9047672B2 (en) Image generation apparatus, image generation method and image generation program
US8767074B2 (en) System and method of assisting visibility of driver
JP7268001B2 (ja) 演算処理装置、オブジェクト識別システム、学習方法、自動車、車両用灯具
CN105447838A (zh) 一种红外与微光/可见光融合成像的方法及系统
TW202428036A (zh) 感測器裝置
JP6561512B2 (ja) 視差値導出装置、移動体、ロボット、視差値導出方法、視差値生産方法及びプログラム
KR20200040697A (ko) 자동차 안전 및 주행 시스템을 위한 셔터리스 원적외선(fir) 카메라
US20140085473A1 (en) In-vehicle camera apparatus
CN112465735B (zh) 行人检测方法、装置及计算机可读存储介质
JP2009025910A (ja) 障害物検出装置、障害物検出システム及び障害物検出方法
JP5621558B2 (ja) 車両用表示装置
JP2004312402A (ja) 道路監視システム,道路監視装置
JP6561511B2 (ja) 視差値導出装置、移動体、ロボット、視差値生産導出方法、視差値の生産方法及びプログラム
WO2017158829A1 (ja) 表示制御装置および表示制御方法
Kidono et al. Visibility estimation under night-time conditions using a multiband camera
US9197822B1 (en) Array augmented parallax image enhancement system and method
JP5218634B2 (ja) 擬似濃淡画像生成装置及びプログラム
JP2008108118A (ja) 画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180904

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200107

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200615

R151 Written notification of patent or utility model registration

Ref document number: 6729394

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees