[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7547823B2 - 撮像制御装置、撮像制御方法及びプログラム - Google Patents

撮像制御装置、撮像制御方法及びプログラム Download PDF

Info

Publication number
JP7547823B2
JP7547823B2 JP2020121277A JP2020121277A JP7547823B2 JP 7547823 B2 JP7547823 B2 JP 7547823B2 JP 2020121277 A JP2020121277 A JP 2020121277A JP 2020121277 A JP2020121277 A JP 2020121277A JP 7547823 B2 JP7547823 B2 JP 7547823B2
Authority
JP
Japan
Prior art keywords
imaging data
frame
imaging
representative value
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020121277A
Other languages
English (en)
Other versions
JP2022018276A (ja
Inventor
武 茨木
規夫 倉重
信行 松川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2020121277A priority Critical patent/JP7547823B2/ja
Priority to PCT/JP2021/021514 priority patent/WO2022014199A1/ja
Priority to EP21842359.8A priority patent/EP4106319A4/en
Priority to CN202180022949.XA priority patent/CN115336252B/zh
Publication of JP2022018276A publication Critical patent/JP2022018276A/ja
Priority to US17/944,233 priority patent/US12081877B2/en
Application granted granted Critical
Publication of JP7547823B2 publication Critical patent/JP7547823B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像制御装置、撮像制御方法及びプログラムに関する。
特許文献1には、画像データのダイナミックレンジに対応する第1の階調変換カーブを画像データの明部と暗部との輝度変化が視覚的に同等となるように調整した第2の階調変換カーブを生成し、第2の階調変換カーブを用いて画像データの階調変換を行う技術が記載されている。特許文献2には、ハイブリッドログガンマ特性を有する制御関数を含む変換部と、事前に設定された明部領域の入力信号を変換する制御関数の係数を調整するためのパラメータ値を算出する算出部と、を有する信号変換装置が記載されている。
特開2019-071568号公報 特開2019-101241号公報
HDR(High Dynamic Range)は、SDR(Standard Dynamic Range)に比べて白飛びが抑制されるなど高画質である。HLG(Hybrid Log Gamma)方式のHDRでは、白飛びのさらなる抑制など、より高画質化が望まれている。
本発明は、上記に鑑みてなされたものであって、より高画質化した撮像制御装置、撮像システム及び撮像制御方法を提供する。
上述した課題を解決し、目的を達成するために、本発明に係る撮像制御装置は、撮像データを取得する撮像データ取得部と、前記撮像データ取得部が取得した前記撮像データに所定の枠を設定する枠設定部と、前記枠設定部が設定した前記枠の範囲内の撮像データの輝度値を取得する輝度値取得部と、前記輝度値取得部が取得した前記輝度値から代表値を算出する代表値算出部と、前記撮像データ取得部が取得した前記撮像データをガンマ変換する変換部と、を備え、前記変換部は、前記代表値算出部が算出した前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、輝度値の上限値に応じたハイブリッドログガンマ伝達関数によって正規化した前記撮像データをガンマ変換する。
本発明に係る撮像制御方法は、撮像データを取得する撮像データ取得ステップと、前記撮像データ取得ステップによって取得された前記撮像データに所定の枠を設定する枠設定ステップと、前記枠設定ステップによって設定された前記枠の範囲内の撮像データの輝度値を取得する輝度値取得ステップと、前記輝度値取得ステップによって取得された前記輝度値から代表値を算出する代表値算出ステップと、前記撮像データ取得ステップによって取得された前記撮像データをガンマ変換する変換ステップと、を含み、前記変換ステップにおいては、前記代表値算出ステップによって算出された前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データをハイブリッドログガンマ伝達関数によってガンマ変換する。
本発明によれば、より高画質化することができるという効果が奏される。
図1は、本実施形態に係る車両用記録装置の構成例を示すブロック図である。 図2は、本実施形態に係る撮像データの縦横に区分けされたマス群を示す説明図である。 図3は、本実施形態に係る通常時の撮像データに設定される枠の一例を示す説明図である。 図4は、本実施形態に係る昼間の撮像データに設定される枠の一例を示す説明図である。 図5は、本実施形態に係る夜間の撮像データに設定される枠の一例を示す説明図である。 図6は、本実施形態に係る全体的に暗い撮像データに設定される枠の一例を示す説明図である。 図7は、ピーク輝度が12である場合におけるHLG曲線を説明する図である。 図8は、ピーク輝度が48である場合におけるHLG曲線を説明する図である。 図9は、正規化したシーン輝度と、正規化した電気信号の信号レベルとの相関関係を示す図である。 図10は、本実施形態に係る撮像制御装置における処理の流れを示すフローチャートである。
以下に添付図面を参照して、本発明に係る撮像制御装置、撮像システム及び撮像制御方法の実施形態が詳細に説明されている。なお、以下の実施形態により本発明が限定されるものではない。撮像システムは、撮像データの輝度値に関する代表値に応じたHLG曲線を用いて映像信号に変換して出力する。以下の実施形態では、撮像システムの一例として、車両用記録装置10について説明する。
[実施形態]
<車両用記録装置10の構成>
図1は、本実施形態に係る車両用記録装置10の構成例を示すブロック図である。車両用記録装置10は、例えばいわゆるドライブレコーダである。車両用記録装置10は、車両に載置されているものに加えて、可搬型で車両において利用可能な装置であってもよい。車両用記録装置10は、カメラ(撮像部)20と、撮像制御装置40と、を備える。
カメラ20は、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されている。本実施形態では、カメラ20は、車両の進行方向を撮像するカメラとして説明する。本実施形態では、カメラ20は、車両の前方の一方向を向いた単数のカメラを用いて説明するが、複数のカメラ群であってもよい。カメラ20は、例えば、車両の車室内前方における車両の前方を撮像可能な位置に配置されている。本実施形態では、カメラ20は、車両のアクセサリ電源がONである間、映像を常時撮像する。カメラ20は、撮像した撮像データ(画像データ)を撮像制御装置40の撮像データ取得部41に出力する。
<撮像制御装置40の構成>
撮像制御装置40は、例えば、CPU(Central Processing Unit)などで構成された演算処理装置(制御装置)である。撮像制御装置40は、記憶されているプログラムをメモリにロードして、プログラムに含まれる命令を実行する。撮像制御装置40には図示しない内部メモリが含まれ、内部メモリは撮像制御装置40におけるデータの一時記憶などに用いられる。撮像制御装置40は、撮像データ取得部41と、枠設定部42と、輝度値取得部43と、代表値算出部44と、変換部45と、を備える。
撮像データ取得部41は、車両の周辺を撮像した撮像データを取得する。より詳しくは、撮像データ取得部41は、カメラ20が出力した撮像データを取得する。ここで撮像データとは、所定の数量の水平及び垂直方向の画素から構成される画像を、時間的に逐次出力するデータである。
枠設定部42は、撮像データ取得部41によって取得された車両の周辺を撮像した撮像データにおいて、輝度値を取得する範囲として適切になるように、画像(画面)上の一部の画素を選択し抽出するための所定の枠(取得範囲)を設定する。枠の位置、形状及び大きさは、撮像データにおいて輝度値を取得する範囲として適切になるように設定される。より詳しくは、枠設定部42は、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されたカメラ20からの撮像データを構成する画像上に、所定の位置、形状及び大きさの枠を設定する。言い換えると、画像の画素のうち一部の画素を選択し抽出するための枠を設ける。枠の位置、形状及び大きさは、撮像データにおいて輝度値を取得する範囲として適切になるように設定される。本実施形態では、枠は水平および垂直方向に矩形な長方形状として説明するが、これに限定されず、円形や楕円状であってもよく、これらを組み合わせた形状であってもよい。本実施形態では、1つの枠を設定するものとして説明するが、これに限定されず、複数の枠を設定してもよい。
枠設定部42が設定する枠は、撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面が撮像される範囲を含んでもよい。枠は、路面が撮像される範囲を含むように、画像上の位置、形状及び大きさが設定される。この場合、枠設定部42は、撮像データの中央部より下側を含む範囲に枠を設定すればよい。撮像データにおいて路面が撮像される範囲が占める面積は所定割合以上あり、かつ、路面は色彩の変化が少ないので、輝度値を取得する枠を設定する範囲として適している。
枠設定部42が設定する枠は、路面に加えて、例えば空、海、河川のような周辺の景色が撮像される範囲を含むことが好ましい。枠は、路面に加えて周辺の景色を含むように、画像上の位置、形状及び大きさが設定される。周辺の景色を含むことによって、路面以外の部分の輝度値が含まれる。これにより、より適切な輝度値が取得される。
枠設定部42は、画像認識部421を有してもよい。画像認識部421は、枠の位置、形状及び大きさを設定するために、撮像データを認識する。より詳しくは、画像認識部421は、例えば、撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面を認識する。画像認識部421は、撮像データに画像処理を行って、例えば撮像データの中央部より下側において色彩が黒色または灰色である部分を路面として認識してもよい。画像認識部421は、撮像データにおける画像上の所定の範囲、例えば、中央部より下側を路面として認識してもよい。
画像認識部421は、例えば、撮像データに画像処理を行って、太陽の有無及び太陽の位置を認識してもよい。画像認識部421は、撮像データに画像処理を行って、撮像データの全体が明るく、中央部より上側に局所的に周辺より明るい部分がある場合、太陽として認識してもよい。さらに、画像認識部421は、認識した太陽の有無及び太陽の位置から、撮像時の時間帯及び天候を認識してもよい。
画像認識部421は、例えば、撮像データに画像処理を行って、自車両または他車両のヘッドライトによって照らされた部分を認識してもよい。画像認識部421は、撮像データに画像処理を行って、撮像データの全体が暗く、中央部より下側にのみ周辺より明るい部分がある場合、ヘッドライトによって照らされた部分として認識してもよい。画像認識部421は、撮像データに保存された撮像時刻が夜間であって、中央部より下側にのみ周辺より明るい部分がある場合、ヘッドライトによって照らされた部分として認識してもよい。
画像認識部421は、例えば、撮像データに画像処理を行って、空を認識してもよい。画像認識部421は、撮像データに画像処理を行って、例えば撮像データの中央部より上側において色彩が青色、白色、または灰色である部分を空として認識してもよい。画像認識部421は、撮像データにおける所定の範囲、例えば、中央部より上側を空として認識してもよい。さらに、画像認識部421は、例えば、撮像データに保存された撮像時刻の情報に基づいて、夜空を認識してもよい。
画像認識部421は、例えば、撮像データに画像処理を行って、海及び河川を認識してもよい。画像認識部421は、撮像データに画像処理を行って、例えば撮像データの中央部より下側において色彩が青色である部分を海または河川として認識してもよい。
画像認識部421は、例えば、撮像データに画像処理を行って、トンネルなどの周辺の景色を認識してもよい。
枠設定部42は、画像認識部421による認識結果に基づいて、撮像データの画像上に、所定の位置、形状及び大きさの枠を設定してもよい。
図2ないし図6を用いて、枠設定部21によって設定される枠について説明する。図2は、本実施形態に係る撮像データの縦横に区分けされたマス群を示す説明図である。図2に示されるように、枠設定部42は、撮像データを一例として縦6×横9のマス群に区分けして、任意の位置、形状及び大きさの枠を設定してもよい。
図3は、本実施形態に係る通常時の撮像データに設定される枠の一例を示す説明図である。通常時とは、例えば晴天の昼間をいう。図3に示されるように、枠設定部42は、通常時には、撮像データにおいて、路面を他より多く含むように画面中央部より下側の範囲に枠を設定する。枠は、撮像データに対して、例えば上下50%、左右60%程度の大きさの長方形状に設定される。
図4は、本実施形態に係る昼間の撮像データに設定される枠の一例を示す説明図である。昼間は時間帯、天候または撮像方向によっては、直射日光などの強烈な光が映りこんで、撮像データに局所的に明るい部分が生じることがある。局所的に明るいとは、例えば輝度の最大値の80%(例えば8ビットであれば、最大値254のうちの80%である205)以上の値の画素をいう。枠設定部42は、画像認識部421の認識結果に基づいて、撮像データの局所的に明るい部分を避けて枠の位置を設定する。枠設定部42は、枠内に明るい画素がある場合、枠内における明るい画素の位置と反対方向に枠の位置を移動させる。枠設定部42は、例えば、撮像データを上下左右に4分割して、右上に明るい画素がある場合、左下に枠の位置を移動させる。枠設定部42は、撮像データの局所的に明るい部分を避けて枠の大きさを変えて設定してもよい。枠設定部42は、明るい画素を避けて枠の位置を移動できない場合、枠の大きさを縮小させてもよい。
図5は、本実施形態に係る夜間の撮像データに設定される枠の一例を示す説明図である。夜間は自車両のヘッドライトによって進行方向が明るく、ヘッドライトの光が届いていない周辺の暗い部分が暗くなる。枠設定部42が、ヘッドライトによって照らされた範囲を含んで枠を設定した場合、ヘッドライトの光が届いていない周辺の暗い部分が暗くなる。枠設定部42は、画像認識部421の認識結果に基づいて、周辺の暗い部分または夜空の部分が含まれるように、枠の位置を設定してもよい。枠設定部42は、画像認識部421の認識結果に基づいて、周辺の暗い部分または夜空の部分を含むように、枠の大きさを変えて設定してもよい。撮像データが夜間であることは、撮像時刻や、画像認識部421によってヘッドライトのオン・オフを認識することによって判定可能である。
図6は、本実施形態に係る全体的に暗い撮像データに設定される枠の一例を示す説明図である。例えばトンネルなどのように全体が暗い場合には、広い範囲から輝度値を取得するために、枠の大きさを広げてもよい。撮像データが全体に暗いことは、枠内の画素の輝度平均値、所定値以上または所定値以下の輝度値を持つ画素の数などによって判断可能である。
輝度値取得部43は、枠の範囲内の撮像データの輝度値を取得する。より詳しくは、輝度値取得部43は、枠の範囲内に含まれる画素ごとの輝度値を取得する。
代表値算出部44は、輝度値取得部43によって取得された輝度値から代表値を算出する。例えば、代表値は、枠の範囲内の撮像データから取得された輝度値の中央値である。代表値は、輝度値の中央値に限られず、輝度値の最頻値または輝度値の各種平均値などでもよい。
変換部45は、撮像データ取得部41が取得した撮像データをガンマ変換する。より詳しくは、変換部45は、代表値算出部44が算出した代表値に基づいて輝度値の上限値であるピーク輝度を設定して撮像データを正規化し、正規化した撮像データをピーク輝度に応じたハイブリッドログガンマ伝達関数によってガンマ変換する。ピーク輝度は、例えば代表値が小さくなるほど大きく設定されてもよい。
本実施形態では、ピーク輝度は、12以上48以下の範囲で設定される。ピーク輝度が大きくなるほど、HDRのダイナミックレンジが広くなる。
図7ないし図9を用いて、ピーク輝度に応じたハイブリッドログガンマ伝達関数を示すHLG曲線について説明する。図7は、ピーク輝度が12である場合におけるHLG曲線を説明する図である。図7において、横軸はSDRにおける基準白色の輝度レベルが1になるように正規化されたシーン輝度Eを表し、縦軸は横軸に対応する電気信号の信号レベルE´を表す。ハイブリッドログガンマ伝達関数は、SDRにおける白を基準の輝度1として、そのときのHDRの信号が0.5となるように調整されている。
図8は、ピーク輝度が48である場合におけるHLG曲線を説明する図である。図8においても図7と同様に、横軸はSDRにおける基準白色の輝度レベルが1になるように正規化されたシーン輝度Eを表し、縦軸は横軸に対応する電気信号の信号レベルE´を表す。
図9は、正規化したシーン輝度Eと、正規化した電気信号の信号レベルE´との相関関係を示す図である。図9において、横軸はE/maxE、縦軸はE´/maxE´を表す。図9には、図7、図8の横軸と縦軸とを0以上1以下の範囲に正規化したHLG曲線を図示している。図9には図示していないが、ピーク輝度が12以上48以下の各値について、同様に正規化されたHLG曲線が得られる。このように、変換部45がガンマ変換に使用するHLG曲線は、ピーク輝度に応じて異なる曲線を描く。
変換部45は、正規化されたHLG曲線のうち、代表値算出部44が算出した代表値に応じたHLG曲線を使用して、撮像データを画像信号に変換して出力する。より詳しくは、変換部45は、正規化した画像信号を、数式1に示すハイブリッドログガンマ伝達関数によって画像信号に変換する。Eは、シーン輝度であり、基準白色レベルで正規化したものとする。E′は、信号レベルである。γは、基準白色レベルに対応する信号レベルであり、γ=0.5である。a、b、cは定数であり、HLG曲線ごとに定められる。例えば、a=0.17883277、b=0.28466892、c=0.55991073である。
Figure 0007547823000001
<撮像制御装置40における情報処理>
次に、図10を用いて、撮像制御装置40における処理の流れについて説明する。図10は、本実施形態に係る撮像制御装置40における処理の流れを示すフローチャートである。本実施形態では、車両用記録装置10の起動中、カメラ20は常時撮像して、図10に示す処理を常時実行する。図10に示す処理は、1フレームごとに実行してもよいし、数フレームごとまたは所定時間間隔などで実行してもよい。
まず、撮像制御装置40は、撮像データ取得部41によって、カメラ20が出力した撮像データを取得する(ステップS1)。撮像制御装置40は、ステップS1の後、処理がステップS2に移行する。
ステップS1の処理後に、撮像制御装置40は、枠設定部42によって、撮像データに所定の枠を設定する(ステップS2)。撮像制御装置40は、枠設定部42によって、カメラ20からの撮像データに、所定の位置、形状及び大きさの枠を設定する。枠の位置、形状及び大きさは、撮像データにおいて輝度値を取得する範囲として適切になるように設定される。撮像制御装置40は、ステップS2の後、処理がステップS3に移行する。
ステップS2の処理後に、撮像制御装置40は、輝度値取得部43によって、枠の範囲内の撮像データの輝度値を取得する(ステップS3)。撮像制御装置40は、ステップS3の後、処理がステップS4に移行する。
ステップS3の処理後に、撮像制御装置40は、代表値算出部44によって、輝度値取得部43が取得した輝度値から代表値を算出する(ステップS4)。撮像制御装置40は、代表値算出部44によって、例えば、枠の範囲内の撮像データから取得された輝度値の輝度値の中央値を代表値として算出する。撮像制御装置40は、ステップS4の後、処理がステップS5に移行する。
ステップS4の処理後に、撮像制御装置40は、変換部45によって、代表値に基づいて輝度の上限値を設定して撮像データを正規化する(ステップS5)。撮像制御装置40は、ステップS5の後、処理がステップS6に移行する。
ステップS5の処理後に、撮像制御装置40は、変換部45によって、ステップS5において設定されたピーク輝度に対応するハイブリッドログガンマ伝達関数を用いて、正規化した撮像データをガンマ変換して出力する(ステップS6)。撮像制御装置40は、ステップS6の後、処理が終了される。
<効果>
上述したように、本実施形態では、撮像データの輝度値に関する代表値に基づいて、撮像データのピーク輝度に応じたハイブリッドログガンマ伝達関数を用いて、撮像データをガンマ変換して画像信号を出力する。本実施形態によれば、撮像データに応じたハイブリッドログガンマ伝達関数を用いて、撮像データを変換することができる。本実施形態によれば、撮像データに合わせてダイナミックレンジを設定することができる。本実施形態によれば、HLG方式のHDR画像における白飛びを、従来のHDR画像に比べてより抑制することができる。本実施形態によれば、出力データを高画質化することができる。
本実施形態によれば、画像認識部421の認識結果に基づいて、撮像データごとに適した枠を設定することができる。本実施形態によれば、より適切に代表値を算出できるので、出力データを高画質化することができる。
本実施形態は、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されたカメラ20からの撮像データのいずれか一方に、所定の位置、形状及び大きさの枠を設定する。本実施形態によれば、車両の進行方向または進行方向とは逆方向の少なくともどちらかを撮像するように配置されたカメラ20からの撮像データを認識して、撮像データに好ましい枠を設定できる。
本実施形態では、枠設定部42が設定する枠には、撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面を含む。本実施形態によれば、撮像データから路面を認識して、撮像データに路面を含む枠を設定できる。本実施形態によれば、ドライブレコーダに適した高画質な出力データを出力することができる。
本実施形態では、撮像データから、太陽の有無及び太陽の位置、ヘッドライトによって照らされた部分、空、海及び河川、周辺の景色を認識して枠を設定する。本実施形態によれば、撮像データに応じて適切な枠を設定できる。本実施形態によれば、撮像データに応じて高画質な出力データを出力することができる。
[その他]
図示した車両用記録装置10の各構成要素は、機能概念的なものであり、必ずしも物理的に図示の如く構成されていなくてもよい。すなわち、各装置の具体的形態は、図示のものに限られず、各装置が実施する処理負担や使用状況などに応じて、その全部または一部を任意の単位で機能的または物理的に分散または統合してもよい。
車両用記録装置10の構成は、例えば、ソフトウェアとして、車両用記録装置10内にて車両用記録装置10を動作させる方法、または、メモリにロードされ、車両用記録装置10を動作させるコンピュータが実行するプログラムなどによって実現される。上記実施形態では、これらのハードウェアまたはソフトウェアの連携によって実現される機能ブロックとして説明した。すなわち、これらの機能ブロックについては、ハードウェアのみ、ソフトウェアのみ、または、それらの組み合わせによって種々の形で実現できる。
上記に記載した構成要素には、当業者が容易に想定できるものや、実質的に同一のものを含む。さらに、上記に記載した構成は、適宜組み合わせ可能である。また、本発明の要旨を逸脱しない範囲において構成の種々の省略、置換または変更が可能である。
上記では、撮像システムとしてドライブレコーダなどの車両用記録装置10に本発明が適用される例を説明しているがこれに限定されるものではない。撮像システムは、例えばビデオカメラ、スマートフォンあるいは放送用機材などにも適用可能である。
10 車両用記録装置(撮像システム)
20 カメラ(撮像部)
40 撮像制御装置
41 撮像データ取得部
42 枠設定部
421 画像認識部
43 輝度値取得部
44 代表値算出部
45 変換部

Claims (4)

  1. 撮像データを取得する撮像データ取得部と、
    前記撮像データ取得部が取得した前記撮像データに画像上の所定の枠を設定する枠設定部と、
    前記枠設定部が設定した前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得部と、
    前記輝度値取得部が取得した前記輝度値から代表値を算出する代表値算出部と、
    前記撮像データ取得部が取得した前記撮像データをガンマ変換する変換部と、
    を備え、
    前記変換部は、前記代表値算出部が算出した前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データを輝度値の上限値に応じたハイブリッドログガンマ伝達関数によってンマ変換する、
    撮像制御装置。
  2. 前記枠は、前記撮像データにおける車両の進行方向または進行方向とは逆方向の少なくともどちらかの路面を撮像した範囲を含むように設定される、
    請求項1に記載の撮像制御装置。
  3. 撮像データを取得する撮像データ取得ステップと、
    前記撮像データ取得ステップによって取得された前記撮像データに画像上の所定の枠を設定する枠設定ステップと、
    前記枠設定ステップによって設定された前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得ステップと、
    前記輝度値取得ステップによって取得された前記輝度値から代表値を算出する代表値算出ステップと、
    前記撮像データ取得ステップによって取得された前記撮像データをガンマ変換する変換ステップと、
    を含み、
    前記変換ステップにおいては、前記代表値算出ステップによって算出された前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データを輝度値の上限値に応じたハイブリッドログガンマ伝達関数によってガンマ変換する、
    撮像制御方法。
  4. 撮像データを取得する撮像データ取得ステップと、
    前記撮像データ取得ステップによって取得された前記撮像データに画像上の所定の枠を設定する枠設定ステップと、
    前記枠設定ステップによって設定された前記枠の範囲内の撮像データを構成する画素の輝度値を取得する輝度値取得ステップと、
    前記輝度値取得ステップによって取得された前記輝度値から代表値を算出する代表値算出ステップと、
    前記撮像データ取得ステップによって取得された前記撮像データをガンマ変換する変換ステップと、
    を含み、
    前記変換ステップにおいては、前記代表値算出ステップによって算出された前記代表値に基づいて輝度値の上限値を設定して前記撮像データを正規化し、正規化した前記撮像データを輝度値の上限値に応じたハイブリッドログガンマ伝達関数によってガンマ変換すること
    を撮像制御装置として動作するコンピュータに実行させるプログラム。
JP2020121277A 2020-07-15 2020-07-15 撮像制御装置、撮像制御方法及びプログラム Active JP7547823B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020121277A JP7547823B2 (ja) 2020-07-15 2020-07-15 撮像制御装置、撮像制御方法及びプログラム
PCT/JP2021/021514 WO2022014199A1 (ja) 2020-07-15 2021-06-07 撮像制御装置、撮像制御方法及びプログラム
EP21842359.8A EP4106319A4 (en) 2020-07-15 2021-06-07 IMAGING CONTROL APPARATUS, IMAGING CONTROL METHOD AND PROGRAM
CN202180022949.XA CN115336252B (zh) 2020-07-15 2021-06-07 拍摄控制装置、拍摄控制方法及存储介质
US17/944,233 US12081877B2 (en) 2020-07-15 2022-09-14 Imaging control device, imaging control method, and non-transitory computer readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020121277A JP7547823B2 (ja) 2020-07-15 2020-07-15 撮像制御装置、撮像制御方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2022018276A JP2022018276A (ja) 2022-01-27
JP7547823B2 true JP7547823B2 (ja) 2024-09-10

Family

ID=79555157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020121277A Active JP7547823B2 (ja) 2020-07-15 2020-07-15 撮像制御装置、撮像制御方法及びプログラム

Country Status (5)

Country Link
US (1) US12081877B2 (ja)
EP (1) EP4106319A4 (ja)
JP (1) JP7547823B2 (ja)
CN (1) CN115336252B (ja)
WO (1) WO2022014199A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180843A1 (ja) 2017-03-29 2018-10-04 シャープ株式会社 表示装置
JP2019101241A (ja) 2017-12-01 2019-06-24 日本放送協会 信号処理装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2645859B2 (ja) * 1988-05-20 1997-08-25 三洋電機株式会社 撮像装置
JP3976095B2 (ja) * 2004-05-27 2007-09-12 株式会社ナナオ 液晶表示装置のガンマ値取得方法及びそれを実現するガンマ値取得システム並びにそのガンマ値取得コンピュータとそれに用いられるプログラム
JP4717720B2 (ja) * 2006-06-05 2011-07-06 富士フイルム株式会社 画像処理装置および方法並びにプログラム
JP5195395B2 (ja) * 2008-12-19 2013-05-08 株式会社リコー 画像処理装置、画像処理方法、画像処理プログラム及び記録媒体
KR101329966B1 (ko) * 2009-09-22 2013-11-20 엘지디스플레이 주식회사 유기 발광 다이오드 표시 장치의 휘도 제어 장치 및 방법
JP2014235209A (ja) * 2013-05-31 2014-12-15 シャープ株式会社 ガンマ調整方法及び表示装置
CN103630496B (zh) * 2013-12-12 2015-09-30 南京大学 基于路面视亮度和最小二乘法的交通视频能见度检测方法
JP6278736B2 (ja) * 2014-02-26 2018-02-14 キヤノン株式会社 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP6282156B2 (ja) * 2014-03-31 2018-02-21 キヤノン株式会社 画像装置、画像処理方法、制御プログラム及び記憶媒体
JP6365355B2 (ja) * 2015-03-09 2018-08-01 オムロン株式会社 画像生成装置および画像生成方法
JP7071084B2 (ja) * 2017-10-10 2022-05-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP7045916B2 (ja) * 2018-04-20 2022-04-01 日本放送協会 映像輝度変換装置およびそのプログラム
CN109146822A (zh) * 2018-09-05 2019-01-04 成都索贝数码科技股份有限公司 一种利用sdr显示设备模拟hdr监视器的方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180843A1 (ja) 2017-03-29 2018-10-04 シャープ株式会社 表示装置
JP2019101241A (ja) 2017-12-01 2019-06-24 日本放送協会 信号処理装置

Also Published As

Publication number Publication date
WO2022014199A1 (ja) 2022-01-20
CN115336252A (zh) 2022-11-11
US12081877B2 (en) 2024-09-03
CN115336252B (zh) 2023-07-25
EP4106319A4 (en) 2023-10-18
EP4106319A1 (en) 2022-12-21
JP2022018276A (ja) 2022-01-27
US20230007187A1 (en) 2023-01-05

Similar Documents

Publication Publication Date Title
US8363131B2 (en) Apparatus and method for local contrast enhanced tone mapping
CN111698434B (zh) 图像处理设备及其控制方法和计算机可读存储介质
JP4234195B2 (ja) 画像分割方法および画像分割システム
KR101367637B1 (ko) 감시장치
TWI416940B (zh) 影像處理裝置及影像處理程式
US9307207B2 (en) Glaring reduction for dynamic rearview mirror
US20120127336A1 (en) Imaging apparatus, imaging method and computer program
JP2020529159A (ja) 多重化高ダイナミックレンジ画像
KR20090078583A (ko) 저조도 영상 처리 방법 및 시스템
JP2009177250A (ja) 車載用画像認識装置、車両状況判定装置および車載用画像認識方法
US20030210345A1 (en) Image pickup device and method for capturing subject with wide range of brightness
JP5569359B2 (ja) 撮像制御装置、撮像装置、及び撮像装置の制御方法
JP4985660B2 (ja) 擬似濃淡画像生成装置及びプログラム
JP4386959B1 (ja) 画像処理装置
JP4089911B2 (ja) 画像入力装置
JP2012222374A (ja) 車載カメラシステム
JP7547823B2 (ja) 撮像制御装置、撮像制御方法及びプログラム
JP7458819B2 (ja) 撮像装置、制御方法、プログラム及び記憶媒体
KR20160030350A (ko) 화상 처리 장치 및 화상 처리 방법
US10063827B2 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
US9129406B2 (en) Image processing method
JP5218634B2 (ja) 擬似濃淡画像生成装置及びプログラム
KR20160001582A (ko) 화상 처리 장치 및 화상 처리 방법
JPH09311927A (ja) 駐車車両検出装置及び駐車車両検出方法
JPH1011581A (ja) 駐車車両検出方法及び装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240812

R150 Certificate of patent or registration of utility model

Ref document number: 7547823

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150