JP6349558B1 - 撮像システム及び表示システム - Google Patents

Abstract

移動体（１００）の後部に配置される撮像システム（７０）は、撮像装置（１０）と、画像処理装置（２０）とを備える。撮像装置（１０）は、複数の画素が二次元的に配置され、画像データを生成する撮像素子と、撮像素子の撮像面に被写体像を結像する光学系と、を含む。画像処理装置（２０）は、画像データに基づいて撮像画像を生成する。撮像面は、第１の画角に対応する第１の領域と、第１の画角よりも大きい第２の画角に対応する第２の領域と、を含む。光学系は、第１の領域の解像度が、前記第１の領域を除く第２の領域の解像度よりも高くなるように構成されている。第１の領域の中心は、撮像面の中心からずれた位置に配置されている。

Description

本開示は、画角の異なる複数の画像を生成する撮像システム、及び撮像システムで生成された画像を表示する表示システムに関する。

自動車には、従来のルームミラーに代えて、車両後方の撮像画像を表示する機能も持つ電子的なルームミラー（以下、電子ルームミラーという）を搭載したものがある。特許文献１はそのような電子ルームミラーに関する技術を開示する。

特許文献１は、表示部を備えた車載用表示装置を開示する。表示部は、車室内のルームミラーの取付け位置に設置される。表示部は、画像表示部と、ハーフミラーとを含む。画像表示部は、車両に搭載された撮像部が撮像した画像を表示する。ハーフミラーは、画像表示部の前面に配置されている。表示部は、室内灯の点灯状態に応じて、表示画像を変更する。これにより、室内灯の明かりによる視認性の低下を防止している。

特開２０１６−１６６０１０号公報

上記のような電子ルームミラーに加えて、車載ディスプレイを搭載した車両が普及している。車載ディスプレイは、車両の駐車時に、運転者を支援するリアビューモニタとして用いられる。車載ディスプレイは、車両後方の状況を示す画像を表示する。この場合、１台の車両において、目的に応じて、複数の撮像装置に様々な画像が表示される。したがって、車両は複数の表示装置に対応する複数の撮像装置を搭載する必要があるため、車両に搭載される表示システムの構成が複雑になる。

本開示は、画角の異なる複数の画像を表示する表示システムであって、簡単な構成の表示システムを提供する。また、本開示はそのような表示システムを実現するための撮像システムを提供する。

本開示の第１の態様において、移動体の後部に配置される撮像システムが提供される。前記撮像システムは、撮像装置と、画像処理装置と、を備える。前記撮像装置は、複数の画素が二次元的に配置され、画像データを生成する撮像素子と、前記撮像素子の撮像面に被写体像を結像する光学系と、を含む。前記画像処理装置は、前記画像データに基づいて撮像画像を生成する。前記撮像面は、第１の画角に対応する第１の領域と、前記第１の画角よりも大きい第２の画角に対応する第２の領域と、を含む。前記撮像面において、前記複数の画素のうち単位画角当たりの画素の数を解像度とする場合に、前記光学系は、前記第１の領域の前記解像度が、前記第１の領域を除く前記第２の領域の前記解像度よりも高くなるように構成される。前記第１の領域の中心は、前記撮像面の中心からずれた位置に配置されている。前記撮像面は、前記光学系の光軸の全周に渡って存在する。

本開示の第２の態様において、前記撮像システムと、前記第１の画像及び前記第２の画像の少なくとも一方を表示する表示装置と、表示システムが提供される。

本開示によれば、画角の異なる複数の画像を、１台の撮像装置により生成できる。したがって、表示システムの構成を簡略化できる。

図１は、実施の形態１における、車両に搭載された表示システムの構成を示す図である。 図２は、実施の形態１における撮像装置の、水平方向の画角を説明する図である。 図３は、実施の形態１における、（Ａ）撮像装置により撮像される撮像画像と、電子ルームミラーにより表示される画像と、車載ディスプレイにより表示されるリアビュー画像との関係と、（Ｂ）光学系を介して撮像素子上に結像された像の解像度の分布と、を説明する図である。 図４は、実施の形態１の表示システムにおける画像処理装置の構成を示す図である。 図５は、実施の形態１の表示システムにおける撮像装置の構成を示す図である。 図６は、実施の形態１における、撮像装置の光学系の構成例を示す図（光軸を含む垂直面で自由曲面レンズを仮想的に切断したときの断面から見た図）である。 図７は、（Ａ）実施の形態１の自由曲面レンズに対する画角と像点との関係と、（Ｂ）比較例の魚眼レンズに対する画角と像点の関係と、を示す図である。 図８は、（Ａ）実施の形態１の自由曲面レンズのＭＴＦ特性と、（Ｂ）比較例の回転対称な魚眼レンズに対するＭＴＦ特性と、を示す図である。 図９は、実施の形態１における、光学系により撮像素子上に結像される像の解像度を説明するための図である。 図１０は、実施の形態１における、電子ルームミラー及び車載ディスプレイに表示される画像の生成方法を説明するための図である。 図１１は、実施の形態１における、（Ａ）撮像画像と、（Ｂ）車載ディスプレイに表示される画像と、（Ｃ）電子ルームミラーに表示される画像と、を説明する図である。 図１２は、比較例の魚眼レンズを用いた場合の撮像画像を示す図である。 図１３は、実施の形態１における撮像装置の、垂直方向の画角を説明する図である。 図１４は、実施の形態１における表示システムの特性を、従来例及び比較例と対比する図である。 図１５は、他の実施の形態において、撮像装置の取り付け位置と撮像画像の関係を説明する図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明、又は実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（実施の形態１）
［１−１．構成］
図１は、本開示の実施の形態１に係る表示システムを自動車の車両に取り付けたときの構成を示す図である。表示システム１００は、自動車の車両２００内に取り付けられる。自動車は、移動体の一例である。表示システム１００は、撮像装置１０と、画像処理装置２０と、電子ルームミラー３０と、車載ディスプレイ４０と、を備える。撮像装置１０は、車両後方のシーンを撮像し、画像データを生成する。画像処理装置２０は、撮像装置１０で生成された画像データを処理する。電子ルームミラー３０及び車載ディスプレイ４０は、画像処理装置２０により生成された画像を表示する。電子ルームミラー３０は、本開示の第１の表示装置の一例である。車載ディスプレイ４０は、本開示の第２の表示装置の一例である。撮像装置１０と画像処理装置２０とは、撮像システム７０を構成する。

［１−１−１．表示装置］
実施の形態１の表示装置は、第１の表示装置と第２の表示装置とを含む。

第１の表示装置としての電子ルームミラー３０は、表示デバイスと、駆動回路とを備える。表示デバイスは、液晶表示パネル、又は有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。駆動回路は、表示デバイスを駆動する。電子ルームミラー３０は、ルームミラーとして機能する表示装置である。電子ルームミラー３０は、運転席の前方において、車両の上部であって、車両の水平方向における中央に配置される。電子ルームミラー３０は、撮像装置１０により撮像された、車両後方のシーンの画像（動画）を表示する。これにより、車両２００の運転者は、車両２００の走行中または停止時に、電子ルームミラー３０の画像により車両後方の状況を確認できる。

第２の表示装置としての車載ディスプレイ４０は、表示デバイスと、駆動回路とを備える。表示デバイスは、液晶表示パネル又は有機ＥＬディスプレイ等である。駆動回路は、表示デバイスを駆動する。車載ディスプレイ４０は、ダッシュボード内またはダッシュモード上に設置される。車載ディスプレイ４０は、種々の情報（地図、ルート案内、ラジオ選局、及び各種設定等の少なくともいずれか一つ）を表示する。また、車載ディスプレイ４０は、車両２００が後進するときに、撮像装置１０により撮像された車両後方のシーンの画像（以下「リアビュー画像」という）を表示する。運転者は、車両２００の後進時にリアビュー画像（動画）を確認することにより、車両後方の状況を把握することができ、車両を安全に後進させることができる。

図２は、撮像装置１０の水平方向の画角を説明する図である。撮像装置１０は、車両２００の後部に取り付けられる。撮像装置１０は、車両後方のシーンを撮像した画像データを生成する。水平方向の画角は、θ５である。θ５は、２００°前後である。

図１３は、撮像装置１０の垂直方向の画角を説明する図である。撮像装置１０は、リアバンパ２０１が映るように、光軸中心を斜め下に向けて配置される。つまり、水平方向と撮像装置１０の光軸方向との間に、俯角θ７を有する。俯角θ７は、撮像装置１０の画角と車両への取り付け位置の関係から適宜設定される。実施の形態１における俯角θ７は、たとえば２０°である。垂直方向の画角は、θ６である。θ６は、１５０°前後である。但し俯角θ７は１０°以上５０°以下で限定されず、０°〜９０°の範囲で用いても良い。

図３の（Ａ）は、撮像装置１０により撮像される撮像画像５０を示す。撮像画像５０には、第１の領域Ｒ１と、第２の領域Ｒ２とが含まれる。第１の領域Ｒ１は、電子ルームミラー３０により表示される画像に対応する領域である。第２の領域Ｒ２は、車載ディスプレイ４０により表示されるリアビュー画像に対応する領域である。第１の領域Ｒ１の中心Ｃ１は、第２の領域Ｒ２の中心Ｃ２よりもやや上方に位置する。なお、第２の領域Ｒ２の中心Ｃ２は、撮像画像５０の中心、つまり撮像面の中心と同じ位置とする。

第１の領域Ｒ１の水平方向の画角は、θ１である。θ１は、例えば、４０°以上６０°以下程度である。第１の領域Ｒ１の垂直方向の画角は、θ３である。θ３は、１５°以上３０°以下程度である。

第２の領域Ｒ２の水平方向の画角は、θ２である。θ２は、例えば１５０°前後である。第２の領域Ｒ２の垂直方向の画角は、θ４である。θ４は、例えば１２０°前後である。

［１−１−２．画像処理装置］
図４は、実施の形態１における画像処理装置２０の構成を示す図である。画像処理装置２０は、第１インタフェース２３と、コントローラ２１と、第２インタフェース２５と、第３インタフェース２７と、データ記憶部２９と、を備える。

第１インタフェース２３は、撮像装置１０から画像データを入力する。コントローラ２１は、入力した画像データに対して所定の画像処理を行い、第１及び第２の画像データを生成する。第２インタフェース２５は、電子ルームミラー３０へ第１の画像データを送信する。第３インタフェース２７は、車載ディスプレイ４０へ、第２の画像データを送信する。記憶部２９は、コントローラ２１で実行されるプログラム等を格納する。

コントローラ２１はＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含む。コントローラ２１が、データ記憶部２９に格納されたプログラムを実行することで、画像処理装置２０は、以下に説明する機能を実現する。コントローラ２１は、専用のハードウェア回路を含んでも良い。すなわち、コントローラ２１は、ＣＰＵ、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ），ＦＰＧＡ（Ｆｉｅｌｄ‐Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等を含んでもよい。

［１−１−３．撮像装置］
図５は、実施の形態１の表示システム１００における撮像装置１０の構成を示す図である。撮像装置１０は、被写体を撮像して画像データを生成するカメラである。撮像装置１０は、光学系１２２と、撮像素子１２１と、信号処理回路１３１と、インタフェース１３３と、を備える。

実施の形態１の光学系１２２は、自由曲面レンズを含む。光学系１２２については、後述する。撮像素子１２１は、光学系１２２を介して受光した被写体像を撮像し、画像データを生成する。撮像素子１２１は、被写体像が結像される撮像面を有する。撮像面には、複数の画素が、二次元的に、より具体的にはマトリクス状に、配置されている。撮像素子１２１は例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。信号処理回路１３１は、画像データに対して所定の画像処理（ガンマ補正、歪曲補正等）を施す。インタフェース１３３は、信号処理回路１３１で信号処理された画像データを、外部機器へ出力する。インタフェース１３３は、例えば回路で実現されてもよい。

［１−１−３−１．光学系］
光学系１２２は、撮像素子１２１の撮像面に像を結像させるユニットである。光学系１２２は、レンズ、絞り、及びフィルター等を含む。図６は、光学系１２２の構成の一例を示す図である。図６は、光軸１２９を含む垂直面（撮像素子の水平方向を法線とする平面）で光学系１２２を仮想的に切断したときの断面から見た図である。ここで、光軸１２９は、撮像素子１２１の撮像面の中心を通過し、撮像面と直交する仮想線である。なお、光学系１２２が、光を反射するミラー、又はプリズムなどを備えている場合は、光軸は反射によって屈曲する。図６に示すように、光学系１２２は複数のレンズを含む。実施の形態１の光学系１２２は、特に自由曲面レンズ１２３、１２４を含む。

自由曲面レンズとは、結像のために光を屈折させる面が、非円弧状で、且つ回転対称ではないレンズである。なお、シリンドリカルレンズも円弧状レンズの一種として、自由曲面レンズとは異なるレンズとする。自由曲面レンズは、真円の一部ではない非円弧状の形状を有する。以上のような構造により、自由曲面レンズは、光学特性を、同心円状ではなく、かつ、上下左右対称ではない特性に設計できる。自由曲面レンズの材質は、特に限定されないが、ガラス又は樹脂などが挙げられる。自由曲面レンズの製造方法も特に限定されないが、例えば金型などの型を用いて自由曲面レンズを成形する製造方法が挙げられる。なお、同心円状の光学特性を有するレンズとしては、球面レンズ及び非球面レンズなどが挙げられる。また、上下対称かつ左右対称（つまり、１８０度回転対称）の光学特性を有するレンズとしては、アナモルフィックレンズ及びシリンドリカルレンズなどが挙げられる。これらのレンズは、自由曲面レンズと異なる。

実施の形態１では、自由曲面レンズ１２３及び自由曲面レンズ１２４の組み合わせにより、画角によって、結像する像の拡大率が異なる。特に、実施の形態１では、図３の（Ａ）に示すように、撮像面に結像される像（撮影画像５０）において、中心部分より上方の所定範囲の領域（第１の領域Ｒ１）の拡大率が、それ以外の領域（第２の領域Ｒ２）の拡大率よりも高くなるように、自由曲面レンズ１２３，１２４が設計されている。また、実施の形態１の自由曲面レンズ１２３，１２４を含む光学系１２２は、同心円状ではない光学特性を有する。したがって、光学系１２２は、使用される撮像素子１２１のアスペクトに依らず、自由に画角が設定される。具体的には、垂直方向の画角が必要最小限に留められ、積極的に削られることで、全体の解像度を上げている。

以上のように、実施の形態１では、像の拡大率を局所的に変えることにより、図３の（Ｂ）に示すように、撮像画像５０において、第１の領域Ｒ１における像の解像度が、それ以外の領域（第２の領域Ｒ２を含む）の像の解像度よりも大きくなる。つまり、第１の領域Ｒ１の画素は、第２の領域Ｒ２よりも密に配置される。なお、「像の解像度」については後述する。

図７の（Ａ）は、実施の形態１の自由曲面レンズ１２３及び１２４を含む光学系１２２により実現される、画角と像点の関係を示す図である。図７の（Ｂ）は、比較例として、等距離射影を行う魚眼レンズに対する画角と像点の関係を示す図である。図７の（Ａ），（Ｂ）は、光軸を中心として、撮像面の第一象限における画角と像点の関係を示している。他の象限については、第一象限との間で、縦軸、横軸に対して線対称となるような関係を有する。

図７の（Ａ），（Ｂ）においては、撮像面の水平方向及び垂直方向において、画角の１０°毎に像点がプロットされている。図７の（Ａ）に示すように、実施の形態１の自由曲面レンズ１２３，１２４を含む光学系１２２は、光軸に近いほど、つまり水平方向における画角が小さくなるほど、水平方向におけるドットの間隔は広くなっている。これは、水平方向については、画角が小さいほど、すなわち、画像の中心に近いほど、像がより拡大されて結像されることを意味している。

一方で、図７の（Ａ）に示すように、実施の形態１の自由曲面レンズ１２３，１２４は、垂直方向における画角が、光軸の中心よりやや上方に近いほど、垂直方向におけるドットの間隔が広くなっている。これは、垂直方向については、画角が撮像画像の中心よりやや上方に近いほど、像がより拡大されて結像されることを意味している。

これに対し、図７の（Ｂ）に示すように、比較例の魚眼レンズは、水平方向及び垂直方向における画角によらず、像の拡大率に顕著な変化がない。

図８の（Ａ）は、自由曲面レンズ１２３，１２４を含む光学系１２２で実現されるＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）特性を示す。図８の（Ｂ）は、比較例として、等距離射影を行う魚眼レンズに対するＭＴＦ特性を示す。評価周波数は、基本５１Ｌｐ／ｍｍで、拡大率に応じて変動させている。図８の（Ａ），（Ｂ）において、実線はサジタル（同心円）方向における特性であり、破線はメリジオナル（放射）方向における特性である。図８の（Ａ）に示すように、画角が低い領域のＭＴＦ値は、画角が高い領域のＭＴＦ値よりも高い値となっている。また、図８の（Ａ），（Ｂ）から、実施の形態１の自由曲面レンズ１２３，１２４を含む光学系１２２の方が、メリジオナル方向において比較例の魚眼レンズよりも広い範囲に亘って（特に画角が大きい領域において）良好なＭＴＦ値が得られていることがわかる。

以上のような光学特性を持つように自由曲面レンズ１２３，１２４を含む光学系１２２を設計することで、図３の（Ｂ）に示すように、撮像素子１２１により生成される撮像画像５０において、第１の領域Ｒ１に結像される像の解像度を、それ以外の領域（たとえば第２の領域Ｒ２）に結像される像の解像度よりも大きく（すなわち、密に）することができる。

ここで、像の解像度とは、光学系１２２を介して撮像素子１２１上に形成される単位画角の像を撮像するために使用される撮像素子１２１の画素の数とする（下記の式（１）参照）。

解像度＝所定画角の像を撮像するのに要する画素の数／所定画角 （１）
図９を参照し、像の解像度について具体的に説明する。図９に示すように、光軸１２９を含み画角θ１の範囲の第一領域ｒ１の被写体像と、領域ｒ１に隣接し、同じ画角θ１を有する第二領域ｒ２の被写体像とを光学系１２２を介して撮像素子１２１上に結像する場合を検討する。ここでは、説明の簡単化のために水平方向における解像度について検討する。第一領域ｒ１は、図２の第１領域Ｒ１に対応する。第二領域ｒ２は、図２の第２領域Ｒ２に対応する。図９の（Ｂ）は、光軸を含む水平面で仮想的に切断したときの撮像素子１２１上の結像状態を模式的に説明する図である。図９の（Ａ）は、撮像素子１２１の撮像面に結像される像の状態を模式的に説明する図である。

実施の形態１の光学系１２２は、前述のように第一領域ｒ１の拡大率（Ｍ１）が、それ以外の領域の拡大率（Ｍ２）よりも高くなるように設計されている。このため、光学系１２２を介して撮像素子１２１により、中央部分（光軸）を含む第一領域ｒ１の被写体を撮像した場合、図９に示すように、第一領域ｒ１の像は拡大率Ｍ１で拡大されて撮像面に結像される。このときの撮像面に結像される第一領域ｒ１の像の長さをＬ１とする。中央部分（光軸）から水平方向に離れた第二領域ｒ２の被写体を撮像した場合、中央部分の拡大率Ｍ１よりも低い拡大率Ｍ２で像が拡大されて撮像面に結像される。このため、撮像面上の第二領域ｒ２の像の長さＬ２は、第一領域ｒ１の像の長さＬ１よりも小さくなる。

実施の形態１の撮像素子１２１上では、二次元的に等間隔で画素が配置されているため、水平方向の像の長さが大きいほど、その像の撮像に要する画素の数は多くなる。つまり、長さＬ１を有する第一領域ｒ１の像を撮像するのに要する画素の数Ｎ１は、長さＬ２（＜Ｌ１）を有する第二領域ｒ２の像を撮像するのに要する画素の数Ｎ２よりも多くなる。なお、前述の通り、第一領域ｒ１の画角と第二領域ｒ２の画角は同じ（θ１）である。

したがって、第一領域ｒ１に対する像の解像度（＝Ｎ１／θ１）（単位画角当たりの画素の数）は、第二領域ｒ２に対する像の解像度（＝Ｎ２／θ１）よりも高くなる。同様に、第１の領域Ｒ１の像の解像度は、第２の領域Ｒ２の像の解像度よりも高くなる。

なお、本例では、解像度が異なるとは、光学系（例えば、一般的な回転対称な球面レンズ及び非球面レンズを含む光学系）と、平面の撮像素子との組み合わせによって発生する解像度の相違を意味している。

以上のように、実施の形態１の光学系１２２（自由曲面レンズ１２３、１２４）は、画角に応じて拡大率が異なり、その結果、撮像素子１２１の撮像面上に結像される画像の解像度が、画角（すなわち、画像の領域）に応じて異なる。具体的には、図３の（Ｂ）に示すように、撮像面上に結像される像（撮像画像５０）において、水平方向の画角θ１かつ垂直方向の画角θ３に対応する第１の領域Ｒ１での解像度が、第１の領域Ｒ１以外の領域の解像度よりも高くなっている。

［１−２．動作］
以上のように構成された表示システム１００について、その動作を以下に説明する。

実施の形態１の表示システム１００は、車両２００内に設定されている。表示システム１００において、撮像装置１０は車両後方のシーンの画像を撮像する。図４の画像処理装置２０は、第１インタフェース２３を介して、撮像装置１０により生成された画像データ（動画）を受信する。

画像処理装置２０（コントローラ２１）は、撮像装置１０により撮像され、所定の画像処理（例えば、ガンマ補正、及び歪曲補正を含むキャリブレーション）が施された撮像画像５０（図３参照）から、図１の電子ルームミラー３０及び車載ディスプレイ４０に表示させるための画像を生成する。

具体的には、図１０の（Ａ），（Ｂ）に示すように、画像処理装置２０（コントローラ２１）は、撮像画像５０に画像処理を施すことにより、画素の粗密を均一化する。つまり、画像処理装置２０（コントローラ２１）は、画素が疎の領域の画素を補間する。さらに、図１０の（Ｂ）に示すように、画像処理装置２０（コントローラ２１）は、画像が自然に見えるように、撮像画像５０に対して歪曲補正処理を施す。なお、実施の形態１において、たとえば図１０の（Ｂ）補間後の状態では、図１０の（Ａ）補間前の状態と比べて、画素が１．７倍〜１．８倍程度となる条件で、本開示の撮像システム７０は構成される。

さらに、図１０の（Ｄ）に示すように、画像処理装置２０は、撮像画像５０から中央部分の領域Ｒ１（水平画角θ１、垂直画角θ３）の画像を切り出す。このとき、画像処理装置２０は、第１の領域Ｒ１の画像が、運転席から車両２００の真後ろを水平に見たときの画像となるように、第１の領域Ｒ１の画像の視点を変換する。そして、画像処理装置２０は、切り出した画像を電子ルームミラー３０の表示に適したサイズにリサイズして、電子ルームミラー３０に表示させるための画像５４（第１の画像の例）を生成する。画像５４は、図４の第２インタフェース２５を介して電子ルームミラー３０に送信される。電子ルームミラー３０は、画像処理装置２０から画像５４のデータを受信して表示する。ここで、撮像画像５０における中央部分の領域Ｒ１には、光学系１２２を介することで解像度の高い像が生成されている。このため、画像５４は、ルームミラー用の画像として好適な高い解像度を有する画像となる。

さらに、図１０の（Ｃ）に示すように、画像処理装置２０は、撮像画像５０から、第２の領域Ｒ２（水平画角θ２、垂直画角θ４）の画像を切り出す。このとき、画像処理装置２０は、第２の領域Ｒ２の画像が、車両２００の真後ろからやや斜め下方を見るときの画像となるように、必要に応じて第２の領域Ｒ２の画像の視点を変換する。そして、画像処理装置２０は、切り出した画像を車載ディスプレイ４０での表示に適したサイズにリサイズして、画像５２（第２の画像の例）を生成する。画像５２は、図４の第３インタフェース２７を介して車載ディスプレイ４０に送信される。このようにして、リアビュー画像として表示させる画像５２が生成される。車載ディスプレイ４０は、画像処理装置２０から画像５２のデータを受信して表示する。これにより、車載ディスプレイ４０には、車両後方のシーンが撮影された広角の画像が表示される。

図１１は、実際の画像の例を示す図である。撮像装置１０により図１１の（Ａ）に示すような撮像画像５０が生成された場合、電子ルームミラー３０には、撮像画像５０の第１の領域Ｒ１から生成された、図１１の（Ｃ）に示すような画像５４が表示される。車載ディスプレイ４０には、図１１の（Ａ）に示す第２の領域Ｒ２から生成された、図１１の（Ｂ）に示すようなリアビュー用画像５２が表示される。

なお、図１２は、実施の形態１との比較例における撮像画像を示す。図１２の比較例では、自由曲面レンズ１２３，１２４を用いた光学系１２２を、自由曲面レンズに代えて一般的な回転対称な魚眼レンズを用いた光学系とした場合の、撮像画像である。回転対称な魚眼レンズを用いた光学系では、同心円状に光学特性が変化する。したがって、撮像素子１２１のアスペクトに依存して水平・垂直画角が決まるため、必要な画角を得ようとすると、撮像素子全体に画像を結像させることができず、撮像素子１２１を有効に活用できない。その結果第１の領域Ｒ１及び第２の領域Ｒ２共に低解像度な画像が得られる事になる。また図８（Ｂ）に示されるように比較例の魚眼レンズの光学特性は撮像画像５０の中心が最も良好である。つまり、第１の領域Ｒ１の画質を高めるためには、第１の領域Ｒ１の中心と撮像画像の中心とを一致させる必要がある。

つまり、実施の形態１では、回転対称な魚眼レンズと比較して第１の領域Ｒ１の中心を撮像画像５０（及び第２の領域Ｒ２）の中心からずらすことができ、かつ第１の領域Ｒ１の画素を第２の領域Ｒ２よりも画素を密にすることができる。

以上のように、実施の形態１の表示システム１００によれば、１台の撮像装置によって画角及び像の解像度が異なる２種類の画像を生成できる。これにより、実施の形態１では、一つの撮像装置により、電子ルームミラー３０には、解像度の高い鮮明な画像を表示でき、車載ディスプレイ４０には広角な画像を表示でき、簡単な構成の表示システムを実現できる。

［１−３．特性］
図１４は、従来例と、比較例と、実施の形態１の表示システムの特性を比較するための図である。図１４では、従来例における電子ルームミラーの解像度を基準とし、この基準を満たすのに必要な、撮像素子及びレンズの特性を示している。

図１４に示す、「従来例」の表示システムとは、従来から開示されている表示システムであり、２つのカメラを用いて、それぞれ電子ルームミラー３０用の画像と車載ディスプレイ４０の画像とを得る例である。各カメラは、撮像素子と光学系とを備える。

図１４の従来例において、各カメラの撮像素子は、同じである。撮像素子の画素数は、１．３Ｍ程度であり、この撮像素子は、車載用としての信頼性を満たす。また図１４の従来例の、電子ルームミラー３０用のカメラにおいて、光学系のレンズは、通常の、つまり一般的な、回転対称レンズである。なお、回転対称レンズは、自由曲面レンズとは異なる。また、従来例の車載ディスプレイ４０用のカメラにおける、光学系のレンズも、通常の回転対称レンズである。より具体的には、当該レンズは魚眼レンズである。なお、図１４において、「電子ルームミラー切り出しエリア光学倍率」欄には、従来例の、車載ディスプレイ４０用の画像に対する、電子ルームミラー用の画像の光学倍率（光の拡大率）を基準する値が表示されている。したがって、図１４の従来例の光学倍率を、１．０倍とする。

図１４の従来例の電子ルームミラー３０用の画像において、水平方向の画角は８０°程度、垂直方向の画角は６０°程度である。また、従来例の車載ディスプレイ４０用の画像において、水平方向の画角は２００°程度、垂直方向の画角は１５０°程度である。以上のような条件における、電子ルームミラー３０の画像の解像度を、基準とする。

一方で、比較例の表示システムでは、カメラの数は一つである。つまり、比較例では、実施の形態１と同様に、一つのカメラで得られた画像から、電子ルームミラー３０用の画像と車載ディスプレイ４０用の画像を得ている。

比較例の表示システムでは、撮像素子の画素数は、８．０Ｍ以上を要する。また、比較例のレンズは、回転対称レンズであり、具体的には魚眼レンズである。電子ルームミラー３０用の画像の領域（第１の領域Ｒ１）における光学倍率は、１．０倍である。つまり、従来例と同程度である。また、車載ディスプレイ４０用の画像の領域（第２の領域Ｒ２）における画角は、従来例と同程度である。

比較例の表示システムでは、レンズとして自由曲面レンズを用いていないため、電子ルームミラー３０用の画像の領域（第１の領域Ｒ１）における光学倍率は、１．０倍である。したがって、第１の領域Ｒ１の解像度を基準と同程度にするためには、従来例よりも高画素の撮像素子を用いる必要がある。ここで、表示システムは、車載用であるため、高い信頼性が求められる。高い信頼性を有し、かつ高画素である撮像素子を実現するのは、技術的にも難しくコストが増加するという課題がある。

これに対し、実施の形態１では、光学系１２２に自由曲面レンズが用いられる。したがって、第１の領域Ｒ１の光学倍率は、１．５倍以上となり、比較例よりも大きい。これにより、撮像素子の画素数が比較的低くても、第１の領域Ｒ１の解像度を基準と同程度にすることができる。画素数の低い撮像素子を用いることは信頼性向上に有益である。また、コスト低減にも有益である。

また、レンズにより局所的に高画素を実現できるため、撮像素子の画素自体を局所的に変える方法を用いる必要がない。したがって、画質が安定しやすい。また、撮像素子の画素自体を局所的に変える方法では、暗所での性能確保のため、撮像素子サイズを拡大する必要がある。その結果、光学系サイズが大きくなり、またコストも増大する場合がある。これに対し本実施の形態では、光学系サイズの増大を抑制できる。また、本実施の形態では、コストの増加を抑制できる。

［１−４．効果等］
以上のように、実施の形態１の撮像システム７０は、自動車（移動体）の後部に配置される撮像システム７０である。撮像システム７０は、撮像装置１０と、画像処理装置２０と、を含む。撮像装置１０は、撮像素子１２１と、光学系１２２と、を含む。撮像素子１２１は、複数の画素が二次元的に配置され、画像データを生成するように構成されている。光学系１２２は、撮像素子１２１の撮像面に被写体像を結像するように構成されている。画像処理装置２０は、画像データに基づいて撮像画像を生成するように構成されている。撮像素子１２１の撮像面は、第１の画角に対応する第１の領域Ｒ１と、第１の画角よりも大きい第２の画角に対応する第２の領域Ｒ２と、を含む。撮像面において、複数の画素のうち単位画角当たりの画素の数を解像度とする場合に、光学系１２２は、第１の領域Ｒ１の解像度が、第１の領域を除く第２の領域Ｒ２の解像度よりも高くなるように構成されている。また第１の領域Ｒ１の中心は、撮像面の中心からずれた位置に配置されている。

また実施の形態１の表示システム１００は、撮像システム７０と、第１の画像５４を表示する電子ルームミラー３０（第１の表示装置の一例）及び第２の画像５２を表示する車載ディスプレイ４０（第２の表示装置の一例）のうちの少なくとも１つと、を備える。

上記の構成において、撮像装置１０は、被写体像の解像度が異なる撮像画像５０を生成できる。撮像システム７０は、このような撮像画像５０における解像度の高い部分を切り出すことで、十分な解像度の画像を生成できる。よって、撮像画像５０から画角の異なる複数の画像（元のサイズの撮像画像と切り出した画像）を得ることができる。これにより、表示システム１００において、複数の解像度の画像を得る際に、１台の撮像装置を準備すればよく、表示システム１００の構成を簡略化できる。

また、第１の画角は、撮像素子１２１の中心（光軸）を含む画角である。第２の画角は、第１の画角よりも大きい。第１の画角に対応する撮像面の領域の解像度は、第２の画角に対応する撮像面の領域の解像度よりも高い。これにより、高い解像度の第１の画像５４が得られるとともに、広角な第２の画像５２が得られる。なお、第１の画角と第２の画角とは、いずれも水平方向の画角でもよく、いずれも垂直方向の画角でもよく、いずれも水平方向及び垂直方向の画角でもよい。

また第１の領域Ｒ１の中心Ｃ１は、撮像面の中心からずれた位置に配置される。つまり、第１の領域Ｒ１の画像を、たとえば水平方向を向いた画像とし、第２の領域Ｒ２の画像を、たとえばリアバンパ２０１を含むように斜め下方を向いた画像とすることができる。したがって、それぞれの表示装置の用途に応じた画像を一つの画像から得ることができる。なお、中心からずれた位置とは、中心から水平方向にずれた位置でもよく、中心から垂直方向にずれた位置でもよく、中心から水平方向及び垂直方向にずれた位置でもよい。

また、実施の形態１において、光学系１２２は、第１の領域Ｒ１に結像する光の拡大率が、第１の領域を除く第２の領域Ｒ２に結像する光の拡大率よりも大きくなるように設計されている。これにより第１の領域Ｒ１の解像度は、第１の領域を除く第２の領域Ｒ２の解像度よりも高くなる。

また、実施の形態１において、光学系１２２は自由曲面レンズ１２３，１２４を含む。自由曲面レンズを使用することで、撮像面の所望の領域における拡大率を自由に設計できる。

また、実施の形態１では、第１の画像５４を表示する第１の表示装置（電子ルームミラー３０）と、第２の画像５２を表示する第２の表示装置（車載ディスプレイ４０）とを含む。これにより、高画質な画像を電子ルームミラー３０に投影し、広角な画像を車載ディスプレイに投影できる。

また、実施の形態１では、第１の表示装置としての電子ルームミラー３０は、移動体としての自動車が移動中に、第１の画像を表示する。これにより実施の形態１では、運転中に、高画質な画像を電子ルームミラー３０に投影できる。

また、実施の形態１では、第２の表示装置としての車載ディスプレイ４０は、移動体が後進する際に、第２の画像を表示する。これにより実施の形態１では、ユーザは、車載ディスプレイ４０をリアビューモニタとして利用し、たとえば自動車の車庫入れの際に、後方を容易に確認できる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。

実施の形態１では、図２に示すように、撮像装置１０が車両２００の後方の中心に配置されているが、図１５の（Ａ）に示すように、撮像装置１０Ａが、車両２００の後方の中心よりも水平方向にずれた位置に配置されていてもよい。この場合、実施の形態１では、図１５の（Ｂ）に示すように、第１の領域Ｒ１の中心は、撮像面の中心から水平方向にずれていないのに対し、図１５の（Ｃ）に示すように、第１の領域Ｒ１の中心が、撮像面の中心から垂直方向だけでなく、水平方向にもずれる。なお、自由曲面レンズを用いる場合は、垂直方向だけでなく水平方向の画角に対しても、拡大率を自由に設計できる。

ここで、実施の形態１の撮像装置１０と撮像装置１０Ａの、第１の領域Ｒ１に対応する画角θ１について、補足する。通常、電子ルームミラーに写す被写体のメインは、図１５の（Ａ）に示すように、後方車両３００であると考えられる。したがって、撮像装置１０Ａがいずれの位置に配置される場合も、水平方向の画角は、後方車両３００が確実に写るように定められる。したがって、撮像装置１０Ａの位置が、車両の中央からさほど水平方向にずれていない場合は、撮像装置１０Ａの画角θ１Ａが撮像装置１０の画角θ１と同じであってもよい。また、撮像装置１０Ａの位置が、車両の中央から水平方向に大きくずれている場合は、撮像装置１０Ａの画角θ１Ａを撮像装置１０の画角θ１よりも大きくしてもよい。

また、上記の実施の形態１では、表示装置として、電子ルームミラーと車載ディスプレイを例示したが、表示装置の種類はこれらに限定されない。本開示の思想は、用途に応じて種々のタイプの表示装置（例えば、ヘッドアップディスプレイ）を用いた表示システムに適応できる。

上記の実施の形態では、画角の異なる画像５４，５２を、それぞれ別々の表示装置３０，４０で表示させたが、同一の表示装置上に、同時にまたは選択的に表示させるようにしてもよい。すなわち、画像５４，５２は少なくとも１つの表示装置上で表示されればよい。

上記の実施の形態では、撮像装置１０を車両後方のシーンを撮像するように配置したが、撮像装置１０を車両の前方や側方のシーンを撮像するように配置してもよい。

上記の実施の形態では、撮像装置１０において画像に対するガンマ補正、及び歪曲補正を行ったが、これらの処理を画像処理装置２０において行っても良い。または、撮像装置１０においてガンマ補正を行い、画像処理装置２０において歪曲補正を行ってもよい。

上記の実施の形態では、表示システム１００を車両（自動車）２００に適用した例を説明したが、自動車に限らず、表示システム１００を他の移動体（鉄道、船舶、航空機、ロボット、ロボットアーム、ドローン等）に適用してもよい。または、表示システム１００または撮像装置１０を、監視カメラ、外科手術用の医療機器に適用してもよい。

上記の実施の形態では、撮像画像５０における切り出し領域を１つだけ設定したが、複数の切り出し領域を設定してもよい。この場合、それぞれの切り出し領域（画角）において所望の解像度（拡大率）が得られるように光学系（すなわち、自由曲面レンズ）の光学特性を設計すればよい。

以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。

したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。

また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、又は省略などを行うことができる。

本開示のシステムは、高い解像度を有する画像を含む複数の画角の画像を１台の撮像装置で提供することができ、種々の用途（移動体での撮像システムや表示システム、または、監視カメラ等）に適用することができる。

１０，１０Ａ 撮像装置
２０ 画像処理装置
３０ 電子ルームミラー
４０ 車載ディスプレイ
５０ 撮像画像
５２ 第２の画像
５４ 第１の画像
７０ 撮像システム
１００ 表示システム
２００ 車両
２０１ リアバンパ
３００ 後方車両
Ｒ１ 第１の領域
Ｒ２ 第２の領域

Claims (10)

1. 移動体の後部に配置される撮像システムであって、
   複数の画素が二次元的に配置され、画像データを生成する撮像素子と、前記撮像素子の撮像面に被写体像を結像する光学系と、を含む撮像装置と、
   前記画像データに基づいて撮像画像を生成する画像処理装置と、
   を備え、
   前記撮像面は、第１の画角に対応する第１の領域と、前記第１の画角よりも大きい第２の画角に対応する第２の領域と、を含み、
   前記撮像面において、前記複数の画素のうち単位画角当たりの画素の数を解像度とする場合に、前記光学系は、前記第１の領域の前記解像度が、前記第１の領域を除く前記第２の領域の前記解像度よりも高くなるように構成され、
   前記第１の領域の中心は、前記撮像面の中心からずれた位置に配置され、
   前記撮像面は、前記光学系の光軸の全周に渡って存在する、撮像システム。
2. 前記光学系は、前記第１の領域に結像する光の拡大率が、前記第１の領域を除く前記第２の領域に結像する前記光の拡大率よりも大きくなるように設計されている、請求項１に記載の撮像システム。
3. 前記光学系は自由曲面レンズを含む、請求項１に記載の撮像システム。
4. 請求項１から３のいずれか一つに記載の撮像システムと、
   前記撮像画像のうち、前記第１の領域に生成される第１の画像及び前記第２の領域に生成される第２の画像の、少なくとも一方を表示する表示装置と、を備えた表示システム。
5. 前記表示装置は、前記第１の画像を表示する第１の表示装置と、前記第２の画像を表示する第２の表示装置とを含む、請求項４に記載の表示システム。
6. 前記第１の表示装置は、前記移動体が移動中に前記第１の画像を表示する、請求項５に記載の表示システム。
7. 前記第２の表示装置は、前記移動体が後進する際に前記第２の画像を表示する、請求項５に記載の表示システム。
8. 前記移動体は、自動車、鉄道、船舶、航空機、ロボット、ロボットアーム及びドローンのいずれか一つである、請求項４から７のいずれか一つに記載の表示システム。
9. 前記第１の領域の前記中心は、前記光学系の前記光軸が通過する前記撮像面の位置からずれた前記位置に配置された、請求項１に記載の撮像システム。
10. 前記撮像面の前記中心は、前記光学系の前記光軸が通過する前記撮像面の前記位置に配置された、請求項９に記載の撮像システム。