JP2021152543A - 車両用処理システム - Google Patents

Abstract

【課題】単眼カメラで被写体のサイズを取得することができる車両用処理システムを提供する。【解決手段】実施形態によれば、処理装置は、サイズ算出部と、判断部と、を具備する。前記サイズ算出部は、単一の結像光学系による１度の撮像で画像とともに取得される距離マップであって、各画素の画素値が距離を示す画像として生成され、前記画像に含まれる被写体までの距離を示す情報が前記画像と対応させてマッッピングされる距離マップの各画素を、各々の画素値で示される距離を使って３次元空間上に投影し、前記３次元空間上に投影された画素間の距離から前記被写体のサイズを算出する。前記判断部は、前記被写体のサイズに基づき、車両の駆動方法を判断する。【選択図】図１

Description

本発明の実施形態は、車両用処理システムに関する。

ステレオカメラ（複眼カメラ）で撮像された被写体のサイズ、たとえば被写体上の指定された２点間の長さを取得する技術が知られている。

特開２０１１−２３２３３０号公報

本発明が解決しようとする課題は、単眼カメラで被写体のサイズを取得することができる車両用処理システムを提供することである。

実施形態によれば、車両用処理システムは、サイズ算出部と、判断部と、を具備する。前記サイズ算出部は、単一の結像光学系による１度の撮像で画像とともに取得される距離マップであって、各画素の画素値が距離を示す画像として生成され、前記画像に含まれる被写体までの距離を示す情報が前記画像と対応させてマッッピングされる距離マップの各画素を、各々の画素値で示される距離を使って３次元空間上に投影し、前記３次元空間上に投影された画素間の距離から前記被写体のサイズを算出する。前記判断部は、前記被写体のサイズに基づき、車両の駆動方法を判断する。

第１実施形態の処理装置の機能ブロックの一例を示す図。 第１実施形態の処理装置のハードウェア構成の一例を示す図。 第１実施形態の撮像装置の一構成例を示すブロック図。 第１実施形態のフィルタの一構成例を示す図。 第１実施形態のフィルタ領域の透過率特性の一例を示す図。 第１実施形態のカラー開口による光線変化およびぼけの形状を説明するための図。 第１実施形態の基準画像のぼけ関数の一例を示す図。 第１実施形態の対象画像のぼけ関数の一例を示す図。 第１実施形態のぼけ補正フィルタの一例を示す図。 第１実施形態の画像および距離マップの一例を示す図。 第１実施形態の処理システムの処理の流れの一例を示すフローチャート。 第１実施形態の処理システムによる被写体のサイズの一出力例を示す図。 第１実施形態の処理システムによる被写体の移動距離の一出力例を示す図。 一般的なモーションキャプチャシステムについて説明するための図。 第１実施形態の処理システムによる被写体のサイズのさらなる一出力例を示す図。 第１実施形態の処理システムによる被写体のサイズのさらなる一出力例を示す図。 第１実施形態の処理装置の移動体への一適用例を説明するための図。 第１実施形態の処理装置の移動体へのさらなる一適用例を説明するための図。 第１実施形態の処理装置の自動ドアシステムへの一適用例を説明するための図。 第１実施形態の処理装置の機能ブロックの一変形例を示す図。 第２実施形態の処理装置の機能ブロックの一例を示す図。 第２実施形態の処理装置のロボットへの一適用例を説明するための図。 第３実施形態の処理装置の機能ブロックの一例を示す図。 第３実施形態の処理装置の移動体への一適用例を説明するための図。

以下、実施形態について図面を参照して説明する。
（第１実施形態）
まず、第１実施形態について説明する。
図１は、第１実施形態の処理装置の機能ブロックの一例を示す図である。
この処理装置１は、撮像により得た距離マップ（距離画像）２Ｂから被写体のサイズを算出し、算出した被写体のサイズを出力する。処理装置１は、さらに画像２Ａも用いて被写体のサイズを算出してもよい。被写体のサイズは、たとえば画像２Ａと同時に表示部３へ表示されてもよい。画像２Ａおよび距離マップ２Ｂの詳細については後述するが、画像２Ａおよび距離マップ２Ｂは、たとえば、画像２Ａおよび距離マップ２Ｂを生成する撮像装置から直接的に取得してもよいし、画像２Ａおよび距離マップ２Ｂを格納する、ネットワークを介して接続されるサーバから取得してもよい。表示部３は、たとえば、液晶ディスプレイや、液晶ディスプレイ上にタッチパネルが配置されるタッチスクリーンディスプレイなどである。

処理装置１は、（画像２Ａおよび距離マップ２Ｂを生成する）撮像装置および表示部３とともに処理システムを構成し得る。処理システムは、たとえば、カメラ、ドライブレコーダなどの録画機器、カメラ機能を有するスマートフォン、カメラ機能を有するパーソナルコンピュータ、監視システム、カメラ機能を有する、車両、飛翔体、ロボットなどの移動体などとして実現され得る。

図１に示すように、処理装置１は、サイズ算出部１１と、出力情報生成部１２とを有する。
サイズ算出部１１は、距離マップ２Ｂから画像２Ａ上の被写体のサイズを算出する機能を担う処理部である。サイズ算出部１１は、さらに画像２Ａを用いて被写体のサイズを算出してもよい。出力情報生成部１２は、被写体のサイズに基づく出力情報を生成して出力する機能を担う処理部である。出力情報は、たとえば画像２Ａと同時に表示部３へ表示するための情報である。

図２は、処理装置１のハードウェア構成の一例を示す図である。
図２に示すように、処理装置１は、ＣＰＵ１０１、ＲＡＭ１０２、不揮発性メモリ１０３、入出力部１０４および通信部１０５を有し、また、ＣＰＵ１０１、ＲＡＭ１０２、不揮発性メモリ１０３、入出力部１０４および通信部１０５を相互に接続するバス１０６を有する。

ＣＰＵ１０１は、不揮発性メモリ１０３に格納されているコンピュータプログラムをＲＡＭ１０２へロードして実行することにより、図１に示したサイズ算出部１１および出力情報生成部１２を含む処理装置１の各処理部を実現するプロセッサである。ここでは、処理装置１の各処理部が、１つのＣＰＵ１０１、すなわち単一のプロセッサで実現される例を示したが、処理装置１の各処理部は、複数のプロセッサで実現されてもよい。処理装置１の各処理部は、専用の電子回路で実現されてもよい。ＲＡＭ１０２は、主記憶装置として用いられる記憶メディアであり、不揮発性メモリ１０３は、補助記憶装置として用いられる記憶メディアである。

入出力部１０４は、たとえば、撮像装置から画像２Ａおよび距離マップ２Ｂを入力したり、ユーザからの指示を入力したり、表示画面を表示部３へ出力したり、といった入出力を実行するモジュールである。ユーザからの指示は、キーボード、ポインティングデバイス、操作ボタンなどの操作に伴って入力されてもよいし、表示部３がタッチスクリーンディスプレイである場合、タッチスクリーンディスプレイ上でのタッチ操作に伴って入力されてもよい。通信部１０５は、たとえば、ネットワークを介した外部機器との通信、周辺に存在する外部機器との無線通信などを実行するモジュールである。画像２Ａおよび距離マップ２Ｂは、通信部１０５により取得されてもよい。

ここで、画像２Ａおよび距離マップ２Ｂの詳細について説明する。
図３は、画像２Ａおよび距離マップ２Ｂを生成する撮像装置の一構成例を示すブロック図である。
図３に示すように、撮像装置１００は、フィルタ１１０、レンズ１２０、イメージセンサ１３０および画像処理部（処理装置）１４０を有する。図３中、フィルタ１１０からイメージセンサ１３０までの矢印は、光の経路を示す。また、イメージセンサ１３０から画像処理部１４０までの矢印は、電気信号の経路を示す。画像処理部１４０は、前述したサイズ算出部１１および出力情報生成部１２のほか、画像取得部１４１、距離算出部１４２および第２出力情報生成部１４３を有する。

イメージセンサ１３０は、フィルタ１１０およびレンズ１２０を透過した光を受光し、受光した光を電気信号に変換（光電変換）することにより、画像を生成する。イメージセンサ１３０には、たとえば、ＣＣＤ（Charge Coupled Device）や、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）が用いられる。イメージセンサ１３０は、たとえば、赤色（Ｒ）の光を受光する撮像素子（第１のセンサ１３１）と、緑色（Ｇ）の光を受光する撮像素子（第２のセンサ１３２）と、青色（Ｂ）の光を受光する撮像素子（第３のセンサ３３）とを有する。各撮像素子は、対応する波長帯域の光を受光し、受光した光を電気信号に変換する。この電気信号をＡ／Ｄ変換することにより、カラー画像（画像２Ａ）を生成することができる。なお、赤、緑、青の撮像素子毎の電気信号を用いて、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ生成することもできる。つまり、カラー画像、Ｒ画像、Ｇ画像、Ｂ画像を同時に生成することができる。換言すると、撮像装置１００は、１度の撮像で、カラー画像、Ｒ画像、Ｇ画像、Ｂ画像を得ることができる。フィルタ１１０、レンズ１２０、およびイメージセンサ１３０は、単一の光学系を形成する。

フィルタ１１０は、２以上のカラーフィルタ領域を有する。カラーフィルタ領域それぞれは、撮像装置の光学中心に対して非対称な形状である。１つのカラーフィルタ領域が透過する光の波長領域の一部と他の１つのカラーフィルタ領域が透過する光の波長領域の一部は、例えば重複する。１つのカラーフィルタ領域が透過する光の波長領域は、例えば他の１つのカラーフィルタ領域が透過する光の波長領域を含んでもよい。

図４に、フィルタ１１０の一構成例を示す。フィルタ１１０は、たとえば、２色のカラーフィルタ領域である、第１のフィルタ領域１１１と第２のフィルタ領域１１２とで構成される。フィルタ１１０の中心は、撮像装置１００の光学中心１１３と一致している。第１のフィルタ領域１１１および第２のフィルタ領域１１２は、それぞれ、光学中心１１３に対して非点対称である形状を有している。また、たとえば各フィルタ領域１１１，１１２は重複せず、かつ、２つのフィルタ領域１１１，１１２によってフィルタ領域の全領域を構成している。図４に示す例では、第１のフィルタ領域１１１および第２のフィルタ領域１１２は、それぞれ、円形のフィルタ１１０が光学中心１１３を通る線分で分割された半円の形状を有している。また、第１のフィルタ領域１１１は、たとえばイエロー（Ｙ）のフィルタ領域であり、第２のフィルタ領域１１２は、たとえばシアン（Ｃ）のフィルタ領域である。以下、図４に示したフィルタ１１０が用いられることを想定して説明する。

たとえば図４に示したフィルタ１１０がカメラの開口部に配置されることにより、開口部が２色で２分割された構造開口であるカラー開口が構成される。このカラー開口を透過する光線に基づいて、イメージセンサ１３０は画像を生成する。イメージセンサ１３０に入射する光の光路上において、フィルタ１１０とイメージセンサ１３０との間にレンズ１２０が配置されてもよい。イメージセンサ１３０に入射する光の光路上において、レンズ１２０とイメージセンサ１３０との間にフィルタ１１０が配置されてもよい。レンズ１２０が複数設けられる場合、フィルタ１１０は、２つのレンズ１２０の間に配置されてもよい。

第２のセンサ１３２に対応する波長帯域の光は、イエローの第１のフィルタ領域１１１とシアンの第２のフィルタ領域１１２の両方を透過する。第１のセンサ１３１に対応する波長帯域の光は、イエローの第１のフィルタ領域１１１を透過し、シアンの第２のフィルタ領域１１２を透過しない。第３のセンサ１３３に対応する波長帯域の光は、シアンの第２のフィルタ領域１１２を透過し、イエローの第２のフィルタ領域１１２を透過しない。

なお、ある波長帯域の光がフィルタまたはフィルタ領域を透過するとは、フィルタまたはフィルタ領域が高い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰（すなわち、光量の低下）が極めて小さいことを意味する。また、ある波長帯域の光がフィルタまたはフィルタ領域を透過しないとは、光がフィルタまたはフィルタ領域に遮蔽されることであり、たとえば、フィルタまたはフィルタ領域が低い透過率でその波長帯域の光を透過し、そのフィルタまたはフィルタ領域による当該波長帯域の光の減衰が極めて大きいことを意味する。たとえばフィルタまたはフィルタ領域は、ある波長帯の光を吸収することにより光を減衰させる。

図５は、第１のフィルタ領域１１１および第２のフィルタ領域１１２の透過率特性の例を示す図である。図５に示すように、イエローの第１のフィルタ領域１１１の透過率特性１５１では、Ｒ画像およびＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｂ画像に対応する波長帯域の光がほとんど透過されていない。また、シアンの第２のフィルタ領域１１２の透過率特性１５２では、Ｂ画像およびＧ画像に対応する波長帯域の光が高い透過率で透過され、Ｒ画像に対応する波長帯域の光がほとんど透過されていない。

したがって、Ｒ画像に対応する波長帯域の光は、イエローの第１のフィルタ領域１１１のみを透過し、Ｂ画像に対応する波長帯域の光は、シアンの第２のフィルタ領域１１２のみを透過するので、Ｒ画像上およびＢ画像上のぼけの形状は、被写体までの距離ｄに応じて、より詳細には、距離ｄと合焦距離ｄfとの差分に応じて変化する。また、各フィルタ領域１１１，１１２は、光学中心に対して非対称な形状なので、Ｒ画像上およびＢ画像上のぼけの形状は、被写体が合焦距離ｄfよりも手前にあるか、それとも奥にあるかによって異なる。すなわち、Ｒ画像上およびＢ画像上のぼけの形状は偏っている。

図６を参照して、フィルタ１１０が配置されたカラー開口による光線変化と、ぼけの形状とについて説明する。
被写体２００が合焦距離ｄfよりも奥にある場合（ｄ＞ｄf）、イメージセンサ１３０によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数（ＰＳＦ：Point Spread Function）は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数１６１Ｒは左側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１６１Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１６１Ｂは右側に偏ったぼけの形状を示している。

また、被写体２００が合焦距離ｄfにある場合（ｄ＝ｄf）、イメージセンサ１３０によって撮像された画像にはほとんどぼけが発生しない。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でほぼ同じである。すなわち、Ｒ画像のぼけ関数１６２Ｒ、Ｇ画像のぼけ関数１６２Ｇ、およびＢ画像のぼけ関数１６２Ｂは、偏りのないぼけの形状を示している。

また、被写体２００が合焦距離ｄfよりも手前にある場合（ｄ＜ｄｆ）、イメージセンサ１３０によって撮像された画像にはぼけが発生する。この画像のぼけの形状を示すぼけ関数は、Ｒ画像、Ｇ画像およびＢ画像でそれぞれ異なっている。すなわち、Ｒ画像のぼけ関数１０３Ｒは右側に偏ったぼけの形状を示し、Ｇ画像のぼけ関数１６３Ｇは偏りのないぼけの形状を示し、Ｂ画像のぼけ関数１６３Ｂは左側に偏ったぼけの形状を示している。

撮像装置１００の画像処理部１４０は、このような特性を利用して、被写体までの距離を算出する。
画像取得部１４１は、ぼけ関数が偏りのないぼけの形状を示すＧ画像を基準画像として取得する。また、画像取得部１４１は、ぼけ関数が偏ったぼけの形状を示すＲ画像およびＢ画像の一方または両方を対象画像として取得する。対象画像と基準画像とは、１つの撮像装置により同時刻に撮像された画像である。

距離算出部１４２は、複数のぼけ補正フィルタのうち、対象画像に付加すると、基準画像との相関がより高くなるぼけ補正フィルタを求めることで、被写体までの距離を算出する。また、距離算出部１４２は、算出した距離から、距離マップを生成する。複数のぼけ補正フィルタは、対象画像に対して、相互に異なるぼけを付加する関数である。ここで、距離算出部１４２による距離算出処理の詳細について説明する。

距離算出部１４２は、取得された対象画像と基準画像とをもとに、対象画像に異なるぼけを付加することで、対象画像のぼけ形状を補正した補正画像を生成する。ここでは、距離算出部１４２は、被写体までの距離が任意の距離であると仮定して作成した複数のぼけ補正フィルタを用いて、対象画像のぼけ形状を補正した補正画像を生成し、補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出するものとする。

撮像画像のぼけ関数は、撮像装置１００の開口形状と、被写体の位置とピント位置との距離とにより決定する。図７は、基準画像のぼけ関数の一例を示す図である。図７に示すように、第２のセンサ１３２に対応する波長領域が透過する開口形状は点対称形である円形状であるため、ぼけ関数で示されるぼけの形状は、ピント位置の前後で変化はなく、被写体とピント位置との間の距離の大きさによってぼけの幅が変化する。このようなぼけの形状を示すぼけ関数は、被写体の位置とピント位置との間の距離の大きさによってぼけの幅が変化するガウス関数として表現できる。なお、ぼけ関数は、被写体の位置とピント位置との距離によってぼけの幅が変化するピルボックス関数として表現してもよい。

図８は、対象画像のぼけ関数の一例を示す図である。なお、各図の中心（ｘ₀,ｙ₀）＝（0,0）である。図８に示すように、対象画像（たとえばＲ画像）のぼけ関数は、被写体がピント位置よりも遠方にあるｄ＞ｄfの場合、ｘ＞０において第１のフィルタ領域１１１での光減衰によってぼけの幅が減衰するガウス関数として表現できる。また、被写体がピント位置よりも近方にあるｄ＜ｄfの場合、ｘ＜０において第１のフィルタ領域１１１での光減衰によってぼけの幅が減衰するガウス関数として表現できる。

また、基準画像のぼけ関数と対象画像のぼけ関数とを解析することにより、対象画像のぼけ形状を基準画像のぼけ形状へ補正するための複数のぼけ補正フィルタを求めることができる。
図９は、ぼけ補正フィルタの一例を示す図である。なお、図９に示すぼけ補正フィルタは、図４に示したフィルタ１１０を用いた場合のぼけ補正フィルタである。図９に示すように、ぼけ補正フィルタは、第１のフィルタ領域１１１と第２のフィルタ領域１１２の境界の線分の中心点を通り、この線分に直交する直線上（直線付近）に分布する。その分布は、想定する距離毎にピーク点（直線上の位置，高さ）とピーク点からの広がり方とが異なる図９に示すような山状の分布となる。対象画像のぼけ形状は、ぼけ補正フィルタを用いて、任意の距離を想定した様々なぼけ形状に補正することができる。つまり、任意の距離を想定した補正画像を生成することができる。

距離算出部１４２は、生成した補正画像と基準画像とのぼけ形状が最も近似または一致する距離を撮像画像の各画素から求める。ぼけ形状の一致度は、各画素を中心とする任意サイズの矩形領域における補正画像と基準画像との相関を計算すれば良い。ぼけ形状の一致度の計算は、既存の類似度評価手法を用いれば良い。距離算出部１４２は、補正画像と基準画像とで相関が最も高くなる距離を求めることで、各画素について被写体までの距離を算出する。

たとえば、既存の類似度評価手法は、ＳＳＤ（Sum of Squared Difference）、ＳＡＤ（Sum of Absolute Difference）、ＮＣＣ（Normalized Cross-Correlation）、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）、Color Alignment Measure等を利用すれば良い。本実施形態では、自然画像の色成分が局所的には線形な関係を持つ特性を有することを利用したColor Alignment Measureを利用する。Color Alignment Measureでは、撮像画像の対象画素を中心とする局所境域の色分布の分散から、相関関係を表す指標が算出される。

このように、距離算出部１４２は、フィルタ領域に応じた対象画像のぼけ形状を、距離を仮定したぼけ補正フィルタにより補正した補正画像を生成し、生成した補正画像と基準画像との相関がより高くなる距離を求めることで、被写体までの距離を算出する。

また、距離算出部１４２は、算出した距離から距離マップを生成する。距離マップは、たとえば、各画素の画素値が距離を示す画像として生成される。たとえば、合焦位置の手前から奥に向かって、波長の長い色を示す値（赤）から波長の短い色を示す値（紫）が割り当てられる。このように、距離マップは、被写体までの距離を示す情報が画像の領域に対応させてマッピングされたものであり、被写体までの距離を示す情報として画素値が用いられるものである。画像として生成される距離マップは、表示できるので、色で、たとえば複数の被写体間の奥行き方向の位置関係を確認することができる。第２出力情報生成部１２は、距離算出部１４２により生成される距離マップを含む出力情報を生成して出力する。

図１０は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂの一例を示す図である。
図１０中、（Ａ）が画像２Ａの表示例であり、また、（Ｂ）が距離マップ２Ｂの表示例である。各画素の画素値が、合焦位置より手前に位置する程、波長の長い色を示す値となり、合焦位置より奥に位置する程、波長の短い色を示す値となる距離マップは、図１０の（Ｂ）に示すように、手前に位置する被写体には赤みがかった色が配され、奥に位置する被写体には紫がかった色が配された画像として表示される。

次に、この画像２Ａおよび距離マップ２Ｂを取得して各種処理を実行する処理装置１の処理の詳細について説明する。
画像２Ａを撮影した際の合焦距離が既知であれば、光学中心から画像中心までの距離と光学中心から物体までの距離の比から、撮影画像上での被写体の長さと実際の被写体の長さの比を得ることができる。また、前述したように、距離マップ２Ｂは、画素値が距離を示すので、各画素を実空間（３次元空間）上に投影（マッピング）することができる。処理装置１、より詳細には、サイズ算出部１１は、各画素を実空間（３次元空間）上に投影（マッピング）することで、たとえば画像２Ａ上において指定される２点間に対応する被写体のサイズを取得する。また、出力情報生成部１２は、たとえば、取得された被写体のサイズを画像２Ａ上に重ねて表示するための出力情報、つまり被写体のサイズと画像とを同時に表示するための出力情報を生成して、表示部３へ出力する。なお、画像２Ａは、被写体のサイズを取得するにあたり、被写体の認識や、被写体上の測定すべき箇所の指定に用いられる。換言すれば、画像２Ａ上の測定すべき２点が与えられたサイズ算出部１１は、距離マップ２Ｂのみで被写体のサイズを取得でき、画像２Ａを必要としない。以下では、画像２Ａと距離マップ２Ｂを用いて被写体のサイズを取得する場合を説明する。

図１１は、処理装置１を含む処理システムの処理の流れの一例を示すフローチャートである。
まず、撮像装置１００による画像の撮像が行われる（ステップＡ１）。撮像装置１００は、画像２Ａを生成するとともに（ステップＡ２）、距離マップ２Ｂを生成する（ステップＡ３）。撮像装置１００により生成された画像２Ａおよび距離マップ２Ｂは、処理装置１により取得される。

処理装置１は、たとえば、表示部３により画像２Ａを表示し、画像２Ａに写る複数の被写体の中からいずれか１つを指定する指示や、画像２Ａ上の２点を指定する指示などを受け付ける。この指示は、同時に、被写体のサイズの取得を要求するものである。被写体のサイズの取得が要求されると、処理装置１は、距離マップ２Ｂの各画素を、各々の画素値で示される距離を使って３次元空間上に投影する（ステップＡ４）。たとえば、ある被写体を指定する指示を受けた場合、処理装置１は、被写体の幅や長さなどを、３次元空間上に投影された画素間の距離（実距離）から取得する（ステップＡ５）。処理装置１は、実際の被写体のサイズを、たとえば画像２Ａ上に重ねる等により、画像２Ａと同時に表示するために、表示部３へ出力する（ステップＡ６）。

図１２は、処理装置１を含む処理システムによる被写体のサイズの一出力例を示す図である。この処理システムは、たとえば、３０ｆｐｓのフレームレートで動画（１秒あたり３０枚の画像）を撮像する撮像装置として実現されているものとする。
処理装置１は、撮像された画像２Ａを表示部３へ順次表示し、たとえば、画像２Ａ上のある位置が指定されたら、その画像２Ａを解析して指定された位置を含む被写体を認識するとともに、その画像２Ａに対応する距離マップ２Ｂを用いて、その画像２Ａの各画素のうち少なくとも被写体が写る画素を３次元空間上に投影する。指定された位置を含む被写体を認識するための画像２Ａの解析については、特定の手法に限られず、既知の様々な手法を適用できる。処理装置１は、たとえば、被写体のあらかじめ定められた方向あるいは指定された二点間のサイズを３次元空間上に投影された画素間の距離から取得してもよい。被写体毎に、定められた方向や指定される二点が異なってもよい。処理装置１は、被写体の最大長または最小長を取得してもよい。サイズは、例えば、画像２Ａに重ね合わせて表示部３へ表示してもよい。例えば、サイズは、画像２Ａのうち被写体近傍に、表示してもよい。または、被写体の指定時に被写体内の１点が指定される場合、その１点を通過する被写体の一端から他端に至る線分の距離の中で最大の距離を取得するようにしてもよい。さらには、たとえば、被写体が何であるのかを認識し、その種類に応じた二点間の距離をサイズとして決定してもよい。サイズを取得すべき部分を種類ごとに設定できるようにするためのインタフェースが処理装置１に設けられてもよい。被写体のサイズを表示後、たとえば所定の操作が行われた場合、処理装置１は、表示部３による表示を、最新の画像２Ａを順次表示する形態に戻す。

図１２は、サッカーの試合を撮影中、画像２Ａに写る複数の選手（被写体）の中から１人の選手ａ１を指定する指示が行われたことに伴い、その選手の身長ａ２が画像２Ａ上の選手ａ１の近傍に表示される例を示している。
このように、この処理装置１によれば、単眼カメラにより取得される画像２Ａおよび距離マップ２Ｂから、たとえば試合中の選手などといった、動く物体のサイズを取得することが可能である。

なお、図１２には、指定された被写体のサイズを取得して提示する例を示したが、画像２Ａに写る被写体すべてについてサイズを取得して提示するようにしてもよい。この場合、画像２Ａのうちの指定された一部の被写体のサイズを、画像２Ａ上にポップアップでサイズを表示してもよい。また、画像２Ａ上に重ね合わせて表示するのみならず、たとえば、画像２Ａを縮小表示し、縮小表示した画像２Ａの隣に別ウィンドウを開き、この別ウィンドウ内において取得したサイズをリスト形式で載せることで、画像２Ａと同時に提示するようにしてもよい。

また、この処理装置１によれば、被写体のサイズのみならず、被写体の移動距離を取得することができる。図１３は、処理装置１を含む処理システムによる被写体の移動距離の一出力例を示す図である。この処理システムも、動画を撮像する撮像装置として実現されているものとする。

図１３は、ゴルフの試合中のティーショットの飛距離、より詳細には、ゴルフボールｂ１のティー位置ｂ２からの移動距離ｂ３が画像２Ａ上にリアルタイムに表示される例を示している。
移動距離を取得すべき被写体（ここでは、ゴルフボールｂ１）と、その初期位置とが明らかであれば、処理装置１は、たとえば１／３０秒ごとに撮像される画像の１フレームごとに画像２Ａの各画素、少なくとも被写体が写る画素を距離マップ２Ｂに基づき３次元空間に投影していくことにより、初期位置と現在の位置との間の距離、つまり被写体の移動距離をリアルタイムに取得することができる。撮像対象とする領域は、被写体を追跡するように移動させて構わない。また、図１３においては、ゴルフボールｂ１が移動する方向とほぼ一致する方向を撮像する画像２Ａを例示しているが、これに限らず、被写体を捕捉し続けられる位置から撮像された画像２Ａであればよい。

このように、この処理装置１によれば、動く物体の移動距離を取得することが可能である。
また、被写体の移動距離を取得することができるので、この処理装置１は、モーションキャプチャシステムに適用することができる。

一般的に、モーションキャプチャシステムは、図１４に示すように、動きを測定するためのセンサｃ１などを被験者の様々な部位に装着する。一方、この処理装置１を含む処理システムでは、このような準備を必要とせず、被写体の動きを計測することができる。処理装置１は、たとえば１／３０秒ごとに撮像される画像の１フレームごとに画像２Ａの各画素を距離マップ２Ｂに基づき３次元空間に投影していくことにより、１／３０秒刻みで被写体の動きを測定することができる。

このように、この処理装置１によれば、モーションキャプチャを実現することが可能である。
また、この処理装置１の機能は、たとえば（距離マップを生成可能な）カメラ機能を有するスマートフォンにインストールされるアプリケーションの１つである採寸ツールなどとして実現することもできる。たとえば、販売店に陳列されている商品のサイズを知りたい場合、その商品を撮影することで、メジャーを携帯していなくとも、その商品のサイズを取得することができる。なお、スマートフォンのタッチスクリーンディスプレイが、表示部３に相当するものとする。

たとえば、家具店に展示されているイスの様々なサイズを測りたいと考えている場合を想定する。この場合、まず、採寸ツールを起動した上で、図１５に示すような、そのイスの画像２Ａをスマートフォンのカメラ機能により撮像する。採寸ツールは、画像２Ａをスマートフォンのタッチスクリーンディスプレイ上に表示する。また、採寸ツールは、画像２Ａの各画素を距離マップ２Ｂに基づき３次元空間上に投影する。

ユーザは、一端と他端を指定することに依り、２点間の距離を知ることができる。そのイスの背もたれの幅を図りたい場合、ユーザは、たとえば、背もたれの横方向の一端（ｄ１）に触れた後、他端（ｄ２）に触れるように、タッチスクリーンディスプレイ上でタッチ操作を行う。画像２Ａ上の２点を指定する方法は、様々な方法を採用し得る。たとえば、タッチスクリーンディスプレイ上にバーを表示させ、バーの先端と終端とを背もたれの横方向の両端（ｄ１，ｄ２）に対応させるように、バーを伸縮させるといった方法でもよい。画像２Ａ上の２点が指定されると、採寸ツールは、３次元空間上に投影された２つの画素の３次元空間上の座標を用いて、指定された２点間の実際のサイズを取得し、たとえば、画像２Ａに重ね合わせるようにスマートフォンのタッチスクリーンディスプレイ上にそのサイズを表示する（ｄ３）。

また、画像２Ａ上で２点が指定された場合に測定する距離は、その２点間の直線距離のみに限られない。たとえば、被写体の湾曲している外面上の２点が指定された場合、湾曲した外面に沿った外周距離を取得することもできる。外周距離は、例えば、湾曲した外面に沿った二点間を結ぶ線のうち最も短い線の長さである。外周距離は、２点間結ぶ線上にある隣り合う画素間の距離を合計することにより取得することができる。採寸ツールは、２点間の直線距離を測定する第１モードと、２点間の外周距離を測定する第２モードとを備えてもよい。入力部を通したユーザのモード設定に基づき、直線距離または外周距離のいずれか一方を取得して表示することができる。また、採寸ツールは、直線距離および外周距離の両方を取得して表示してもよい。２点間の直線距離および外周距離を測定する第３モードをさらに備え、第３モードが設定された場合、直線距離および外周距離の両方を取得して表示してもよい。

また、たとえば、リファレンスを採寸ツールとともに提供し、または、サイズが規格化された日用品をリファレンスとして、サイズを測定したい物品とともに撮像するようにしてもよい（ｄ４）。リファレンスのサイズを画像２Ａから取得することで、スマートフォンのカメラ機能の個体差を吸収するキャリブレーションを実行することができる。キャリブレーションのための補正値は、たとえば、スマートフォンの出荷時、パラメータなどとして採寸ツールにあらかじめ与えるようにしてもよい。

このように、この処理装置１の機能によれば、単眼カメラにより取得される画像２Ａおよび距離マップ２Ｂから、たとえば販売店に陳列されている商品などといった、様々な物品のサイズを取得可能な採寸ツールを実現することができる。
また、この処理装置１は、監視システムに適用することができる。

図１６は、たとえば商業施設内の通路上の歩行者を監視するために設置される（距離マップ２Ｂを生成可能な）監視カメラで撮像された画像２Ａであって、処理装置１により歩行者（ｅ１，ｅ２，ｅ３）が認識され、また、処理装置１により取得された歩行者それぞれの身長（ｅ１１，ｅ２１，ｅ３１）が重ね合わせられて表示される画像２Ａの一例を示している。たとえば、警備員が、不審者と思われる人物を画像２Ａ上で発見した場合、その人物の特徴を示す有力情報の１つである身長を即時に得ることができる。

また、たとえば、刃物と思われる物品が認識された際、単に、その認識をもって何らかの処理を行うのではなく、その刃渡りがあらかじめ定められた長さを超える場合、表示部３による警告表示や、音声出力部が接続されているならば、音声出力部による警告音出力を行うようにしてもよい。あるいは、刃物を含む所定の物品が認識された場合、その物品についてあらかじめ定められた部位の長さを取得して表示するようにしてもよい。歩行者や歩行者が携行する物品に不審な点が発見されない場合には、表示部３がその旨の表示を行ったり、音声出力部がその旨の音声を出力したりしてもよい。

また、処理装置１は、たとえば、歩行者や歩行者が携行する物品（前述の刃物など）の認識やサイズの取得を常時行うのではなく、ユーザが画像２Ａ上の位置を指定した際、特殊モードに切り換り、特殊モードである期間において、指定された位置を含む被写体の認識、追跡、サイズの取得および表示などを行うようにしてもよい。特殊モードから通常モードへの切り換えは、たとえば、対象の被写体が画像２Ａ上から消失した場合や、あらかじめ定められた操作が行われた場合に実施するようにすればよい。

このように、この処理装置１によれば、単眼カメラにより取得される画像２Ａおよび距離マップ２Ｂから、歩行者や歩行者が携行する物品のサイズを取得でき、また、取得したサイズに応じて警告処理などを実行する監視システムを実現できる。
また、この処理装置１は、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用することができる。

たとえば、図１７に示すように、移動体が自動車であり、その進行方向を撮像するように撮像装置１００が搭載されているものとする。また、いま、自動車の進行方向に段差ｆ１が存在する状況を想定する。
このような場合、処理装置１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、その段差ｆ１を測定し、自動車が乗り越えられるか否かを判定し、その判定結果を表示部３により運転者に提示する。乗り越えられない場合、さらに、自動車が備える音声出力部から警告音声を出力してもよい。

また、いま、たとえば図１８に示すように、自動車の進行方向にゲートｇ１が存在する状況を想定する。このような場合、処理装置１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、被写体ｇ１−１と被写体ｇ１−２との間の幅ｇ２を測定し、自動車が通過できるか否かを判定し、その判定結果を表示部３により運転者に提示する。通過できない場合、さらに、自動車が備える音声出力部から警告音声を出力してもよい。

このように、この処理装置１によれば、単眼カメラにより取得される画像２Ａおよび距離マップ２Ｂから、移動体の運転、操縦を支援する処理を行うことが可能である。自動車に搭載する点を考慮すれば、この処理装置１を、たとえばドライブレコーダなどの録画機器として実現してもよい。

また、この処理装置１は、自動ドアシステムに適用することができる。
たとえば、図１９に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。回転ドアの場合、どの程度のサイズまで通過可能かを通行者は把握しづらい。そこで、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、たとえば通行者の荷物（被写体）のサイズを取得し、回転ドアを通過できるサイズを超える場合、回転ドアに設けられる音声出力部から警告音声を出力する。この自動ドアシステムに適用される場合などにおいては、この処理装置１は、図２０に示すように、図１の表示部３の代わりに音声出力部３−２を備えてもよい。表示部３と音声出力部３−２の両方を備えてもよい。前述した監視システムやサポートシステムにおいても同様である。処理装置１は、被写体の移動を追跡することができるので、被写体が回転ドアに向かって移動している場合に限り、適応的に、サイズの取得および通過可否判定を行うことができる。したがって、通過できるサイズを超える被写体が回転ドアの前を横切っても、誤って警告音声を出力するようなことを防止できる。

図１７の段差ｆ１や図１８のゲートｇ１などの移動体の進行方向にある障害物が動く場合には、処理装置１は、障害物の情報を随時取得してもよい。障害物の情報は、例えば、障害物の形状や障害物と移動体が通過する経路とが重なる部分の幅などである。判断部１３は、障害物の時間変化に応じた通行可否の判断を行うことができる。判断部１３は、例えば、通過可能と判断した後に障害物の形状が変化した場合には、通過不可能と判断してもよい。あるいは、判断部１３は、通過不可能と判断した後に障害物の形状が変化した場合には、通過可能と判断してもよい。

このように、この処理装置１によれば、単眼カメラにより取得される画像２Ａおよび距離マップ２Ｂから、自動ドアの事故を防止する処理を行うことが可能である。
また、この処理装置１は、単眼カメラにより取得される画像２Ａおよび距離マップ２Ｂから被写体のサイズを取得することができるので、たとえば複眼カメラと比較して、撮像装置１００の軽量化が図られる。また、低コスト化も図られる。軽量化は、最大積載量の小さいたとえばドローンなどの飛翔体に搭載する場合において重要な事項であり、この点において、単眼カメラである撮像装置１００は複眼カメラよりも好適である。ドローンなどの飛翔体に撮像装置１００を搭載することで、この処理装置１は、たとえば構造物の点検作業などを支援するサポートシステムに適用することができる。なお、複眼カメラとの比較でさらにいえば、単眼カメラである撮像装置１００は、複眼カメラでは問題となる視差を生じさせることがないので、サイズの取得精度を高めることができる。なお、複眼カメラにより取得される画像および距離マップを使って、サイズ算出を行うことも可能である。複眼カメラにより取得される画像を基に、被写体の三次元形状を取得することができるので、被写体表面の任意の２点間の距離を求めることが可能である。

たとえば、ＧＰＳ[global positioning system]受信機や高度センサなどの位置情報を取得する機能を撮像装置１００とともにドローンへ搭載し、このドローンを点検対象の構造物周辺に飛翔させて構造物の外面の画像２Ａおよび距離マップ２Ｂを取得し、位置情報と対応づけて記録する。たとえば、構造物の外面の欠損部分を画像２Ａ上で発見した場合、その位置を特定することができるし、その規模・形状を確認することができる。

または、点検対象の構造物に関する立体情報に基づき、ドローンを飛翔させて構造物の外面の画像２Ａおよび距離マップ２Ｂを取得し、その立体情報と対応づけて記録する。この場合も、たとえば、構造物の外面の欠損部分を画像２Ａ上で発見した場合、その位置を特定することができるし、その規模・形状を確認することができる。

また、前回の点検時に撮像した画像２Ａの距離マップ２Ｂと、今回の点検時に撮像した画像２Ａの距離マップ２Ｂとを対比し、あらかじめ定められた値以上の差が検出された場合、その位置を識別可能な形態で、対応する画像２Ａを表示することで、たとえば、ボルトの欠落などを見落としなく発見することができる。あるいは、震災発生後、震災前に撮像した画像２Ａの距離マップ２Ｂと、震災後に撮像した画像２Ａの距離マップ２Ｂとを対比することで、構造物が受けた損傷の状況を正確に把握することができる。

その他、ドローンを飛翔させて画像２Ａおよび距離マップ２Ｂを取得することで、この処理装置１を、様々な用途に適用することができる。たとえば、ドローンを電線に沿って飛翔させ、電線の画像２Ａおよび距離マップ２Ｂを取得し、何メートルの電線がどのような状態で張り巡らされているのかを調べるといった用途に適用することができる。

（第２実施形態）
次に、第２実施形態について説明する。なお、以下、第１実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図２１は、第２実施形態の処理装置の機能ブロックの一例を示す図である。

この処理装置１は、取得した画像２Ａと距離マップ（距離画像）２Ｂとから画像２Ａ上の被写体のサイズを算出し、算出した被写体のサイズに基づき、移動体の駆動部４の駆動を制御する。本実施形態において、出力情報は、処理システムの一部または全部の動きを制御する制御信号である。
図２１に示すように、処理装置１−２は、サイズ算出部１１と、判断部１３と、移動体制御部１４とを有する。

サイズ算出部１１は、画像２Ａと距離マップ２Ｂとから画像２Ａ上の被写体のサイズを算出する機能を担う処理部である。判断部１３は、被写体のサイズに基づき、駆動部４をどのように駆動すべきかを判断する機能を担う処理部である。移動体制御部１４は、判断部１３の判断に基づき、駆動部４の駆動を制御する機能を担う処理部である。処理装置１−２のハードウェア構成は、第１実施形態の処理装置１と同様であり、処理装置１−２の各処理部も、たとえば単一または複数のプロセッサで実現される。処理装置１−２には、表示部および／または音声出力部が接続されていてもよい。表示部および／または音声出力部は、例えば判断部１３に接続される。

この処理装置１−２は、（画像２Ａおよび距離マップ２Ｂを生成する）撮像装置および駆動部４とともに処理システムを構成し得る。処理システムは、たとえば、カメラ機能を有する、車両、飛翔体、ロボットなどの移動体などとして実現され得る。
まず、この処理装置１−２が、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用される場合の処理の一例について説明する。

たとえば、移動体が自動車であり、その進行方向を撮像するように撮像装置１００が搭載されているものとする。また、いま、第１実施形態で説明した場合と同様、図１７に示すように、自動車の進行方向に段差ｆ１が存在する状況を想定する。
このような場合、処理装置１−２のサイズ算出部１１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、その段差ｆ１を測定する。判断部１３は、その段差ｆ１を自動車が乗り越えられるか否かを判断し、乗り越えられない場合、たとえば自動車を停止させ、または、自動車の進行方向を変更させるための信号を移動体制御部１４に送信する。この信号を受信した移動体制御部１４は、たとえば自動車を停止させ、または、自動車の進行方向を変更させるように駆動部４の駆動を制御する。

また、いま、第１実施形態で説明した場合と同様、図１８に示すように、自動車の進行方向にゲートｇ１が存在する状況を想定する。サイズ算出部１１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、ゲートｇ１の幅ｇ２を測定する。判断部１３は、その幅ｇ２を自動車が通過できるか否かを判断し、通過できない場合、たとえば自動車を停止させ、または、自動車の進行方向を変更させるための信号を移動体制御部１４に送信する。この信号を受信した移動体制御部１４は、たとえば自動車を停止させ、または、自動車の進行方向を変更させるように駆動部４の駆動を制御する。

あるいは、判断部１３は、ゲートｇ１の幅ｇ２が、自動車のサイドミラーを畳めば自動車が通過できるサイズであると判断した場合、サイドミラーを畳ませるための信号を移動体制御部１４に送信するようにしてもよい。この信号を受信した移動体制御部１４は、サイドミラーを畳むように駆動部４の駆動を制御する。

次に、この処理装置１−２が、自動ドアシステムに適用される場合の処理の一例について説明する。
たとえば、第１実施形態で説明した場合と同様、図１９に示すように、回転ドアが定速で回転し続ける自動ドアを想定する。サイズ算出部１１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、たとえば通行者の荷物（被写体）のサイズを取得する。判断部１３は、そのサイズが回転ドアを通過できるサイズか否かを判断し、回転ドアを通過できるサイズを超える場合、たとえば自動ドアの回転を停止させるための信号を移動体制御部１４に送信する。この信号を受信した移動体制御部１４は、たとえば自動ドアの回転を停止させるように駆動部４の駆動を制御する。

次に、この処理装置１−２が、ロボットに適用される場合の処理の一例について説明する。ここでは、ロボットが、たとえば図２１に示すように、搬送ライン上を搬送されてくる対象物ｈ１を摘み上げて大きさ別に仕分けるロボットアームを駆動部４として有するロボッタを想定する。

サイズ算出部１１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、対象物ｈ１のサイズを取得する。判断部１３は、第１に、その対象物ｈ１が摘み上げることのできるサイズを判断し、摘み上げられることのできるサイズである場合、第２に、その仕分け先を判断する。摘み上げられることのできるサイズでない場合（許容範囲よりも小さい場合と大きい場合との両方を含む）、移動体制御部１４が対象物ｈ１を摘み上げる以外の動作をするために駆動部４の駆動を制御したり、表示部に警告を表示したり、音声出力部から警告音声を出力したりしてもよい。また、判断部１３は、摘み上げられることのできるサイズであって、その仕分け先を判断した場合、その仕分け先まで対象物ｈ１を運ぶための信号を移動体制御部１４に送信する。この信号を受信した移動体制御部１４は、対象物ｈ１を指示された場所に移動させるように駆動部４の駆動を制御する。

あるいは、搬送ラインに沿って複数のロボットを配置し、各々が、あらかじめ定められた範囲のサイズの対象物ｈ１のみを摘み上げるように、対象物ｈ１のサイズを取得するといったことも可能である。
なお、ロボットは、産業用に限らず、たとえば自律的に移動して床を掃除する掃除ロボットなどの家庭用としても実現され得る。掃除ロボットの場合、この処理装置１−２を適用することで、たとえば、ゴミのサイズが吸い込み口を通過できるか否かを判断し、吸い込むとゴミが吸い込み口に詰まるおそれのあるサイズの場合、吸引を一時停止してその場を通り過ぎたり、移動経路を変更したり、といった制御が可能となる。また、掃除ロボットのように自律的に移動する機器においては、近時、ＳＬＡＭ（Simultaneous localization and mapping）と称される自己位置推定技術が注目されているが、画像２Ａおよび距離マップ２Ｂから被写体までの距離を取得できる処理装置１−２は、このＳＬＡＭによる自己位置推定に適用することができる。

（第３実施形態）
次に、第３実施形態について説明する。なお、以下、第１実施形態または第２実施形態と同一の構成については同一の符号を使用し、また、同一の構成についての重複した説明は省略する。
図２３は、第３実施形態の処理装置の機能ブロックの一例を示す図である。

この処理装置１は、取得した画像２Ａと距離マップ（距離画像）２Ｂとから画像２Ａ上の被写体のサイズを算出し、算出した被写体のサイズに基づき、障害物５との間の通信を実行する。
図２３に示すように、処理装置１−３は、サイズ算出部１１と、判断部１３と、信号送信部１５とを有する。

サイズ算出部１１は、画像２Ａと距離マップ２Ｂとから画像２Ａ上の被写体のサイズを算出する機能を担う処理部である。判断部１３は、被写体のサイズに基づき、駆動部４をどのように駆動すべきかを判断する機能を担う処理部である。移動体制御部１４は、判断部１３の判断に基づき、障害物５との間の通信を実行する機能を担う処理部である。処理装置１−３のハードウェア構成は、第１実施形態の処理装置１や第２実施形態の処理装置１−２と同様であり、処理装置１−３の各処理部も、たとえば単一または複数のプロセッサで実現される。

また、この処理装置１−３は、（画像２Ａおよび距離マップ２Ｂを生成する）撮像装置とともに処理システムを構成し得る。処理システムは、たとえば、カメラ機能を有する、車両、飛翔体、ロボットなどの移動体などとして実現され得る。
いま、この処理装置１−２が、たとえば自動車などの移動体の運転、操縦を支援するサポートシステムに適用されており、その進行方向を撮像するように撮像装置１００が搭載されているものとする。また、図２４に示すように、ある道路を走行中、その道路上に他の自動車（障害物ｊ１）が停車している状況を想定する。

このような場合、処理装置１−３のサイズ算出部１１は、撮像装置１００により生成される画像２Ａおよび距離マップ２Ｂから、他の自動車（障害物ｊ１）の脇のスペースの幅ｊ２を測定する。判断部１３は、その幅ｊ２を自動車が通過できるか否かを判断し、通過できない場合、他の自動車（障害物ｊ１）に移動を促すための信号を信号送信部１５に送信する。この信号を受信した信号送信部１５は、他の自動車（障害物ｊ１）に対して移動を促す信号を出力する。

または、対向車として他の自動車（障害物ｊ１）が道路上を走行してきた場合、他の自動車（障害物ｊ１）のサイズまたは他の自動車（障害物ｊ１）の脇のスペースのサイズを取得し、道路上ですれ違うことができないと判断した場合、可及的すみやかに、その旨を他の自動車（障害物ｊ１）に対して通知することで、接触事故などを未然に防ぐことができる。判断部１３は、他の自動車（障害物ｊ１）のサイズまたは他の自動車（障害物ｊ１）の脇のスペースのサイズ等を随時取得してもよい。例えば、判断部１３は、他の自動車（障害物ｊ１）の扉が開いて横幅が増えた場合に、降車しようとしている可能性のある他の自動車（障害物ｊ１）の搭乗者（運転者のみならず、同乗者を含み得る。）の注意を喚起するための信号を、他の自動車（障害物ｊ１）に対して信号送信部１５から出力するようにしてもよい。他の自動車（障害物ｊ１）のサイズまたは他の自動車（障害物ｊ１）の脇のスペースのサイズ等を随時取得することで、他の自動車（障害物ｊ１）の扉が閉じていて、すれ違うことができる状態から、他の自動車（障害物ｊ１）の扉が開いて、すれ違うことができない状態へと移行した場合などにも、適応的に対応することが可能となる。

以上説明したように、第１乃至第３の実施形態によれば、単眼カメラで被写体のサイズを取得することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１，１−２，１−３…処理装置、２Ａ…画像、２Ｂ…距離マップ（距離画像）、３…表示部、４…駆動部、５…障害物、１１…サイズ算出部、１２…出力情報生成部、１３…判断部、１４…移動体制御部、１５…信号送信部、１００…撮像装置、１１０…フィルタ、１１１…第１のフィルタ領域、１１２…第２のフィルタ領域、１１３…光学中心、１２０…レンズ、１３０…イメージセンサ、１３１…第１のセンサ、１３２…第２のセンサ、１３３…第３のセンサ、１４０…画像処理部、１４１…画像取得部、１４２…距離算出部、１４３…出力部。

Claims (8)

1. 単一の結像光学系による１度の撮像で画像とともに取得される距離マップであって、各画素の画素値が距離を示す画像として生成され、前記画像に含まれる被写体までの距離を示す情報が前記画像と対応させてマッピングされる距離マップの各画素を、各々の画素値で示される距離を使って３次元空間上に投影し、前記３次元空間上に投影された画素間の距離から前記被写体のサイズを算出するサイズ算出部と、
   前記被写体のサイズに基づき、車両の駆動方法を判断する判断部と、
   を具備する車両用処理システム。
2. 前記距離マップは、前記画像に含まれるぼけのぼけ関数を使って求められる請求項１に記載の車両用処理システム。
3. 前記画像および前記距離マップは、ぼけ関数が対称な第１波長成分とぼけ関数が非対称な第２波長成分とを含む画像を生成可能な前記単一の光学系により取得される請求項１または２に記載の車両用処理システム。
4. 前記判断部は、他の車両に対して移動を促すための信号を送信することを判断可能である請求項１乃至３のいずれか１項に記載の車両用処理システム。
5. 前記判断部は、他の車両のサイズまたは道路上の前記他の車両の脇のスペースのサイズを取得し、前記車両が前記他の車両と前記道路上ですれ違うことができるか否かを判断する請求項１乃至４のいずれか１項に記載の車両用処理システム。
6. 前記判断部は、前記車両が前記他の車両と前記道路上ですれ違うことができないと判断した場合、前記車両と前記他の車両とが前記道路上ですれ違うことができない旨を前記他の車両に対して通知することを前記車両の駆動方法として判断する請求項５に記載の車両用処理システム。
7. 前記判断部は、段差のサイズを取得し、前記車両が前記段差を乗り越えられるか否かを判断する請求項１乃至６のいずれか１項に記載の車両用処理システム。
8. 前記判断部は、第１の被写体と第２の被写体との間のサイズを取得し、前記車両が前記第１の被写体と前記第２の被写体との間を通過できるか否かを判断する請求項１乃至７のいずれか１項に記載の車両用処理システム。

Images