JP6969254B2

JP6969254B2 - 画像処理装置及びプログラム

Info

Publication number: JP6969254B2
Application number: JP2017182748A
Authority: JP
Inventors: 真吾藤本; 拓郎押田; 正雄山中; 真太朗福島
Original assignee: Aisin Seiki Co Ltd; Aisin Corp
Current assignee: Aisin Corp
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2021-11-24
Anticipated expiration: 2037-09-22
Also published as: JP2019057247A; US20190095706A1; DE102018123112A1

Description

本発明は、画像処理装置及びプログラムに関する。

人物の画像を解析して、人物の行動等を認識して出力する装置及びプログラムが知られている。

特開２０１０−０３６７６２号公報特開２０１２−０３３０７５号公報

しかしながら、上述の装置では、取得した情報に対して種類の少ない類似の情報しか出力できないといった課題がある。

本発明は、上記に鑑みてなされたものであって、取得した情報に対して出力可能な情報の種類を増加させることができる画像処理装置及びプログラムを提供する。

上述した課題を解決し、目的を達成するために、本発明の画像処理装置は、人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、を備える。

このように、本発明の画像処理装置は、第１全結合層が生成した第１全結合情報から人物の特徴に関する人体特徴情報及び人物の行動に関する行動認識情報を生成するので、少ない情報から出力可能な質の異なる２種類の情報を出力できる。

本発明の画像処理装置では、前記第１全結合層は、前記第２全結合層及び前記第３全結合層のそれぞれに前記第１全結合情報を出力してよい。

このように、本発明の画像処理装置では、第１全結合層が第２全結合層及び第３全結合層のそれぞれに出力した同じ第１全結合情報から人体特徴情報及び行動認識情報を生成するので、構成の複雑化を抑制しつつ、出力可能な情報の種類を増加させることができる。

本発明の画像処理装置では、時刻の異なる複数の前記人体特徴情報及び複数の前記行動認識情報から前記人物の未来の行動に関する行動予測情報を生成する後半部を更に備えてよい。

これにより、本発明の画像処理装置は、１個の装置に搭載したアーキテクチャー等の構成によって画像から人体特徴情報及び行動認識情報とともに人物の未来の行動に関する行動予測情報を生成することができる。

本発明の画像処理装置では、前記後半部は、予め定められた複数の行動予測ラベルの確率分布を前記行動予測情報として生成してよい。

これにより、本発明の画像処理装置は、可能性のある人物の複数の行動の確率を予測して生成することができる。

本発明の画像処理装置では、前記後半部は、前記行動予測情報から確率の最も高い前記行動予測ラベルを選択して出力してよい。

これにより、本発明の画像処理装置は、人物の未来の行動を１つに絞って、出力先の装置の処理負担を低減することができる。

本発明の画像処理装置では、前記第１全結合層は、予め定められた前記人物の特徴を示す人体特徴情報を前記第１全結合情報として出力してよい。

これにより、第２全結合層及び第３全結合層は、人物以外の環境変化等の影響を低減して、精度の高い人体特徴情報及び行動認識情報を生成できる。

本発明のプログラムは、人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、してコンピュータを機能させる。

このように、本発明のプログラムでは、第１全結合層が生成した第１全結合情報から人物の特徴に関する人体特徴情報及び人物の行動に関する行動認識情報を生成するので、少ない情報から出力可能な質の異なる２種類の情報を出力できる。

図１は、第１実施形態の画像処理装置が搭載される画像処理システムの全体構成図である。図２は、画像処理装置の処理部の機能を説明する機能ブロック図である。図３は、画像処理装置の処理部が実行する画像処理のフローチャートである。図４は、第２実施形態の処理部の機能を説明する機能ブロック図である。

以下の例示的な実施形態等の同様の構成要素には共通の符号を付与して、重複する説明を適宜省略する。

＜第１実施形態＞
図１は、第１実施形態の画像処理装置１２が搭載される画像処理システム１０の全体構成図である。画像処理システム１０は、例えば、エンジンまたはモータ等の駆動源を有する自動車等の移動体に搭載される。画像処理システム１０は、車室内の画像に基づいて、自動車の乗員の人体上の特徴、乗員の現在の行動、及び、乗員の未来の行動等を認識または予測する。自動車の乗員は、人物の一例である。図１に示すように、画像処理システム１０は、１または複数の検出部１４ａ、１４ｂと、画像処理装置１２と、車両制御装置１６とを備える。

検出部１４ａ、１４ｂは、自動車の車室内の乗員の情報を検出して出力する。例えば、検出部１４ａ、１４ｂは、乗員等の情報として、乗員を含む車室内を撮像した画像を生成して出力する撮像装置である。具体的には、検出部１４ａは、赤外線で乗員を含む被写体を撮像して赤外線画像を生成する赤外線カメラである。検出部１４ｂは、乗員を含む被写体までの距離の情報を含むデプス画像を生成する測距センサである。検出部１４ａ、１４ｂは、画像処理装置１２に情報を出力可能にＬＶＤＳ（Low Voltage Differential Signaling）またはＥｔｈｅｒｎｅｔ（登録商標）等によって接続されている。検出部１４ａ、１４ｂは、生成した画像の情報を画像処理装置１２へ出力する。

画像処理装置１２は、検出部１４ａ、１４ｂが出力した画像に基づいて、乗員の人体上の特徴及び乗員の現在の行動を認識し、当該特徴及び行動認識に基づいて、乗員の未来の行動を予測する。画像処理装置１２は、ＥＣＵ（Electronic Control Unit）等を含むコンピュータである。画像処理装置１２は、車両制御装置１６に情報を出力可能にＬＩＮまたはＣＡＮ等によって接続されている。画像処理装置１２は、処理部２０と、メモリ２２と、格納部２４と、バス２６とを有する。

処理部２０は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等を含むハードウェアプロセッサ等の演算処理装置である。処理部２０は、メモリ２２または格納部２４に格納されたプログラムを読み込んで、処理を実行する。例えば、処理部２０は、画像処理プログラム２８を実行することによって、乗員の特徴及び行動認識から予測した乗員の未来の行動に関する情報を生成して車両制御装置１６へ出力する。

メモリ２２は、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の主記憶装置である。メモリ２２は、画像処理プログラム２８等のプログラムの実行の際に処理部２０が用いる各種のデータを一時的に記憶する。

格納部２４は、書き換え可能な不揮発性のＳＳＤ（Solid State Drive）及びＨＤＤ（Hard Disk Drive）等の補助記憶装置である。格納部２４は、画像処理装置１２の電源がオフされた場合にあっても格納されたデータを維持する。格納部２４は、例えば、処理部２０が実行する画像処理プログラム２８及び画像処理プログラム２８の実行に必要なバイアス及び重みで定義される活性化関数を含む数値データ２９を格納する。

バス２６は、処理部２０、メモリ２２、及び、格納部２４を互いに情報を送受信可能に接続する。

車両制御装置１６は、画像処理装置１２が出力した乗員の特徴、認識した乗員の現在の行動、及び、予測した乗員の未来の行動等の情報に基づいて、左前の扉ＤＲａ及び右前の扉ＤＲｂ等を含む自動車の部品であるボディーユニットを制御する。車両制御装置１６は、ＥＣＵ等を含むコンピュータである。尚、車両制御装置１６は、画像処理装置１２と１台のコンピュータで一体化されていてもよい。車両制御装置１６は、処理部３０と、メモリ３２と、格納部３４と、バス３６とを有する。

処理部３０は、ＣＰＵ等を含むハードウェアプロセッサ等の演算処理装置である。処理部３０は、メモリ３２または格納部３４に格納されたプログラムを読み込んで、ボディーユニットのいずれかを制御する。例えば、処理部３０は、画像処理装置１２から乗員が扉ＤＲａ、ＤＲｂを開けると乗員の未来の行動を予測した旨の予測結果を取得すると、乗員が開けると予測した扉ＤＲａ、ＤＲｂを自車両情報３９（例えば、移動体の接近情報）に基づいて、開かないようにロックする。

メモリ３２は、ＲＯＭ及びＲＡＭ等の主記憶装置である。メモリ３２は、例えば、画像処理装置１２から取得した乗員の未来の行動等に関する情報を一時的に記憶する。

格納部３４は、ＳＳＤ及びＨＤＤ等の補助記憶装置である。格納部３４は、例えば、処理部３０が実行する車両制御プログラム３８及び自動車の情報を含む自車両情報３９を格納する。

バス３６は、処理部３０、メモリ３２、及び、格納部３４を互いに情報を送受信可能に接続する。

図２は、画像処理装置１２の処理部２０の機能を説明する機能ブロック図である。図２に示すように、画像処理装置１２の処理部２０は、前半部４０と、後半部４２とをアーキテクチャーとして備える。処理部２０は、例えば、格納部２４に格納された画像処理プログラム２８を読み込むことによって、前半部４０及び後半部４２として機能する。尚、前半部４０及び後半部４２の一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field-Programmable Gate Array）等を含む回路等のハードウェアによって構成してもよい。

前半部４０は、１または複数の画像情報を解析して、人体特徴情報及び行動認識情報を生成して後半部４２へ出力する。前半部４０は、入力層４４と、抽出部４６と、結合部４８とを有する。

入力層４４は、乗員の画像を含む１または複数の画像（以下、入力画像）の情報を取得して、抽出部４６へ出力する。入力層４４は、例えば、赤外線によって撮像されたＩＲ画像、及び、距離の情報を含むデプス画像等を入力画像として検出部１４ａ、１４ｂから取得する。

抽出部４６は、入力層４４から取得した乗員の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して、入力画像から予め定められた特徴を抽出して、人体特徴情報及び行動認識情報を生成するための複数の特徴マップを生成する。抽出部４６は、第１畳み込み層５０と、第１プーリング層５２と、第２畳み込み層５４と、第２プーリング層５６と、第３畳み込み層５８と、第３プーリング層６０とを有する。換言すれば、抽出部４６は、３組の畳み込み層５０、５４、５８及びプーリング層５２、５６、６０を有する。

第１畳み込み層５０は、複数のフィルタ（ニューロンまたはユニットともいう）を有する。各フィルタは、例えば、教師画像による機械学習によって予め設定されたバイアス値及び重みを含む活性化関数によって定義される。各フィルタのバイアス値及び重みは、互いに異なっていてよい。活性化関数は、数値データ２９の一部として格納部２４に格納されていてよい。尚、以下に記載の活性化関数のバイアス値及び重みについても同様である。第１畳み込み層５０の各フィルタは、入力層４４から取得した全ての画像に、活性化関数による第１畳み込み処理を実行する。これにより、第１畳み込み層５０の各フィルタは、バイアス値及び重みに基づいて画像内の特徴（例えば、色の濃淡）を抽出した画像（または画像の総和）を特徴マップとして生成する。第１畳み込み層５０は、フィルタと同数の特徴マップを生成して第１プーリング層５２へ出力する。

第１プーリング層５２の各ユニットは、第１畳み込み層５０が出力した特徴マップに、最大プーリング関数または平均プーリング関数等を用いて第１プーリング処理を実行する。これにより、第１プーリング層５２は、第１畳み込み層５０が生成した特徴マップを圧縮または小型化した新たな特徴マップをユニットの数だけ生成して第２畳み込み層５４へ出力する。

第２畳み込み層５４は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のフィルタを有する。尚、第２畳み込み層５４におけるフィルタのバイアス値及び重みは、第１畳み込み層５０のフィルタのバイアス値及び重みと異なってよい。第２畳み込み層５４の各フィルタは、第１プーリング層５２が出力した複数の特徴マップに、活性化関数による第２畳み込み処理を実行する。これにより、第２畳み込み層５４の各フィルタは、第１畳み込み層５０とは異なる画像内の特徴（例えば、水平方向のエッジ）をバイアス値及び重みに基づいて抽出した画像の総和を特徴マップとして生成する。第２畳み込み層５４は、フィルタと同数の特徴マップを生成して第２プーリング層５６へ出力する。

第２プーリング層５６の各ユニットは、第２畳み込み層５４が出力した特徴マップに、最大プーリング関数または平均プーリング関数等を用いて第２プーリング処理を実行する。これにより、第２プーリング層５６は、第２畳み込み層５４が生成した特徴マップを圧縮または小型化して新たに生成した特徴マップをユニットの数だけ生成して第３畳み込み層５８へ出力する。

第３畳み込み層５８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のフィルタを有する。尚、第３畳み込み層５８におけるフィルタのバイアス値及び重みは、第１畳み込み層５０及び第２畳み込み層５４のバイアス値及び重みと異なってよい。第３畳み込み層５８の各フィルタは、第２プーリング層５６が出力した複数の特徴マップに、活性化関数による第３畳み込み処理を実行する。これにより、第３畳み込み層５８の各フィルタは、第１畳み込み層５０及び第２畳み込み層５４とは異なる画像内の特徴（例えば、鉛直方向のエッジ）をバイアス値及び重みに基づいて抽出した画像の総和を特徴マップとして生成する。第３畳み込み層５８は、フィルタと同数の特徴マップを生成して第３プーリング層６０へ出力する。

第３プーリング層６０の各ユニットは、第３畳み込み層５８が出力した特徴マップに、最大プーリング関数または平均プーリング関数等を用いて第３プーリング処理を実行する。これにより、第３プーリング層６０は、第３畳み込み層５８が生成した特徴マップを圧縮または小型化して新たに生成した特徴マップをユニットの数だけ生成して結合部４８へ出力する。

結合部４８は、抽出部４６から取得した特徴マップを結合して、人体特徴情報及び行動認識情報を後半部４２へ出力する。結合部４８は、第１全結合層６２と、第２全結合層６４と、第１出力層６６と、第３全結合層６８と、第２出力層７０とを有する。尚、第２全結合層６４及び第１出力層６６は、第３全結合層６８及び第２出力層７０に対して並列に接続されている。

第１全結合層６２は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第１全結合層６２の各ユニットは、第３プーリング層６０の全てのユニットと接続されている。従って、第１全結合層６２の各ユニットは、第３プーリング層６０の全てのユニットが出力した全ての特徴マップを取得する。第１全結合層６２の各ユニットの活性化関数のバイアス値及び重みは、人体特徴情報及び行動認識情報の両方を生成するための第１全結合情報を生成可能に、機械学習等によって予め設定されている。第１全結合層６２の各ユニットは、第３プーリング層６０から取得した全ての特徴マップに、活性化関数に基づく第１全結合処理を実行することにより、複数の特徴マップを結合させた第１全結合情報を生成する。具体的には、第１全結合層６２は、人体特徴情報及び行動認識情報を生成するための多次元のベクトルを第１全結合情報として生成する。尚、第１全結合層６２が出力する第１全結合情報のベクトルの次元数は、後段の人体特徴情報及び行動認識情報に応じて設定され、例えば、２７次元である。例えば、第１全結合情報は、乗員の特徴を示す人体特徴情報である。尚、人体特徴情報の詳細は後述する。第１全結合層６２の各ユニットは、生成した第１全結合情報を第２全結合層６４の全ユニット及び第３全結合層６８の全ユニットへ出力する。即ち、第１全結合層６２は、同じ複数の第１全結合情報を第２全結合層６４及び第３全結合層６８のそれぞれに出力する。

第２全結合層６４は、バイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第２全結合層６４のユニットの個数は、出力する人体特徴情報の次元数と同じである。第２全結合層６４の各ユニットは、第１全結合層６２の全ユニットと接続されている。従って、第２全結合層６４の各ユニットは、第１全結合層６２のユニットの個数と同じ数の第１全結合情報を取得する。第２全結合層６４の活性化関数のバイアス値及び重みは、予め定められた乗員の複数の特徴を抽出した人体特徴情報を生成可能に、乗員の特徴と関連付けられた教師画像を用いた機械学習等によって予め設定されている。第２全結合層６４は、第１全結合層６２から取得した全ての第１全結合情報に活性化関数に基づく第２全結合処理を実行することにより、第１全結合情報を結合させて乗員の特徴を示す人体特徴情報を生成して、第１出力層６６へ出力する。例えば、第２全結合層６４は、乗員の特徴を示す多次元（例えば、２７次元）のベクトルを人体特徴情報として生成してよい。具体的には、第２全結合層６４は、乗員の特徴として、人体の複数の部位及び領域のそれぞれの位置、体重、座高（または身長）等を示す複数（例えば、１２個）の２次元ベクトル（合計２４次元ベクトル）を人体特徴情報の一部として生成してよい。ここでいう、人体の複数の部位は、例えば、人体上の端点（顔の上下端部）及び関節（腕の付け根、足の付け根、肘、手首等）等を含む。また、第２全結合層６４は、乗員の特徴として、乗員の顔の向きを示す３次元ベクトルを人体特徴情報の一部として生成してよい。尚、第１全結合情報が人体特徴情報の場合、第２全結合層６４は、第１全結合情報よりも精度の高い人体特徴情報を出力する。この場合、第２全結合層６４は、第１全結合層６２と同じ構成であってもよい。このように、第２全結合層６４は、乗員の特徴として人体の部位に着目し、人物以外の情報を低減した人体特徴情報である第１全結合情報から人体特徴情報を生成するので、環境変化等によるノイズ（例えば、乗員の行動等）の影響の少ない人体特徴情報を生成できる。

第１出力層６６は、第１出力処理を実行することにより、第２全結合層６４の出力を、第１出力層６６の出力として最終的に得たい出力に絞り込みまたは選定した人体特徴情報を後半部４２へ出力する。

第３全結合層６８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニット（ニューロンともいう）を有する。第３全結合層６８のユニットの個数は、出力する行動認識情報の次元数と同じである。第３全結合層６８の各ユニットは、第１全結合層６２の全ユニットと接続されている。従って、第３全結合層６８の各ユニットは、第１全結合層６２のユニットの個数と同じ数の第１全結合情報を取得する。第３全結合層６８の活性化関数のバイアス値及び重みは、乗員の現在の行動に関する情報である行動認識情報を生成可能に、乗員の行動と関連付けられた教師画像を用いた機械学習等によって予め設定されている。第３全結合層６８は、第１全結合層６２から取得した全ての第１全結合情報に活性化関数に基づく第３全結合処理を実行することにより、第１全結合情報を結合させて予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を生成して、第２出力層７０へ出力する。行動認識ラベルは、例えば、ステアリング保持、コンソール操作、及び、扉ＤＲａ、ＤＲｂの開閉等の乗員の行動に付与されたラベルであって、数値データ２９の一部として格納部２４に格納されていてよい。例えば、第３全結合層６８は、乗員の複数の行動認識ラベルのそれぞれの確率を示す確率分布を多次元のベクトルで示した行動認識情報を生成してよい。行動認識情報のベクトルの次元数は、行動認識ラベルの個数と等しく、例えば、１１次元である。行動認識情報の多次元ベクトルの各座標系は行動認識ラベルのいずれかに対応し、各座標系の値は行動認識ラベルの確率に対応する。このように、第３全結合層６８は、乗員の行動に着目し、人物以外の情報を低減した人体特徴情報である第１全結合情報から行動認識情報を生成するので、人物以外に関する環境変化等によるノイズ（例えば、乗員の周囲の荷物及び自動車の部品（サンバイザー等）の状態等）の影響の少ない行動認識情報を生成できる。

第２出力層７０は、第２出力処理を実行することにより、第３全結合層６８から取得した行動認識情報を正規化して、後半部４２へ出力する。

後半部４２は、前半部４０が出力した時刻の異なる複数の人体特徴情報及び複数の行動認識情報から対象の乗員の未来（例えば、数秒後）の行動に関する行動予測情報を生成して、乗員の未来の行動に関する情報を車両制御装置１６へ出力する。後半部４２は、第１時系列型ニューラルネットワーク部（以下、第１時系列型ＮＮ部）７２と、第２時系列型ニューラルネットワーク部（以下、第２時系列型ＮＮ部）７４と、第４全結合層７６と、第３出力層７８とを有する。

第１時系列型ＮＮ部７２は、複数（例えば、５０）のユニットを有するリカレントニューラルネットワークである。第１時系列型ＮＮ部７２のユニットは、例えば、リセットゲート及び更新ゲートを有し、予め定められた重みによって定義されるＧＲＵ（Gated Recurrent Unit）である。第１時系列型ＮＮ部７２の各ユニットは、第１出力層６６が出力した多次元ベクトルの時刻ｔの人体特徴情報及び行動認識情報と、時刻ｔ−Δｔの人体特徴情報及び行動認識情報を取得したユニットが出力した情報（以下、第１ユニット出力情報）とを取得する。尚、Δｔは、予め定められた時間であって、例えば、入力層４４が取得する画像の時間間隔である。第１時系列型ＮＮ部７２のユニットは、予めメモリ２２等に記憶させたデータから過去（例えば、時刻ｔ−Δｔ）の人体特徴情報及び行動認識情報を取得してよい。第１時系列型ＮＮ部７２の各ユニットは、時刻ｔの人体特徴情報及び行動認識情報と、時刻ｔ−Δｔの第１ユニット出力情報とから時刻ｔの第１ユニット出力情報を生成する。第１時系列型ＮＮ部７２の各ユニットは、生成した時刻ｔの第１ユニット出力情報を、第２時系列型ＮＮ部７４の対応するユニットに出力するとともに、時刻ｔ＋Δｔの人体特徴情報及び行動認識情報を取得する第１時系列型ＮＮ部７２の対応するユニットに出力する。換言すれば、第１時系列型ＮＮ部７２は、第１出力層６６から取得した時刻の異なる複数の人体特徴情報を取得して、第２出力層７０から時刻の異なる多次元ベクトルの複数の行動認識情報を取得する。第１時系列型ＮＮ部７２は、上述の各処理を含む第１時系列型ＮＮ処理によって、人体特徴情報及び行動認識情報から生成した複数の第１ユニット出力情報を要素とする多次元ベクトル（例えば、５０次元ベクトル）の情報を第１ＮＮ出力情報として生成して、第２時系列型ＮＮ部７４へ出力する。第１ＮＮ出力情報の次元数は、ユニットの個数と同じである。

第２時系列型ＮＮ部７４は、複数（例えば、５０）のユニットを有するリカレントニューラルネットワークである。第２時系列型ＮＮ部７４のユニットの個数は、第１時系列型ＮＮ部７２のユニットの個数と同じである。第２時系列型ＮＮ部７４のユニットは、例えば、リセットゲート及び更新ゲートを有し、予め定められた重みによって定義されるＧＲＵである。第２時系列型ＮＮ部７４の各ユニットは、第１時系列型ＮＮ部７２が出力した多次元ベクトルである第１ユニット出力情報と、時刻ｔ−Δｔの第１ユニット出力情報を取得したユニットが出力した情報（以下、第２ユニット出力情報）とを取得する。尚、第２時系列型ＮＮ部７４のユニットは、予めメモリ２２等に記憶させたデータから過去（例えば、時刻ｔ−Δｔ）の第１ユニット出力情報を取得してよい。第２時系列型ＮＮ部７４の各ユニットは、時刻ｔの第１ユニット出力情報と、時刻ｔ−Δｔの第１ユニット出力情報から生成された第２ユニット出力情報とから時刻ｔの第２ユニット出力情報を生成する。第２時系列型ＮＮ部７４の各ユニットは、生成した時刻ｔの第２ユニット出力情報を、後述する第４全結合層７６の全てのユニットに出力するとともに、時刻ｔ＋Δｔの第１ユニット出力情報を取得する第２時系列型ＮＮ部７４のユニットに出力する。換言すれば、第２時系列型ＮＮ部７４は、第１時系列型ＮＮ部７２の各ユニットが出力した時刻の異なる複数の第１ユニット出力情報を取得する。第２時系列型ＮＮ部７４は、上述の各処理を含む第２時系列型ＮＮ処理によって、複数の第１ユニット出力情報から生成した複数の第２ユニット出力情報を要素とする多次元ベクトル（例えば、５０次元ベクトル）の情報を第２ＮＮ出力情報として第４全結合層７６の全てのユニットに出力する。第２ＮＮ出力情報の次元数は、ユニットの個数及び第１ユニット出力情報の次元数と同じである。

第４全結合層７６は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニットを有する。第４全結合層７６の各ユニットは、第２時系列型ＮＮ部７４の各ユニットが出力した全ての第２ユニット出力情報を含む多次元ベクトルの第２ＮＮ出力情報を取得する。第４全結合層７６は、活性化関数を用いた第４全結合処理によって、第２ＮＮ出力情報を結合させて次元数を増加させた多次元ベクトルの第２全結合情報を生成して、第３出力層７８へ出力する。第４全結合層７６は、例えば、第２ユニット出力情報が５０次元のベクトルの場合、１２８次元のベクトルの第２全結合情報を生成する。

第３出力層７８は、予め設定されたバイアス値及び重みを含む活性化関数によって定義される複数のユニットを有する。第３出力層７８の活性化関数のバイアス値及び重みは、乗員の未来の行動に関する情報である行動予測情報を生成可能に、乗員の行動と関連付けられた教師画像を用いた機械学習等によって予め設定されている。ユニットの個数は、予測する乗員の行動を示す行動予測ラベルの個数（例えば、１１個）と同じである。即ち、各ユニットは、いずれかの行動予測ラベルと対応付けられている。行動予測ラベルは、数値データ２９の一部として格納部２４に格納されていてよい。第３出力層７８の各ユニットは、第４全結合層７６から取得した第２全結合情報を活性化関数によって演算することにより、対応する行動予測ラベルの確率を算出する。尚、複数の行動認識ラベルは、複数の行動予測ラベルと必ずしも一致していなくてもよい。このように構成しても、後半部４２の第３出力層７８は、前半部４０の行動認識情報を用いて、複数の行動認識ラベルに含まれていない行動予測ラベルの確率を予測できる。第３出力層７８は、複数の行動予測ラベルのそれぞれに算出した確率を対応付けた複数の行動予測ラベルの確率分布を、多次元ベクトルで示した行動予測情報として生成してよい。尚、第３出力層７８は、各行動予測ラベルの確率を正規化してもよい。行動予測情報のベクトルの各座標系は行動予測ラベルのいずれかに対応し、各座標系の値は行動予測ラベルの確率に対応する。行動予測情報の次元数は、行動予測ラベルの個数及び第３出力層７８のユニットの個数と同じである。従って、第３出力層７８のユニット数が、第２全結合情報の次元数よりも少ない場合、行動予測情報の次元数は第２全結合情報の次元数よりも少なくなる。第３出力層７８は、生成した行動予測情報から最も確率の高い行動予測ラベルを選択する。第３出力層７８は、上述の各処理を含む第３出力処理によって選択した最も確率の高い行動予測ラベルを車両制御装置１６等に出力する。尚、第３出力層７８は、上述の各処理を含む第３出力処理によって生成した行動予測情報を車両制御装置１６等に出力してもよい。

図３は、画像処理装置１２の処理部２０が実行する画像処理のフローチャートである。処理部２０は、画像処理プログラム２８を読み込むことによって、画像処理を実行する。

図３に示すように、画像処理では、入力層４４が、１または複数の画像を取得して、第１畳み込み層５０の各フィルタに出力する（Ｓ１０２）。第１畳み込み層５０の各フィルタは、入力層４４から取得した全ての画像に第１畳み込み処理を実行して生成した特徴マップを第１プーリング層５２の対応するユニットへ出力する（Ｓ１０４）。第１プーリング層５２の各ユニットは、第１畳み込み層５０から取得した特徴マップに第１プーリング処理を実行して圧縮または小型化した特徴マップを、第２畳み込み層５４の全フィルタへ出力する（Ｓ１０６）。第２畳み込み層５４の各ユニットは、第１プーリング層５２から取得した全ての特徴マップに第２畳み込み処理を実行して、新たな特徴が抽出された特徴マップを生成して第２プーリング層５６の対応するユニットへ出力する（Ｓ１０８）。第２プーリング層５６の各ユニットは、第２畳み込み層５４のユニットから取得した特徴マップに第２プーリング処理を実行して圧縮または小型化した特徴マップを、第３畳み込み層５８の全フィルタへ出力する（Ｓ１１０）。第３畳み込み層５８の各ユニットは、第２プーリング層５６から取得した全ての特徴マップに第３畳み込み処理を実行して、新たな特徴が抽出された特徴マップを生成して第３プーリング層６０の対応するユニットへ出力する（Ｓ１１２）。第３プーリング層６０の各ユニットは、第３畳み込み層５８のユニットから取得した特徴マップに第３プーリング処理を実行して圧縮または小型化した特徴マップを、第１全結合層６２の全ユニットへ出力する（Ｓ１１４）。

第１全結合層６２の各ユニットは、第３プーリング層６０から取得した特徴マップを第１全結合処理によって結合させた人体特徴情報を第１全結合情報として生成して、第２全結合層６４の全ユニット及び第３全結合層６８の全ユニットへ出力する（Ｓ１１６）。第２全結合層６４の各ユニットは、取得した全ての第１全結合情報に第２全結合処理を実行して結合することによって、精度を高めた人体特徴情報を生成して第１出力層６６に出力する（Ｓ１１８）。第１出力層６６は、第２全結合層６４から取得した人体特徴情報に第１出力処理を実行して生成した新たな人体特徴情報を第１時系列型ＮＮ部７２へ出力する（Ｓ１２０）。第３全結合層６８の各ユニットは、取得した全ての第１全結合情報に第３全結合処理を実行して結合することによって、行動認識情報を生成して第２出力層７０に出力する（Ｓ１２２）。第２出力層７０は、第３全結合層６８から取得した行動認識情報に第２出力処理を実行して正規化した新たな行動認識情報を第１時系列型ＮＮ部７２へ出力する（Ｓ１２４）。尚、ステップＳ１１８及びＳ１２０と、ステップＳ１２２及びＳ１２４は、順序を入れて替えてもよく、並列で実行してもよい。

第１時系列型ＮＮ部７２の各ユニットは、第１出力層６６及び第２出力層７０から取得した時刻の異なる複数の人体特徴情報及び行動認識情報に第１時系列型ＮＮ処理を実行して、第１ユニット出力情報を生成して第２時系列型ＮＮ部７４の対応するユニットへ出力する（Ｓ１２６）。第２時系列型ＮＮ部７４の各ユニットは、第１時系列型ＮＮ部７２から取得した時刻の異なる複数の第１ユニット出力情報に第２時系列型ＮＮ処理を実行して、複数の第２ユニット出力情報を生成して第４全結合層７６の全ユニットへ出力する（Ｓ１２８）。

第４全結合層７６は、第２ユニット出力情報に第４全結合処理を実行して生成した第２全結合情報を第３出力層７８へ出力する（Ｓ１３０）。第３出力層７８は、第２全結合情報に第３出力処理を実行して生成した行動予測情報から選択した最も確率の高い行動予測ラベル、または、行動予測情報を車両制御装置１６へ出力する（Ｓ１３２）。

上述したように第１実施形態の画像処理装置１２は、乗員の画像の情報から生成した第１全結合情報から質の異なる２種類の人体特徴情報及び行動認識情報を生成して出力するので、１種類の第１全結合情報から質の異なる２種類の情報（即ち、人体特徴情報及び行動認識情報）を出力できる。

画像処理装置１２では、第１全結合層６２が第２全結合層６４及び第３全結合層６８のそれぞれに同じ第１全結合情報を出力している。このように、画像処理装置１２は、同じ第１全結合情報から人体特徴情報及び行動認識情報を生成するので、アーキテクチャー等の構成の複雑化を抑制しつつ、質の異なる２種類の情報を出力できるとともに、処理に要する時間を短縮できる。

画像処理装置１２では、後半部４２が、前半部４０によって生成された時刻の異なる複数の人体特徴情報及び複数の行動認識情報から行動予測情報を生成する。このように、画像処理装置１２は、１個の装置に搭載した構成（アーキテクチャー）によって画像から人体特徴情報及び行動認識情報とともに行動予測情報を生成することができる。また、画像処理装置１２は、１個の装置で各情報を生成することにより、行動認識及び行動予測に要するバイアス及び重み等を合わせてチューニングできるので、チューニング作業を簡略化できる。

画像処理装置１２では、後半部４２が、予め定められた複数の行動予測ラベルの確率分布を行動予測情報として生成する。これにより、画像処理装置１２は、可能性のある乗員の複数の行動の確率を予測して生成することができる。

画像処理装置１２では、後半部４２が、行動予測情報から最も確率の高い行動予測ラベルを選択して出力している。これにより、画像処理装置１２は、乗員の未来の行動を１つに絞って、出力先の車両制御装置１６等の処理負担を低減することができる。

画像処理装置１２では、第１全結合層６２が、特徴マップを結合させて生成した乗員の特徴に関する人体特徴情報を第１全結合情報として、後段の第２全結合層６４及び第３全結合層６８に出力している。これにより、第２全結合層６４は、人体特徴情報の精度をより向上させることができる。また、第３全結合層６８は、人物以外の情報である、車室内に荷物が有るまたは無い等の環境変化等の影響を低減して、精度の高い行動認識情報を生成できる。この結果、後半部４２は、精度の高い人体特徴情報及び行動認識情報に基づいて、より精度の高い行動予測情報を生成して出力できる。

画像処理装置１２では、乗員の行動と関連付けた教師画像を用いた機械学習によって、第３全結合層６８及び第３出力層７８等の活性化関数のバイアス及び重みを予め設定している。これにより、画像処理装置１２は、画像と行動とを関連付けることによって、行動認識及び行動予測ができる。

＜第２実施形態＞
図４は、第２実施形態の処理部２０の機能を説明する機能ブロック図である。第２実施形態の画像処理装置１２の処理部２０は、結合部４８Ａの構成が第１実施形態とは異なる。

図４に示すように、第２実施形態の結合部４８Ａは、第１全結合層６２Ａと、第２全結合層６４Ａと、第１出力層６６Ａと、第３全結合層６８Ａと、第２出力層７０Ａとを有する。

第１全結合層６２Ａは、第３プーリング層６０から取得した複数の特徴マップから生成した人体特徴情報を第１全結合情報として第２全結合層６４Ａへ出力する。

第２全結合層６４Ａは、第１全結合情報から人体特徴情報を生成する。第２全結合層６４Ａは、取得した第１全結合情報とともに、生成した人体特徴情報を第１出力層６６Ａ及び第３全結合層６８Ａへ出力する。

第１出力層６６Ａは、人体特徴情報を取得する。第１出力層６６Ａは、取得した人体特徴情報を後半部４２の第１時系列型ＮＮ部７２へ出力する。

第３全結合層６８Ａは、第１全結合情報から行動認識情報を生成する。第３全結合層６８Ａは、行動認識情報を第２出力層７０Ａへ出力する。

第２出力層７０Ａは、行動認識情報を正規化する。第２出力層７０Ａは、人体特徴情報とともに、正規化した行動認識情報を後半部４２の第１時系列型ＮＮ部７２へ出力する。

上述した各実施形態の構成の機能、接続関係、個数、配置等は、発明の範囲及び発明の範囲と均等の範囲内で適宜変更、削除等してよい。各実施形態を適宜組み合わせてもよい。各実施形態の各ステップの順序を適宜変更してよい。

上述の実施形態では、３組の畳み込み層５０、５４、５８及びプーリング層５２、５６、６０を有する画像処理装置１２を例に挙げたが、畳み込み層及びプーリング層の組数は適宜変更してよい。例えば、畳み込み層及びプーリング層の組数は、１組または複数組であってよい。

上述の実施形態では、２個の時系列型ＮＮ部７２、７４を有する例を挙げたが、時系列型ＮＮ部の個数は適宜変更してよい。例えば、時系列型ＮＮ部の個数は、１または複数であってよい。

上述の実施形態では、ＧＲＵを有するリカレントニューラルネットワークを時系列型ＮＮ部７２、７４の例として挙げたが、時系列型ＮＮ部７２、７４の構成は適宜変更してよい。例えば、時系列型ＮＮ部７２、７４は、ＬＳＴＭ（Long Short-Term Memory）等を有するリカレントニューラルネットワークであってよい。

上述の実施形態では、第１全結合情報が人体特徴情報である例を挙げて説明したが、第１全結合情報は、これに限定されず、特徴マップを結合した情報であればよい。

上述の実施形態では、自動車に搭載されて乗員の行動を認識または予測する画像処理装置１２を例に挙げて説明したが、画像処理装置１２はこれに限定されない。例えば、画像処理装置１２は、野外等の人物の行動を認識または予測してもよい。

１０：画像処理システム、１２：画像処理装置、４０：前半部、４２：後半部、５０：第１畳み込み層、５２：第１プーリング層、５４：第２畳み込み層、５６：第２プーリング層、５８：第３畳み込み層、６０：第３プーリング層、６２、６２Ａ：第１全結合層、６４、６４Ａ：第２全結合層、６８、６８Ａ：第３全結合層。

Claims

人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、
前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、
前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、
前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、
を備える画像処理装置。
前記第１全結合層は、前記第２全結合層及び前記第３全結合層のそれぞれに前記第１全結合情報を出力する
請求項１に記載の画像処理装置。
時刻の異なる複数の前記人体特徴情報及び複数の前記行動認識情報から前記人物の未来の行動に関する行動予測情報を生成する後半部
を更に備える請求項１または２に記載の画像処理装置。
前記後半部は、予め定められた複数の行動予測ラベルの確率分布を前記行動予測情報として生成する
請求項３に記載の画像処理装置。
前記後半部は、前記行動予測情報から確率の最も高い前記行動予測ラベルを選択して出力する
請求項４に記載の画像処理装置。
前記第１全結合層は、予め定められた前記人物の特徴を示す人体特徴情報を前記第１全結合情報として出力する
請求項１から５のいずれか１項に記載の画像処理装置。
人物の画像を含む入力画像の情報に畳み込み処理及びプーリング処理を実行して入力画像から特徴を抽出して複数の特徴マップを生成する抽出部と、
前記複数の特徴マップを結合させて生成した第１全結合情報を出力する第１全結合層と、
前記第１全結合情報を結合させて、予め定められた前記人物の特徴を示す人体特徴情報を出力する第２全結合層と、
前記第１全結合情報または前記人体特徴情報を結合させて、予め定められた複数の行動認識ラベルの確率分布を示す行動認識情報を出力する第３全結合層と、
してコンピュータを機能させるプログラム。