JP7433794B2

JP7433794B2 - 自船周辺情報記憶装置及び自船周辺情報表示装置

Info

Publication number: JP7433794B2
Application number: JP2019135703A
Authority: JP
Inventors: 正敏曲渕; 栄上関
Original assignee: Japan Radio Co Ltd
Current assignee: Japan Radio Co Ltd
Priority date: 2019-07-23
Filing date: 2019-07-23
Publication date: 2024-02-20
Anticipated expiration: 2039-07-23
Also published as: JP2021018756A

Description

本開示は、自船の周辺の物標を検出する技術に関する。

自船の周辺の物標を検出する技術が、特許文献１等に開示されている。特許文献１では、レーダ画像と目視景観との重畳画像を表示し、輻輳海域での操船判断を支援する。

特開２０１０－００３２７４号公報

特許文献１では、レーダ画像ではなく目視景観を用いて、小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。しかし、特許文献１では、多数の船員による目視の負担を軽減することができないとともに、船舶用ドライブレコーダを実現することができない。

そこで、前記課題を解決するために、本開示は、レーダ画像を用いて検出することができない小型船舶、木造船舶、落水者及び海洋生物等を検出するにあたり、多数の船員による目視の負担を軽減するとともに、船舶用ドライブレコーダを実現することを目的とする。

前記課題を解決するために、自船周辺の同時刻でのレーダ画像及びカメラ画像に同時刻スタンプを付与し、レーダ画像、カメラ画像及び同時刻スタンプを関連記憶する。

具体的には、本開示は、自船周辺の同時刻でのレーダ画像及びカメラ画像を取得する画像取得部と、前記レーダ画像及び前記カメラ画像に同時刻スタンプを付与する時刻付与部と、前記レーダ画像、前記カメラ画像及び前記同時刻スタンプを関連記憶する画像記憶部と、を備えることを特徴とする自船周辺情報記憶装置である。

この構成によれば、レーダ画像を用いて、自船から中距離及び短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ブイ及び養殖いかだ等を検出することができる。一方で、カメラ画像を用いて、自船から短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等を検出することができる。そして、レーダ画像及びカメラ画像を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、レーダ画像及びカメラ画像に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。なお、ＡＩＳ秘匿船舶は、軍艦及び海賊船等であり、ＡＩＳ非搭載船舶は、小型船舶及び木造船舶等である。

また、本開示は、前記時刻付与部は、前記レーダ画像及び前記カメラ画像に前記同時刻スタンプを付与する時刻を、前記レーダ画像及び前記カメラ画像が前記自船で生成される時刻に同期させることを特徴とする自船周辺情報記憶装置である。

この構成によれば、レーダ画像及びカメラ画像に付与する時刻スタンプを、レーダ画像及びカメラ画像の自船での生成時刻と同期させるため、レーダ画像及びカメラ画像に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。

また、本開示は、前記画像取得部は、さらに前記自船周辺の前記同時刻でのＡＩＳ（ＡｕｔｏｍａｔｉｃＩｄｅｎｔｉｆｉｃａｔｉｏｎＳｙｓｔｅｍ）情報を取得し、前記時刻付与部は、さらに前記ＡＩＳ情報に前記同時刻スタンプを付与し、前記画像記憶部は、さらに前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶することを特徴とする自船周辺情報記憶装置である。

この構成によれば、ＡＩＳ情報を用いて、自船から長距離、中距離及び短距離に位置するＡＩＳ搭載船舶を検出することができる。そして、ＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、ＡＩＳ情報に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。さらに、他船が送信したＡＩＳ情報を用いて、自船が生成したレーダ画像及びカメラ画像の物標位置精度を保証することができる。

また、本開示は、前記時刻付与部は、（１）前記ＡＩＳ情報が前記自船で取得された時刻と、前記レーダ画像及び前記カメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度と、前記レーダ画像、前記カメラ画像及び前記ＡＩＳ情報に基づいて計測された前記他船の位置の間のずれと、に基づいて、前記ＡＩＳ情報が前記他船で生成された時刻を計測し、（２）前記ＡＩＳ情報に付与する時刻スタンプとして、前記同時刻スタンプと比べてほぼ同時刻であるが以前の時刻である、前記ＡＩＳ情報が前記他船で生成された時刻を設定することを特徴とする自船周辺情報記憶装置である。

この構成によれば、ＡＩＳ情報に付与する時刻スタンプを、同時刻スタンプと比べて少々以前の時刻であるＡＩＳ情報の他船での生成時刻と同期させるため、ＡＩＳ情報に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。

また、本開示は、前記画像取得部は、前記レーダ画像の取得先であるレーダの水平回転するアンテナに取り付けられた水平回転するカメラから、前記カメラ画像を取得することを特徴とする自船周辺情報記憶装置である。

この構成によれば、カメラがレーダと同様に自船の高い位置に設置されるため、自船の死角が少なくなり、自船の近傍の小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。

また、本開示は、以上に記載の自船周辺情報記憶装置から、前記同時刻スタンプと関連記憶された前記レーダ画像及び前記カメラ画像を読み出す画像読出部と、前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像を重畳表示又は合成表示する画像表示部と、を備えることを特徴とする自船周辺情報表示装置である。

この構成によれば、レーダ画像及びカメラ画像を重畳表示又は合成表示することができ、多数の船員による目視の負担を軽減することができる。

また、本開示は、前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像の重畳表示又は合成表示において、前記レーダ画像及び前記カメラ画像のうちの一方で検出されたか両方で検出されたかに基づいて、物標の種類を識別する物標識別部、をさらに備えることを特徴とする自船周辺情報表示装置である。

この構成によれば、物標の種類（ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等。）を識別することができ、特に小型船舶、木造船舶、落水者及び海洋生物等を検出することができる。

前記課題を解決するために、自船周辺の同時刻でのカメラ画像及びＡＩＳ情報に同時刻スタンプを付与し、カメラ画像、ＡＩＳ情報及び同時刻スタンプを関連記憶する。

具体的には、本開示は、自船周辺の同時刻でのカメラ画像及びＡＩＳ（ＡｕｔｏｍａｔｉｃＩｄｅｎｔｉｆｉｃａｔｉｏｎＳｙｓｔｅｍ）情報を取得する画像取得部と、前記カメラ画像及び前記ＡＩＳ情報に同時刻スタンプを付与する時刻付与部と、前記カメラ画像、前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶する画像記憶部と、を備えることを特徴とする自船周辺情報記憶装置である。

この構成によれば、カメラ画像を用いて、自船から短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等を検出することができる。一方で、ＡＩＳ情報を用いて、自船から長距離、中距離及び短距離に位置するＡＩＳ搭載船舶を検出することができる。そして、カメラ画像及びＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、カメラ画像及びＡＩＳ情報に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。さらに、他船が送信したＡＩＳ情報を用いて、自船が生成したカメラ画像（レーダ画像を含めてもよい。）の物標位置精度を保証することができる。なお、ＡＩＳ秘匿船舶は、軍艦及び海賊船等であり、ＡＩＳ非搭載船舶は、小型船舶及び木造船舶等である。

また、本開示は、前記時刻付与部は、前記カメラ画像に前記同時刻スタンプを付与する時刻を、前記カメラ画像が前記自船で生成される時刻に同期させることを特徴とする自船周辺情報記憶装置である。

この構成によれば、カメラ画像に付与する時刻スタンプを、カメラ画像の自船での生成時刻と同期させるため、カメラ画像に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。

また、本開示は、前記時刻付与部は、（１）前記ＡＩＳ情報が前記自船で取得された時刻と、前記カメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度と、前記カメラ画像及び前記ＡＩＳ情報に基づいて計測された前記他船の位置の間のずれと、に基づいて、前記ＡＩＳ情報が前記他船で生成された時刻を計測し、（２）前記ＡＩＳ情報に付与する時刻スタンプとして、前記同時刻スタンプと比べてほぼ同時刻であるが以前の時刻である、前記ＡＩＳ情報が前記他船で生成された時刻を設定することを特徴とする自船周辺情報記憶装置である。

また、本開示は、前記画像取得部は、さらに前記自船周辺の前記同時刻でのレーダ画像を取得し、前記時刻付与部は、さらに前記レーダ画像に前記同時刻スタンプを付与し、前記画像記憶部は、さらに前記レーダ画像及び前記同時刻スタンプを関連記憶することを特徴とする自船周辺情報記憶装置である。

この構成によれば、レーダ画像を用いて、自船から中距離及び短距離に位置するＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ブイ及び養殖いかだ等を検出することができる。そして、レーダ画像を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。さらに、レーダ画像に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。

また、本開示は、以上に記載の自船周辺情報記憶装置から、前記同時刻スタンプと関連記憶された前記カメラ画像及び前記ＡＩＳ情報を読み出す画像読出部と、前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報を重畳表示又は合成表示する画像表示部と、を備えることを特徴とする自船周辺情報表示装置である。

この構成によれば、カメラ画像及びＡＩＳ情報を重畳表示又は合成表示することができ、多数の船員による目視の負担を軽減することができる。

また、本開示は、前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報の重畳表示又は合成表示において、前記カメラ画像及び前記ＡＩＳ情報のうちの一方で検出されたか両方で検出されたかに基づいて、物標の種類を識別する物標識別部、をさらに備えることを特徴とする自船周辺情報表示装置である。

このように、本開示は、レーダ画像を用いて検出することができない小型船舶、木造船舶、落水者及び海洋生物等を検出するにあたり、多数の船員による目視の負担を軽減するとともに、船舶用ドライブレコーダを実現することができる。

本開示の自船周辺情報表示システムの概要を示す図である。本開示の自船周辺情報表示システムの構成を示す図である。本開示の自船周辺情報記憶・表示処理の手順を示す図である。本開示の自船周辺情報記憶処理の内容を示す図である。本開示の自船周辺情報表示処理の内容を示す図である。本開示の自船周辺物標識別処理の概要を示す図である。本開示の自船周辺物標識別処理の内容を示す図である。本開示の自船周辺物標識別処理の効果を示す図である。本開示のレーダ画像及びカメラ画像の時刻スタンプの高精度化を示す図である。本開示のＡＩＳ情報の時刻スタンプの高精度化を示す図である。本開示の自船周辺情報表示システムの具体例を示す図である。

添付の図面を参照して本開示の実施形態を説明する。以下に説明する実施形態は本開示の実施の例であり、本開示は以下の実施形態に制限されるものではない。

本開示の自船周辺情報表示システムの概要を図１に示す。自船Ｓの操舵室には、自船周辺情報表示システムＤが設置される。自船Ｓの高い位置には、レーダＲの水平回転アンテナが設置される。レーダＲの水平回転アンテナには、複数のカメラＣが設置される。

複数のカメラＣは自船Ｓの高い位置に設置されるため、自船Ｓの死角が少なくなり、自船Ｓの近傍の物標Ｔ（特に、小型船舶、木造船舶、落水者及び海洋生物等。）を検出することができる。複数のカメラＣが可視光カメラであれば、昼間に自船Ｓの周辺の物標Ｔを検出することができる。複数のカメラＣが赤外線カメラであれば、夜間に自船Ｓの周辺の物標Ｔを検出することができ、温度測定で自船Ｓの周辺の生物（特に、落水者及び海洋生物等。）を検出することもできる。

本開示の自船周辺情報表示システムの構成を図２に示す。自船周辺情報表示システムＤは、自船周辺情報記憶装置１及び自船周辺情報表示装置２を備える。自船周辺情報記憶装置１は、画像取得部１１、時刻付与部１２及び画像記憶部１３を備える。自船周辺情報表示装置２は、画像読出部２１、画像表示部２２及び物標識別部２３を備える。

本開示の自船周辺情報記憶・表示処理の手順を図３に示す。本開示の自船周辺情報記憶処理の内容を図４に示す。本開示の自船周辺情報表示処理の内容を図５に示す。

まず、自船周辺情報記憶装置１について説明する。画像取得部１１は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報を取得する（ステップＳ１）。時刻付与部１２は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報に同時刻スタンプを付与する（ステップＳ２）。画像記憶部１３は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報並びに同時刻スタンプを関連記憶する（ステップＳ３）。

図４の上段では、時刻Ｔ１での記憶データＭ１を示す。時刻Ｔ１での記憶データＭ１は、時刻Ｔ１でのレーダ画像Ｒ１、カメラ画像Ｃ１及びＡＩＳ情報Ａ１を備える。時刻Ｔ１でのレーダ画像Ｒ１は、時刻Ｔ１での画像情報及び時刻スタンプを備える。時刻Ｔ１でのカメラ画像Ｃ１は、時刻Ｔ１での画像情報、撮像方向（船首方向、右舷方向、船尾方向及び左舷方向等。）及び時刻スタンプを備える。時刻Ｔ１でのＡＩＳ情報Ａ１は、時刻Ｔ１での複数の他船固有情報、複数の他船位置情報及び時刻スタンプを備える。

図４の下段では、時刻Ｔｎでの記憶データＭｎを示す。時刻Ｔｎでの記憶データＭｎは、時刻Ｔｎでのレーダ画像Ｒｎ、カメラ画像Ｃｎ及びＡＩＳ情報Ａｎを備える。時刻Ｔｎでのレーダ画像Ｒｎは、時刻Ｔｎでの画像情報及び時刻スタンプを備える。時刻Ｔｎでのカメラ画像Ｃｎは、時刻Ｔｎでの画像情報、撮像方向（船首方向、右舷方向、船尾方向及び左舷方向等。）及び時刻スタンプを備える。時刻ＴｎでのＡＩＳ情報Ａｎは、時刻Ｔｎでの複数の他船固有情報、複数の他船位置情報及び時刻スタンプを備える。

時刻スタンプは、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｔｅｍ）の時計、自船Ｓの時計又は時刻認証局等によるものである。このように、レーダ画像、カメラ画像及びＡＩＳ情報に対して、同時刻スタンプを付与することにより、改竄することを防止することができ、船舶用ドライブレコーダを実現することができる。

次に、自船周辺情報表示装置２について説明する。画像読出部２１は、自船周辺情報記憶装置１から、同時刻スタンプと関連記憶された、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報を読み出す（ステップＳ４）。画像表示部２２は、同時刻スタンプと関連記憶された、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報を重畳表示又は合成表示する（ステップＳ５）。物標識別部２３については、後述する。

図５の上段では、自船Ｓの周辺の時刻Ｔ１でのレーダ画像、カメラ画像及びＡＩＳ情報の重畳表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ（ＰｌａｎＰｏｓｉｔｉｏｎＩｎｄｉｃａｔｏｒ）画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。

図５の下段では、自船Ｓの周辺の時刻Ｔ１でのレーダ画像、カメラ画像及びＡＩＳ情報の合成表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。アラウンドビュー画面ＤＡ１、ＤＡ２、ＤＡ３、ＤＡ４は、レーダＲのＰＰＩ画面の周囲に、船首方向、右舷方向、船尾方向、左舷方向のカメラ画像を示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示す。

カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６は、各々のカメラＣから自船Ｓの所定位置（自船Ｓの船首、右舷、船尾及び左舷等。）への距離及び方向と、各々のカメラＣから物標位置Ｐ４、Ｐ５、Ｐ６への方向と、に基づいて、測定される。このように、レーダ画像、カメラ画像及びＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ（図６から図８までを参照。）、多数の船員による目視の負担を軽減することができる。

本開示の自船周辺物標識別処理の概要を図６に示す。本開示の自船周辺物標識別処理の内容を図７に示す。本開示の自船周辺物標識別処理の効果を図８に示す。

物標識別部２３は、自船Ｓ周辺の同時刻でのレーダ画像、カメラ画像及びＡＩＳ情報の重畳表示又は合成表示において、レーダ画像、カメラ画像及びＡＩＳ情報のうちの一つ、二つ又は全てで検出されたかに基づいて、物標Ｔの種類を識別する。

図６では、自船Ｓの周辺の物標Ｔの識別の方針を示す。レーダ画像を用いて、自船Ｓから相対的に中距離及び短距離に位置する、ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ブイ及び養殖いかだ等を検出することができる。カメラ画像を用いて、自船Ｓから相対的に短距離に位置する、ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶、ＡＩＳ非搭載船舶、ブイ、養殖いかだ、落水者及び海洋生物等を検出することができる。ＡＩＳ情報を用いて、自船Ｓから相対的に長距離、中距離及び短距離に位置する、ＡＩＳ搭載船舶を検出することができる。なお、ＡＩＳ秘匿船舶は、軍艦及び海賊船等であり、ＡＩＳ非搭載船舶は、小型船舶及び木造船舶等である。

図７から図１０まででは、説明を簡潔にするため、（１）レーダ画像を用いて、自船Ｓから相対的に中距離及び短距離に位置する、ＡＩＳ搭載船舶及びＡＩＳ秘匿船舶を検出し、（２）カメラ画像を用いて、自船Ｓから相対的に短距離に位置する、ＡＩＳ搭載船舶、ＡＩＳ秘匿船舶及びＡＩＳ非搭載船舶を検出し、（３）ＡＩＳ情報を用いて、自船Ｓから相対的に長距離、中距離及び短距離に位置する、ＡＩＳ搭載船舶を検出する、とする。

図７の上段では、自船Ｓの周辺の時刻Ｔ１での物標Ｔの識別の結果を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。

物標位置Ｐ１は、自船Ｓから相対的に長距離に位置し、ＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ２は、自船Ｓから相対的に中距離に位置し、レーダ画像及びＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ３は、自船Ｓから相対的に中距離に位置し、レーダ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ４は、自船Ｓから相対的に短距離に位置し、レーダ画像、カメラ画像及びＡＩＳ情報全てで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ５は、自船Ｓから相対的に短距離に位置し、レーダ画像及びカメラ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ６は、自船Ｓから相対的に短距離に位置し、カメラ画像のみで検出され、ＡＩＳ非搭載船舶の位置と識別される。

図７の下段では、自船Ｓの周辺の時刻Ｔｎでの物標Ｔの識別の結果を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’を丸印で示し、カメラ画像で検出された物標位置Ｐ６’を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１’、Ｐ２’、Ｐ４’を四角印で示す。

物標位置Ｐ１’は、自船Ｓから相対的に長距離に位置し、ＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ２’は、自船Ｓから相対的に中距離に位置し、レーダ画像及びＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ３’は、自船Ｓから相対的に中距離に位置し、レーダ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ４’は、自船Ｓから相対的に中距離に位置し、レーダ画像及びＡＩＳ情報のみで検出され、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ５’は、自船Ｓから相対的に中距離に位置し、レーダ画像のみで検出され、ＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ６’は、自船Ｓから相対的に短距離に位置し、カメラ画像のみで検出され、ＡＩＳ非搭載船舶の位置と識別される。

自船Ｓの周辺の時刻Ｔ１、Ｔｎでの物標Ｔの識別の結果が比較され、物標位置Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６がそれぞれ、物標位置Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’へ移動したことが、矢印で示した追尾ベクトルにより示される。このように、レーダ画像、カメラ画像及びＡＩＳ情報を併せて、一方の短所を他方の長所で補完することができ、多数の船員による目視の負担を軽減することができる。

なお、自船周辺情報表示システムＤにおいて、ＡＩＳ秘匿船舶及びＡＩＳ非搭載船舶を検出したときには、これらの船舶をしばらく追尾・撮影し、これらの船舶の画像を長期間記憶し、これらの船舶のうちの特にＡＩＳ秘匿船舶を画像認識で判別・推測してもよい。

図８の上段では、ＡＩＳ情報が重畳されていない重畳表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示す。

物標位置Ｐ２は、自船Ｓから相対的に中距離に位置し、レーダ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ３は、自船Ｓから相対的に中距離に位置し、レーダ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ４は、自船Ｓから相対的に短距離に位置し、レーダ画像及びカメラ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ５は、自船Ｓから相対的に短距離に位置し、レーダ画像及びカメラ画像で検出され、ＡＩＳ非搭載船舶でない船舶の位置と識別される。物標位置Ｐ６は、自船Ｓから相対的に短距離に位置し、カメラ画像で検出され、ＡＩＳ非搭載船舶である船舶の位置と識別される。

図８の下段では、ＡＩＳ情報が重畳されている重畳表示を示す。重畳画面ＤＳは、レーダＲのＰＰＩ画面を用いて、レーダ画像で検出された物標位置Ｐ２、Ｐ３、Ｐ４、Ｐ５を丸印で示し、カメラ画像で検出された物標位置Ｐ４、Ｐ５、Ｐ６を三角印で示し、ＡＩＳ情報で検出された物標位置Ｐ１、Ｐ２、Ｐ４を四角印で示す。

物標位置Ｐ１は、図７の上段と同様に、ＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ２は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ３は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ４は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ搭載船舶の位置と識別される。物標位置Ｐ５は、ＡＩＳ非搭載船舶でない船舶のうちＡＩＳ秘匿船舶の位置と識別される。物標位置Ｐ６は、図８の上段と同様に、ＡＩＳ非搭載船舶の位置と識別される。

このように、レーダ画像及びカメラ画像に対して、ＡＩＳ情報を併せて、物標Ｔの種類を絞り込んで識別することができる。そして、他船が送信したＡＩＳ情報を用いて、自船Ｓが生成したレーダ画像及びカメラ画像の物標位置精度を保証することができる。

本開示のレーダ画像及びカメラ画像の時刻スタンプの高精度化を図９に示す。レーダＲの水平回転アンテナには、複数のカメラＣが設置されるため、画像取得部１１は、レーダ画像及びカメラ画像をほぼ同時刻に取得することができる。

ここで、レーダ画像及びカメラ画像の時刻スタンプｔ_Ｓ，ＲＣが、レーダ画像及びカメラ画像の生成時刻ｔ_Ｇ，ＲＣと同期していなければ、当該時刻スタンプｔ_Ｓ，ＲＣでの他船の真位置は、当該生成時刻ｔ_Ｇ，ＲＣでの他船の計測位置の前方になってしまう。

しかし、レーダ画像及びカメラ画像の時刻スタンプｔ_Ｓ，ＲＣが、レーダ画像及びカメラ画像の生成時刻ｔ_Ｇ，ＲＣと同期していれば、当該時刻スタンプｔ_Ｓ，ＲＣでの他船の真位置は、当該生成時刻ｔ_Ｇ，ＲＣでの他船の計測位置とほぼ一致させることができる。

そこで、時刻付与部１２は、レーダ画像及びカメラ画像に同時刻スタンプを付与する時刻ｔ_Ｓ，ＲＣを、レーダ画像及びカメラ画像が自船で生成される時刻ｔ_Ｇ，ＲＣに同期させる。

このように、レーダ画像及びカメラ画像に付与する時刻スタンプを、レーダ画像及びカメラ画像の自船での生成時刻と同期させるため、レーダ画像及びカメラ画像に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。

本開示のＡＩＳ情報の時刻スタンプの高精度化を図１０に示す。ＡＩＳ情報の受信時刻が、レーダ画像及びカメラ画像の生成時刻とほぼ一致していれば、画像取得部１１は、ＡＩＳ情報をレーダ画像及びカメラ画像とほぼ同時刻に取得することができる。ここで、レーダ画像及びカメラ画像の取得時刻は、レーダ画像及びカメラ画像の生成時刻とほぼ一致するが、ＡＩＳ情報の受信時刻は、ＡＩＳ情報の生成時刻より後の時刻である。

すると、ＡＩＳ情報の時刻スタンプｔ_Ｓ，Ａが、レーダ画像及びカメラ画像の時刻スタンプｔ_Ｓ，ＲＣと同一の時刻であれば、当該時刻スタンプｔ_Ｓ，Ａでの他船の計測位置は、当該時刻スタンプｔ_Ｓ，ＲＣでの他船の計測位置の後方になってしまう。

しかし、ＡＩＳ情報の時刻スタンプｔ_Ｓ，Ａが、レーダ画像及びカメラ画像の時刻スタンプｔ_Ｓ，ＲＣより以前の時刻であれば、当該時刻スタンプｔ_Ｓ，Ａでの他船の計測位置は、当該時刻スタンプｔ_Ｓ，ＲＣでの他船の計測位置とほぼ一致させることができる。

そこで、時刻付与部１２は、ＡＩＳ情報が自船で取得された時刻ｔ_Ｒ，Ａと、レーダ画像及びカメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度ｖと、レーダ画像、カメラ画像及びＡＩＳ情報に基づいて計測された他船の位置の間のずれΔｄと、に基づいて、ＡＩＳ情報が他船で生成された時刻ｔ_Ｇ，Ａをｔ_Ｒ，Ａ－Δｄ／ｖと計測する。なお、レーダ画像、カメラ画像及びＡＩＳ情報に基づいて計測された他船の位置の間のずれΔｄは、小さいと考えられるため、レーダ画像、カメラ画像及びＡＩＳ情報に基づいて計測された他船の位置（丸印、三角印及び四角印）は、同一の他船の位置と考えられる。

そして、時刻付与部１２は、ＡＩＳ情報に付与する時刻スタンプｔ_Ｓ，Ａとして、レーダ画像及びカメラ画像の同時刻スタンプｔ_Ｓ，ＲＣと比べてほぼ同時刻であるが以前の時刻ｔ_Ｓ，ＲＣ－Δｔである、ＡＩＳ情報が他船で生成された時刻ｔ_Ｇ，Ａを設定する。

このように、ＡＩＳ情報に付与する時刻スタンプを、同時刻スタンプと比べて少々以前の時刻であるＡＩＳ情報の他船での生成時刻と同期させるため、ＡＩＳ情報に付与する時刻スタンプの精度ひいては船舶用ドライブレコーダの精度を上げることができる。

本開示の自船周辺情報表示システムの具体例を図１１に示す。図１では、自船Ｓを舷側から見ているが、図１１では、自船Ｓを上側から見ている。

図１１の上段では、自船Ｓの船尾付近にブリッジが設置され、ブリッジの上部にレーダＲが設置され、レーダＲの水平回転アンテナに複数のカメラＣが設置される。しかし、レーダＲの水平回転アンテナに設置される複数のカメラＣのみでは、長い船体を有する自船Ｓの船首付近には死角が生ずる。そこで、自船Ｓの船首付近の右舷左舷に設置される補助のカメラＣにより、長い船体を有する自船Ｓの船首付近でも死角が生じない。そして、画像取得部１１は、レーダＲの水平回転アンテナに設置される複数のカメラＣと、自船Ｓの船首付近の右舷左舷に設置される補助のカメラＣと、からカメラ画像を取得すればよい。

図１１の下段では、自船Ｓの船首付近にブリッジが設置され、ブリッジの上部にレーダＲが設置され、レーダＲの水平回転アンテナに複数のカメラＣが設置される。しかし、レーダＲの水平回転アンテナに設置される複数のカメラＣのみでは、長い船体を有する自船Ｓの船尾付近には死角が生ずる。そこで、自船Ｓの船尾付近の右舷左舷に設置される補助のカメラＣにより、長い船体を有する自船Ｓの船尾付近でも死角が生じない。そして、画像取得部１１は、レーダＲの水平回転アンテナに設置される複数のカメラＣと、自船Ｓの船尾付近の右舷左舷に設置される補助のカメラＣと、からカメラ画像を取得すればよい。

本実施形態では、レーダ画像、カメラ画像及びＡＩＳ情報に同時刻スタンプを付与し、レーダ画像、カメラ画像及びＡＩＳ情報並びに同時刻スタンプを関連記憶し、同時刻スタンプと関連記憶されたレーダ画像、カメラ画像及びＡＩＳ情報を表示する。

第１の変形例として、レーダ画像及びカメラ画像に同時刻スタンプを付与し、レーダ画像、カメラ画像及び同時刻スタンプを関連記憶し、同時刻スタンプと関連記憶されたレーダ画像及びカメラ画像を表示してもよい。第２の変形例として、カメラ画像及びＡＩＳ情報に同時刻スタンプを付与し、カメラ画像、ＡＩＳ情報及び同時刻スタンプを関連記憶し、同時刻スタンプと関連記憶されたカメラ画像及びＡＩＳ情報を表示してもよい。

本開示の自船周辺情報記憶装置及び自船周辺情報表示装置は、レーダ画像を用いて検出することができない小型船舶、木造船舶、落水者及び海洋生物等を検出するにあたり、多数の船員による目視の負担を軽減するとともに、船舶用ドライブレコーダを実現することができる。

Ｓ：自船
Ｔ：物標
Ｄ：自船周辺情報表示システム
Ｒ：レーダ
Ｃ：カメラ
Ｍ１、Ｍｎ：記憶データ
Ｒ１、Ｒｎ：レーダ画像
Ｃ１、Ｃｎ：カメラ画像
Ａ１、Ａｎ：ＡＩＳ情報
ＤＳ：重畳画面
ＤＡ１、ＤＡ２、ＤＡ３、ＤＡ４：アラウンドビュー画面
Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６：物標位置
Ｐ１’、Ｐ２’、Ｐ３’、Ｐ４’、Ｐ５’、Ｐ６’：物標位置
１：自船周辺情報記憶装置
２：自船周辺情報表示装置
１１：画像取得部
１２：時刻付与部
１３：画像記憶部
２１：画像読出部
２２：画像表示部
２３：物標識別部

Claims

自船周辺の同時刻でのレーダ画像及びカメラ画像を取得し、前記レーダ画像及び前記カメラ画像の重畳表示又は合成表示により、一方を用いて検出することができない物標を、他方を用いて検出することができる物標で補完することができるようにする画像取得部と、
前記レーダ画像及び前記カメラ画像に同時刻スタンプを付与する時刻付与部と、
前記レーダ画像、前記カメラ画像及び前記同時刻スタンプを関連記憶する画像記憶部と、
を備えることを特徴とする自船周辺情報記憶装置。
前記時刻付与部は、前記レーダ画像及び前記カメラ画像に前記同時刻スタンプを付与する時刻を、前記レーダ画像及び前記カメラ画像が前記自船で生成される時刻に同期させる
ことを特徴とする、請求項１に記載の自船周辺情報記憶装置。
前記画像取得部は、さらに前記自船周辺の前記同時刻でのＡＩＳ（ＡｕｔｏｍａｔｉｃＩｄｅｎｔｉｆｉｃａｔｉｏｎＳｙｓｔｅｍ）情報を取得し、前記レーダ画像、前記カメラ画像及び前記ＡＩＳ情報の重畳表示又は合成表示により、一方を用いて検出することができない物標を、他方を用いて検出することができる物標で補完することができるようにし、
前記時刻付与部は、さらに前記ＡＩＳ情報に前記同時刻スタンプを付与し、
前記画像記憶部は、さらに前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶する
ことを特徴とする、請求項１又は２に記載の自船周辺情報記憶装置。
前記時刻付与部は、（１）前記ＡＩＳ情報が前記自船で取得された時刻と、前記レーダ画像及び前記カメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度と、前記レーダ画像、前記カメラ画像及び前記ＡＩＳ情報に基づいて計測された前記他船の位置の間のずれと、に基づいて、前記ＡＩＳ情報が前記他船で生成された時刻を計測し、（２）前記ＡＩＳ情報に付与する時刻スタンプとして、前記同時刻スタンプと比べてほぼ同時刻であるが以前の時刻である、前記ＡＩＳ情報が前記他船で生成された時刻を設定する
ことを特徴とする、請求項３に記載の自船周辺情報記憶装置。
前記画像取得部は、前記レーダ画像の取得先であるレーダの水平回転するアンテナに取り付けられた水平回転するカメラから、前記カメラ画像を取得する
ことを特徴とする、請求項１から４のいずれかに記載の自船周辺情報記憶装置。
請求項１から５のいずれかに記載の自船周辺情報記憶装置から、前記同時刻スタンプと関連記憶された前記レーダ画像及び前記カメラ画像を読み出す画像読出部と、
前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像を重畳表示又は合成表示する画像表示部と、
を備えることを特徴とする自船周辺情報表示装置。
前記自船周辺の前記同時刻での前記レーダ画像及び前記カメラ画像の重畳表示又は合成表示において、前記レーダ画像及び前記カメラ画像のうちの一方で検出されたか両方で検出されたかに基づいて、物標の種類を識別する物標識別部、をさらに備える
ことを特徴とする、請求項６に記載の自船周辺情報表示装置。
自船周辺の同時刻でのカメラ画像及びＡＩＳ（ＡｕｔｏｍａｔｉｃＩｄｅｎｔｉｆｉｃａｔｉｏｎＳｙｓｔｅｍ）情報を取得し、前記カメラ画像及び前記ＡＩＳ情報の重畳表示又は合成表示により、一方を用いて検出することができない物標を、他方を用いて検出することができる物標で補完することができるようにする画像取得部と、
前記カメラ画像及び前記ＡＩＳ情報に同時刻スタンプを付与する時刻付与部と、
前記カメラ画像、前記ＡＩＳ情報及び前記同時刻スタンプを関連記憶する画像記憶部と、
を備えることを特徴とする自船周辺情報記憶装置。
前記時刻付与部は、前記カメラ画像に前記同時刻スタンプを付与する時刻を、前記カメラ画像が前記自船で生成される時刻に同期させる
ことを特徴とする、請求項８に記載の自船周辺情報記憶装置。
前記時刻付与部は、（１）前記ＡＩＳ情報が前記自船で取得された時刻と、前記カメラ画像の時間変化に基づいて計測された他船の進行方向及び進行速度と、前記カメラ画像及び前記ＡＩＳ情報に基づいて計測された前記他船の位置の間のずれと、に基づいて、前記ＡＩＳ情報が前記他船で生成された時刻を計測し、（２）前記ＡＩＳ情報に付与する時刻スタンプとして、前記同時刻スタンプと比べてほぼ同時刻であるが以前の時刻である、前記ＡＩＳ情報が前記他船で生成された時刻を設定する
ことを特徴とする、請求項８又は９に記載の自船周辺情報記憶装置。
前記画像取得部は、さらに前記自船周辺の前記同時刻でのレーダ画像を取得し、前記カメラ画像、前記ＡＩＳ情報及び前記レーダ画像の重畳表示又は合成表示により、一方を用いて検出することができない物標を、他方を用いて検出することができる物標で補完することができるようにし、
前記時刻付与部は、さらに前記レーダ画像に前記同時刻スタンプを付与し、
前記画像記憶部は、さらに前記レーダ画像及び前記同時刻スタンプを関連記憶する
ことを特徴とする、請求項８から１０のいずれかに記載の自船周辺情報記憶装置。
前記画像取得部は、前記レーダ画像の取得先であるレーダの水平回転するアンテナに取り付けられた水平回転するカメラから、前記カメラ画像を取得する
ことを特徴とする、請求項１１に記載の自船周辺情報記憶装置。
請求項８から１２のいずれかに記載の自船周辺情報記憶装置から、前記同時刻スタンプと関連記憶された前記カメラ画像及び前記ＡＩＳ情報を読み出す画像読出部と、
前記同時刻スタンプと関連記憶された前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報を重畳表示又は合成表示する画像表示部と、
を備えることを特徴とする自船周辺情報表示装置。
前記自船周辺の前記同時刻での前記カメラ画像及び前記ＡＩＳ情報の重畳表示又は合成表示において、前記カメラ画像及び前記ＡＩＳ情報のうちの一方で検出されたか両方で検出されたかに基づいて、物標の種類を識別する物標識別部、をさらに備える
ことを特徴とする、請求項１３に記載の自船周辺情報表示装置。