JP7176830B2 - Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems - Google Patents
Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems Download PDFInfo
- Publication number
- JP7176830B2 JP7176830B2 JP2020200406A JP2020200406A JP7176830B2 JP 7176830 B2 JP7176830 B2 JP 7176830B2 JP 2020200406 A JP2020200406 A JP 2020200406A JP 2020200406 A JP2020200406 A JP 2020200406A JP 7176830 B2 JP7176830 B2 JP 7176830B2
- Authority
- JP
- Japan
- Prior art keywords
- sound
- cargo handling
- driver
- audio signal
- head
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Helmets And Other Head Coverings (AREA)
- Forklifts And Lifting Vehicles (AREA)
- Soundproofing, Sound Blocking, And Sound Damping (AREA)
- Transceivers (AREA)
- Noise Elimination (AREA)
Description
荷役車用通知システムおよび当該通知システムを備えた荷役車に関する。 The present invention relates to a cargo handling vehicle notification system and a cargo handling vehicle equipped with the notification system.
従来、フォークリフトといった荷役作業を行う荷役車において、車両情報や荷役装置の状態などを運転者に通知する荷役車がある。例えば、特許文献1に開示の荷役車は、所定の操作が適切に行われたか否かを判定するとともに、所定の操作が適切に行われなかった場合には、その旨を運転者に通知する。この通知の方法として、荷役車に設けられた表示装置に出力したり、音声を出力したりする方法がある。音声による通知は、荷役車の動作を確認しながら荷役作業を行う運転者にとって好ましい。また、運転者は、荷役作業内容について、無線通話により管理オペレータに連絡をとることもある。
2. Description of the Related Art Conventionally, among cargo handling vehicles such as forklifts that perform cargo handling work, there are cargo handling vehicles that notify a driver of vehicle information, the status of a cargo handling device, and the like. For example, the cargo handling vehicle disclosed in
ところで、荷役車からの通知音は、荷役車自体の動作音や現場の騒音によって減衰し、運転者に適切に伝わらないことがある。そこで、環境に関わらず、通知音を運転者に適切に伝えるために、例えば、特許文献2のように、ヘルメットに連結された骨伝導装置によって通知する方法がある。しかしながら、骨伝導の音量は、空気伝導式の音量と比較すると小さく、耳栓や指により耳をふさがないと聞こえないことがある。しかしながら、運転者は、現場の安全状況を音によって確認することもあるため、荷役作業中に耳をふさぐことは安全性の観点から好ましくないという問題があった。 By the way, the notification sound from the cargo handling vehicle may be attenuated by the operation sound of the cargo handling vehicle itself and the noise at the site, and may not be appropriately transmitted to the driver. Therefore, in order to properly transmit the notification sound to the driver regardless of the environment, there is a method of notifying the driver using a bone conduction device connected to the helmet, as disclosed in Patent Document 2, for example. However, the volume of bone-conducted sound is smaller than that of air-conducted sound, and may not be audible unless the ears are covered with earplugs or fingers. However, there is a problem that it is not preferable from the viewpoint of safety to cover one's ears during cargo handling work because the driver sometimes confirms the safety situation at the site by sound.
そこで、本発明の解決しようとする課題は、運転者の耳をふさぐことなく通知音を運転者に適切に伝達することができる荷役車用通知システムおよび当該通知システムを備えた荷役車を提供することにある。 Therefore, the problem to be solved by the present invention is to provide a cargo handling vehicle notification system capable of appropriately transmitting a notification sound to a driver without blocking the driver's ears, and a cargo handling vehicle provided with the notification system. That's what it is.
上記課題を解決するために、本発明に係る荷役装置を備えた荷役車用の通知システムは、
運転者の頭部付近における荷役装置の動作音を含む音を収音する第1マイクと、
動作音の音声信号が含まれる音声信号が入力されると、入力された音声信号から動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
第1学習済みニューラルネットワークが抽出した動作音の音声信号に基づいて動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
動作音の逆位相音の音声信号と、荷役に係る情報の音声信号とを合成する音合成部と、
音合成部によって合成された音を、音または振動によって運転者に向けて発するスピーカと、を備える、ことを特徴とする。
In order to solve the above problems, a notification system for a cargo handling vehicle equipped with a cargo handling device according to the present invention includes:
a first microphone that picks up sound including the operating sound of the cargo handling equipment in the vicinity of the driver's head;
a first trained neural network that extracts an audio signal of the operation sound from the input audio signal when an audio signal including the audio signal of the operation sound is input;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
a sound synthesizing unit that synthesizes an audio signal of an antiphase sound of the operation sound and an audio signal of information related to cargo handling;
and a speaker that emits the sound synthesized by the sound synthesizing unit toward the driver by sound or vibration.
上記課題を解決するために、本発明に係る荷役装置を備えた荷役車用の別の通知システムは、
運転者の頭部付近における荷役装置の動作音を含む音を収音する第1マイクと、
動作音の音声信号が含まれる音声信号が入力されると、入力された音声信号から動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
第1学習済みニューラルネットワークが抽出した動作音の音声信号に基づいて動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
動作音の逆位相音を運転者に向けて発する減衰スピーカと、
音または振動によって荷役に係る情報を運転者に通知する通知スピーカと、
を備える、ことを特徴とする。
In order to solve the above problems, another notification system for a cargo handling vehicle equipped with a cargo handling device according to the present invention comprises:
a first microphone that picks up sound including the operating sound of the cargo handling equipment in the vicinity of the driver's head;
a first trained neural network that extracts an audio signal of the operation sound from the input audio signal when an audio signal including the audio signal of the operation sound is input;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
an attenuated speaker that emits an anti-phase sound of the operation sound toward the driver;
a notification speaker that notifies the driver of information related to cargo handling by sound or vibration;
characterized by comprising
上記荷役車用通知システムは、好ましくは、
第1マイクが、超指向性を有するとともに荷役車に設けられ、運転者の耳付近の音を収音する。
The cargo handling vehicle notification system preferably comprises:
A first microphone has super-directivity and is provided on the truck, and picks up sounds in the vicinity of the driver's ears.
上記荷役車用通知システムにおいて、好ましくは、
第1マイクが、複数のマイクを有し、
前記荷役車用通知システムは、
運転者の頭部を撮像し運転者の頭部画像を生成するカメラと、
頭部画像に基づいて運転者の頭部の位置および向きを認識する位置認識部と、
運転者の頭部の位置および向きと、前記複数のマイクの音を解析し前記複数のマイク間に生じる位相、振幅の差とに基づいて、運転者の耳付近の音を抽出する頭部音抽出部と、をさらに備える。
In the cargo handling vehicle notification system, preferably,
the first microphone has a plurality of microphones,
The cargo handling vehicle notification system includes:
a camera that captures a driver's head and generates a driver's head image;
a position recognition unit that recognizes the position and orientation of the driver's head based on the head image;
Head sound for extracting sounds near the driver's ears based on the position and orientation of the driver's head and the differences in phase and amplitude occurring between the plurality of microphones by analyzing the sounds of the plurality of microphones. and an extractor.
上記荷役車用通知システムは、好ましくは、
第1マイク、減衰スピーカおよび通知スピーカのいずれかまたは全てが、運転者が装着するヘルメットに連結されるかまたはヘルメットに設けられている。
The cargo handling vehicle notification system preferably comprises:
Any or all of the first microphone, the attenuation speaker and the notification speaker are coupled to or provided on the helmet worn by the driver.
上記荷役車用通知システムは、好ましくは、
通知スピーカが、骨伝導によって運転者に情報を伝達する。
The cargo handling vehicle notification system preferably comprises:
A notification speaker conveys information to the driver by bone conduction.
上記荷役車用通知システムは、好ましくは、
第1学習済みニューラルネットワークが、荷役対象の荷の重量に応じて変化する動作音に対応して動作音を抽出するよう学習させられている。
The cargo handling vehicle notification system preferably comprises:
A first trained neural network is trained to extract an operation sound corresponding to an operation sound that varies according to the weight of the load to be handled.
上記荷役車用通知システムは、好ましくは、
荷役装置が、マストと、マストに沿って昇降させられるリフトブラケットと、リフトブラケットに連結されたフォークと、を有し、
動作音には、リフトブラケットの昇降に係る音、フォークが荷に干渉する音、荷役装置の動力源の音のいずれかまたは全てが含まれる。
The cargo handling vehicle notification system preferably comprises:
The cargo handling device has a mast, a lift bracket that is raised and lowered along the mast, and a fork that is connected to the lift bracket,
The operating sound includes any or all of the sound associated with the lifting and lowering of the lift bracket, the sound of the forks interfering with the cargo, and the sound of the power source of the cargo handling device.
上記荷役車用通知システムは、好ましくは、
運転者の声を収音する第2マイクと、
運転者の声が含まれる音が入力されると、運転者の声を抽出する第2学習済みニューラルネットワークと、をさらに備え、
第1学習済みニューラルネットワークが、さらに、第2マイクが収音した音から動作音を除去し、
第2学習済みニューラルネットワークが、第1学習済みニューラルネットワークによって動作音が除去された音から運転者の声を抽出する。
The cargo handling vehicle notification system preferably comprises:
a second microphone that picks up the driver's voice;
a second trained neural network that extracts the driver's voice when a sound containing the driver's voice is input;
The first trained neural network further removes the operating sound from the sound picked up by the second microphone,
A second trained neural network extracts the driver's voice from the sounds with the operating sounds removed by the first trained neural network.
上記課題を解決するために、本発明に係る荷役車は、
上記通知システムを備える、ことを特徴とする。
In order to solve the above problems, the cargo handling vehicle according to the present invention includes:
It is characterized by comprising the notification system described above.
本発明の荷役車用通知システムおよび当該通知システムを備えた荷役車は、運転者の耳をふさぐことなく通知音を運転者に適切に伝達することができる。 ADVANTAGE OF THE INVENTION The notification system for cargo handling vehicles of this invention and the cargo handling vehicle provided with the said notification system can transmit a notification sound appropriately to a driver|operator, without blocking a driver|operator's ear.
<第1実施形態>
まず、図1~図3を参照しつつ、本発明の第1実施形態に係る荷役車用通知システムおよび当該通知システムを備えた荷役車について説明する。図中の両矢印Xは前後方向を示し、両矢印Yは左右方向を示し、両矢印Zは、上下方向を示している。
<First embodiment>
First, a cargo handling vehicle notification system according to a first embodiment of the present invention and a cargo handling vehicle provided with the notification system will be described with reference to FIGS. 1 to 3. FIG. In the drawings, a double-headed arrow X indicates the front-rear direction, a double-headed arrow Y indicates the left-right direction, and a double-headed arrow Z indicates the up-down direction.
図1に示すように、本実施形態に係る荷役車Fは、フォークリフトであって、通知システム1と、前後の車輪3と、車輪3上に設けられた車体4と、車体4の前方に設けられた荷役装置5と、を備えている。なお、本実施形態に係る荷役車Fは、本発明に係る荷役車の単なる一例であって、本発明に係る荷役車は、これに限定されない。
As shown in FIG. 1, the cargo handling vehicle F according to the present embodiment is a forklift, and includes a
荷役装置5は、左右一対のマスト50と、リフトブラケット51と、左右一対のフォーク52と、リフトシリンダ53と、左右一対のリーチレグ54と、左右のキャリッジ55と、リーチシリンダ(図示略)と、を有する。
The
左右のマスト50は、アウタマストとインナマストとをそれぞれ有し、インナマストは、リフトシリンダ53によって昇降させられる。リフトブラケット51は、インナマストに連結されており、左右のフォーク52は、リフトブラケット51に連結される。リフトブラケット51は、リフトシリンダ53によってインナマストに沿って昇降させられる。左右のリーチレグ54は、車体4の前方に延在しており、左右のマスト50は、アウタマストの下部に設けられたキャリッジ55を介してリーチレグ54に連結されている。リーチシリンダは、車体4とマスト50との間に設けられ、マスト50をリーチレグ54に沿って前後に移動させる。荷役車Fは、マスト50を前後に移動させ、フォーク52をリフトブラケット51を介して昇降させることにより、荷Wが載置されるパレットPをすくい上げたり着地させたりする。
The left and
荷役車Fは、さらに、左右一対の支柱6と、ルーフ7と、を有する。左右の支柱6は、車体4の上面前側の左右にそれぞれ立設され、ルーフ7は、支柱6の上部から後方に向かって水平に延在している。
The cargo handling vehicle F further has a pair of left and
図1および図2に示すように、本実施形態に係る通知システム1は、カメラ10と、左右一対の車体マイク11と、左右一対のスピーカ12と、制御部13と、を備えている。
As shown in FIGS. 1 and 2 , the
制御部13は、コンピュータなどから構成されるとともに車体4内部に設けられている。制御部13は、図3に示すように、位置認識部130と、頭部音抽出部131と、第1学習済みニューラルネットワーク(以下、「第1NN」という)132と、逆位相音生成部133と、荷役情報部134と、音合成部135と、を有する。
The
図1および図2に示すように、カメラ10は、ルーフ7の後端下面に設けられており、運転者Dの頭部を撮像し、運転者Dの頭部画像を生成する。図3に示すように、生成された頭部画像は、位置認識部130に出力される。本実施形態では、カメラ10の位置は、ルーフ7の下面であるが単なる一例であって、運転者Dの頭部の位置および向きを認識可能な画像を生成することができれば、特に限定されない。カメラ10の位置は、例えば、支柱6または車体4上面でもよい。
As shown in FIGS. 1 and 2, the
位置認識部130は、入力された頭部画像に基づいて、運転者Dの頭部の位置および向きを認識する。図3に示すように、認識された頭部の位置および向きは、頭部音抽出部131に出力される。
The
左右の車体マイク11は、超指向性を有するとともに左右の支柱6にそれぞれ設けられ、運転者Dの頭部付近の音を収音するように構成されている。車体マイク11は、本発明の「第1マイク」に相当する。車体マイク11の数は、特に限定されない。車体マイク11は、例えば、上下もしくは左右またはその両方に並べられたアレイマイクであってもよい。車体マイク11によって収音される音には、荷役装置5の動作音と運転者Dの周囲の環境音とが含まれる。荷役装置5の動作音には、例えば、リフトブラケット51の昇降に係る音、フォーク52がパレットPに干渉する音および荷役装置5の動力源の音のいずれかまたは全てが含まれる。なお、本明細書において、荷役装置5の動作音は、単に「動作音」ということがある。車体マイク11が収音した音は、頭部音抽出部131に出力される。
The left and right
頭部音抽出部131は、入力された頭部の位置および方向と、入力された左右の車体マイク11の音を解析し左右のマイク間に生じる位相および振幅の差に基づいて、運転者Dの耳付近の音を抽出する。図3に示すように、頭部音抽出部131によって抽出された運転者Dの耳付近の音は、音声信号として第1NN132に出力される。
The head
第1NN132は、動作音の音声信号が含まれる音声信号が入力されると、入力された音声信号から動作音の音声信号を抽出するよう機械学習させられている。第1NN132は、運転者Dの耳付近の音に対応する音声信号が入力されると、荷役装置5の動作音の音声信号を抽出するとともに逆位相音生成部133に出力する。第1NN132は、ディープラーニングによって動作音の音声信号が含まれた音声信号から動作音の音声信号を抽出するよう畳み込みニューラルネットワークによって学習されてもよい。また、第1NN132は、畳み込みニューラルネットワークのうち、例えば、Dilated Convolutional Neural Networkを利用して学習されてもよい。Dilated Convolutional Neural Networkについては、例えば、(https://arxiv.org/abs/1512.07108)から参照することができる。当該学習は、例えば、荷役車Fが利用される施設内の環境音と荷役装置5の動作音とが含まれる音を利用してもよい。また、第1NN132は、荷役対象の荷Wの重量に応じて変化する動作音に対応して動作音を抽出するよう、荷Wの重量ごとの教師データを含めて学習されてもよい。
The
逆位相音生成部133は、入力された音声信号から荷役装置5の動作音の逆位相音の音声信号を生成する。図3に示すように、生成された音声信号は、音合成部135に出力される。
The
荷役情報部134は、荷役に係る情報を音声信号として音合成部135に出力する。荷役に係る情報には、例えば、荷役車Fの位置情報、荷取位置情報、荷置位置情報、荷役装置5に係る情報が含まれる。荷役装置5に係る情報には、例えば、荷役装置5の操作が適切に行われたか否か、フォーク52がパレットPのフォーク差し込み口と同軸線上にあるか否か、といった情報が含まれる。荷役情報部134は、荷役装置5の動作に基づいて、荷役装置5に係る情報を音声信号として音合成部135に出力する。荷役に係る情報は、さらに、バッテリ残量、燃料の残量に関する情報といった、荷役車Fに係る情報を含んでもよい。荷役情報部134が出力する音声信号としては、例えば、機械的な音声信号であったり、人の声の音声信号であってもよく、特に限定されない。荷役情報部134は、当該音声信号が予め記憶された記憶部を有してもよい。
The cargo
音合成部135は、入力された、動作音の逆位相音の音声信号と荷役に係る情報の音声信号とを合成する。図3に示すように、合成された音声信号は、スピーカ12に出力される。
The
図2に示すように、左右一対のスピーカ12は、ルーフ7の左右両端の下面にそれぞれ設けられている。左右のスピーカ12は、音合成部135から入力された音声信号に基づいて、荷役装置5の動作音の逆位相音を含む通知音を発する。左右一対のスピーカ12は、指向性を有し、位置認識部130から入力された運転者Dの頭部の位置に基づいて、運転者Dの耳元に向けて通知音を発する。左右のスピーカ12は、例えば、上下もしくは左右またはその両方に並べられたアレイスピーカであってもよい。左右のスピーカ12は、互いに連動して電気的に制御され、発音タイミングを制御されることにより、指向性を有してもよい。また、左右のスピーカ12は、超音波スピーカであってそれにより超指向性を有してもよい。
As shown in FIG. 2, a pair of left and
左右一対のスピーカ12によって発せられた通知音は、荷役装置5の動作音の逆位相音を含んでいる。したがって、当該逆位相音は、運転者Dの耳付近において荷役装置5から発せられる動作音に干渉し動作音を相殺するので、運転者Dは、通知音を適切に感知することができる。また、通知音は、環境音の逆位相音を含んでいないので環境音を相殺しない。これにより、運転者Dは、動作音によって通知音が減衰されることを防止されるとともに、環境音も適切に感知することができる。しかも、本実施形態に係る通知システム1では、車体マイク11が運転者Dの耳付近の音を適切に感知するとともにスピーカ12が通知音を適切に運転者Dの耳付近に向けて発する。したがって、荷役車Fの操作上、運転者Dは頻繁に頭部を前後左右に移動させるところ、通知システム1では、適切に動作音を相殺するとともに通知音を運転者Dに適切に届けることができる。
The notification sound emitted by the pair of left and
<第2実施形態>
次に、図4~図7を参照しつつ、本発明の第2実施形態に係る通知システム1および当該通知システム1を備えた荷役車について説明する。なお、第2実施形態に係る荷役車は、第1実施形態と同様のフォークリフトである。したがって、第1実施形態と同じ構成については、その説明を省略することがある。
<Second embodiment>
Next, a
図4に示すように、本実施形態に係る荷役車Fは、第1実施形態と同様のフォークリフトであって、車輪3と、車体4と、荷役装置5と、を備えている。また、荷役車Fは、第2実施形態に係る通知システム1をさらに備えている。
As shown in FIG. 4 , a cargo handling vehicle F according to this embodiment is a forklift similar to that of the first embodiment, and includes
図4および図5に示すように、通知システム1は、カメラ10と、左右一対の車体マイク11と、左右一対の減衰スピーカ14と、制御部13と、ヘルメット15と、を備えている。ヘルメット15は、左右一対の通知スピーカ16と、頭部マイク17とを有するとともに、運転者Dに装着される。図6に示すように、制御部13は、位置認識部130と、頭部音抽出部131と、第1NN132と、逆位相音生成部133と、荷役情報部134と、第2学習済みニューラルネットワーク(以下、「第2NN」という)136と、を有する。
As shown in FIGS. 4 and 5 , the
図4に示すように、カメラ10は、第1実施形態と同様に、ルーフ7の後端下面に設けられており、運転者Dの頭部画像を生成する。図6に示すように、位置認識部130は、第1実施形態と同様に、頭部画像に基づいて頭部の位置および向きを認識する。認識された運転者Dの頭部の位置および向きは、頭部音抽出部131に出力される。左右の車体マイク11は、第1実施形態と同様に、左右の支柱6に設けられており、運転者Dの頭部付近の音を収音する。頭部音抽出部131は、第1実施形態と同様の手法により、運転者Dの耳付近の音を抽出する。第1NN132は、第1実施形態と同様の手法により、運転者Dの耳付近の音の音声信号から荷役装置5の動作音の音声信号を抽出する。逆位相音生成部133は、第1実施形態と同様の手法により、荷役装置5の動作音の逆位相音の音声信号を生成する。生成された音声信号は、減衰スピーカ14に出力される。
As shown in FIG. 4, the
左右の減衰スピーカ14は、第1実施形態のスピーカ12と同様に、超指向性を有するとともにルーフ7の左右両端の下面にそれぞれ設けられている。減衰スピーカ14は、入力された動作音の逆位相音の音声信号に基づいて、荷役装置5の動作音の逆位相音を発する。左右一対のスピーカ12は、第1実施形態のスピーカ12と同様に指向性を有し、位置認識部130から入力された運転者Dの頭部の位置に基づいて、運転者Dの耳元に向けて動作音の逆位相音を発する。これにより、運転者Dの耳付近において荷役装置5から発せられる動作音を相殺する。左右の減衰スピーカ14は、運転者Dに向けて通知音ではなく、動作音の逆位相音のみを発する点で第1実施形態のスピーカ12と異なるがその他の構成は共通している。
The left and
荷役情報部134は、通知スピーカ16と無線通信可能に構成されており、荷役装置5の動作に基づいて、荷役に係る情報を音声信号として通知スピーカ16に出力する。また、荷役情報部134は、荷役を管理する管理オペレータOと無線通信可能に構成されており、管理オペレータOからの音声信号も通知スピーカ16に出力する。また、荷役情報部134は、例えば、管理装置を有するサーバと無線通信可能に構成され、管理装置からの情報を音声信号によって通知スピーカ16に出力してもよい。
The cargo
図5および図7Aに示すように、左右の通知スピーカ16は、ヘルメット15の外面の左右に設けられている。通知スピーカ16は、ヘルメット15と一体的に構成されてもよく、または取り外し可能にヘルメット15に設けられてもよい。通知スピーカ16は、振動スピーカであって、図7Aに示すように、振動によってヘルメット15を振動させることにより入力された音声信号に対応する音をヘルメット15から発生させる。したがって、通知スピーカ16は、運転者Dの耳をふさぐことなく荷役情報を運転者Dに通知することができる。
As shown in FIGS. 5 and 7A, the left and
上記通知スピーカ16の構成は、単なる一例であってこれに限定されない。通知スピーカ16は、例えば、図7Bに示すように、音声スピーカとして運転者Dの耳に向けて荷役情報に係る音声を発してもよい。さらに、通知スピーカ16は、例えば、図7Cに示すように、骨伝導スピーカであって、ヘルメット15の内部に発生させた振動によって運転者Dの頭部を介して内耳に直接音を伝達させてもよい。従来、骨伝導スピーカによる骨導音は、耳穴から内耳に到達した動作音と合成されマスキングされることがあり、聞こえが悪くなっていた。本実施形態では、減衰スピーカ14によって動作音が相殺されていることにより、通知スピーカ16が骨伝導スピーカであっても、通知音が運転者Dに適切に伝達される。
The configuration of the
図5に示すように頭部マイク17は、通知スピーカ16から運転者Dの口元に向かって延びるアーム部17aと、アーム部17aの先端に設けられ運転者Dの声を収音する収音部17bとを有する。頭部マイク17は、制御部13と無線通信可能に構成されており、頭部マイク17によって収音された音(以下、「頭部マイク音」という)は、音声信号に変換され第1NN132に出力される。頭部マイク音には、荷役装置5の動作音が含まれることがある。頭部マイク17は、本発明の「第2マイク」に相当する。
As shown in FIG. 5, the
第1NN132は、さらに、入力された頭部マイク音の音声信号から動作音の音声信号を除去する。図6に示すように、動作音の音声信号が除去された頭部マイク音の音声信号は、第2NN136に出力される。
The
第2NN136は、運転者Dの声の音声信号が含まれた音声信号が入力されると、運転者Dの声の音声信号を抽出するように機械学習させられている。第2NN136は、ディープラーニングによって運転者Dの声の音声信号が含まれた音声信号から運転者Dの声の音声信号を抽出するよう畳み込みニューラルネットワークによって学習されてもよい。また、第2NN136は、畳み込みニューラルネットワークのうち、例えば、Dilated Convolutional Neural Networkを利用して学習されてもよい。頭部マイク音は、予め第1NN132によって動作音が除去されているので、第2NN136は、頭部マイク音から運転者Dの声の音声信号をより適切に抽出することができる。抽出された音声信号は、管理オペレータOに出力される。
The
第2実施形態の通知システム1は、上記構成を備えていることにより、通知音を適切に運転者Dに通知するとともに、運転者Dの声を管理オペレータOに適切に伝えることができる。しかも、本実施形態に係るヘルメット15は、制御部13と通信可能であれば、スピーカおよびマイクを有する公知のヘルメットとしてもよい。
The
以上、本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車の実施形態について説明したが、本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車は、上記実施形態に限定されるものではない。本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車は、本発明の課題が解決されるのであれば、それぞれの構成を入れ替えられたり、組み合わされたりしてもよい。例えば、本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車は、以下の変形例によって実施されてもよい。 The cargo handling vehicle notification system according to the present invention and the cargo handling vehicle provided with the notification system have been described above. The form is not limited. The configuration of the cargo handling vehicle notification system and the cargo handling vehicle provided with the notification system according to the present invention may be interchanged or combined as long as the problems of the present invention are solved. For example, the cargo handling vehicle notification system according to the present invention and the cargo handling vehicle provided with the notification system may be implemented by the following modifications.
・第2実施形態に係る制御部13は、さらに、音合成部135を備えてもよい。この場合、第2実施形態の通知システム1は、音合成部135によって合成音の音声信号を生成し、通知スピーカ16によって荷役装置5の動作音の逆位相音を含む通知音を運転者Dに向けて発してもよい。
- The
・第1および第2実施形態に係る制御部13は、さらに入力された音声から騒音を抽出するとともに騒音の逆位相音を生成する騒音逆位相音生成部を有してもよい。この場合、騒音逆位相音生成部は、騒音の逆位相音を減衰スピーカ14によって運転者Dの耳元に発して騒音を減衰させる。これにより、通知システム1は、騒音によって通知音が運転者Dに伝達されないことを防止することができる。また、この騒音の逆位相音の音声信号と、動作音の逆位相音の音声信号は、合成されて減衰スピーカ14に出力されてもよい。この場合、減衰スピーカ14は、騒音および動作音の逆位相音を運転者Dの耳元に向けて発する。
- The
・動作音には、さらに、荷役車Fの移動に伴う動作音が含まれてもよい。この場合、荷役車Fの移動に伴う動作音は、例えば、車輪3を回転させる駆動部の動作音を含んでもよい。
- The operation sound may further include the operation sound associated with the movement of the cargo truck F. In this case, the operation sound associated with the movement of the cargo handling vehicle F may include, for example, the operation sound of the driving unit that rotates the
・スピーカ12および車体マイク11は、例えば、機械的に向きが変更される構成であってもよい。この場合、スピーカ12および車体マイク11は、位置認識部130によって認識された運転者Dの頭部の位置に基づいて、機械的に向きを変更される。
- The
・減衰スピーカ14は、例えば、荷役装置5の動作のタイミングに応じて動作するように構成されてもよい。すなわち、減衰スピーカ14は、荷役装置5が動作していないときには、電力を消費しないように構成されてもよい。これにより、通知システム1は、減衰スピーカ14の消費電力を減少させることができる。
- The damping
・本発明に係る第1マイクは、例えば、ヘルメット15に設けられるか、またはヘルメット15に設けられた通知スピーカ16と一体的に構成されてもよい。この場合、第1マイクは、動作音および環境音を収音し、収音された動作音の音声信号を含む音声信号が第1NN132に入力される。
- The first microphone according to the present invention may, for example, be provided on the
F 荷役車
D 運転者
O 管理オペレータ
W 荷
P パレット
1 通知システム
10 カメラ
11 車体マイク(第1マイク)
12 スピーカ
13 制御部
130 位置認識部
131 頭部音抽出部
132 第1学習済みニューラルネットワーク
133 逆位相音生成部
134 荷役情報部
135 音合成部
136 第2学習済みニューラルネットワーク
14 減衰スピーカ
15 ヘルメット
16 通知スピーカ
17 頭部マイク(第2マイク)
17a アーム部
17b 収音部
3 車輪
4 車体
5 荷役装置
50 マスト
51 リフトブラケット
52 フォーク
53 リフトシリンダ
54 リーチレグ
55 キャリッジ
6 支柱
7 ルーフ
F Loading vehicle D Driver O Management operator W
12
Claims (9)
運転者の頭部付近における前記荷役装置の動作音を含む音を収音する第1マイクと、
前記動作音の音声信号が含まれる音声信号が入力されると、前記入力された音声信号から前記動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
前記第1学習済みニューラルネットワークが抽出した前記動作音の音声信号に基づいて前記動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
前記動作音の逆位相音の音声信号と、前記荷役に係る情報の音声信号とを合成する音合成部と、
前記音合成部によって合成された音を、音または振動によって前記運転者に向けて発するスピーカと、を備え、
前記第1マイクは、複数のマイクを有し、
前記荷役車用通知システムは、
前記運転者の頭部を撮像し前記運転者の頭部画像を生成するカメラと、
前記頭部画像に基づいて前記運転者の頭部の位置および向きを認識する位置認識部と、
前記運転者の頭部の位置および向きと、前記複数のマイクの音を解析し前記複数のマイク間に生じる位相、振幅の差とに基づいて、前記運転者の耳付近の音を抽出する頭部音抽出部と、をさらに備える
ことを特徴とする荷役車用通知システム。 A notification system for a cargo handling vehicle comprising cargo handling equipment, comprising:
a first microphone that picks up sound including the operation sound of the cargo handling device in the vicinity of the driver's head;
a first trained neural network that, when an audio signal including the audio signal of the operation sound is input, extracts the audio signal of the operation sound from the input audio signal;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
a sound synthesizing unit that synthesizes an audio signal of the antiphase sound of the operation sound and an audio signal of information related to cargo handling;
a speaker that emits the sound synthesized by the sound synthesis unit toward the driver by sound or vibration,
The first microphone has a plurality of microphones,
The cargo handling vehicle notification system includes:
a camera that captures the driver's head and generates the driver's head image;
a position recognition unit that recognizes the position and orientation of the driver's head based on the head image;
A head that extracts sounds near the driver's ears based on the position and orientation of the driver's head and the phase and amplitude differences occurring between the plurality of microphones by analyzing the sounds of the plurality of microphones. and a vocal extractor.
運転者の頭部付近における前記荷役装置の動作音を含む音を収音する第1マイクと、
前記動作音の音声信号が含まれる音声信号が入力されると、前記入力された音声信号から前記動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
前記第1学習済みニューラルネットワークが抽出した前記動作音の音声信号に基づいて前記動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
前記動作音の逆位相音を前記運転者に向けて発する減衰スピーカと、
音または振動によって前記荷役に係る情報を前記運転者に通知する通知スピーカと、を備え、
前記第1マイクは、複数のマイクを有し、
前記荷役車用通知システムは、
前記運転者の頭部を撮像し前記運転者の頭部画像を生成するカメラと、
前記頭部画像に基づいて前記運転者の頭部の位置および向きを認識する位置認識部と、
前記運転者の頭部の位置および向きと、前記複数のマイクの音を解析し前記複数のマイク間に生じる位相、振幅の差とに基づいて、前記運転者の耳付近の音を抽出する頭部音抽出部と、をさらに備える
ことを特徴とする荷役車用通知システム。 A notification system for a cargo handling vehicle comprising cargo handling equipment, comprising:
a first microphone that picks up sound including the operation sound of the cargo handling device in the vicinity of the driver's head;
a first trained neural network that, when an audio signal including the audio signal of the operation sound is input, extracts the audio signal of the operation sound from the input audio signal;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
an attenuating speaker that emits an antiphase sound of the operation sound toward the driver;
a notification speaker that notifies the driver of information related to the cargo handling by sound or vibration;
The first microphone has a plurality of microphones,
The cargo handling vehicle notification system includes:
a camera that captures the driver's head and generates the driver's head image;
a position recognition unit that recognizes the position and orientation of the driver's head based on the head image;
A head that extracts sounds near the driver's ears based on the position and orientation of the driver's head and the phase and amplitude differences occurring between the plurality of microphones by analyzing the sounds of the plurality of microphones. and a vocal extractor.
ことを特徴とする請求項1または2に記載の荷役車用通知システム。 3. The cargo handling vehicle notification system according to claim 1, wherein the first microphone has super-directivity and is provided on the cargo handling vehicle, and picks up sounds in the vicinity of the ear of the driver.
ことを特徴とする請求項2に記載の荷役車用通知システム。 3. The cargo handling vehicle notification system according to claim 2, wherein any or all of said first microphone, said attenuation speaker and said notification speaker are provided on a helmet worn by said driver.
ことを特徴とする請求項2または4に記載の荷役車用通知システム。 5. The cargo handling vehicle notification system according to claim 2 or 4, wherein the notification speaker transmits information to the driver by bone conduction.
前記動作音には、前記リフトブラケットの昇降に係る音、前記フォークが荷に干渉する音、前記荷役装置の動力源の音のいずれかまたは全てが含まれる
ことを特徴とする請求項1~6のいずれか1項に記載の荷役車用通知システム。 The cargo handling device has a mast, a lift bracket that is raised and lowered along the mast, and a fork that is connected to the lift bracket,
6. The operating sound includes any or all of a sound associated with the lifting of the lift bracket, a sound of the fork interfering with the cargo, and a sound of the power source of the cargo handling device. A notification system for cargo handling vehicles according to any one of Claims 1 to 3.
前記運転者の声が含まれる音が入力されると、前記運転者の声を抽出する第2学習済みニューラルネットワークと、をさらに備え、
前記第1学習済みニューラルネットワークは、さらに、前記第2マイクが収音した音から前記動作音を除去し、
前記第2学習済みニューラルネットワークは、前記第1学習済みニューラルネットワークによって前記動作音が除去された音から前記運転者の声を抽出する
ことを特徴とする請求項1~7のいずれか1項に記載の荷役車用通知システム。 a second microphone that picks up the driver's voice;
a second trained neural network that extracts the driver's voice when a sound containing the driver's voice is input,
The first trained neural network further removes the operation sound from the sound picked up by the second microphone,
8. The vehicle according to any one of claims 1 to 7, wherein the second trained neural network extracts the driver's voice from the sound from which the operation sound has been removed by the first trained neural network. Notification system for cargo handling vehicles as described.
ことを特徴とする荷役車。 A cargo handling vehicle comprising a notification system according to any one of claims 1 to 8.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020200406A JP7176830B2 (en) | 2020-12-02 | 2020-12-02 | Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020200406A JP7176830B2 (en) | 2020-12-02 | 2020-12-02 | Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022088133A JP2022088133A (en) | 2022-06-14 |
JP7176830B2 true JP7176830B2 (en) | 2022-11-22 |
Family
ID=81982201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020200406A Active JP7176830B2 (en) | 2020-12-02 | 2020-12-02 | Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7176830B2 (en) |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029470A (en) | 1998-07-10 | 2000-01-28 | Yanmar Diesel Engine Co Ltd | Silencer |
JP2001173018A (en) | 1999-12-15 | 2001-06-26 | Hitachi Constr Mach Co Ltd | Noise reducing device for construction machine operator' s cab and construction machine operator's cab |
JP2004032339A (en) | 2002-06-26 | 2004-01-29 | Temuko Japan:Kk | Noise reducing method and device thereof, simultaneous bi-directional calling device adopting the method and device thereof |
JP2005096566A (en) | 2003-09-24 | 2005-04-14 | Iseki & Co Ltd | Noise suppressor for working vehicle |
JP2009269530A (en) | 2008-05-09 | 2009-11-19 | Kenwood Corp | Noise reduction device for vehicle and travelling noise reduction method of vehicle |
JP2010056873A (en) | 2008-08-28 | 2010-03-11 | Pioneer Electronic Corp | Noise canceling device, electronic instrument, method for canceling noise, noise canceling program, and recording medium storing noise canceling program |
WO2013118636A1 (en) | 2012-02-08 | 2013-08-15 | 国立大学法人九州工業大学 | Muting device |
JP2014027459A (en) | 2012-07-26 | 2014-02-06 | Brother Ind Ltd | Communication apparatus, communication method, and communication program |
JP2014039315A (en) | 2013-10-08 | 2014-02-27 | Leben Hanbai:Kk | Rubbing noise prevention hearing aid |
JP2014201904A (en) | 2013-04-02 | 2014-10-27 | 株式会社神戸製鋼所 | Construction machine |
JP2017044852A (en) | 2015-08-26 | 2017-03-02 | アイシン精機株式会社 | Vocalization direction specification device |
JP2017203237A (en) | 2016-05-13 | 2017-11-16 | 株式会社ボーダレス | Acoustic signal processor and helmet mounting the same |
US20190392810A1 (en) | 2019-08-22 | 2019-12-26 | Lg Electronics Inc. | Engine sound cancellation device and engine sound cancellation method |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02253298A (en) * | 1989-03-28 | 1990-10-12 | Sharp Corp | Voice pass filter |
JPH0462599A (en) * | 1990-07-02 | 1992-02-27 | N T T Data Tsushin Kk | Noise removing device |
JPH10203800A (en) * | 1997-01-17 | 1998-08-04 | Nippon Yusoki Co Ltd | Forklift radio lan system |
-
2020
- 2020-12-02 JP JP2020200406A patent/JP7176830B2/en active Active
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000029470A (en) | 1998-07-10 | 2000-01-28 | Yanmar Diesel Engine Co Ltd | Silencer |
JP2001173018A (en) | 1999-12-15 | 2001-06-26 | Hitachi Constr Mach Co Ltd | Noise reducing device for construction machine operator' s cab and construction machine operator's cab |
JP2004032339A (en) | 2002-06-26 | 2004-01-29 | Temuko Japan:Kk | Noise reducing method and device thereof, simultaneous bi-directional calling device adopting the method and device thereof |
JP2005096566A (en) | 2003-09-24 | 2005-04-14 | Iseki & Co Ltd | Noise suppressor for working vehicle |
JP2009269530A (en) | 2008-05-09 | 2009-11-19 | Kenwood Corp | Noise reduction device for vehicle and travelling noise reduction method of vehicle |
JP2010056873A (en) | 2008-08-28 | 2010-03-11 | Pioneer Electronic Corp | Noise canceling device, electronic instrument, method for canceling noise, noise canceling program, and recording medium storing noise canceling program |
WO2013118636A1 (en) | 2012-02-08 | 2013-08-15 | 国立大学法人九州工業大学 | Muting device |
JP2014027459A (en) | 2012-07-26 | 2014-02-06 | Brother Ind Ltd | Communication apparatus, communication method, and communication program |
JP2014201904A (en) | 2013-04-02 | 2014-10-27 | 株式会社神戸製鋼所 | Construction machine |
JP2014039315A (en) | 2013-10-08 | 2014-02-27 | Leben Hanbai:Kk | Rubbing noise prevention hearing aid |
JP2017044852A (en) | 2015-08-26 | 2017-03-02 | アイシン精機株式会社 | Vocalization direction specification device |
JP2017203237A (en) | 2016-05-13 | 2017-11-16 | 株式会社ボーダレス | Acoustic signal processor and helmet mounting the same |
US20190392810A1 (en) | 2019-08-22 | 2019-12-26 | Lg Electronics Inc. | Engine sound cancellation device and engine sound cancellation method |
Also Published As
Publication number | Publication date |
---|---|
JP2022088133A (en) | 2022-06-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102365875B (en) | Personal acoustic device position determination | |
JP5401760B2 (en) | Headphone device, audio reproduction system, and audio reproduction method | |
CN105745119B (en) | Headrest device and sound collection device | |
CN102056050B (en) | Active noise is eliminated | |
EP3528508B1 (en) | Headphone with noise cancellation of acoustic noise from tactile vibration driver and method | |
CN112874400B (en) | Noise-canceling headrest for vehicle seat | |
US20130163775A1 (en) | Communications Headset Speech-Based Gain Control | |
CN108399916A (en) | Vehicle intelligent voice interactive system and method, processing unit and storage device | |
US20170150256A1 (en) | Audio enhancement | |
JP2008244852A (en) | Sound reproduction device and sound reproduction method | |
CN111294691B (en) | Earphone, noise reduction method thereof and computer readable storage medium | |
JP7176830B2 (en) | Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems | |
EP3596822A1 (en) | Amplifier unit for a sound converter and sound generating unit | |
US11495205B2 (en) | Silent zone generation | |
US20230188886A1 (en) | Methods for optimizing working state of bone conduction earphones | |
CN101092036A (en) | Robot head with artificial ears | |
CN204518046U (en) | A kind of flight system, aircraft and audio unit | |
DE102017210688B4 (en) | Sound generating device for a motor vehicle | |
EP2640090B1 (en) | Selective adaptive audio cancellation algorithm configuration | |
CN107820157B (en) | Portable sound effect device and manufacturing method thereof | |
CN212624789U (en) | Fascia rifle of making an uproar falls in initiative | |
CN111787453B (en) | Sound signal transmission control method, circuit, earphone and readable storage medium | |
US20220387222A1 (en) | Hearing protection device for protection in different hearing situations, controller for such device, and method for switching such device | |
CN112037749A (en) | Fascia rifle of making an uproar falls in initiative | |
US20220060815A1 (en) | Vehicle and control method thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220601 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220914 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220915 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221109 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7176830 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |