[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7176830B2 - Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems - Google Patents

Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems Download PDF

Info

Publication number
JP7176830B2
JP7176830B2 JP2020200406A JP2020200406A JP7176830B2 JP 7176830 B2 JP7176830 B2 JP 7176830B2 JP 2020200406 A JP2020200406 A JP 2020200406A JP 2020200406 A JP2020200406 A JP 2020200406A JP 7176830 B2 JP7176830 B2 JP 7176830B2
Authority
JP
Japan
Prior art keywords
sound
cargo handling
driver
audio signal
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020200406A
Other languages
Japanese (ja)
Other versions
JP2022088133A (en
Inventor
絢介 甲斐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Logisnext Co Ltd
Original Assignee
Mitsubishi Logisnext Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Logisnext Co Ltd filed Critical Mitsubishi Logisnext Co Ltd
Priority to JP2020200406A priority Critical patent/JP7176830B2/en
Publication of JP2022088133A publication Critical patent/JP2022088133A/en
Application granted granted Critical
Publication of JP7176830B2 publication Critical patent/JP7176830B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Helmets And Other Head Coverings (AREA)
  • Forklifts And Lifting Vehicles (AREA)
  • Soundproofing, Sound Blocking, And Sound Damping (AREA)
  • Transceivers (AREA)
  • Noise Elimination (AREA)

Description

荷役車用通知システムおよび当該通知システムを備えた荷役車に関する。 The present invention relates to a cargo handling vehicle notification system and a cargo handling vehicle equipped with the notification system.

従来、フォークリフトといった荷役作業を行う荷役車において、車両情報や荷役装置の状態などを運転者に通知する荷役車がある。例えば、特許文献1に開示の荷役車は、所定の操作が適切に行われたか否かを判定するとともに、所定の操作が適切に行われなかった場合には、その旨を運転者に通知する。この通知の方法として、荷役車に設けられた表示装置に出力したり、音声を出力したりする方法がある。音声による通知は、荷役車の動作を確認しながら荷役作業を行う運転者にとって好ましい。また、運転者は、荷役作業内容について、無線通話により管理オペレータに連絡をとることもある。 2. Description of the Related Art Conventionally, among cargo handling vehicles such as forklifts that perform cargo handling work, there are cargo handling vehicles that notify a driver of vehicle information, the status of a cargo handling device, and the like. For example, the cargo handling vehicle disclosed in Patent Literature 1 determines whether or not a predetermined operation has been properly performed, and notifies the driver to that effect when the predetermined operation has not been properly performed. . As a method of this notification, there is a method of outputting to a display device provided on the cargo handling vehicle or outputting a sound. Notification by voice is preferable for the driver who carries out the cargo handling work while confirming the operation of the cargo handling vehicle. In addition, the driver may contact the management operator by radio communication regarding the content of the cargo handling work.

ところで、荷役車からの通知音は、荷役車自体の動作音や現場の騒音によって減衰し、運転者に適切に伝わらないことがある。そこで、環境に関わらず、通知音を運転者に適切に伝えるために、例えば、特許文献2のように、ヘルメットに連結された骨伝導装置によって通知する方法がある。しかしながら、骨伝導の音量は、空気伝導式の音量と比較すると小さく、耳栓や指により耳をふさがないと聞こえないことがある。しかしながら、運転者は、現場の安全状況を音によって確認することもあるため、荷役作業中に耳をふさぐことは安全性の観点から好ましくないという問題があった。 By the way, the notification sound from the cargo handling vehicle may be attenuated by the operation sound of the cargo handling vehicle itself and the noise at the site, and may not be appropriately transmitted to the driver. Therefore, in order to properly transmit the notification sound to the driver regardless of the environment, there is a method of notifying the driver using a bone conduction device connected to the helmet, as disclosed in Patent Document 2, for example. However, the volume of bone-conducted sound is smaller than that of air-conducted sound, and may not be audible unless the ears are covered with earplugs or fingers. However, there is a problem that it is not preferable from the viewpoint of safety to cover one's ears during cargo handling work because the driver sometimes confirms the safety situation at the site by sound.

特許第6613343号公報Japanese Patent No. 6613343 特開2004-32339号公報JP-A-2004-32339

そこで、本発明の解決しようとする課題は、運転者の耳をふさぐことなく通知音を運転者に適切に伝達することができる荷役車用通知システムおよび当該通知システムを備えた荷役車を提供することにある。 Therefore, the problem to be solved by the present invention is to provide a cargo handling vehicle notification system capable of appropriately transmitting a notification sound to a driver without blocking the driver's ears, and a cargo handling vehicle provided with the notification system. That's what it is.

上記課題を解決するために、本発明に係る荷役装置を備えた荷役車用の通知システムは、
運転者の頭部付近における荷役装置の動作音を含む音を収音する第1マイクと、
動作音の音声信号が含まれる音声信号が入力されると、入力された音声信号から動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
第1学習済みニューラルネットワークが抽出した動作音の音声信号に基づいて動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
動作音の逆位相音の音声信号と、荷役に係る情報の音声信号とを合成する音合成部と、
音合成部によって合成された音を、音または振動によって運転者に向けて発するスピーカと、を備える、ことを特徴とする。
In order to solve the above problems, a notification system for a cargo handling vehicle equipped with a cargo handling device according to the present invention includes:
a first microphone that picks up sound including the operating sound of the cargo handling equipment in the vicinity of the driver's head;
a first trained neural network that extracts an audio signal of the operation sound from the input audio signal when an audio signal including the audio signal of the operation sound is input;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
a sound synthesizing unit that synthesizes an audio signal of an antiphase sound of the operation sound and an audio signal of information related to cargo handling;
and a speaker that emits the sound synthesized by the sound synthesizing unit toward the driver by sound or vibration.

上記課題を解決するために、本発明に係る荷役装置を備えた荷役車用の別の通知システムは、
運転者の頭部付近における荷役装置の動作音を含む音を収音する第1マイクと、
動作音の音声信号が含まれる音声信号が入力されると、入力された音声信号から動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
第1学習済みニューラルネットワークが抽出した動作音の音声信号に基づいて動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
動作音の逆位相音を運転者に向けて発する減衰スピーカと、
音または振動によって荷役に係る情報を運転者に通知する通知スピーカと、
を備える、ことを特徴とする。
In order to solve the above problems, another notification system for a cargo handling vehicle equipped with a cargo handling device according to the present invention comprises:
a first microphone that picks up sound including the operating sound of the cargo handling equipment in the vicinity of the driver's head;
a first trained neural network that extracts an audio signal of the operation sound from the input audio signal when an audio signal including the audio signal of the operation sound is input;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
an attenuated speaker that emits an anti-phase sound of the operation sound toward the driver;
a notification speaker that notifies the driver of information related to cargo handling by sound or vibration;
characterized by comprising

上記荷役車用通知システムは、好ましくは、
第1マイクが、超指向性を有するとともに荷役車に設けられ、運転者の耳付近の音を収音する。
The cargo handling vehicle notification system preferably comprises:
A first microphone has super-directivity and is provided on the truck, and picks up sounds in the vicinity of the driver's ears.

上記荷役車用通知システムにおいて、好ましくは、
第1マイクが、複数のマイクを有し、
前記荷役車用通知システムは、
運転者の頭部を撮像し運転者の頭部画像を生成するカメラと、
頭部画像に基づいて運転者の頭部の位置および向きを認識する位置認識部と、
運転者の頭部の位置および向きと、前記複数のマイクの音を解析し前記複数のマイク間に生じる位相、振幅の差とに基づいて、運転者の耳付近の音を抽出する頭部音抽出部と、をさらに備える。
In the cargo handling vehicle notification system, preferably,
the first microphone has a plurality of microphones,
The cargo handling vehicle notification system includes:
a camera that captures a driver's head and generates a driver's head image;
a position recognition unit that recognizes the position and orientation of the driver's head based on the head image;
Head sound for extracting sounds near the driver's ears based on the position and orientation of the driver's head and the differences in phase and amplitude occurring between the plurality of microphones by analyzing the sounds of the plurality of microphones. and an extractor.

上記荷役車用通知システムは、好ましくは、
第1マイク、減衰スピーカおよび通知スピーカのいずれかまたは全てが、運転者が装着するヘルメットに連結されるかまたはヘルメットに設けられている。
The cargo handling vehicle notification system preferably comprises:
Any or all of the first microphone, the attenuation speaker and the notification speaker are coupled to or provided on the helmet worn by the driver.

上記荷役車用通知システムは、好ましくは、
通知スピーカが、骨伝導によって運転者に情報を伝達する。
The cargo handling vehicle notification system preferably comprises:
A notification speaker conveys information to the driver by bone conduction.

上記荷役車用通知システムは、好ましくは、
第1学習済みニューラルネットワークが、荷役対象の荷の重量に応じて変化する動作音に対応して動作音を抽出するよう学習させられている。
The cargo handling vehicle notification system preferably comprises:
A first trained neural network is trained to extract an operation sound corresponding to an operation sound that varies according to the weight of the load to be handled.

上記荷役車用通知システムは、好ましくは、
荷役装置が、マストと、マストに沿って昇降させられるリフトブラケットと、リフトブラケットに連結されたフォークと、を有し、
動作音には、リフトブラケットの昇降に係る音、フォークが荷に干渉する音、荷役装置の動力源の音のいずれかまたは全てが含まれる。
The cargo handling vehicle notification system preferably comprises:
The cargo handling device has a mast, a lift bracket that is raised and lowered along the mast, and a fork that is connected to the lift bracket,
The operating sound includes any or all of the sound associated with the lifting and lowering of the lift bracket, the sound of the forks interfering with the cargo, and the sound of the power source of the cargo handling device.

上記荷役車用通知システムは、好ましくは、
運転者の声を収音する第2マイクと、
運転者の声が含まれる音が入力されると、運転者の声を抽出する第2学習済みニューラルネットワークと、をさらに備え、
第1学習済みニューラルネットワークが、さらに、第2マイクが収音した音から動作音を除去し、
第2学習済みニューラルネットワークが、第1学習済みニューラルネットワークによって動作音が除去された音から運転者の声を抽出する。
The cargo handling vehicle notification system preferably comprises:
a second microphone that picks up the driver's voice;
a second trained neural network that extracts the driver's voice when a sound containing the driver's voice is input;
The first trained neural network further removes the operating sound from the sound picked up by the second microphone,
A second trained neural network extracts the driver's voice from the sounds with the operating sounds removed by the first trained neural network.

上記課題を解決するために、本発明に係る荷役車は、
上記通知システムを備える、ことを特徴とする。
In order to solve the above problems, the cargo handling vehicle according to the present invention includes:
It is characterized by comprising the notification system described above.

本発明の荷役車用通知システムおよび当該通知システムを備えた荷役車は、運転者の耳をふさぐことなく通知音を運転者に適切に伝達することができる。 ADVANTAGE OF THE INVENTION The notification system for cargo handling vehicles of this invention and the cargo handling vehicle provided with the said notification system can transmit a notification sound appropriately to a driver|operator, without blocking a driver|operator's ear.

本発明の第1実施形態に係る荷役車用通知システムを備えた荷役車を示す側面図である。BRIEF DESCRIPTION OF THE DRAWINGS It is a side view which shows the cargo handling vehicle provided with the notification system for cargo handling vehicles which concerns on 1st Embodiment of this invention. 図1に示された通知システムの構成の一部を示す斜視図である。FIG. 2 is a perspective view showing part of the configuration of the notification system shown in FIG. 1; 図1に示された通知システムの機能ブロック図である。2 is a functional block diagram of the notification system shown in FIG. 1; FIG. 本発明の第2実施形態に係る荷役車用通知システムを備えた荷役車を示す側面図である。It is a side view which shows the cargo handling vehicle provided with the notification system for cargo handling vehicles which concerns on 2nd Embodiment of this invention. 図4に示された通知システムの一部拡大図である。5 is a partial enlarged view of the notification system shown in FIG. 4; FIG. 図4に示された通知システムの機能ブロック図である。5 is a functional block diagram of the notification system shown in FIG. 4; FIG. Aは図4に示されたヘルメットの構成を示す正面図であり、BおよびCは、図4に示されたヘルメットの別の構成を示す正面図である。A is a front view showing the configuration of the helmet shown in FIG. 4, and B and C are front views showing other configurations of the helmet shown in FIG.

<第1実施形態>
まず、図1~図3を参照しつつ、本発明の第1実施形態に係る荷役車用通知システムおよび当該通知システムを備えた荷役車について説明する。図中の両矢印Xは前後方向を示し、両矢印Yは左右方向を示し、両矢印Zは、上下方向を示している。
<First embodiment>
First, a cargo handling vehicle notification system according to a first embodiment of the present invention and a cargo handling vehicle provided with the notification system will be described with reference to FIGS. 1 to 3. FIG. In the drawings, a double-headed arrow X indicates the front-rear direction, a double-headed arrow Y indicates the left-right direction, and a double-headed arrow Z indicates the up-down direction.

図1に示すように、本実施形態に係る荷役車Fは、フォークリフトであって、通知システム1と、前後の車輪3と、車輪3上に設けられた車体4と、車体4の前方に設けられた荷役装置5と、を備えている。なお、本実施形態に係る荷役車Fは、本発明に係る荷役車の単なる一例であって、本発明に係る荷役車は、これに限定されない。 As shown in FIG. 1, the cargo handling vehicle F according to the present embodiment is a forklift, and includes a notification system 1, front and rear wheels 3, a vehicle body 4 provided on the wheels 3, and a vehicle body 4 provided in front of the vehicle body 4. and a cargo handling device 5. The cargo handling vehicle F according to the present embodiment is merely an example of the cargo handling vehicle according to the present invention, and the cargo handling vehicle according to the present invention is not limited to this.

荷役装置5は、左右一対のマスト50と、リフトブラケット51と、左右一対のフォーク52と、リフトシリンダ53と、左右一対のリーチレグ54と、左右のキャリッジ55と、リーチシリンダ(図示略)と、を有する。 The cargo handling device 5 includes a pair of left and right masts 50, a lift bracket 51, a pair of left and right forks 52, a lift cylinder 53, a pair of left and right reach legs 54, a left and right carriage 55, a reach cylinder (not shown), have

左右のマスト50は、アウタマストとインナマストとをそれぞれ有し、インナマストは、リフトシリンダ53によって昇降させられる。リフトブラケット51は、インナマストに連結されており、左右のフォーク52は、リフトブラケット51に連結される。リフトブラケット51は、リフトシリンダ53によってインナマストに沿って昇降させられる。左右のリーチレグ54は、車体4の前方に延在しており、左右のマスト50は、アウタマストの下部に設けられたキャリッジ55を介してリーチレグ54に連結されている。リーチシリンダは、車体4とマスト50との間に設けられ、マスト50をリーチレグ54に沿って前後に移動させる。荷役車Fは、マスト50を前後に移動させ、フォーク52をリフトブラケット51を介して昇降させることにより、荷Wが載置されるパレットPをすくい上げたり着地させたりする。 The left and right masts 50 each have an outer mast and an inner mast, and the inner mast is raised and lowered by a lift cylinder 53 . The lift bracket 51 is connected to the inner mast, and the left and right forks 52 are connected to the lift bracket 51 . The lift bracket 51 is moved up and down along the inner mast by a lift cylinder 53 . The left and right reach legs 54 extend forward of the vehicle body 4, and the left and right masts 50 are connected to the reach legs 54 via carriages 55 provided below the outer masts. The reach cylinder is provided between the vehicle body 4 and the mast 50 and moves the mast 50 back and forth along the reach leg 54 . The cargo handling vehicle F moves the mast 50 back and forth and raises and lowers the fork 52 via the lift bracket 51 to scoop up and land the pallet P on which the load W is placed.

荷役車Fは、さらに、左右一対の支柱6と、ルーフ7と、を有する。左右の支柱6は、車体4の上面前側の左右にそれぞれ立設され、ルーフ7は、支柱6の上部から後方に向かって水平に延在している。 The cargo handling vehicle F further has a pair of left and right struts 6 and a roof 7 . The left and right struts 6 are erected on the left and right front sides of the upper surface of the vehicle body 4 , and the roof 7 extends horizontally rearward from the top of the struts 6 .

図1および図2に示すように、本実施形態に係る通知システム1は、カメラ10と、左右一対の車体マイク11と、左右一対のスピーカ12と、制御部13と、を備えている。 As shown in FIGS. 1 and 2 , the notification system 1 according to this embodiment includes a camera 10 , a pair of left and right vehicle body microphones 11 , a pair of left and right speakers 12 , and a control unit 13 .

制御部13は、コンピュータなどから構成されるとともに車体4内部に設けられている。制御部13は、図3に示すように、位置認識部130と、頭部音抽出部131と、第1学習済みニューラルネットワーク(以下、「第1NN」という)132と、逆位相音生成部133と、荷役情報部134と、音合成部135と、を有する。 The control unit 13 is configured by a computer or the like and provided inside the vehicle body 4 . As shown in FIG. 3, the control unit 13 includes a position recognition unit 130, a head sound extraction unit 131, a first trained neural network (hereinafter referred to as "first NN") 132, and an antiphase sound generation unit 133. , a cargo handling information unit 134 , and a sound synthesis unit 135 .

図1および図2に示すように、カメラ10は、ルーフ7の後端下面に設けられており、運転者Dの頭部を撮像し、運転者Dの頭部画像を生成する。図3に示すように、生成された頭部画像は、位置認識部130に出力される。本実施形態では、カメラ10の位置は、ルーフ7の下面であるが単なる一例であって、運転者Dの頭部の位置および向きを認識可能な画像を生成することができれば、特に限定されない。カメラ10の位置は、例えば、支柱6または車体4上面でもよい。 As shown in FIGS. 1 and 2, the camera 10 is provided on the lower surface of the rear end of the roof 7, captures the head of the driver D, and generates a head image of the driver D. As shown in FIG. As shown in FIG. 3 , the generated head image is output to the position recognition section 130 . In the present embodiment, the position of the camera 10 is the lower surface of the roof 7, but is merely an example, and is not particularly limited as long as an image that allows recognition of the position and orientation of the head of the driver D can be generated. The position of the camera 10 may be, for example, the support 6 or the upper surface of the vehicle body 4 .

位置認識部130は、入力された頭部画像に基づいて、運転者Dの頭部の位置および向きを認識する。図3に示すように、認識された頭部の位置および向きは、頭部音抽出部131に出力される。 The position recognition unit 130 recognizes the position and orientation of the head of the driver D based on the input head image. As shown in FIG. 3 , the recognized position and orientation of the head are output to the head sound extraction unit 131 .

左右の車体マイク11は、超指向性を有するとともに左右の支柱6にそれぞれ設けられ、運転者Dの頭部付近の音を収音するように構成されている。車体マイク11は、本発明の「第1マイク」に相当する。車体マイク11の数は、特に限定されない。車体マイク11は、例えば、上下もしくは左右またはその両方に並べられたアレイマイクであってもよい。車体マイク11によって収音される音には、荷役装置5の動作音と運転者Dの周囲の環境音とが含まれる。荷役装置5の動作音には、例えば、リフトブラケット51の昇降に係る音、フォーク52がパレットPに干渉する音および荷役装置5の動力源の音のいずれかまたは全てが含まれる。なお、本明細書において、荷役装置5の動作音は、単に「動作音」ということがある。車体マイク11が収音した音は、頭部音抽出部131に出力される。 The left and right vehicle body microphones 11 have super-directivity and are provided on the left and right struts 6, respectively, and are configured to pick up sounds near the driver's D head. The vehicle body microphone 11 corresponds to the "first microphone" of the present invention. The number of vehicle body microphones 11 is not particularly limited. The vehicle body microphones 11 may be, for example, array microphones arranged vertically or horizontally or both. The sound picked up by the vehicle body microphone 11 includes the operation sound of the cargo handling device 5 and the environmental sound around the driver D. The operation sound of the cargo handling device 5 includes, for example, any or all of the sound associated with the lifting of the lift bracket 51, the sound of the fork 52 interfering with the pallet P, and the sound of the power source of the cargo handling device 5. In this specification, the operation sound of the cargo handling device 5 may simply be referred to as "operation sound". The sound picked up by the vehicle body microphone 11 is output to the head sound extraction section 131 .

頭部音抽出部131は、入力された頭部の位置および方向と、入力された左右の車体マイク11の音を解析し左右のマイク間に生じる位相および振幅の差に基づいて、運転者Dの耳付近の音を抽出する。図3に示すように、頭部音抽出部131によって抽出された運転者Dの耳付近の音は、音声信号として第1NN132に出力される。 The head sound extracting unit 131 analyzes the input position and direction of the head and the input sound of the left and right vehicle body microphones 11, and based on the difference in phase and amplitude occurring between the left and right microphones, the head sound extraction unit 131 detects the position and direction of the driver D. to extract the sound near the ears of the As shown in FIG. 3, the sound near the ears of the driver D extracted by the head sound extraction unit 131 is output to the first NN 132 as an audio signal.

第1NN132は、動作音の音声信号が含まれる音声信号が入力されると、入力された音声信号から動作音の音声信号を抽出するよう機械学習させられている。第1NN132は、運転者Dの耳付近の音に対応する音声信号が入力されると、荷役装置5の動作音の音声信号を抽出するとともに逆位相音生成部133に出力する。第1NN132は、ディープラーニングによって動作音の音声信号が含まれた音声信号から動作音の音声信号を抽出するよう畳み込みニューラルネットワークによって学習されてもよい。また、第1NN132は、畳み込みニューラルネットワークのうち、例えば、Dilated Convolutional Neural Networkを利用して学習されてもよい。Dilated Convolutional Neural Networkについては、例えば、(https://arxiv.org/abs/1512.07108)から参照することができる。当該学習は、例えば、荷役車Fが利用される施設内の環境音と荷役装置5の動作音とが含まれる音を利用してもよい。また、第1NN132は、荷役対象の荷Wの重量に応じて変化する動作音に対応して動作音を抽出するよう、荷Wの重量ごとの教師データを含めて学習されてもよい。 The first NN 132 is machine-learned to extract the audio signal of the operation sound from the input audio signal when the audio signal including the audio signal of the operation sound is input. When the first NN 132 receives an audio signal corresponding to the sound near the ears of the driver D, the first NN 132 extracts the audio signal of the operation sound of the cargo handling device 5 and outputs the audio signal to the anti-phase sound generation unit 133 . The first NN 132 may be trained by a convolutional neural network to extract the audio signal of the operation sound from the audio signal containing the audio signal of the operation sound by deep learning. Also, the first NN 132 may be trained using, for example, a dilated convolutional neural network among convolutional neural networks. Dilated Convolutional Neural Network can be referred from (https://arxiv.org/abs/1512.07108), for example. For the learning, for example, sounds including environmental sounds in the facility where the cargo handling vehicle F is used and operation sounds of the cargo handling device 5 may be used. Further, the first NN 132 may be trained including teaching data for each weight of the load W so as to extract the operation sound corresponding to the operation sound that changes according to the weight of the load W to be handled.

逆位相音生成部133は、入力された音声信号から荷役装置5の動作音の逆位相音の音声信号を生成する。図3に示すように、生成された音声信号は、音合成部135に出力される。 The anti-phase sound generator 133 generates an audio signal of the anti-phase sound of the operation sound of the cargo handling device 5 from the input audio signal. As shown in FIG. 3 , the generated audio signal is output to the sound synthesis section 135 .

荷役情報部134は、荷役に係る情報を音声信号として音合成部135に出力する。荷役に係る情報には、例えば、荷役車Fの位置情報、荷取位置情報、荷置位置情報、荷役装置5に係る情報が含まれる。荷役装置5に係る情報には、例えば、荷役装置5の操作が適切に行われたか否か、フォーク52がパレットPのフォーク差し込み口と同軸線上にあるか否か、といった情報が含まれる。荷役情報部134は、荷役装置5の動作に基づいて、荷役装置5に係る情報を音声信号として音合成部135に出力する。荷役に係る情報は、さらに、バッテリ残量、燃料の残量に関する情報といった、荷役車Fに係る情報を含んでもよい。荷役情報部134が出力する音声信号としては、例えば、機械的な音声信号であったり、人の声の音声信号であってもよく、特に限定されない。荷役情報部134は、当該音声信号が予め記憶された記憶部を有してもよい。 The cargo handling information unit 134 outputs information related to cargo handling to the sound synthesis unit 135 as an audio signal. The information related to cargo handling includes, for example, the position information of the cargo handling vehicle F, the cargo pickup position information, the cargo storage position information, and the information related to the cargo handling device 5 . Information related to the cargo handling device 5 includes, for example, whether the cargo handling device 5 was properly operated and whether the fork 52 is coaxial with the fork insertion port of the pallet P. The cargo handling information unit 134 outputs information related to the cargo handling device 5 to the sound synthesis unit 135 as an audio signal based on the operation of the cargo handling device 5 . The information related to cargo handling may further include information related to the cargo handling vehicle F, such as information related to the remaining battery level and the remaining amount of fuel. The audio signal output by the cargo handling information unit 134 may be, for example, a mechanical audio signal or a human voice audio signal, and is not particularly limited. The cargo handling information unit 134 may have a storage unit in which the audio signal is stored in advance.

音合成部135は、入力された、動作音の逆位相音の音声信号と荷役に係る情報の音声信号とを合成する。図3に示すように、合成された音声信号は、スピーカ12に出力される。 The sound synthesizing unit 135 synthesizes the input audio signal of the anti-phase sound of the operation sound and the audio signal of information related to cargo handling. As shown in FIG. 3, the synthesized audio signal is output to speaker 12 .

図2に示すように、左右一対のスピーカ12は、ルーフ7の左右両端の下面にそれぞれ設けられている。左右のスピーカ12は、音合成部135から入力された音声信号に基づいて、荷役装置5の動作音の逆位相音を含む通知音を発する。左右一対のスピーカ12は、指向性を有し、位置認識部130から入力された運転者Dの頭部の位置に基づいて、運転者Dの耳元に向けて通知音を発する。左右のスピーカ12は、例えば、上下もしくは左右またはその両方に並べられたアレイスピーカであってもよい。左右のスピーカ12は、互いに連動して電気的に制御され、発音タイミングを制御されることにより、指向性を有してもよい。また、左右のスピーカ12は、超音波スピーカであってそれにより超指向性を有してもよい。 As shown in FIG. 2, a pair of left and right speakers 12 are provided on the lower surface of the roof 7 at both left and right ends. The left and right speakers 12 emit a notification sound including an antiphase sound of the operation sound of the cargo handling device 5 based on the audio signal input from the sound synthesis unit 135 . The pair of left and right speakers 12 has directivity, and emits a notification sound toward the ears of the driver D based on the position of the driver's D head input from the position recognition unit 130 . The left and right speakers 12 may be, for example, array speakers arranged vertically or horizontally or both. The left and right speakers 12 may be electrically controlled in conjunction with each other and have directivity by controlling sounding timing. Also, the left and right speakers 12 may be ultrasonic speakers and thereby have superdirectivity.

左右一対のスピーカ12によって発せられた通知音は、荷役装置5の動作音の逆位相音を含んでいる。したがって、当該逆位相音は、運転者Dの耳付近において荷役装置5から発せられる動作音に干渉し動作音を相殺するので、運転者Dは、通知音を適切に感知することができる。また、通知音は、環境音の逆位相音を含んでいないので環境音を相殺しない。これにより、運転者Dは、動作音によって通知音が減衰されることを防止されるとともに、環境音も適切に感知することができる。しかも、本実施形態に係る通知システム1では、車体マイク11が運転者Dの耳付近の音を適切に感知するとともにスピーカ12が通知音を適切に運転者Dの耳付近に向けて発する。したがって、荷役車Fの操作上、運転者Dは頻繁に頭部を前後左右に移動させるところ、通知システム1では、適切に動作音を相殺するとともに通知音を運転者Dに適切に届けることができる。 The notification sound emitted by the pair of left and right speakers 12 includes the opposite phase sound of the operation sound of the cargo handling device 5 . Therefore, the anti-phase sound interferes with the operation sound emitted from the cargo handling device 5 near the ears of the driver D and cancels the operation sound, so that the driver D can appropriately perceive the notification sound. In addition, the notification sound does not include the anti-phase sound of the environmental sound, so it does not cancel out the environmental sound. This prevents the notification sound from being attenuated by the operation sound, and allows the driver D to appropriately perceive the environmental sound. Moreover, in the notification system 1 according to the present embodiment, the vehicle body microphone 11 appropriately senses sounds near the driver's D ears, and the speaker 12 appropriately emits a notification sound toward the driver's D ears. Therefore, when operating the cargo handling vehicle F, the driver D frequently moves his head forward, backward, left and right. can.

<第2実施形態>
次に、図4~図7を参照しつつ、本発明の第2実施形態に係る通知システム1および当該通知システム1を備えた荷役車について説明する。なお、第2実施形態に係る荷役車は、第1実施形態と同様のフォークリフトである。したがって、第1実施形態と同じ構成については、その説明を省略することがある。
<Second embodiment>
Next, a notification system 1 according to a second embodiment of the present invention and a cargo handling vehicle provided with the notification system 1 will be described with reference to FIGS. 4 to 7. FIG. A cargo handling vehicle according to the second embodiment is a forklift similar to that of the first embodiment. Therefore, description of the same configuration as that of the first embodiment may be omitted.

図4に示すように、本実施形態に係る荷役車Fは、第1実施形態と同様のフォークリフトであって、車輪3と、車体4と、荷役装置5と、を備えている。また、荷役車Fは、第2実施形態に係る通知システム1をさらに備えている。 As shown in FIG. 4 , a cargo handling vehicle F according to this embodiment is a forklift similar to that of the first embodiment, and includes wheels 3 , a vehicle body 4 , and a cargo handling device 5 . Moreover, the cargo handling vehicle F is further provided with the notification system 1 according to the second embodiment.

図4および図5に示すように、通知システム1は、カメラ10と、左右一対の車体マイク11と、左右一対の減衰スピーカ14と、制御部13と、ヘルメット15と、を備えている。ヘルメット15は、左右一対の通知スピーカ16と、頭部マイク17とを有するとともに、運転者Dに装着される。図6に示すように、制御部13は、位置認識部130と、頭部音抽出部131と、第1NN132と、逆位相音生成部133と、荷役情報部134と、第2学習済みニューラルネットワーク(以下、「第2NN」という)136と、を有する。 As shown in FIGS. 4 and 5 , the notification system 1 includes a camera 10 , a pair of left and right vehicle body microphones 11 , a pair of left and right attenuation speakers 14 , a controller 13 and a helmet 15 . The helmet 15 has a pair of left and right notification speakers 16 and a head microphone 17 and is worn by the driver D. As shown in FIG. 6, the control unit 13 includes a position recognition unit 130, a head sound extraction unit 131, a first NN 132, an antiphase sound generation unit 133, a cargo handling information unit 134, and a second trained neural network. (hereinafter referred to as “second NN”) 136 .

図4に示すように、カメラ10は、第1実施形態と同様に、ルーフ7の後端下面に設けられており、運転者Dの頭部画像を生成する。図6に示すように、位置認識部130は、第1実施形態と同様に、頭部画像に基づいて頭部の位置および向きを認識する。認識された運転者Dの頭部の位置および向きは、頭部音抽出部131に出力される。左右の車体マイク11は、第1実施形態と同様に、左右の支柱6に設けられており、運転者Dの頭部付近の音を収音する。頭部音抽出部131は、第1実施形態と同様の手法により、運転者Dの耳付近の音を抽出する。第1NN132は、第1実施形態と同様の手法により、運転者Dの耳付近の音の音声信号から荷役装置5の動作音の音声信号を抽出する。逆位相音生成部133は、第1実施形態と同様の手法により、荷役装置5の動作音の逆位相音の音声信号を生成する。生成された音声信号は、減衰スピーカ14に出力される。 As shown in FIG. 4, the camera 10 is provided on the lower surface of the rear end of the roof 7 and generates an image of the head of the driver D, as in the first embodiment. As shown in FIG. 6, the position recognition unit 130 recognizes the position and orientation of the head based on the head image, as in the first embodiment. The recognized position and orientation of the head of the driver D is output to the head sound extraction unit 131 . The left and right vehicle body microphones 11 are provided on the left and right support columns 6 as in the first embodiment, and pick up sounds near the driver's D head. The head sound extracting unit 131 extracts sounds near the ears of the driver D by the same method as in the first embodiment. The first NN 132 extracts the audio signal of the operation sound of the cargo handling device 5 from the audio signal of the sound near the ear of the driver D by the same method as in the first embodiment. The anti-phase sound generator 133 generates an audio signal of the anti-phase sound of the operation sound of the cargo handling device 5 by the same method as in the first embodiment. The generated audio signal is output to the attenuation speaker 14 .

左右の減衰スピーカ14は、第1実施形態のスピーカ12と同様に、超指向性を有するとともにルーフ7の左右両端の下面にそれぞれ設けられている。減衰スピーカ14は、入力された動作音の逆位相音の音声信号に基づいて、荷役装置5の動作音の逆位相音を発する。左右一対のスピーカ12は、第1実施形態のスピーカ12と同様に指向性を有し、位置認識部130から入力された運転者Dの頭部の位置に基づいて、運転者Dの耳元に向けて動作音の逆位相音を発する。これにより、運転者Dの耳付近において荷役装置5から発せられる動作音を相殺する。左右の減衰スピーカ14は、運転者Dに向けて通知音ではなく、動作音の逆位相音のみを発する点で第1実施形態のスピーカ12と異なるがその他の構成は共通している。 The left and right attenuation speakers 14 have super-directivity and are provided on the lower surfaces of the left and right ends of the roof 7, respectively, like the speakers 12 of the first embodiment. The attenuation speaker 14 emits an anti-phase sound of the operation sound of the cargo handling device 5 based on the input audio signal of the anti-phase sound of the operation sound. The pair of left and right speakers 12 have directivity similar to the speakers 12 of the first embodiment, and are directed toward the ears of the driver D based on the position of the head of the driver D input from the position recognition unit 130. emits the opposite phase sound of the operating sound. As a result, the operation sound emitted from the cargo handling device 5 near the ears of the driver D is canceled. The left and right attenuated speakers 14 are different from the speakers 12 of the first embodiment in that they emit only the anti-phase sound of the operation sound, not the notification sound, to the driver D, but have other configurations in common.

荷役情報部134は、通知スピーカ16と無線通信可能に構成されており、荷役装置5の動作に基づいて、荷役に係る情報を音声信号として通知スピーカ16に出力する。また、荷役情報部134は、荷役を管理する管理オペレータOと無線通信可能に構成されており、管理オペレータOからの音声信号も通知スピーカ16に出力する。また、荷役情報部134は、例えば、管理装置を有するサーバと無線通信可能に構成され、管理装置からの情報を音声信号によって通知スピーカ16に出力してもよい。 The cargo handling information unit 134 is configured to be able to wirelessly communicate with the notification speaker 16 , and based on the operation of the cargo handling device 5 , outputs cargo handling information to the notification speaker 16 as an audio signal. Further, the cargo handling information unit 134 is configured to be able to communicate wirelessly with the management operator O who manages cargo handling, and also outputs audio signals from the management operator O to the notification speaker 16 . Further, the cargo handling information unit 134 may be configured, for example, to be able to communicate wirelessly with a server having a management device, and may output information from the management device to the notification speaker 16 as an audio signal.

図5および図7Aに示すように、左右の通知スピーカ16は、ヘルメット15の外面の左右に設けられている。通知スピーカ16は、ヘルメット15と一体的に構成されてもよく、または取り外し可能にヘルメット15に設けられてもよい。通知スピーカ16は、振動スピーカであって、図7Aに示すように、振動によってヘルメット15を振動させることにより入力された音声信号に対応する音をヘルメット15から発生させる。したがって、通知スピーカ16は、運転者Dの耳をふさぐことなく荷役情報を運転者Dに通知することができる。 As shown in FIGS. 5 and 7A, the left and right notification speakers 16 are provided on the left and right sides of the outer surface of the helmet 15 . The notification speaker 16 may be configured integrally with the helmet 15 or may be detachably provided on the helmet 15 . The notification speaker 16 is a vibration speaker, and as shown in FIG. 7A, causes the helmet 15 to generate a sound corresponding to the input audio signal by causing the helmet 15 to vibrate. Therefore, the notification speaker 16 can notify the driver D of cargo handling information without blocking the driver's D ears.

上記通知スピーカ16の構成は、単なる一例であってこれに限定されない。通知スピーカ16は、例えば、図7Bに示すように、音声スピーカとして運転者Dの耳に向けて荷役情報に係る音声を発してもよい。さらに、通知スピーカ16は、例えば、図7Cに示すように、骨伝導スピーカであって、ヘルメット15の内部に発生させた振動によって運転者Dの頭部を介して内耳に直接音を伝達させてもよい。従来、骨伝導スピーカによる骨導音は、耳穴から内耳に到達した動作音と合成されマスキングされることがあり、聞こえが悪くなっていた。本実施形態では、減衰スピーカ14によって動作音が相殺されていることにより、通知スピーカ16が骨伝導スピーカであっても、通知音が運転者Dに適切に伝達される。 The configuration of the notification speaker 16 is merely an example and is not limited to this. For example, as shown in FIG. 7B, the notification speaker 16 may serve as an audio speaker to emit a sound related to the cargo handling information toward the ear of the driver D. As shown in FIG. Further, the notification speaker 16 is, for example, a bone conduction speaker, as shown in FIG. good too. Conventionally, the bone-conducted sound from a bone-conducted speaker is sometimes combined with the operating sound that reaches the inner ear through the ear canal and is masked, resulting in poor hearing. In the present embodiment, since the operation sound is canceled by the attenuation speaker 14, the notification sound is appropriately transmitted to the driver D even if the notification speaker 16 is a bone conduction speaker.

図5に示すように頭部マイク17は、通知スピーカ16から運転者Dの口元に向かって延びるアーム部17aと、アーム部17aの先端に設けられ運転者Dの声を収音する収音部17bとを有する。頭部マイク17は、制御部13と無線通信可能に構成されており、頭部マイク17によって収音された音(以下、「頭部マイク音」という)は、音声信号に変換され第1NN132に出力される。頭部マイク音には、荷役装置5の動作音が含まれることがある。頭部マイク17は、本発明の「第2マイク」に相当する。 As shown in FIG. 5, the head microphone 17 includes an arm portion 17a extending from the notification speaker 16 toward the mouth of the driver D, and a sound pickup portion provided at the tip of the arm portion 17a for picking up the voice of the driver D. 17b. The head microphone 17 is configured to be capable of wireless communication with the control unit 13, and the sound picked up by the head microphone 17 (hereinafter referred to as “head microphone sound”) is converted into an audio signal and sent to the first NN 132. output. The head microphone sound may include the operation sound of the cargo handling device 5 . The head microphone 17 corresponds to the "second microphone" of the present invention.

第1NN132は、さらに、入力された頭部マイク音の音声信号から動作音の音声信号を除去する。図6に示すように、動作音の音声信号が除去された頭部マイク音の音声信号は、第2NN136に出力される。 The first NN 132 further removes the audio signal of the operation sound from the input audio signal of the head microphone sound. As shown in FIG. 6 , the audio signal of the head microphone sound from which the audio signal of the operation sound has been removed is output to the second NN 136 .

第2NN136は、運転者Dの声の音声信号が含まれた音声信号が入力されると、運転者Dの声の音声信号を抽出するように機械学習させられている。第2NN136は、ディープラーニングによって運転者Dの声の音声信号が含まれた音声信号から運転者Dの声の音声信号を抽出するよう畳み込みニューラルネットワークによって学習されてもよい。また、第2NN136は、畳み込みニューラルネットワークのうち、例えば、Dilated Convolutional Neural Networkを利用して学習されてもよい。頭部マイク音は、予め第1NN132によって動作音が除去されているので、第2NN136は、頭部マイク音から運転者Dの声の音声信号をより適切に抽出することができる。抽出された音声信号は、管理オペレータOに出力される。 The second NN 136 is machine-learned to extract the audio signal of the driver D's voice when the audio signal including the audio signal of the driver's D voice is input. The second NN 136 may be trained by a convolutional neural network to extract the audio signal of driver D's voice from the audio signal containing the audio signal of driver D's voice by deep learning. Also, the second NN 136 may be trained using, for example, a dilated convolutional neural network among convolutional neural networks. Since the operation sound has been removed from the head microphone sound by the first NN 132 in advance, the second NN 136 can more appropriately extract the audio signal of the voice of the driver D from the head microphone sound. The extracted audio signal is output to the administrative operator O. FIG.

第2実施形態の通知システム1は、上記構成を備えていることにより、通知音を適切に運転者Dに通知するとともに、運転者Dの声を管理オペレータOに適切に伝えることができる。しかも、本実施形態に係るヘルメット15は、制御部13と通信可能であれば、スピーカおよびマイクを有する公知のヘルメットとしてもよい。 The notification system 1 of the second embodiment having the above configuration can appropriately notify the driver D of the notification sound and appropriately convey the voice of the driver D to the management operator O. Moreover, the helmet 15 according to this embodiment may be a known helmet having a speaker and a microphone as long as it can communicate with the control unit 13 .

以上、本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車の実施形態について説明したが、本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車は、上記実施形態に限定されるものではない。本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車は、本発明の課題が解決されるのであれば、それぞれの構成を入れ替えられたり、組み合わされたりしてもよい。例えば、本発明に係る荷役車用通知システムおよび当該通知システムを備えた荷役車は、以下の変形例によって実施されてもよい。 The cargo handling vehicle notification system according to the present invention and the cargo handling vehicle provided with the notification system have been described above. The form is not limited. The configuration of the cargo handling vehicle notification system and the cargo handling vehicle provided with the notification system according to the present invention may be interchanged or combined as long as the problems of the present invention are solved. For example, the cargo handling vehicle notification system according to the present invention and the cargo handling vehicle provided with the notification system may be implemented by the following modifications.

・第2実施形態に係る制御部13は、さらに、音合成部135を備えてもよい。この場合、第2実施形態の通知システム1は、音合成部135によって合成音の音声信号を生成し、通知スピーカ16によって荷役装置5の動作音の逆位相音を含む通知音を運転者Dに向けて発してもよい。 - The control unit 13 according to the second embodiment may further include a sound synthesis unit 135 . In this case, the notification system 1 of the second embodiment generates an audio signal of synthesized sound by the sound synthesizing unit 135, and transmits a notification sound including a sound in reverse phase to the operation sound of the cargo handling device 5 to the driver D by the notification speaker 16. You can fire towards it.

・第1および第2実施形態に係る制御部13は、さらに入力された音声から騒音を抽出するとともに騒音の逆位相音を生成する騒音逆位相音生成部を有してもよい。この場合、騒音逆位相音生成部は、騒音の逆位相音を減衰スピーカ14によって運転者Dの耳元に発して騒音を減衰させる。これにより、通知システム1は、騒音によって通知音が運転者Dに伝達されないことを防止することができる。また、この騒音の逆位相音の音声信号と、動作音の逆位相音の音声信号は、合成されて減衰スピーカ14に出力されてもよい。この場合、減衰スピーカ14は、騒音および動作音の逆位相音を運転者Dの耳元に向けて発する。 - The control unit 13 according to the first and second embodiments may further include a noise anti-phase sound generation unit that extracts noise from the input voice and generates an anti-phase sound of the noise. In this case, the noise anti-phase sound generation unit emits the anti-phase sound of the noise to the ears of the driver D through the attenuation speaker 14 to attenuate the noise. Accordingly, the notification system 1 can prevent the notification sound from being transmitted to the driver D due to noise. Further, the audio signal of the anti-phase sound of the noise and the audio signal of the anti-phase sound of the operation sound may be synthesized and output to the attenuation speaker 14 . In this case, the damped speaker 14 emits the noise and the sound in opposite phase to the operation sound toward the ear of the driver D.

・動作音には、さらに、荷役車Fの移動に伴う動作音が含まれてもよい。この場合、荷役車Fの移動に伴う動作音は、例えば、車輪3を回転させる駆動部の動作音を含んでもよい。 - The operation sound may further include the operation sound associated with the movement of the cargo truck F. In this case, the operation sound associated with the movement of the cargo handling vehicle F may include, for example, the operation sound of the driving unit that rotates the wheels 3 .

・スピーカ12および車体マイク11は、例えば、機械的に向きが変更される構成であってもよい。この場合、スピーカ12および車体マイク11は、位置認識部130によって認識された運転者Dの頭部の位置に基づいて、機械的に向きを変更される。 - The speaker 12 and the vehicle body microphone 11 may be configured such that their directions are changed mechanically, for example. In this case, the directions of the speaker 12 and the vehicle body microphone 11 are mechanically changed based on the position of the driver's D head recognized by the position recognition unit 130 .

・減衰スピーカ14は、例えば、荷役装置5の動作のタイミングに応じて動作するように構成されてもよい。すなわち、減衰スピーカ14は、荷役装置5が動作していないときには、電力を消費しないように構成されてもよい。これにより、通知システム1は、減衰スピーカ14の消費電力を減少させることができる。 - The damping speaker 14 may be configured to operate according to the timing of the operation of the cargo handling device 5, for example. That is, the attenuation speaker 14 may be configured so as not to consume power when the cargo handling device 5 is not in operation. Thereby, the notification system 1 can reduce the power consumption of the attenuation speaker 14 .

・本発明に係る第1マイクは、例えば、ヘルメット15に設けられるか、またはヘルメット15に設けられた通知スピーカ16と一体的に構成されてもよい。この場合、第1マイクは、動作音および環境音を収音し、収音された動作音の音声信号を含む音声信号が第1NN132に入力される。 - The first microphone according to the present invention may, for example, be provided on the helmet 15 or may be configured integrally with the notification speaker 16 provided on the helmet 15 . In this case, the first microphone picks up the operation sound and the environmental sound, and an audio signal including the picked-up operation sound is input to the first NN 132 .

F 荷役車
D 運転者
O 管理オペレータ
W 荷
P パレット
1 通知システム
10 カメラ
11 車体マイク(第1マイク)
12 スピーカ
13 制御部
130 位置認識部
131 頭部音抽出部
132 第1学習済みニューラルネットワーク
133 逆位相音生成部
134 荷役情報部
135 音合成部
136 第2学習済みニューラルネットワーク
14 減衰スピーカ
15 ヘルメット
16 通知スピーカ
17 頭部マイク(第2マイク)
17a アーム部
17b 収音部
3 車輪
4 車体
5 荷役装置
50 マスト
51 リフトブラケット
52 フォーク
53 リフトシリンダ
54 リーチレグ
55 キャリッジ
6 支柱
7 ルーフ
F Loading vehicle D Driver O Management operator W Cargo P Pallet 1 Notification system 10 Camera 11 Body microphone (first microphone)
12 speaker 13 control unit 130 position recognition unit 131 head sound extraction unit 132 first trained neural network 133 antiphase sound generation unit 134 cargo handling information unit 135 sound synthesis unit 136 second trained neural network 14 attenuation speaker 15 helmet 16 notification Speaker 17 Head microphone (second microphone)
17a arm portion 17b sound pickup portion 3 wheel 4 vehicle body 5 cargo handling device 50 mast 51 lift bracket 52 fork 53 lift cylinder 54 reach leg 55 carriage 6 strut 7 roof

Claims (9)

荷役装置を備えた荷役車用通知システムであって、
運転者の頭部付近における前記荷役装置の動作音を含む音を収音する第1マイクと、
前記動作音の音声信号が含まれる音声信号が入力されると、前記入力された音声信号から前記動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
前記第1学習済みニューラルネットワークが抽出した前記動作音の音声信号に基づいて前記動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
前記動作音の逆位相音の音声信号と、前記荷役に係る情報の音声信号とを合成する音合成部と、
前記音合成部によって合成された音を、音または振動によって前記運転者に向けて発するスピーカと、を備え、
前記第1マイクは、複数のマイクを有し、
前記荷役車用通知システムは、
前記運転者の頭部を撮像し前記運転者の頭部画像を生成するカメラと、
前記頭部画像に基づいて前記運転者の頭部の位置および向きを認識する位置認識部と、
前記運転者の頭部の位置および向きと、前記複数のマイクの音を解析し前記複数のマイク間に生じる位相、振幅の差とに基づいて、前記運転者の耳付近の音を抽出する頭部音抽出部と、をさらに備える
ことを特徴とする荷役車用通知システム。
A notification system for a cargo handling vehicle comprising cargo handling equipment, comprising:
a first microphone that picks up sound including the operation sound of the cargo handling device in the vicinity of the driver's head;
a first trained neural network that, when an audio signal including the audio signal of the operation sound is input, extracts the audio signal of the operation sound from the input audio signal;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
a sound synthesizing unit that synthesizes an audio signal of the antiphase sound of the operation sound and an audio signal of information related to cargo handling;
a speaker that emits the sound synthesized by the sound synthesis unit toward the driver by sound or vibration,
The first microphone has a plurality of microphones,
The cargo handling vehicle notification system includes:
a camera that captures the driver's head and generates the driver's head image;
a position recognition unit that recognizes the position and orientation of the driver's head based on the head image;
A head that extracts sounds near the driver's ears based on the position and orientation of the driver's head and the phase and amplitude differences occurring between the plurality of microphones by analyzing the sounds of the plurality of microphones. and a vocal extractor.
荷役装置を備えた荷役車用通知システムであって、
運転者の頭部付近における前記荷役装置の動作音を含む音を収音する第1マイクと、
前記動作音の音声信号が含まれる音声信号が入力されると、前記入力された音声信号から前記動作音の音声信号を抽出する第1学習済みニューラルネットワークと、
前記第1学習済みニューラルネットワークが抽出した前記動作音の音声信号に基づいて前記動作音の逆位相音の音声信号を生成する逆位相音生成部と、
荷役に係る情報を音声信号として出力する荷役情報部と、
前記動作音の逆位相音を前記運転者に向けて発する減衰スピーカと、
音または振動によって前記荷役に係る情報を前記運転者に通知する通知スピーカと、を備え、
前記第1マイクは、複数のマイクを有し、
前記荷役車用通知システムは、
前記運転者の頭部を撮像し前記運転者の頭部画像を生成するカメラと、
前記頭部画像に基づいて前記運転者の頭部の位置および向きを認識する位置認識部と、
前記運転者の頭部の位置および向きと、前記複数のマイクの音を解析し前記複数のマイク間に生じる位相、振幅の差とに基づいて、前記運転者の耳付近の音を抽出する頭部音抽出部と、をさらに備える
ことを特徴とする荷役車用通知システム。
A notification system for a cargo handling vehicle comprising cargo handling equipment, comprising:
a first microphone that picks up sound including the operation sound of the cargo handling device in the vicinity of the driver's head;
a first trained neural network that, when an audio signal including the audio signal of the operation sound is input, extracts the audio signal of the operation sound from the input audio signal;
an antiphase sound generation unit that generates an audio signal of an antiphase sound of the operation sound based on the audio signal of the operation sound extracted by the first trained neural network;
a cargo handling information unit that outputs information related to cargo handling as an audio signal;
an attenuating speaker that emits an antiphase sound of the operation sound toward the driver;
a notification speaker that notifies the driver of information related to the cargo handling by sound or vibration;
The first microphone has a plurality of microphones,
The cargo handling vehicle notification system includes:
a camera that captures the driver's head and generates the driver's head image;
a position recognition unit that recognizes the position and orientation of the driver's head based on the head image;
A head that extracts sounds near the driver's ears based on the position and orientation of the driver's head and the phase and amplitude differences occurring between the plurality of microphones by analyzing the sounds of the plurality of microphones. and a vocal extractor.
前記第1マイクは、超指向性を有するとともに前記荷役車に設けられ、前記運転者の耳付近の音を収音する
ことを特徴とする請求項1または2に記載の荷役車用通知システム。
3. The cargo handling vehicle notification system according to claim 1, wherein the first microphone has super-directivity and is provided on the cargo handling vehicle, and picks up sounds in the vicinity of the ear of the driver.
前記第1マイク、前記減衰スピーカおよび前記通知スピーカのいずれかまたは全ては、前記運転者が装着するヘルメットに設けられている
ことを特徴とする請求項2に記載の荷役車用通知システム。
3. The cargo handling vehicle notification system according to claim 2, wherein any or all of said first microphone, said attenuation speaker and said notification speaker are provided on a helmet worn by said driver.
前記通知スピーカは、骨伝導によって前記運転者に情報を伝達する
ことを特徴とする請求項2または4に記載の荷役車用通知システム。
5. The cargo handling vehicle notification system according to claim 2 or 4, wherein the notification speaker transmits information to the driver by bone conduction.
前記第1学習済みニューラルネットワークは、荷役対象の荷の重量に応じて変化する前記動作音に対応して前記動作音を抽出するよう学習させられていることを特徴とする請求項1~5のいずれか1項に記載の荷役車用通知システム。 The first trained neural network is trained to extract the operation sound corresponding to the operation sound that changes according to the weight of the load to be handled. A notification system for cargo handling vehicles according to any one of the preceding claims. 前記荷役装置は、マストと、前記マストに沿って昇降させられるリフトブラケットと、前記リフトブラケットに連結されたフォークと、を有し、
前記動作音には、前記リフトブラケットの昇降に係る音、前記フォークが荷に干渉する音、前記荷役装置の動力源の音のいずれかまたは全てが含まれる
ことを特徴とする請求項1~6のいずれか1項に記載の荷役車用通知システム。
The cargo handling device has a mast, a lift bracket that is raised and lowered along the mast, and a fork that is connected to the lift bracket,
6. The operating sound includes any or all of a sound associated with the lifting of the lift bracket, a sound of the fork interfering with the cargo, and a sound of the power source of the cargo handling device. A notification system for cargo handling vehicles according to any one of Claims 1 to 3.
前記運転者の声を収音する第2マイクと、
前記運転者の声が含まれる音が入力されると、前記運転者の声を抽出する第2学習済みニューラルネットワークと、をさらに備え、
前記第1学習済みニューラルネットワークは、さらに、前記第2マイクが収音した音から前記動作音を除去し、
前記第2学習済みニューラルネットワークは、前記第1学習済みニューラルネットワークによって前記動作音が除去された音から前記運転者の声を抽出する
ことを特徴とする請求項1~7のいずれか1項に記載の荷役車用通知システム。
a second microphone that picks up the driver's voice;
a second trained neural network that extracts the driver's voice when a sound containing the driver's voice is input,
The first trained neural network further removes the operation sound from the sound picked up by the second microphone,
8. The vehicle according to any one of claims 1 to 7, wherein the second trained neural network extracts the driver's voice from the sound from which the operation sound has been removed by the first trained neural network. Notification system for cargo handling vehicles as described.
請求項1~8のいずれか1項に記載の通知システムを備える
ことを特徴とする荷役車。
A cargo handling vehicle comprising a notification system according to any one of claims 1 to 8.
JP2020200406A 2020-12-02 2020-12-02 Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems Active JP7176830B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020200406A JP7176830B2 (en) 2020-12-02 2020-12-02 Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020200406A JP7176830B2 (en) 2020-12-02 2020-12-02 Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems

Publications (2)

Publication Number Publication Date
JP2022088133A JP2022088133A (en) 2022-06-14
JP7176830B2 true JP7176830B2 (en) 2022-11-22

Family

ID=81982201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020200406A Active JP7176830B2 (en) 2020-12-02 2020-12-02 Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems

Country Status (1)

Country Link
JP (1) JP7176830B2 (en)

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029470A (en) 1998-07-10 2000-01-28 Yanmar Diesel Engine Co Ltd Silencer
JP2001173018A (en) 1999-12-15 2001-06-26 Hitachi Constr Mach Co Ltd Noise reducing device for construction machine operator' s cab and construction machine operator's cab
JP2004032339A (en) 2002-06-26 2004-01-29 Temuko Japan:Kk Noise reducing method and device thereof, simultaneous bi-directional calling device adopting the method and device thereof
JP2005096566A (en) 2003-09-24 2005-04-14 Iseki & Co Ltd Noise suppressor for working vehicle
JP2009269530A (en) 2008-05-09 2009-11-19 Kenwood Corp Noise reduction device for vehicle and travelling noise reduction method of vehicle
JP2010056873A (en) 2008-08-28 2010-03-11 Pioneer Electronic Corp Noise canceling device, electronic instrument, method for canceling noise, noise canceling program, and recording medium storing noise canceling program
WO2013118636A1 (en) 2012-02-08 2013-08-15 国立大学法人九州工業大学 Muting device
JP2014027459A (en) 2012-07-26 2014-02-06 Brother Ind Ltd Communication apparatus, communication method, and communication program
JP2014039315A (en) 2013-10-08 2014-02-27 Leben Hanbai:Kk Rubbing noise prevention hearing aid
JP2014201904A (en) 2013-04-02 2014-10-27 株式会社神戸製鋼所 Construction machine
JP2017044852A (en) 2015-08-26 2017-03-02 アイシン精機株式会社 Vocalization direction specification device
JP2017203237A (en) 2016-05-13 2017-11-16 株式会社ボーダレス Acoustic signal processor and helmet mounting the same
US20190392810A1 (en) 2019-08-22 2019-12-26 Lg Electronics Inc. Engine sound cancellation device and engine sound cancellation method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02253298A (en) * 1989-03-28 1990-10-12 Sharp Corp Voice pass filter
JPH0462599A (en) * 1990-07-02 1992-02-27 N T T Data Tsushin Kk Noise removing device
JPH10203800A (en) * 1997-01-17 1998-08-04 Nippon Yusoki Co Ltd Forklift radio lan system

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000029470A (en) 1998-07-10 2000-01-28 Yanmar Diesel Engine Co Ltd Silencer
JP2001173018A (en) 1999-12-15 2001-06-26 Hitachi Constr Mach Co Ltd Noise reducing device for construction machine operator' s cab and construction machine operator's cab
JP2004032339A (en) 2002-06-26 2004-01-29 Temuko Japan:Kk Noise reducing method and device thereof, simultaneous bi-directional calling device adopting the method and device thereof
JP2005096566A (en) 2003-09-24 2005-04-14 Iseki & Co Ltd Noise suppressor for working vehicle
JP2009269530A (en) 2008-05-09 2009-11-19 Kenwood Corp Noise reduction device for vehicle and travelling noise reduction method of vehicle
JP2010056873A (en) 2008-08-28 2010-03-11 Pioneer Electronic Corp Noise canceling device, electronic instrument, method for canceling noise, noise canceling program, and recording medium storing noise canceling program
WO2013118636A1 (en) 2012-02-08 2013-08-15 国立大学法人九州工業大学 Muting device
JP2014027459A (en) 2012-07-26 2014-02-06 Brother Ind Ltd Communication apparatus, communication method, and communication program
JP2014201904A (en) 2013-04-02 2014-10-27 株式会社神戸製鋼所 Construction machine
JP2014039315A (en) 2013-10-08 2014-02-27 Leben Hanbai:Kk Rubbing noise prevention hearing aid
JP2017044852A (en) 2015-08-26 2017-03-02 アイシン精機株式会社 Vocalization direction specification device
JP2017203237A (en) 2016-05-13 2017-11-16 株式会社ボーダレス Acoustic signal processor and helmet mounting the same
US20190392810A1 (en) 2019-08-22 2019-12-26 Lg Electronics Inc. Engine sound cancellation device and engine sound cancellation method

Also Published As

Publication number Publication date
JP2022088133A (en) 2022-06-14

Similar Documents

Publication Publication Date Title
CN102365875B (en) Personal acoustic device position determination
JP5401760B2 (en) Headphone device, audio reproduction system, and audio reproduction method
CN105745119B (en) Headrest device and sound collection device
CN102056050B (en) Active noise is eliminated
EP3528508B1 (en) Headphone with noise cancellation of acoustic noise from tactile vibration driver and method
CN112874400B (en) Noise-canceling headrest for vehicle seat
US20130163775A1 (en) Communications Headset Speech-Based Gain Control
CN108399916A (en) Vehicle intelligent voice interactive system and method, processing unit and storage device
US20170150256A1 (en) Audio enhancement
JP2008244852A (en) Sound reproduction device and sound reproduction method
CN111294691B (en) Earphone, noise reduction method thereof and computer readable storage medium
JP7176830B2 (en) Notification system for cargo handling vehicles and cargo handling vehicles equipped with such notification systems
EP3596822A1 (en) Amplifier unit for a sound converter and sound generating unit
US11495205B2 (en) Silent zone generation
US20230188886A1 (en) Methods for optimizing working state of bone conduction earphones
CN101092036A (en) Robot head with artificial ears
CN204518046U (en) A kind of flight system, aircraft and audio unit
DE102017210688B4 (en) Sound generating device for a motor vehicle
EP2640090B1 (en) Selective adaptive audio cancellation algorithm configuration
CN107820157B (en) Portable sound effect device and manufacturing method thereof
CN212624789U (en) Fascia rifle of making an uproar falls in initiative
CN111787453B (en) Sound signal transmission control method, circuit, earphone and readable storage medium
US20220387222A1 (en) Hearing protection device for protection in different hearing situations, controller for such device, and method for switching such device
CN112037749A (en) Fascia rifle of making an uproar falls in initiative
US20220060815A1 (en) Vehicle and control method thereof

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220914

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221109

R150 Certificate of patent or registration of utility model

Ref document number: 7176830

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150