[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2010004171A - Signal processing apparatus and image capturing apparatus - Google Patents

Signal processing apparatus and image capturing apparatus Download PDF

Info

Publication number
JP2010004171A
JP2010004171A JP2008159664A JP2008159664A JP2010004171A JP 2010004171 A JP2010004171 A JP 2010004171A JP 2008159664 A JP2008159664 A JP 2008159664A JP 2008159664 A JP2008159664 A JP 2008159664A JP 2010004171 A JP2010004171 A JP 2010004171A
Authority
JP
Japan
Prior art keywords
audio
channel
sound
external
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008159664A
Other languages
Japanese (ja)
Other versions
JP5072730B2 (en
Inventor
Hiroyuki Mori
博幸 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008159664A priority Critical patent/JP5072730B2/en
Publication of JP2010004171A publication Critical patent/JP2010004171A/en
Application granted granted Critical
Publication of JP5072730B2 publication Critical patent/JP5072730B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To reduce variations in sound volume when a sound input from the external is replaced by one or more channels of multi-channel sounds generated by a plurality of microphones. <P>SOLUTION: Sound signals of a plurality of channels are generated from a plurality of sound signals obtained by a plurality of sound collection means, a channel to be replaced by an external sound signal transmitted from an external apparatus out of the generated sound signals of the plurality of channels is specified, and the channel is replaced after a sound level of the external sound signal is controlled so as to approach a sound level of the sound signal of the channel to be replaced. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、信号処理装置に関し、特に音声信号を処理する装置に関する。   The present invention relates to a signal processing apparatus, and more particularly to an apparatus for processing an audio signal.

従来、音声信号を処理する装置としてビデオカメラ等が知られている。ビデオカメラでは、被写体の音声を内蔵されたマイクロフォン(以降、内蔵マイク)や外部のマイクロフォン(以降、外部マイク)によって集音し、映像と共に記録する。   Conventionally, a video camera or the like is known as a device for processing an audio signal. In a video camera, sound of a subject is collected by a built-in microphone (hereinafter referred to as an internal microphone) or an external microphone (hereinafter referred to as an external microphone) and recorded together with an image.

これらビデオカメラのなかには、複数の内蔵マイクにより得られた音声から5.1チャンネルの音声を生成し、外部マイクにより得られた音声信号を5.1チャンネルの音声の1以上のチャンネルに合成するものがある(例えば、特許文献1)。
特開2006−314078号公報
Some of these video cameras generate 5.1 channel audio from audio obtained from a plurality of built-in microphones, and synthesize an audio signal obtained from an external microphone into one or more channels of 5.1 channel audio. (For example, Patent Document 1).
JP 2006-314078 A

この様なビデオカメラでは、外部マイクの方向や距離を判定して、合成するチャンネル、音量等を制御することが行われていた。しかし、外部マイクにより得られた音声のレベルと、複数の内蔵マイクにより得られた音声のレベルとのバランスを考慮して、合成する外部マイクにより得られた音声のレベルを調整するようなことは行っていない。そのため、外部マイクにより得られた音声の音量と、他の複数チャンネルの音声とのバランスが適切でなくなってしまう問題があった。   In such a video camera, the direction and distance of the external microphone are determined, and the channel to be combined, the volume, and the like are controlled. However, in consideration of the balance between the audio level obtained by the external microphone and the audio levels obtained by the multiple built-in microphones, adjusting the audio level obtained by the external microphone to be combined is not possible. not going. For this reason, there is a problem that the balance between the sound volume obtained by the external microphone and the sound of other plural channels is not appropriate.

本発明は、複数の内蔵マイクにより得られた音声信号から生成したマルチチャンネルの音声信号の1以上のチャンネルを、外部マイクにより得られた音声信号に置換する場合の問題を解決するものである。本発明はこの様な場合に、例えば、マルチチャンネル置換するチャンネルに比べて、外部マイクにより得られた音声の音量が適切でなくなってしまう可能性を低減できる信号処理装置を提供することを目的とする。   The present invention solves the problem in the case where one or more channels of a multi-channel audio signal generated from audio signals obtained by a plurality of built-in microphones are replaced with an audio signal obtained by an external microphone. In such a case, the present invention has an object to provide a signal processing device that can reduce the possibility that the volume of sound obtained by an external microphone is not appropriate compared to a channel for multi-channel replacement, for example. To do.

この様な課題を解決するために、本発明の信号処理装置は、周囲の音声を集音する複数の集音手段と、前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、外部機器から送信された外部音声信号を受信する受信手段と、前記生成手段により生成された複数チャンネルの音声信号のうち、いずれかのチャンネルを指定する指定手段と、前記指定手段により指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段とを有する信号処理装置であって、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする。   In order to solve such a problem, a signal processing apparatus according to the present invention includes a plurality of sound collecting means for collecting surrounding sounds, and a plurality of channels from a plurality of sound signals obtained by the plurality of sound collecting means. Generating means for generating an audio signal; receiving means for receiving an external audio signal transmitted from an external device; and specifying means for designating any one of a plurality of channels of audio signals generated by the generating means; A signal processing device having a replacement means for replacing the audio signal of the channel specified by the specifying means and the external audio signal, wherein the audio level of the external audio signal is set to the level of the audio signal of the specified channel. And control means for controlling the sound level so as to approach the sound level.

また、本発明の撮像装置は、撮像手段を備えた撮像装置であって、前記撮像装置に内蔵された複数の集音手段と、前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、外部機器から送信された外部音声信号を受信する受信手段と、前記生成手段により生成された複数チャンネルの音声信号のうち、いずれかのチャンネルを指定する指定手段と、前記指定手段により指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする。   The image pickup apparatus of the present invention is an image pickup apparatus provided with an image pickup means, and a plurality of sound collecting means built in the image pickup apparatus and a plurality of sound signals obtained from the plurality of sound collection means. A generation unit that generates an audio signal of a channel, a reception unit that receives an external audio signal transmitted from an external device, and a designation that designates one of the multiple-channel audio signals generated by the generation unit Means, replacement means for replacing the audio signal of the channel specified by the specifying means and the external audio signal, so that the audio level of the external audio signal approaches the audio level of the audio signal of the specified channel. And control means for controlling.

本発明によれば、複数の内蔵マイクにより得られた音声信号により得られた複数チャンネルの1以上のチャンネルの音声信号を、外部マイクにより得られた音声信号に置換する場合。例えば、置換されるチャンネルの音声に比べて、外部マイクにより得られた音声の音量が適切でなくなってしまう可能性を低減できる。   According to the present invention, the case where the audio signals of one or more channels obtained from the audio signals obtained from the plurality of built-in microphones are replaced with the audio signals obtained from the external microphone. For example, it is possible to reduce the possibility that the sound volume obtained by the external microphone is not appropriate compared to the sound of the channel to be replaced.

以下、図面を参照して本発明の実施例を詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

複数の内蔵マイクにより得られた音声信号から複数チャンネルの音声信号を生成し、外部マイクにより得られた音声信号を、生成された複数チャンネルの音声信号の1以上のチャンネルと置換することができるビデオカメラについて説明する。   Video that can generate audio signals of a plurality of channels from audio signals obtained by a plurality of built-in microphones, and can replace the audio signals obtained by the external microphone with one or more channels of the generated audio signals of the plurality of channels. The camera will be described.

図1は、本実施例のビデオカメラシステムの斜視図である。本実施例のシステムは、ビデオカメラ100と外部マイク104とからなる。   FIG. 1 is a perspective view of the video camera system of the present embodiment. The system of this embodiment includes a video camera 100 and an external microphone 104.

図1において、100は本実施例のビデオカメラである。101は、被写体の光学像を取り込む撮影レンズである。102は、周囲の音声を集音する複数の内蔵マイクが収納されたマイクユニットである。103は、撮影中は撮影レンズ101によって取り込まれた被写体の光学像を後述の映像処理部206で処理した映像を表示し、再生中は、後述の映像再生処理部211で処理した映像を表示しする他、メニュー画面等を表示する表示部である。104は、音声を集音し、得られた音声信号を、電波を搬送波として音声信号を外部に送信する機能を有する外部マイクである。105は、外部マイクに備えられた音声信号を電波として送信する送信部である。106は、送信部105により送信された音声信号の電波を受信して音声信号を復元するする受信部である。   In FIG. 1, reference numeral 100 denotes a video camera of this embodiment. Reference numeral 101 denotes a photographing lens that captures an optical image of a subject. Reference numeral 102 denotes a microphone unit that houses a plurality of built-in microphones that collect ambient sounds. 103 displays an image obtained by processing an optical image of a subject captured by the photographing lens 101 by a video processing unit 206 (described later) during shooting, and displays a video processed by a video playback processing unit 211 (described later) during playback. In addition, the display unit displays a menu screen and the like. Reference numeral 104 denotes an external microphone having a function of collecting sound and transmitting the obtained sound signal to the outside using a radio wave as a carrier wave. A transmission unit 105 transmits an audio signal provided in the external microphone as a radio wave. A receiving unit 106 receives the radio wave of the audio signal transmitted by the transmitting unit 105 and restores the audio signal.

図2は、図1のビデオカメラのブロック図である。   FIG. 2 is a block diagram of the video camera of FIG.

図2、201はビデオカメラの各種機能に応じて、各ブロックを制御する制御部である。202は、外部からの指示をビデオカメラに入力するための操作部である。203は、制御部201からの制御信号や、操作部202からの指示信号等が行き来する制御信号バスである。204は、各ブロック間の画像データおよび音声データが行き来する画像/音声データバスである。   2 and 201 are control units that control each block according to various functions of the video camera. Reference numeral 202 denotes an operation unit for inputting an external instruction to the video camera. Reference numeral 203 denotes a control signal bus through which a control signal from the control unit 201, an instruction signal from the operation unit 202, and the like come and go. Reference numeral 204 denotes an image / audio data bus through which image data and audio data are transferred between the blocks.

205は、撮影レンズ101からの、光量を制御する絞り、光学像を電気信号に変換する撮像素子等からなる撮像部である。206は、撮像部205から得た映像信号を適正な信号レベルにし、デジタルデータに変換し、1フレーム分ずつ記録する等の映像記録方式に必要な処理を行う映像処理部である。   An imaging unit 205 includes an aperture for controlling the amount of light from the photographing lens 101, an imaging element that converts an optical image into an electrical signal, and the like. Reference numeral 206 denotes a video processing unit that performs processing necessary for a video recording method, such as converting the video signal obtained from the imaging unit 205 to an appropriate signal level, converting the digital signal into digital data, and recording one frame at a time.

207は、マイクユニット102により、得られた複数の音声信号を音声信号をデジタルデータに変換するする処理を行う音声処理部である。音声処理部では、マイクユニット102の複数の内蔵マイクから得られた音声信号を例えば、5.1チャンネルの音声信号に変換する等の処理を行う。また、得られた5.1チャンネルの音声信号適正なレベルに調整する処理を行う。また、受信部106により受信した外部マイク104により集音された音声信号を、複数の内蔵マイクの音声から生成した複数チャンネルのうちの1以上のチャンネルの音声信号と置換する処理を行う。音声処理部207については後述する。   Reference numeral 207 denotes an audio processing unit that performs processing for converting the audio signals obtained into the digital data by the microphone unit 102. The audio processing unit performs processing such as converting audio signals obtained from a plurality of built-in microphones of the microphone unit 102 into, for example, 5.1 channel audio signals. In addition, the obtained 5.1 channel audio signal is adjusted to an appropriate level. In addition, a process of replacing the audio signal collected by the external microphone 104 received by the receiving unit 106 with the audio signal of one or more channels among a plurality of channels generated from the sounds of the plurality of built-in microphones is performed. The audio processing unit 207 will be described later.

208は、表示部103の表示を制御するための表示制御部である。表示制御部208は、制御部201からの指示に応じて、各種モードに応じた表示を表示部103にさせる。   Reference numeral 208 denotes a display control unit for controlling display on the display unit 103. The display control unit 208 causes the display unit 103 to display according to various modes in response to an instruction from the control unit 201.

209は、映像処理部206から得られた映像データ、音声処理部207から得られた音声データ、その他のデータを必要に応じて関連づけて記録するための記録媒体としてのハードディスク(以後、HDD)である。210は、HDD209にアクセスし、上記の映像データ、音声データ、その他のデータ等を読み書きするためのアクセス部である。本実施例では、記録媒体として磁気式のHDDを例として説明しているが、これはDVDやブルーレイディスク等の光学式記録媒体でも良いし、メモリーカードのような半導体メモリでもよい。   Reference numeral 209 denotes a hard disk (hereinafter referred to as an HDD) as a recording medium for recording video data obtained from the video processing unit 206, audio data obtained from the audio processing unit 207, and other data in association with each other as necessary. is there. An access unit 210 accesses the HDD 209 to read / write the video data, audio data, and other data. In this embodiment, a magnetic HDD is described as an example of the recording medium, but this may be an optical recording medium such as a DVD or a Blu-ray disc, or a semiconductor memory such as a memory card.

211は、アクセス部210によって読み出されたHDD209の映像データを映像記録方式に従って処理し、所定の形態に変換する映像再生処理部である。212は、映像再生処理部211で再生された映像信号を外部に出力するための映像出力端子である。   A video reproduction processing unit 211 processes the video data of the HDD 209 read by the access unit 210 according to a video recording method, and converts the processed data into a predetermined format. Reference numeral 212 denotes a video output terminal for outputting the video signal reproduced by the video reproduction processing unit 211 to the outside.

213は、アクセス部210によって読み出されたHDD209の音声データを映像記録方式に従って再生する音声再生処理部である。214は、音声再生処理部213で再生された音声信号を外部に出力するための音声出力端子である。   Reference numeral 213 denotes an audio reproduction processing unit that reproduces audio data of the HDD 209 read by the access unit 210 in accordance with a video recording method. Reference numeral 214 denotes an audio output terminal for outputting the audio signal reproduced by the audio reproduction processing unit 213 to the outside.

215は、PC等の外部機器と通信を行ったり、HDD209に記録された映像データ、音声データ等を外部機器とやり取したりするためのUSB端子である。216は、USB端子215と接続された外部機器とのデータのやり取りを制御するUSBコントローラである。本実施例では、USB端子としたが、これはIEEE1394端子でも良く、外部機器とデータのやり取りが可能な端子であればよい。   A USB terminal 215 communicates with an external device such as a PC, and exchanges video data, audio data, and the like recorded on the HDD 209 with the external device. A USB controller 216 controls data exchange with an external device connected to the USB terminal 215. In this embodiment, the USB terminal is used, but this may be an IEEE 1394 terminal as long as it can exchange data with an external device.

本実施例では、外部マイク104によって集音された音声を「外部音声」と呼ぶこととする。また、複数の内蔵マイクにより得られた音声信号から生成された複数チャンネルの音声を「内蔵マルチチャンネル音声」と呼ぶこととする。この「内蔵マルチチャンネル音声」は、本実施例では、4つの略無指向性の内蔵マイクから生成した、5.1チャンネルの音声である。   In the present embodiment, the sound collected by the external microphone 104 is referred to as “external sound”. Also, a plurality of channels of sound generated from sound signals obtained by a plurality of built-in microphones will be referred to as “built-in multi-channel sound”. This “built-in multi-channel sound” is 5.1-channel sound generated from four substantially non-directional built-in microphones in this embodiment.

本実施例のビデオカメラ100は、「外部音声」を「内蔵マルチチャンネル音声」のうちの1チャンネル以上のチャンネルと置換することができる。本実施例のビデオカメラは、ユーザが操作部202を操作することによって「外部音声」を記録するか否かの設定や、「外部音声」を「内蔵マルチチャンネル音声」に合成するか否かの設定を行うことができる。この設定に関して、図3及び図4を用いて説明する。   The video camera 100 of this embodiment can replace “external audio” with one or more channels of “built-in multi-channel audio”. The video camera of the present embodiment sets whether or not to record “external audio” by operating the operation unit 202 by the user, and whether or not to synthesize “external audio” with “built-in multi-channel audio”. Settings can be made. This setting will be described with reference to FIGS.

図3(a)から図3(d)は、「外部音声」の扱いを設定する際の表示部103の表示画面を示している。   FIGS. 3A to 3D show display screens of the display unit 103 when setting the handling of “external audio”.

まず、ユーザが、ビデオカメラ100の操作部202を操作することにより、表示制御部208は表示部103に図3(a)のような、外部マイク104の使用に関する設定画面を表示する。図3(a)では、外部マイク104を使用するか否かを選択することができる(S401)。ここで、301は、カーソルを示しており、ユーザの操作部202の操作を反映して移動することができる。   First, when the user operates the operation unit 202 of the video camera 100, the display control unit 208 displays a setting screen related to the use of the external microphone 104 as shown in FIG. In FIG. 3A, whether or not to use the external microphone 104 can be selected (S401). Here, 301 indicates a cursor, which can be moved reflecting the operation of the operation unit 202 of the user.

図3(a)で、「いいえ」を選択すると(S401でNo)、制御部201は、「内蔵マルチチャンネル音声」を記録するモードで撮影をするようにビデオカメラ100の音声処理部207を制御する(S402)。   In FIG. 3A, when “No” is selected (No in S401), the control unit 201 controls the audio processing unit 207 of the video camera 100 to perform shooting in a mode for recording “built-in multi-channel audio”. (S402).

図3(a)で、「はい」を選択すると(S401でYes)、表示制御部208は、表示部103に図3(b)のような画面を表示させる。図3(b)では、「外部音声」を「内蔵マルチチャンネル音声」の1チャンネル以上のチャンネルと置換するか否かを選択することができる(S403)。   When “Yes” is selected in FIG. 3A (Yes in S401), the display control unit 208 causes the display unit 103 to display a screen as shown in FIG. In FIG. 3B, it is possible to select whether or not to replace “external audio” with one or more channels of “built-in multi-channel audio” (S403).

図3(b)で、「いいえ」を選択すると(S403でNo)、制御部201は、「外部音声」のみを記録するモードで撮影をするようにビデオカメラ100の音声処理部207を制御する(S404)。   When “No” is selected in FIG. 3B (No in S403), the control unit 201 controls the audio processing unit 207 of the video camera 100 so as to perform shooting in a mode in which only “external audio” is recorded. (S404).

図3(b)で、「はい」を選択すると(S403でYes)、表示制御部208は、表示部103に図3(c)のような画面を表示させる。図3(c)では、「外部音声」を「内蔵マルチチャンネル音声」のフロントチャンネルと、置換するか否かを選択することができる(S405)。   When “Yes” is selected in FIG. 3B (Yes in S403), the display control unit 208 causes the display unit 103 to display a screen as shown in FIG. In FIG. 3C, it is possible to select whether or not to replace “external audio” with the front channel of “built-in multi-channel audio” (S405).

図3(c)で、「はい」を選択すると(S405でYes)、制御部201は、「外部音声」「内蔵マルチチャンネル音声」のフロントチャンネルと置換して記録するモードで撮影するようにビデオカメラ100の音声処理部207を制御する(S406)。   In FIG. 3C, when “Yes” is selected (Yes in S405), the control unit 201 replaces the front channel of “external audio” and “built-in multi-channel audio” with a video so as to be recorded. The audio processing unit 207 of the camera 100 is controlled (S406).

図3(c)で「はい」を選択すると(S405でNo)、表示制御部208は、表示部103に図3(d)のような画面を表示させる。図3(d)では、「外部音声」を「内蔵マルチチャンネル音声」のどのチャンネルと置換するかを選択することができる(S407)。図3(d)において、302は、置換されるチャンネルがどの方向からの音声であるかを擬似的に示すためのポーラパターンである。図3(d)では、ユーザが操作部202を操作したことに応じて、カーソル301が移動し、それに連動してポーラパターン302の表示が変わるようになっている。   When “Yes” is selected in FIG. 3C (No in S405), the display control unit 208 causes the display unit 103 to display a screen as shown in FIG. In FIG. 3D, it is possible to select which channel of the “built-in multi-channel audio” is to be replaced with “external audio” (S407). In FIG. 3D, reference numeral 302 denotes a polar pattern for simulating which direction the voice of the channel to be replaced is from. In FIG. 3D, the cursor 301 is moved according to the operation of the operation unit 202 by the user, and the display of the polar pattern 302 is changed in conjunction therewith.

図3(d)で、「FC」を選択すると(S407でFC)制御部201は、「外部音声」を「内蔵マルチチャンネル音声」のフロントチャンネルと置換して記録するモードで撮影するようにビデオカメラ100の音声処理部207を制御する(S406)。図3(d)で、「FL」を選択すると(S407でFL)制御部201は、「外部音声」を「内蔵マルチチャンネル音声」のフロントレフトチャンネルと置換して記録するモードで撮影するように音声処理部207を制御する(S408)。図3(d)で、「FR」を選択すると(S407でFR)制御部201は、「外部音声」を「内蔵マルチチャンネル音声」のフロントライトチャンネルと置換して記録するモードで撮影するように音声処理部207を制御する(S409)。図3(d)で、「SL」を選択すると(S407でSL)制御部201は、「外部音声」を「内蔵マルチチャンネル音声」のサラウンドレフトチャンネルと置換して記録するモードで撮影するようにビデオカメラ100の音声処理部207を制御する(S410)。図3(d)で、「SR」を選択すると(S407でSR)制御部201は、「外部音声」を「内蔵マルチチャンネル音声」のサラウンドライトチャンネルと置換して記録するモードで撮影するように音声処理部207を制御する(S411)。   In FIG. 3D, when “FC” is selected (FC in S407), the control unit 201 replaces “external audio” with the front channel of “built-in multi-channel audio” and records the video so as to be recorded. The audio processing unit 207 of the camera 100 is controlled (S406). When “FL” is selected in FIG. 3D (FL in S407), the control unit 201 performs shooting in a mode in which “external audio” is replaced with the front left channel of “built-in multi-channel audio” and recorded. The voice processing unit 207 is controlled (S408). When “FR” is selected in FIG. 3D (FR in S407), the control unit 201 performs shooting in a mode in which “external audio” is replaced with the front right channel of “built-in multi-channel audio” and recorded. The voice processing unit 207 is controlled (S409). In FIG. 3D, when “SL” is selected (SL in S407), the control unit 201 performs shooting in a mode in which “external audio” is replaced with a surround left channel of “built-in multi-channel audio” and recorded. The audio processing unit 207 of the video camera 100 is controlled (S410). In FIG. 3D, when “SR” is selected (SR in S407), the control unit 201 performs shooting in a recording mode in which “external audio” is replaced with a surround light channel of “built-in multi-channel audio”. The voice processing unit 207 is controlled (S411).

図3(d)では、「内蔵マルチチャンネル音声」のフロントライトチャンネルに「外部音声」を置換するモードを選択した例を示している。   FIG. 3D shows an example in which a mode for replacing “external audio” with the front right channel of “built-in multi-channel audio” is selected.

以上のようにして、「外部音声」記録しないか、「外部音声」のみを記録するか、「外部音声」を「内蔵マルチチャンネル音声」のどのチャンネルと置換するかを選択することができる。   As described above, it is possible to select whether “external audio” is recorded, only “external audio” is recorded, or “external audio” is replaced with which channel of “built-in multi-channel audio”.

次に、本実施例のビデオカメラの基本的な撮影動作について説明する。   Next, the basic shooting operation of the video camera of this embodiment will be described.

操作部202の電源スイッチが操作されたことに応じて、ビデオカメラは撮影待機状態になる。このとき、ユーザが、図3、図4を用いて説明した設定を行うことにより、「外部音声」に関する設定をすることができる。   In response to the operation of the power switch of the operation unit 202, the video camera enters a shooting standby state. At this time, the user can make the setting related to “external audio” by performing the setting described with reference to FIGS. 3 and 4.

この状態で、ユーザが操作部202の撮影ボタンを操作することにより、ビデオカメラに動画撮影開始の指示がなされる。この動画撮影開始の指示に応じて、制御部201は、撮像部205、映像処理部206等に撮影開始の指示信号を送信する。   In this state, when the user operates the shooting button on the operation unit 202, the video camera is instructed to start moving image shooting. In response to the moving image shooting start instruction, the control unit 201 transmits a shooting start instruction signal to the imaging unit 205, the video processing unit 206, and the like.

撮影が開始すると、撮像部205は撮影レンズ101により取り込まれた被写体の光学像の光量を、絞りにより制御し、撮像素子により電気信号に変換する。そして、変換された電気信号は、映像処理部206で、適正なレベルに調整され、デジタルデータに変換る。そしてデジタルデータに変換された映像信号は、映像処理部106の画素数調整回路等によって適切な画素数に調整され、所定の映像記録方式で圧縮符号化され、映像データとなる。   When shooting starts, the image pickup unit 205 controls the light amount of the optical image of the subject captured by the shooting lens 101 with a diaphragm and converts it into an electrical signal with the image pickup device. The converted electrical signal is adjusted to an appropriate level by the video processing unit 206 and converted into digital data. The video signal converted into digital data is adjusted to an appropriate number of pixels by a pixel number adjustment circuit of the video processing unit 106, and is compressed and encoded by a predetermined video recording method to become video data.

また、音声処理部207は、マイクユニット102の4つの内蔵マイクにより集音された音声信号を、デジタルデータに変換し、「内蔵マルチチャンネル音声」を生成し、各チャンネルの音声レベルを適正な値に調整する。このほか、音声記録方式に必要な処理が施さ音声データを形成する。この他、「外部音声」を「内蔵マルチチャンネル音声」の1以上のチャンネルと置換する場合は、置換処理も行う。   The audio processing unit 207 also converts audio signals collected by the four built-in microphones of the microphone unit 102 into digital data, generates “built-in multi-channel sound”, and sets the sound level of each channel to an appropriate value. Adjust to. In addition, processing necessary for the audio recording method is performed to form audio data. In addition, when replacing “external audio” with one or more channels of “built-in multi-channel audio”, a replacement process is also performed.

そして、制御部201は、上述の映像データと上述の音声データとを合成しデータストリームを形成し、アクセス部210に出力する。アクセス部210は、制御部201の指示に基づき、UDF、FAT等のファイルシステム管理のもとに、映像データと音声データのデータストリームを一つの動画ファイルとしてHDD209に書込みはじめる。ファイルシステムとは、ファイルの管理を行うための管理情報とファイルデータからなる構造体系を意味する。このファイルシステムを共通化することによって、異なった記憶媒体あるいは記録再生機器でも記録再生できる。   Then, the control unit 201 synthesizes the video data and the audio data to form a data stream, and outputs the data stream to the access unit 210. Based on an instruction from the control unit 201, the access unit 210 starts to write a data stream of video data and audio data into the HDD 209 as one moving image file under management of a file system such as UDF or FAT. The file system means a structure system composed of management information and file data for managing files. By sharing this file system, recording and reproduction can be performed on different storage media or recording / reproduction devices.

データストリームは、必要に応じて表示制御部208を通して、表示部103に表示されることもある。   The data stream may be displayed on the display unit 103 through the display control unit 208 as necessary.

そして、ユーザが操作部202の撮影ボタンを再度操作することにより、ビデオカメラに動画撮影終了の指示がなされたことに応じて、制御部201は、撮像部205、映像処理部206等に撮影終了の指示信号を送信する。   Then, when the user operates the shooting button of the operation unit 202 again, the control unit 201 completes shooting to the imaging unit 205, the video processing unit 206, and the like in response to the video camera being instructed to end moving image shooting. The instruction signal is transmitted.

動画撮影終了の指示信号を受信したことに応じて、撮像部205、映像処理部206は、撮影動作を終了する。アクセス部210は、制御部201の指示のもと、撮影開始から撮影終了までに記録された一連の映像データと音声データとを一つのファイルとしHDD209に書込み、記録動作を終了する。制御部201は、ビデオカメラを撮影待機状態に遷移させる。   In response to receiving the instruction signal for ending moving image shooting, the imaging unit 205 and the video processing unit 206 end the shooting operation. Under the instruction of the control unit 201, the access unit 210 writes a series of video data and audio data recorded from the start of shooting to the end of shooting as one file in the HDD 209, and ends the recording operation. The control unit 201 causes the video camera to transition to the shooting standby state.

次に、本実施例のビデオカメラの通常の再生動作について説明する。   Next, normal playback operation of the video camera of this embodiment will be described.

制御部201は、操作部202の選択スイッチによって再生モードが指定されたことに応じて、HDD209から映像データや静止画データを読み出すよう、アクセス部210を制御する。そして、読み出された映像データや静止画データのサムネイルを並べたサムネイル画面や、映像データや静止画データのファイル名を表示部103に表示するよう、表示制御部208を制御する。また、最後に撮影した映像データや静止画データ等を表示部103に表示するよう、表示制御部208を制御してもよい。   The control unit 201 controls the access unit 210 to read video data and still image data from the HDD 209 in response to the reproduction mode being designated by the selection switch of the operation unit 202. Then, the display control unit 208 is controlled so that the thumbnail screen on which the thumbnails of the read video data and still image data are arranged and the file names of the video data and still image data are displayed on the display unit 103. In addition, the display control unit 208 may be controlled so that the last captured video data, still image data, or the like is displayed on the display unit 103.

そして、サムネイル画面が表示された状態で、ユーザが操作部202を操作して、映像データや静止画データを再生する指示をすると、制御部201は、各画像データを再生するよう各ブロックを制御する。   When the user operates the operation unit 202 with the thumbnail screen displayed and gives an instruction to reproduce video data or still image data, the control unit 201 controls each block to reproduce each image data. To do.

映像データを再生する際は、制御部201は、操作部202からの指示に応じて、HDD209から読み出した動画ファイルを音声データと映像データとを分離する。そして映像データは、映像再生処理部211で、復号されている情報量が伸張され、表示制御部208によって表示部103で映像として表示される。このとき、映像端子212からも映像信号を出力するように構成されているので、映像端子212を通して接続された映像表示可能な装置が映像を表示することができる。音声データは、音声再生処理部213に送信され、復号された情報量が伸張されて、5.1チャンネルのサラウンド音声データまたサラウンド音声信号に変換され、音声端子214から出力される。これにより、音声端子214に接続された音声出力可能な装置から、音声が出力されることになる。   When reproducing the video data, the control unit 201 separates the audio data and the video data from the moving image file read from the HDD 209 in accordance with an instruction from the operation unit 202. The video data is decompressed by the video reproduction processing unit 211 and displayed as video on the display unit 103 by the display control unit 208. At this time, since the video signal is also output from the video terminal 212, a video display device connected through the video terminal 212 can display the video. The audio data is transmitted to the audio reproduction processing unit 213, the decoded information amount is expanded, converted to 5.1 channel surround audio data or surround audio signal, and output from the audio terminal 214. As a result, audio is output from the audio output device connected to the audio terminal 214.

ここで、本実施例の「内蔵マルチチャンネル音声」を生成し、「内蔵マルチチャンネル音声」の1以上のチャンネルの音声と、「外部音声」を置換する音声処理部207について図5を用いて詳細に説明する。   Here, the audio processing unit 207 that generates the “built-in multi-channel sound” of the present embodiment and replaces the sound of one or more channels of the “built-in multi-channel sound” with the “external sound” will be described in detail with reference to FIG. Explained.

図5は、マイクユニット102、音声処理部207、受信部106、及び外部マイクによる音声処理の為の要部の構成を示す図である。   FIG. 5 is a diagram illustrating a configuration of a main part for sound processing by the microphone unit 102, the sound processing unit 207, the receiving unit 106, and an external microphone.

図5において、501から504は、マイクユニット102を構成している略無指向性の内蔵マイクであり、主にビデオカメラ100の周囲の音声を集音する。505は、外部マイク104に備えられたマイクであり、外部マイク付近の音声を集音する。506は、マイク505で得られたアナログ音声信号をデジタル音声信号に変換するAD変換部(以降A/D)である。   In FIG. 5, reference numerals 501 to 504 denote substantially omnidirectional built-in microphones constituting the microphone unit 102, and mainly collects sound around the video camera 100. Reference numeral 505 denotes a microphone provided in the external microphone 104, which collects sound near the external microphone. Reference numeral 506 denotes an AD converter (hereinafter referred to as A / D) that converts an analog audio signal obtained by the microphone 505 into a digital audio signal.

次に、音声処理部207の構成について説明する。507は、内蔵マイク501から504によって得られたアナログ音声信号をデジタル音声信号に変換するAD変換部(A/D)である。508は、内蔵マイク501から504によって得られた音声信号を用いて、5.1チャンネルの音声を生成する5.1ch変換回路である。5.1ch変換回路508では、FLチャンネル、FRチャンネル、SLチャンネル、SRチャンネル、SWチャンネル、FCチャンネルの音声信号が生成される。   Next, the configuration of the audio processing unit 207 will be described. Reference numeral 507 denotes an AD conversion unit (A / D) that converts an analog audio signal obtained by the built-in microphones 501 to 504 into a digital audio signal. Reference numeral 508 denotes a 5.1 channel conversion circuit that generates 5.1 channel audio using audio signals obtained by the built-in microphones 501 to 504. The 5.1ch conversion circuit 508 generates audio signals for the FL channel, the FR channel, the SL channel, the SR channel, the SW channel, and the FC channel.

FCチャンネルとはフロントセンターチャンネルである。FLチャンネルとはフロントレフトチャンネルである。FRチャンネルとはフロントライトチャンネルである。SLチャンネルとはサラウンドレフトチャンネルである。SRチャンネルとはサラウンドライトチャンネルである。SWチャンネルとはサブウーファーチャンネルであり、主に低音部の音声を受け持つチャンネルである。   The FC channel is a front center channel. The FL channel is a front left channel. The FR channel is a front light channel. The SL channel is a surround left channel. The SR channel is a surround light channel. The SW channel is a subwoofer channel and is a channel mainly responsible for the sound of the bass part.

509は、5.1ch変換回路508で生成された、FLチャンネル、FRチャンネル、SLチャンネル、SRチャンネル、SWチャンネル、FCチャンネルの音声のレベルをコントロールするオートレベルコントローラー(以降ALC)である。ALC509は、振幅調整部510、振幅検出部511、制御値決定部512によって構成されている。   Reference numeral 509 denotes an auto level controller (hereinafter, ALC) that controls the audio level of the FL channel, the FR channel, the SL channel, the SR channel, the SW channel, and the FC channel generated by the 5.1ch conversion circuit 508. The ALC 509 includes an amplitude adjustment unit 510, an amplitude detection unit 511, and a control value determination unit 512.

510は、5.1ch変換回路508で、生成された、各チャンネルの音声の振幅を、後述の制御値決定部512からの各チャンネル毎の制御値に従って、調整する振幅調整部である。振幅調整部510は、制御値決定部512からの制御値が大きいときには、各チャンネルの音声の振幅が大きくなるように音声信号を調整し、制御値が小さいときには、各チャンネルの音声の振幅が小さくなるように音声信号を調整する。511は、振幅調整部510から出力された各チャンネルの音声レベルを検出する振幅検出部である。振幅検出部511では、各チャンネル毎の音声の絶対値をとり、その信号のピークホールドを行った信号のレベルを音声レベルとしている。また、振幅検出部511では、振幅検出部511により検出された各チャンネルの音声レベルを後述のALC513の制御値決定部516に送信する。   Reference numeral 510 denotes an amplitude adjusting unit that adjusts the amplitude of the sound of each channel generated by the 5.1ch conversion circuit 508 according to the control value for each channel from the control value determining unit 512 described later. When the control value from the control value determining unit 512 is large, the amplitude adjusting unit 510 adjusts the sound signal so that the sound amplitude of each channel is large, and when the control value is small, the sound amplitude of each channel is small. Adjust the audio signal so that Reference numeral 511 denotes an amplitude detection unit that detects the audio level of each channel output from the amplitude adjustment unit 510. In the amplitude detector 511, the absolute value of the sound for each channel is taken, and the level of the signal on which the peak of the signal is held is set as the sound level. In addition, the amplitude detection unit 511 transmits the audio level of each channel detected by the amplitude detection unit 511 to the control value determination unit 516 of the ALC 513 described later.

512は、各チャンネル毎に、振幅検出部511で検出した音声レベルがある閾値レベルAよりも小さいか、ある閾値レベルBより大きいか、レベルAとレベルBの間にあるかを判別する(ただし、閾値A<閾値Bとする)。そして、すべてのチャンネルの音声レベルが閾値レベルAよりも小さいときには、振幅調整部510に対して各チャンネルの音声の振幅が大きくなるように大きい値の制御値を送信する。また、すべてのチャンネルの音声レベルが閾値レベルBよりも大きいときには、振幅調整部510に対して各チャンネルの音声の振幅が小さくなるように小さい値の制御値を送信する。ただし、あるチャンネルの音声レベルが閾値レベルAよりも小さく、あるチャンネルの音声レベルが閾値レベルBよりも大きい場合には、振幅調整部510に対して各チャンネルの音声の振幅が小さくなるように小さい値の制御値を送信する。これにより、各チャンネルの音声レベルが、閾値レベルAから閾値レベルBの間におさまるように制御する。   512 determines for each channel whether the audio level detected by the amplitude detector 511 is lower than a certain threshold level A, larger than a certain threshold level B, or between levels A and B (however, , Threshold A <threshold B). When the audio levels of all the channels are smaller than the threshold level A, a large control value is transmitted to the amplitude adjusting unit 510 so that the amplitude of the audio of each channel is increased. When the audio levels of all the channels are higher than the threshold level B, a small control value is transmitted to the amplitude adjusting unit 510 so that the amplitude of the audio of each channel becomes small. However, when the sound level of a certain channel is smaller than the threshold level A and the sound level of a certain channel is larger than the threshold level B, the amplitude of the sound of each channel is small so as to decrease with respect to the amplitude adjustment unit 510. Send control value of value. Thereby, the audio level of each channel is controlled to fall between the threshold level A and the threshold level B.

513は、「外部音声」の音声のレベルをコントロールするオートレベルコントローラー(以降ALC)である。   Reference numeral 513 denotes an auto level controller (hereinafter ALC) that controls the level of the “external audio” audio.

514は、受信部106によって受信された「外部音声」の振幅を、後述の制御値決定部516から制御値に従って、調整する振幅調整部である。振幅調整部514は、制御値決定部516からの制御値が大きいときには、音声の振幅が大きくなるように音声信号を調整し、制御値が小さいときには音声の振幅が小さくなるように音声信号を調整する。515は、振幅調整部513から出力された音声信号の音声レベルを検出する振幅検出部である。振幅検出部515は、音声の絶対値をとり、その信号のピークホールドを行った信号のレベルを音声レベルとしている。   Reference numeral 514 denotes an amplitude adjusting unit that adjusts the amplitude of the “external audio” received by the receiving unit 106 in accordance with a control value from a control value determining unit 516 described later. The amplitude adjuster 514 adjusts the sound signal so that the sound amplitude is increased when the control value from the control value determining unit 516 is large, and adjusts the sound signal so that the sound amplitude is decreased when the control value is small. To do. Reference numeral 515 denotes an amplitude detection unit that detects the audio level of the audio signal output from the amplitude adjustment unit 513. The amplitude detection unit 515 takes the absolute value of the sound, and uses the level of the signal that has peak-held the signal as the sound level.

516は、振幅検出部515により検出された音声レベルと、振幅検出部511により検出された各チャンネルのうちユーザの操作により置換するチャンネルに指定されたチャンネルの音声レベルとを比較する。そして、振幅検出部515により検出された音声レベルが、振幅検出部511により検出された、置換するチャンネルの音声レベルよりも小さいときには、振幅調整部514に対して大きい制御値を送信する。また、振幅検出部515により検出された音声レベルが、振幅検出部511により検出された、指定されたチャンネルの音声レベルよりも大きいときには、振幅調整部514に対して小さい制御値を送信する。   516 compares the audio level detected by the amplitude detector 515 with the audio level of the channel designated as the channel to be replaced by the user's operation among the channels detected by the amplitude detector 511. When the audio level detected by the amplitude detection unit 515 is smaller than the audio level of the channel to be replaced detected by the amplitude detection unit 511, a large control value is transmitted to the amplitude adjustment unit 514. When the audio level detected by the amplitude detector 515 is higher than the audio level of the designated channel detected by the amplitude detector 511, a small control value is transmitted to the amplitude adjuster 514.

また、制御値決定部516は、振幅検出部515により検出された音声レベルが、予め決められた閾値よりも小さい場合には、外部音声の音声レベルを変更しないような制御値を振幅調整部514に送信する。この閾値は、ユーザによって設定されても良い。   The control value determination unit 516 also sets a control value that does not change the sound level of the external sound when the sound level detected by the amplitude detection unit 515 is smaller than a predetermined threshold value. Send to. This threshold may be set by the user.

また、制御値決定部516は、ユーザの操作により置換するチャンネルに指定されたチャンネルのレベルと、指定されていないチャンネルの音声レベルを比較する。そして、置換するチャンネルのレベルが他のチャンネルの音声レベルよりも所定量以上大きいとき(例えば音声レベルが4dB以上大きい)には、以下の制御値を振幅調整部514に送信する。すなわち「外部音声」の音声レベルを置換するチャンネル以外のチャンネルの音声レベルと同程度になるような制御値を振幅調整部514に送信する。   Further, the control value determination unit 516 compares the level of the channel designated as the channel to be replaced by the user operation with the audio level of the channel not designated. Then, when the level of the channel to be replaced is higher than the audio level of other channels by a predetermined amount or more (for example, the audio level is 4 dB or higher), the following control value is transmitted to the amplitude adjustment unit 514. That is, a control value is transmitted to the amplitude adjustment unit 514 so as to be approximately the same as the sound level of a channel other than the channel that replaces the sound level of “external sound”.

517は、「内蔵マルチチャンネル音声」の置換するチャンネルに指定されたチャンネルの音声と、「外部音声」とのどちらかを選択的に通過させるスイッチである。518は、「内蔵マルチチャンネル音声」の指定されたチャンネルに指定されたチャンネルを示す制御信号であり、制御部201により送信されている。   Reference numeral 517 denotes a switch that selectively passes either the sound of the channel designated as the channel to be replaced by the “built-in multi-channel sound” or the “external sound”. Reference numeral 518 denotes a control signal indicating the channel designated as the designated channel of “Built-in multi-channel audio”, and is transmitted by the control unit 201.

スイッチ部517は、制御信号518からの指示により、置換するチャンネルに指定されたチャンネルを判別している。また、振幅検出部511は、各チャンネルの音声レベルを送信せずに、制御信号518からの指示により、指定されたチャンネルの音声レベルのみを送信しても良い。   The switch unit 517 determines the channel designated as the channel to be replaced in accordance with an instruction from the control signal 518. Further, the amplitude detector 511 may transmit only the audio level of the designated channel according to an instruction from the control signal 518 without transmitting the audio level of each channel.

519は、「内蔵マルチチャンネル音声」と「外部音声」とを合成した音声信号を所定の音声記録方式に必要な処理を施すエンコーダである。   Reference numeral 519 denotes an encoder that performs processing necessary for a predetermined audio recording method on an audio signal obtained by synthesizing “built-in multi-channel audio” and “external audio”.

次に、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声と「外部音声」を置換する場合を例にとって、具体的な動作について説明する。本実施例では、内蔵マイク501から504によって得られた音声信号から5.1チャンネルの音声を生成する。そして、外部マイク104のマイク505によって得られた音声信号を生成した5.1チャンネルの音声のフロントセンターチャンネルの音声に対して合成することになる。   Next, a specific operation will be described by taking as an example a case where the sound of the front center channel of “built-in multi-channel sound” and “external sound” are replaced. In the present embodiment, 5.1 channel sound is generated from the sound signals obtained by the built-in microphones 501 to 504. Then, the sound signal obtained by the microphone 505 of the external microphone 104 is synthesized with the sound of the front center channel of the 5.1 channel sound generated.

ユーザが操作部202を操作して、図3の設定画面において、「内蔵マルチチャンネル音声」のフロントセンターチャンネルに対して「外部音声」を置換するように設定した状態で撮影を開始する。   The user operates the operation unit 202 to start shooting in the setting screen of FIG. 3 in a state where “external audio” is set to replace the front center channel of “built-in multi-channel audio”.

ビデオカメラ100周辺の音声を集音する内蔵マイク501から504によって得られたアナログ音声信号は、A/D507で、デジタル音声信号に変換される。そして、デジタル音声信号は、5.1ch変換回路508で、5.1チャンネルの音声に変換され「内蔵マルチチャンネル音声」となる。   Analog audio signals obtained by the built-in microphones 501 to 504 that collect audio around the video camera 100 are converted into digital audio signals by the A / D 507. The digital audio signal is converted into 5.1 channel audio by the 5.1ch conversion circuit 508 and becomes “built-in multi-channel audio”.

また、外部マイク104周辺の音声を集音するマイク505により得られたアナログ音声信号は、A/D506によってデジタル音声信号に変換され、「外部音声」となる。そして、送信部105は、「外部音声」の信号を電波を搬送波としてビデオカメラ100の受信部106に送信する。そして、受信部106は、送信部105から送信された電波から「外部音声」の信号を復号する。   Also, the analog audio signal obtained by the microphone 505 collecting sound around the external microphone 104 is converted into a digital audio signal by the A / D 506 and becomes “external audio”. Then, the transmission unit 105 transmits the “external audio” signal to the reception unit 106 of the video camera 100 using a radio wave as a carrier wave. Then, the receiving unit 106 decodes the “external voice” signal from the radio wave transmitted from the transmitting unit 105.

「内蔵マルチチャンネル音声」は、ALC509内で適正なレベルに調整される。具体的には、振幅調整部510によって、各チャンネルの振幅が調整されて出力されることになる。このとき、振幅調整部510によって出力された各チャンネルの音声信号の音声レベルを振幅検出部511で検出する。このとき、振幅検出部511は、制御信号518の指示によって指示された、「内蔵マルチチャンネル音声」の置換するチャンネルであるフロントセンターチャンネルの音声レベルを制御値決定部516に送信する。そして、振幅検出部511で検出された各チャンネルの音声レベルに応じて、制御値決定部512は、振幅調整部510で振幅の調整をするための制御値を決定して振幅調整部510に送信する。振幅調整部510は、制御値決定部512からの制御値に応じて、各チャンネルの振幅調整を行う。そして、振幅調整部510で振幅を調整された各チャンネルの音声信号は、スイッチ部517に送信される。   “Built-in multi-channel audio” is adjusted to an appropriate level in the ALC 509. Specifically, the amplitude adjustment unit 510 adjusts and outputs the amplitude of each channel. At this time, the audio level of the audio signal of each channel output by the amplitude adjusting unit 510 is detected by the amplitude detecting unit 511. At this time, the amplitude detection unit 511 transmits the audio level of the front center channel, which is the channel to be replaced with “built-in multi-channel audio”, instructed by the instruction of the control signal 518, to the control value determination unit 516. Then, according to the audio level of each channel detected by the amplitude detection unit 511, the control value determination unit 512 determines a control value for adjusting the amplitude by the amplitude adjustment unit 510 and transmits the control value to the amplitude adjustment unit 510. To do. The amplitude adjustment unit 510 adjusts the amplitude of each channel according to the control value from the control value determination unit 512. Then, the audio signal of each channel whose amplitude is adjusted by the amplitude adjusting unit 510 is transmitted to the switch unit 517.

また、受信部106によって受信された「外部音声」は、振幅調整部514によって、振幅が調整されて出力されることになる。このとき、振幅調整部514によって出力された「外部音声」の音声レベルを振幅検出部515で検出する。そして、制御値決定部516は、振幅検出部515で検出した「外部音声」の音声レベルと、振幅検出部511で検出した「内蔵マルチチャンネル音声」の置換するチャンネルであるフロントセンターチャンネルの音声レベルとを比較する。そして、「外部音声」の音声レベルが、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルよりも小さいときには、振幅調整部514に対して、大きい制御値を送信する。また、「外部音声」の音声レベルが、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルよりも大きいときには、振幅調整部514に対して、小さい制御値を送信する。このようにすることで、「外部音声」の音声レベルを高くすることができる。ここで、制御値決定部516は、フロントセンターチャンネルの音声レベルに「外部音声」の音声レベルが近づくように、「外部音声」の音声レベルを調整するための制御値を決定する。   Further, the “external audio” received by the receiving unit 106 is output with the amplitude adjusted by the amplitude adjusting unit 514. At this time, the audio level of the “external audio” output by the amplitude adjustment unit 514 is detected by the amplitude detection unit 515. The control value determination unit 516 then outputs the audio level of the “external audio” detected by the amplitude detection unit 515 and the audio level of the front center channel that is the channel to be replaced by the “built-in multi-channel audio” detected by the amplitude detection unit 511. And compare. When the audio level of “external audio” is smaller than the audio level of the front center channel of “built-in multi-channel audio”, a large control value is transmitted to the amplitude adjustment unit 514. When the audio level of “external audio” is higher than the audio level of the front center channel of “built-in multi-channel audio”, a small control value is transmitted to the amplitude adjustment unit 514. In this way, the sound level of “external sound” can be increased. Here, the control value determination unit 516 determines a control value for adjusting the audio level of “external audio” so that the audio level of “external audio” approaches the audio level of the front center channel.

そして、振幅調整部514によって振幅が調整された「外部音声」は、スイッチ部517に送信される。   Then, the “external sound” whose amplitude is adjusted by the amplitude adjusting unit 514 is transmitted to the switch unit 517.

スイッチ部517では、制御信号518によって、置換するチャンネルがフロントセンターチャンネルであることを判別している。そして、ALC509から入力された「内蔵マルチチャンネル音声」音声のうち置換されるチャンネルであるフロントセンターチャンネルの音声の代りに、ALC513から入力された「外部音声」を出力する。これにより、「内蔵マルチチャンネル音声」のフロントセンターチャンネルを「外部音声」に置換した5.1チャンネル音声が生成される。この音声信号は、エンコーダ519に入力され、所定の音声記録方式に必要な処理を施されて、画像/音声データバス204に送信される。   The switch unit 517 determines from the control signal 518 that the channel to be replaced is the front center channel. Then, the “external audio” input from the ALC 513 is output instead of the audio of the front center channel which is the channel to be replaced among the “built-in multi-channel audio” audio input from the ALC 509. As a result, 5.1 channel sound in which the front center channel of “built-in multi-channel sound” is replaced with “external sound” is generated. This audio signal is input to the encoder 519, subjected to processing necessary for a predetermined audio recording method, and transmitted to the image / audio data bus 204.

その後、映像処理部206から得られた映像データとともに、HDD209に記録される。   Thereafter, it is recorded in the HDD 209 together with the video data obtained from the video processing unit 206.

以上のようにして、「内蔵マルチチャンネル音声」のフロントセンターチャンネルを「外部音声」に置換した音声を記録することができるのである。   As described above, it is possible to record the sound in which the front center channel of the “built-in multi-channel sound” is replaced with the “external sound”.

本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルと「外部音声」の音声レベルを比較して、「外部音声」の音声レベルを制御してからフロントセンターチャンネルと「外部音声」を置換している。この様にすることで、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声レベルと、「外部音声」の音声レベルとを近づけることができるので、「外部音声」の音量が適切でなくなってしまう可能性を低減できる。   In this embodiment, the audio level of the front center channel of “Built-in multi-channel audio” and the audio level of “external audio” are compared, and the audio level of “external audio” is controlled before the front center channel and “external audio”. Is replaced. By doing this, the audio level of the front center channel of “Built-in multi-channel audio” can be brought close to the audio level of “External audio”, so the volume of “External audio” may not be appropriate. Can be reduced.

また、本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルの音声を「外部音声」の音声に置換する場合について説明したが、他のチャンネルの音声を「外部音声」に置換しても良い。さらに、2以上のチャンネルを「外部音声」に置換しても良い。例えば、フロントセンターチャンネルだけではなく、フロントレフトチャンネルとフロントライトチャンネルに対して「外部音声」を置換しても良い。この場合、「外部音声」の音声レベルが、置換されるチャンネルに指定された2以上のチャンネルの音声レベルの平均値と近づくように制御され、指定された複数のチャンネルに「外部音声」を置換するようにすればよい。   Further, in this embodiment, the case where the sound of the front center channel of “built-in multi-channel sound” is replaced with the sound of “external sound” has been described, but the sound of other channels may be replaced with “external sound”. good. Further, two or more channels may be replaced with “external audio”. For example, “external audio” may be substituted for the front left channel and the front right channel as well as the front center channel. In this case, the audio level of “external audio” is controlled so as to approach the average value of the audio levels of two or more channels specified as the channel to be replaced, and “external audio” is replaced with a plurality of specified channels. You just have to do it.

また、本実施例では、「内蔵マルチチャンネル音声」のフロントセンターチャンネルは、その他のチャンネルとの音声レベルバランスを調整した音声である。バランスを調整されたフロントセンターチャンネル音声レベルと「外部音声」の音声レベルとが近づくように制御している。従って、「内蔵マルチチャンネル音声」の、その他のチャンネルと比べてもバランスの良い音声レベルで「外部音声」を置換することができる。   In this embodiment, the front center channel of the “built-in multi-channel sound” is a sound whose sound level balance with other channels is adjusted. Control is performed so that the sound level of the front center channel whose balance is adjusted and the sound level of “external sound” are close to each other. Therefore, “external audio” can be replaced with an audio level that is well balanced compared to other channels of “built-in multi-channel audio”.

本実施例では、5.1チャンネルの音声について例を示したが、例えば6.1チャンネルの音声でも良いし、7.1チャンネルの音声でも同様の方法で適用が可能である。   In the present embodiment, an example of 5.1-channel audio is shown, but for example, 6.1-channel audio may be used, and 7.1-channel audio can be applied in the same manner.

(他の実施例)
本発明は、実施例では、音声を集音する機能を有する装置として、ビデオカメラについて説明したが、これ以外の装置でもよい。
(Other examples)
In the embodiment, the video camera has been described as an apparatus having a function of collecting sound in the embodiment, but other apparatuses may be used.

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給することによっても、達成されることは言うまでもない。このとき、供給されたシステム或いは装置のコンピュータ(またはCPUやMPU)は、記憶媒体に格納されたプログラムコードを読み出し実行する。   Needless to say, the object of the present invention can also be achieved by supplying a storage medium storing software program codes for realizing the functions of the above-described embodiments to a system or apparatus. At this time, the computer (or CPU or MPU) of the supplied system or apparatus reads and executes the program code stored in the storage medium.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。   In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code itself and the storage medium storing the program code constitute the present invention.

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、CD−ROM、CD−R、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。   As a storage medium for supplying the program code, for example, a flexible disk, a hard disk, an optical disk, a magneto-optical disk, a CD-ROM, a CD-R, a magnetic tape, a nonvolatile memory card, a ROM, or the like can be used.

また、上述のプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(基本システムやオペレーティングシステム)などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。   Further, the OS (basic system or operating system) running on the computer performs part or all of the processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Needless to say, cases are also included.

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部又は全部を行う。   Further, the program code read from the storage medium may be written to a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, and the functions of the above-described embodiments may be realized. Needless to say, it is included. At this time, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

本発明を適用したビデオカメラとマイクのイメージ図である。It is an image figure of a video camera and a microphone to which the present invention is applied. 本発明を適用したビデオカメラのブロック図である。It is a block diagram of a video camera to which the present invention is applied. 本実施例の外部音声処理設定を説明するための図である。It is a figure for demonstrating the external audio | voice process setting of a present Example. 本実施例の外部音声処理設定を説明するためのフロー図である。It is a flowchart for demonstrating the external audio | voice process setting of a present Example. 本実施例の音声処理部の詳細を説明するための図である。It is a figure for demonstrating the detail of the audio | voice processing part of a present Example.

符号の説明Explanation of symbols

100 ビデオカメラ
101 撮影レンズ
102 マイクユニット
103 表示部
104 外部マイク
105 送信部
106 受信部
201 制御部
202 操作部
203 制御信号バス
204 画像/音声データバス
205 撮像部
206 映像処理部
207 音声処理部
208 表示制御部
209 HDD
210 アクセス部
211 映像再生処理部
212 映像出力端子
213 音声再生処理部
214 音声出力端子
215 USB端子
216 USBコントローラ
DESCRIPTION OF SYMBOLS 100 Video camera 101 Shooting lens 102 Microphone unit 103 Display part 104 External microphone 105 Transmission part 106 Reception part 201 Control part 202 Operation part 203 Control signal bus 204 Image / audio data bus 205 Imaging part 206 Video processing part 207 Audio processing part 208 Display Control unit 209 HDD
210 Access unit 211 Video playback processing unit 212 Video output terminal 213 Audio playback processing unit 214 Audio output terminal 215 USB terminal 216 USB controller

Claims (4)

周囲の音声を集音する複数の集音手段と、
前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、
外部機器から送信された外部音声信号を受信する受信手段と、
前記生成手段により生成された複数チャンネルの音声信号のうち、いずれかのチャンネルを指定する指定手段と、
前記指定手段により指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段とを有する信号処理装置であって、
前記複数チャンネルの音声信号の音声レベル及び前記外部音声信号の音声レベルを検出する検出手段と、
前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする信号処理装置。
A plurality of sound collecting means for collecting surrounding sounds;
Generating means for generating a plurality of channels of sound signals from a plurality of sound signals obtained by the plurality of sound collecting means;
Receiving means for receiving an external audio signal transmitted from an external device;
A designation means for designating any one of the plurality of channels of audio signals generated by the generation means;
A signal processing device having a replacement means for replacing the audio signal of the channel specified by the specifying means and the external audio signal;
Detecting means for detecting the audio level of the audio signals of the plurality of channels and the audio level of the external audio signal;
Control means for controlling the audio level of the external audio signal to approach the audio level of the audio signal of the designated channel.
前記制御手段は、前記検出手段により検出された前記外部音声信号の音声レベルが予め設定されたレベルよりも小さい場合には、前記外部音声信号の音声レベルを変更しないように制御することを特徴とする請求項1記載の信号処理装置。   The control means performs control so as not to change the sound level of the external sound signal when the sound level of the external sound signal detected by the detecting means is smaller than a preset level. The signal processing apparatus according to claim 1. 前記制御手段は、前記指定手段により指定されたチャンネルの音声信号の音声レベルが、前記指定手段により指定されていないチャンネルの音声信号のレベルよりも所定量以上大きい場合には、前記外部音声信号の音声レベルが前記指定手段により指定されていないチャンネルの音声信号の音声レベルの平均値に近づくように制御することを特徴とする請求項1または2記載の信号処理装置。   When the audio level of the audio signal of the channel specified by the specifying unit is greater than the level of the audio signal of the channel not specified by the specifying unit by the control unit, the control unit 3. The signal processing apparatus according to claim 1, wherein the audio level is controlled so as to approach an average value of audio levels of audio signals of channels not specified by the specifying means. 撮像手段を備えた撮像装置であって、
前記撮像装置に内蔵された複数の集音手段と、
前記複数の集音手段により得られた複数の音声信号から複数チャンネルの音声信号を生成する生成手段と、
外部機器から送信された外部音声信号を受信する受信手段と、
前記生成手段により生成された複数チャンネルの音声信号のうち、いずれかのチャンネルを指定する指定手段と、
前記指定手段により指定されたチャンネルの音声信号と前記外部音声信号とを置換する置換手段と、
前記複数チャンネルの音声信号の音声レベル及び前記外部音声信号の音声レベルを検出する検出手段と、
前記検出手段により検出された前記外部音声信号の音声レベルを前記指定されたチャンネルの音声信号の音声レベルに近づくように制御する制御手段とを有することを特徴とする撮像装置。
An imaging apparatus provided with imaging means,
A plurality of sound collecting means built in the imaging device;
Generating means for generating a plurality of channels of sound signals from a plurality of sound signals obtained by the plurality of sound collecting means;
Receiving means for receiving an external audio signal transmitted from an external device;
A designation means for designating any one of the plurality of channels of audio signals generated by the generation means;
Replacing means for replacing the audio signal of the channel specified by the specifying means and the external audio signal;
Detecting means for detecting the audio level of the audio signals of the plurality of channels and the audio level of the external audio signal;
An imaging apparatus comprising: control means for controlling the audio level of the external audio signal detected by the detection means so as to approach the audio level of the audio signal of the designated channel.
JP2008159664A 2008-06-18 2008-06-18 Signal processing device, imaging device Expired - Fee Related JP5072730B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008159664A JP5072730B2 (en) 2008-06-18 2008-06-18 Signal processing device, imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008159664A JP5072730B2 (en) 2008-06-18 2008-06-18 Signal processing device, imaging device

Publications (2)

Publication Number Publication Date
JP2010004171A true JP2010004171A (en) 2010-01-07
JP5072730B2 JP5072730B2 (en) 2012-11-14

Family

ID=41585534

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008159664A Expired - Fee Related JP5072730B2 (en) 2008-06-18 2008-06-18 Signal processing device, imaging device

Country Status (1)

Country Link
JP (1) JP5072730B2 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023535A (en) * 2002-06-18 2004-01-22 Kenwood Corp Communication terminal, and program and method for controlling communication terminal
JP2006314078A (en) * 2005-04-06 2006-11-16 Sony Corp Imaging apparatus, voice recording apparatus, and the voice recording method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023535A (en) * 2002-06-18 2004-01-22 Kenwood Corp Communication terminal, and program and method for controlling communication terminal
JP2006314078A (en) * 2005-04-06 2006-11-16 Sony Corp Imaging apparatus, voice recording apparatus, and the voice recording method

Also Published As

Publication number Publication date
JP5072730B2 (en) 2012-11-14

Similar Documents

Publication Publication Date Title
US20050237395A1 (en) Information processing apparatus, imaging apparatus, information processing method, and program
JP4901673B2 (en) Imaging apparatus, recording apparatus, reproducing apparatus, imaging method, recording method, reproducing method, and program
KR101121030B1 (en) Image capturing apparatus
JP2011130134A (en) Imaging apparatus and imaging system
JP5072730B2 (en) Signal processing device, imaging device
JP5349850B2 (en) Signal processing device, imaging device
JP2009130820A (en) Information processing apparatus
JP5171369B2 (en) Sound collection environment determination device, electronic apparatus including the same, and sound collection environment determination method
JP5241865B2 (en) Video camera
JP5014101B2 (en) Imaging device
JP2008311931A (en) Signal processor
JP5014100B2 (en) Imaging device
JP2006229329A (en) Imaging device
KR101281814B1 (en) Photographing apparatus capable of recording stereophonic and the method thereof
JP5481548B2 (en) camera
JP2010134260A (en) Electronic apparatus and voice processing method
JP4752880B2 (en) Video camera
JP5317936B2 (en) Audio signal processing device
JP5295349B2 (en) Information processing device
JP4906746B2 (en) Information processing device
JP2021040217A (en) Imaging apparatus, control method of the same, and program
JP2021061542A (en) Imaging apparatus and control method for the same, and program
JP2010011416A (en) Imaging apparatus
JP2018078459A (en) Imaging apparatus
JP2013030967A (en) Sound signal reproduction device

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120424

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120724

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120821

R151 Written notification of patent or utility model registration

Ref document number: 5072730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150831

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees