JP2004163511A

JP2004163511A - 携帯端末装置

Info

Publication number: JP2004163511A
Application number: JP2002326626A
Authority: JP
Inventors: Masashi Hirano; 賢史平野
Original assignee: Sony Ericsson Mobile Communications Japan Inc
Current assignee: Sony Corp
Priority date: 2002-11-11
Filing date: 2002-11-11
Publication date: 2004-06-10
Anticipated expiration: 2022-11-11
Also published as: JP4148355B2

Abstract

【課題】サーバ装置を介することなく、簡単、且つ、安価にテキストデータの内容に対応した音楽を作曲，再生する。
【解決手段】携帯電話機１は、表示部２に電子メールが表示されるのに応じて、表示された電子メールの内容に対応した音楽を自動的に作曲，再生する。これにより、ユーザは、サーバ装置にアクセスすることなく、電子メールの内容に対応した音楽を鑑賞することができる。また、ユーザは、通信料金を支払わずに自動作曲サービスを利用することができる。すなわち、この携帯電話機１によれば、サーバ装置を介さずに、簡単、且つ、安価に電子メールの内容に対応した音楽を作曲，再生することができる。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、電子メールやウェブページ等のテキストデータの内容に対応した音楽を作曲，再生する携帯端末装置に関する。
【０００２】
【従来の技術】
近年、端末装置を介してユーザが送信した電子メールを受信するのに応じて、サーバ装置が、受信した電子メールの内容に対応した音楽を作曲する自動作曲システム（例えば、特許文献１を参照）が提供されており、このようなシステムによれば、ユーザは、電話回線を介してサーバ装置を発呼することにより、電子メールの内容に応じて作曲された音楽をいつでも聞くことができる。
【０００３】
【特許文献１】
特開２００１−２０９５９２号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記のような従来までの自動作曲システムでは、音楽を作曲，記憶する処理は全てサーバ装置側で行われる構成となっているために、ユーザは音楽の作曲要求や鑑賞を行う度に電話回線を介してサーバ装置にアクセスしなければならず、電子メールの内容に応じて作曲された音楽を気軽に鑑賞することができない。
【０００５】
さらに、上記のような従来までの自動作曲システムでは、電子メールの内容に応じて作曲された音楽は電話回線を介してユーザに提供される構成となっているために、作曲された音楽を全て聴き終わるまでにユーザが多くの通信料金を支払わなけれず、電子メールを利用した自動作曲サービスを安価に利用することができない。
【０００６】
本発明はこのような課題に鑑みてなされたものであり、その目的は、サーバ装置を介することなく、簡単、且つ、安価にテキストデータの内容に対応した音楽を作曲，再生することが可能な携帯端末装置を提供することにある。
【０００７】
【課題を解決するための手段】
本発明に係る携帯端末装置の特徴は、テキストデータを表示する表示部と、音楽の少なくとも明暗を制御する数値と関連付けられた複数のキーワードを記憶する記憶部と、表示部に表示されるテキストデータ内に含まれるキーワードを検索し、検索されたキーワードと関連付けられた数値に基づいて、表示部に表示されるテキストデータの内容に対応した音楽を作曲する制御部と、テキストデータが表示部に表示されるのに応じて、制御部が作曲した音楽を再生出力する再生部とを備えることにある。
【０００８】
すなわち、本発明に係る携帯端末装置では、表示部にテキストデータが表示されるのに応じて、制御部が表示されたテキストデータの内容に対応した音楽を自動的に作曲し、再生部が作曲された音楽再生する。
【０００９】
これにより、ユーザは、サーバ装置にアクセスすることなく、電子メールの内容に対応した音楽を鑑賞することができる。また、ユーザは、通信料金を支払わずに自動作曲サービスを利用することができる。
【００１０】
すなわち、この携帯端末装置によれば、サーバ装置を介さずに、簡単、且つ、安価に電子メールの内容に対応した音楽を作曲，再生することができる。
【００１１】
【発明の実施の形態】
本発明は、例えば図１に示すような携帯電話機に適用することができる。以下、図面を参照して、本発明の一実施形態となる携帯電話機の構成及び動作について詳しく説明する。
【００１２】
［携帯電話機の概観］
始めに、図１を参照して、本発明の一実施形態となる携帯電話機の概観の構成について説明する。
【００１３】
本発明の一実施形態となる携帯電話機１は、図１に示すように、主な構成要素として、表示部２、操作入力部３、受話口４、及び送話口５を備える。
【００１４】
上記表示部２は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）やＥＬ（ＥｌｅｃｔｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）パネル等の表示装置により構成され、後述するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ，図２を参照）１５の制御に従って、文字、数字、記号、アイコン、カーソル、画像、動画像等を可視表示する。
【００１５】
上記操作入力部３は、例えば「０」から「９」までの数字の入力、仮名文字の入力、アルファベット文字の入力、記号の入力、発信や受信の指示入力、電源のオン／オフの指示入力等の操作に使用される、複数のキーボタン６を有する。また、この操作入力部３は、表示部２上に表示されたカーソルの移動操作や画面のスクロール操作等の操作に使用するダイアル（ジョグダイアル）７を有する。上記受話口４及び送話口５はそれぞれ、後述するスピーカ及びマイクロフォン（図２を参照）に接続されており、ユーザが通話相手先と音声通話を行う際に使用される。
【００１６】
［携帯電話機の内部構成及びその基本動作］
次に、図２を参照して、上記携帯電話機１の内部構成及びその基本動作について説明する。なお、表示部２及び操作入力部３の構成及び動作は、既述の通りであるので、以下ではその説明を省略する。
【００１７】
図２に示す携帯電話機１では、送話口５（図１参照）に接続されているマイクロフォン８は、ユーザの通話音声をアナログ音声信号に変換する。そして、アナログ音声信号は、図示しない増幅器により増幅された後、ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｉｎａｌＰｒｏｃｅｓｓｏｒ）９に入力される。
【００１８】
ＤＳＰ９は、アナログ音声信号が入力されると、所定のサンプリングレートでアナログ音声信号をアナログ／デジタル（Ａ／Ｄ）変換する。そして、ＤＳＰ９は、Ａ／Ｄ変換により得られたデジタル音声データに対し、トランスポートブロック（ＴＢ）毎にＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）符号を付加し、チャネル符号化（誤り訂正符合化）及びインターリーブ処理を施す。なお、上記トランスポートブロックとは、物理レイヤが処理を行うデータの基本単位（ＭＡＣ（ＭｅｄｉｕｍＡｃｃｅｓｓＣｏｎｔｒｏｌ）レイヤから物理レイヤにデータが転送される単位）を示す。
【００１９】
また、ＤＳＰ９は、上記インターリーブ処理後のビット系列に対し、パイロットビット等のチャネル確定のためのオーバーヘッドを付加した後、データ変調処理を行い、データ変調マッピングされた位相平面上の同相（Ｉｎ−Ｐｈａｓｅ）及び直交（Ｑｕａｄｒａｔｕｒｅ）成分をそれぞれ２階層の拡散符号系列で拡散する。そして、ＤＳＰ９は、拡散後のチップデータ系列を自乗余弦ルートナイキストフィルタで所定帯域（５ＭＨｚ）に帯域制限した後、デジタル／アナログ（Ｄ／Ａ）変換によりアナログ信号に変換し、アナログ信号を送信部１０に出力する。
【００２０】
送信部１０は、ＤＳＰ９からアナログ信号が入力されると、アナログ信号を直交復調し、直交復調された中間周波数信号を高周波信号（２ＧＨｚ帯のＲＦ信号）に周波数変換する。そして、送信部１０は、この高周波信号を増幅し、増幅後の高周波信号を送信信号としてデュプレクサ１１に出力する。
【００２１】
デュプレクサ１１は、アンテナ共用器である。すなわち、デュプレクサ１１は、送信信号と受信信号とで１本のアンテナ１２を共用し、アンテナ１２からの受信信号を受信部１３に送り、且つ、送信部１０からの送信信号をアンテナ１２へ送出する機能を備えたフィルタ回路により構成される。
【００２２】
受信部１３は、アンテナ１２及びデュプレクサ１１を介して供給された高周波の受信信号を増幅し、増幅した受信信号を中間周波数の信号に周波数変換する。そして、受信部１３は、自動利得制御により中間周波数の信号を線形増幅し、線形増幅した中間周波数の信号をＤＳＰ９に入力する。この際、ＤＳＰ９は、受信部１３からの信号を直交検波（ＱｕａｒｄｒａｔｕｒｅＤｅｔｅｃｔｉｏｎ）し、直交検波による同相及び直交成分のアナログ信号を所定のサンプリングレートでＡ／Ｄ変換する。そして、ＤＳＰ９は、Ａ／Ｄ変換によってデジタル値に変換された同相及び直交成分を、自乗余弦ルートナイキストフィルタで帯域制限した後、受信信号の拡散符号と同一の拡散符号により逆拡散することにより、伝搬遅延時間が異なる複数のマルチパス成分に時間分離する。
【００２３】
また、ＤＳＰ９は、時間分離した各パスのデータをコヒーレントレイク合成し、コヒーレントレイク合成後のデータ系列をデインターリーブ及びチャネル復号した後、２値のデータ判定を行って相手先の端末が送信してきたデータ系列を再生する。そして、ＤＳＰ９は、再生したデータ系列を音声データとその他の通信データに弁別する。音声データは、ＤＳＰ９によりＤ／Ａ変換され、さらに図示しない増幅器により増幅された後、受話口４（図１参照）に内蔵されているスピーカ１４へ送られる。スピーカ１４は、増幅されたアナログ音声信号により駆動される。これにより、通話相手先の携帯電話機からの通話音声がスピーカ１４から放音されることになる。
【００２４】
また、ＤＳＰ９は、上記通信データがどのようなデータであるのかを解析し、解析結果に対応した処理を行う。例えば上記通信データが電子メール等のテキストデータである場合、ＤＳＰ９はテキストデータをＣＰＵ１５に送り、ＣＰＵ１５は表示部２上にテキストデータを表示制御する。また、例えば通信データが圧縮された画像データである場合、ＤＳＰ９は圧縮画像データを伸張した後にＣＰＵ１５に送り、ＣＰＵ１５は表示部２上に画像データを表示制御する。また、例えば通信データが圧縮された音声データである場合、ＤＳＰ９は、圧縮音声データを伸張し、スピーカ１４又はスピーカ１６に音声データを出力する。
【００２５】
上記記録部１７は、フラッシュメモリ等の記憶保持動作が不要な書き換え可能なメモリにより構成される。この記録部１７は、アドレス帳機能プログラム、スケジュール帳機能プログラム、ユーザプロフィール登録機能プログラム、電子メール送受信機能プログラム、自動作曲プログラム１８等、各種アプリケーションプログラムを記憶するアプリケーションプログラム記録部１９を備える。
【００２６】
また、上記記録部１７は、アドレス帳データ、スケジュールデータ、プロフィールデータ、送受信した電子メール、自動作曲処理用データ２０（詳しくは後述する）、自動作曲処理により作成された演奏データ等の各種データを格納するデータ記録部２１を備える。さらに、この記録部１７は、携帯電話機の各種設定値のうち、ユーザが任意に設定可能な値を含む設定データを格納する。なお、アプリケーションプログラム記録部１９及びデータ記録部２１内に記憶される情報の全て若しくは一部は、通信回線を介して受信される構成にしてもよい。
【００２７】
ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２２は、ＣＰＵ１５が各部を制御するための制御プログラム（図示せず）等の各種コンピュータプログラムと、各種の初期設定値、フォントデータを記憶する。また、ＲＯＭ２２は、自動作曲機能により作成された演奏データを再生するための再生プログラム２３を記憶する。
【００２８】
なお、このＲＯＭ２２は、ＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅａｎｄＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）のような書き換え可能なＲＯＭであってもよい。また、この携帯電話機１では、ＣＰＵ１５が再生プログラム２３を用いてソフトウェア的に演奏データを再生するが、例えば携帯電話機１の内部に専用の音源回路を設け、ＣＰＵ１５が音源回路に演奏データを入力することにより演奏データを再生してもよい。
【００２９】
ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２４は、ＣＰＵ１５が各種処理を行う際のワークエリアとして機能し、随時データを格納する。ＣＰＵ１５は、記録部１７やＲＯＭ２２内に格納されているコンピュータプログラムを実行することにより、コンピュータプログラムに従って携帯電話機１内の各部の動作を制御すると共に、各種の演算処理を行う。
【００３０】
カメラ部２５は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサやＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の撮像素子と、撮像素子上に被写体等の光像を結像させる光学系とを備えたものである。そして、カメラ部２５が撮影した画像データはＤＳＰ９に入力される。なお、カメラ部２５から画像データを受け取ったＤＳＰ９は、その画像データをＣＰＵ１５に送り、ＣＰＵ１５は画像データに基づく画像を表示部２上に表示制御する。また、ＤＳＰ９は、必要に応じて画像データを圧縮し、圧縮後の画像データを送信データとして送信部１０に送ることもできる。また、圧縮後の画像データはＣＰＵ１５を介して記録部１７に記録することもできる。
【００３１】
近距離無線通信部２６とそのアンテナ２７は、いわゆるブルートゥース（Ｂｌｕｅｔｏｏｔｈ）方式の無線通信を行うためのものである。なお、ブルートゥース方式は、複数の電子機器間における無線ネットワーキングを実現するための方式である。このブルートゥース方式は、ＢｌｕｅｔｏｏｔｈＳＩＧ（ＳｐｅｃｉａｌＩｎｔｅｒｅｓｔＧｒｏｕｐ）において策定されたものであり、詳細は、”Ｂｌｕｅｔｏｏｔｈ（ＴＭ）ＳｐｅｃｉａｌＩｎｔｅｒｅｓｔＧｒｏｕｐ，Ｂｌｕｅｔｏｏｔｈ仕様書バージョン１．０”に開示されている。
【００３２】
［携帯電話機の動作］
〔自動作曲処理〕
上記携帯電話機１は、ユーザが表示部２を介して受信した電子メールを閲覧している際、表示部２に表示されている電子メールの内容に対応した音楽を作曲し、出力する（以下、この処理を自動作曲処理と表記する）。なお、この実施形態では、携帯電話機１は、電子メールの閲覧時に音楽を作曲するが、ユーザが電子メールを送信する際（ダイアル７押下時）やウェブページを閲覧する際等、表示部２にテキストデータが表示されている際に自動作曲処理を実行するようにしてもよい。以下、図３に示すフローチャートを参照して、自動作曲処理を実行する際の携帯電話機１の動作について詳しく説明する。
【００３３】
図３に示すフローチャートは、ユーザが、操作入力部３を操作して、表示部２に受信した電子メールを表示することで開始となり、この自動作曲処理はステップＳ１の処理に進む。
【００３４】
ステップＳ１の処理では、ＣＰＵ１５が、記録部１７からＲＡＭ２４内に自動作曲プログラム１８をロードし、自動作曲プログラム１８に従って、表示部２に現在表示されている電子メールのテキストデータをＲＡＭ２４内に読み込む。これにより、このステップＳ１の処理は完了し、この自動作曲処理はステップＳ１の処理からステップＳ２の処理に進む。
【００３５】
ステップＳ２の処理では、ＣＰＵ１５が、自動作曲プログラム１８に従って、テキストデータを解析し、解析結果に基づきテキストデータの内容に対応した音楽のコード進行データ、リズム進行データ、及びメロディ進行データを生成するためのパラメータを算出する（以下、この処理をパラメータ算出処理と表記する）。なお、パラメータ算出処理の詳細については図４に示すフローチャートを参照して後述する。これにより、このステップＳ２の処理は完了し、この自動作曲処理はステップＳ２の処理からステップＳ３の処理に進む。
【００３６】
ステップＳ３の処理では、ＣＰＵ１５が、自動作曲プログラム１８に従って、算出したパラメータに基づき、テキストデータの内容に対応した音楽のコード進行データを生成する（以下、この処理をコード生成処理と表記する）。なお、このコード生成処理の詳細については図５に示すフローチャートを参照して後述する。これにより、このステップＳ３の処理は完了し、この自動作曲処理はステップＳ３の処理からステップＳ４の処理に進む。
【００３７】
ステップＳ４の処理では、ＣＰＵ１５が、自動作曲プログラム１８に従って、算出したパラメータに基づき、コード進行を決定した音楽のリズム進行データを生成する（以下、この処理をリズム生成処理と表記する）。なお、このリズム生成処理の詳細については図６に示すフローチャートを参照して後述する。これにより、このステップＳ４の処理は完了し、この自動作曲処理はステップＳ４の処理からステップＳ５の処理に進む。
【００３８】
ステップＳ５の処理では、ＣＰＵ１５が、自動作曲プログラム１８に従って、算出パラメータに基づいてリズム進行を決定した音楽のメロディ進行データを生成する（以下、この処理をメロディ生成処理と表記する）。なお、このメロディ生成処理の詳細については図７に示すフローチャートを参照して後述する。これにより、このステップＳ５の処理は完了し、この自動作曲処理はステップＳ５の処理からステップＳ６の処理に進む。
【００３９】
ステップＳ６の処理では、ＣＰＵ１５が、生成したコード進行データ、リズム進行データ、及びメロディ進行データに従って、作曲した音楽の演奏データをバックグラウンド処理で生成する。ここで、生成される演奏データは、複数のパート（音源）の音階と音符の組み合わせから成り、この実施の形態では、例えばスタンダードＭＩＤＩ（ＳｔａｎｄａｒｄＭｕｓｉｃａｌＩｎｓｔｒｕｍｅｎｔｓＤｉｇｉｔａｌＩｎｔｅｒｆａｃｅ）ファイル等のＭＩＤＩデータにより構成される。また、上記パートは、例えば、ピアノ、オルガン、ギター、ベース、バイオリン、チェロ、ハープ、トランペット、サックス、琴、マリンバ、フルート等の楽器の音色情報により構成され、一つの演奏データには最大４０程度のパートを含めることができる（４０和音）。さらに、演奏データは所定の再生時間となるように生成される。なお、演奏データはＭＩＤＩデータ形式に限られることはなく、例えばＭＰ３（ＭＰＥＧＡｕｄｉｏＬａｙｅｒ−３）等の他のデータ形式により演奏データを構成してもよい。これにより、このステップＳ６の処理は完了し、この自動作曲処理はステップＳ６の処理からステップＳ７の処理に進む。
【００４０】
ステップＳ７の処理では、ＣＰＵ１５が、他の演奏データを再生中であるか否かを判別する。そして、判別の結果、他の演奏データを再生中である場合、この自動作曲処理はステップＳ７の処理からステップＳ１０の処理に進む。一方、他の演奏データを再生中でない場合には、この自動作曲処理はステップＳ７の処理からステップＳ８の処理に進む。
【００４１】
ステップＳ８の処理では、ＣＰＵ１５が、再生する演奏データを前回再生した演奏データからステップＳ６の処理によりバックグラウンド処理により予め生成した演奏データに切り換える。このような処理によれば、演奏データ再生までのタイムロスをなくし、演奏データをシームレスに再生することができる。これにより、このステップＳ８の処理は完了し、この自動作曲処理はステップＳ８の処理からステップＳ９の処理に進む。
【００４２】
ステップＳ９の処理では、ＣＰＵ１５が、再生プログラム２３に従って、再生する演奏データの各パートの音階及び音符を解釈、処理することより、作曲した音楽をスピーカ１４，１６から放音する。これにより、このステップＳ９の処理は完了し、この自動作曲処理はステップＳ９の処理からステップＳ１０の処理に進む。
【００４３】
ステップＳ１０の処理では、ＣＰＵ１５が、演奏データの再生が終了したか否かを判別し、演奏データの再生が終了するのに応じて、この自動作曲処理をステップＳ１０の処理からステップＳ１１の処理に進める。なお、この実施形態では、ＣＰＵ１５は、タイマを利用して再生時間を計測することにより、演奏データの再生が終了したか否かを判別する。
【００４４】
ステップＳ１１の処理では、ＣＰＵ１５が、ユーザによるスクロール操作等の処理によって、表示部２に表示されている電子メールの内容が変化したか否かを判別する。そして、判別の結果、表示部２に表示されている電子メールの内容が変化した場合、ＣＰＵ１５はこの自動作曲処理をステップＳ１１の処理からステップＳ８の処理に戻し、バックグラウンド処理により予め生成した電子メールの内容変化部分に対応した演奏データに切り換える。このような処理によれば、ＣＰＵ１５は、表示部２に表示された電子メールの内容に対応した演奏データをシームレスに再生することができるようになる。一方、表示部２に表示されている電子メールの内容が変化していない場合には、ＣＰＰＵ１５はこの自動作曲処理をステップＳ１１の処理からステップＳ９の処理に戻す。そして、この一連の自動作曲処理は、ユーザが受信した電子メールの閲覧を終了まで繰り返し実行される。
【００４５】
なお、上記自動作曲処理において、ユーザが、操作入力部３を操作して、演奏データが生成、再生されないように設定できるようにしてもよい。また、携帯電話機１が演奏データを再生している際、ユーザが演奏データの再生を停止できるようにしてもよい。また、ＣＰＵ１５は、電子メールの一段落、一文章、若しくは一画面分のテキストデータが新たに表示されるのに応じて、新たに表示されたテキストデータのみに基づいて音楽を作曲することが望ましい。これにより、携帯電話機１は、電子メールの文章展開に合った音楽を再生することができる。また、上記自動作曲処理において作成された演奏データは、ユーザからの指示に応じて、記録部１７内に記憶できることが望ましい。また、記録部１７内に記憶された演奏データは、通信回線を介して他のユーザに送信できるようにしてもよい。
【００４６】
〔パラメータ算出処理〕
次に、図４に示すフローチャートを参照して、上記ステップＳ２のパラメータ算出処理について詳しく説明する。
【００４７】
図４に示すフローチャートは、表示部２に表示されている電子メールのテキストデータが読み込まれるのに応じて開始となり、このパラメータ算出処理はステップＳ２１の処理に進む。
【００４８】
ステップＳ２１の処理では、ＣＰＵ１５が、読み込まれたテキストデータに対して形態素解析等の自然言語解析を実行することにより、テキストデータを構成する文章の構造を解析する。これにより、このステップＳ２１の処理は完了し、このパラメータ算出処理はステップＳ２１の処理からステップＳ２２の処理に進む。
【００４９】
ステップＳ２２の処理では、ＣＰＵ１５が、記録部１７に記憶された自動作曲処理用データ２０内から、例えば「嬉しい」や「悲しい」等のキーワードを取得する。ここで、各キーワードには、例えば小林らが提案するｐ／ｎ（ｐｏｓｉｔｉｖｅ／ｎｅｇａｇａｔｉｖｅ）評価等の手法を利用して、作曲される音楽の明るさ（暗さ）を制御する数値（α）、テンポを制御する数値（β）、抑揚を制御する数値（γ）が関連付けられている。但し、キーワードの中には、その意味が文脈によって応じて変化するものもあるので、キーワードが属する文章、及びその文章の前後の文脈に従って、キーワードと関連付けられている数値を変化させることが望ましい。なお、ｐ／ｎ評価の詳細は、”語釈文を利用した「ｐ／ｎ辞書」の作成”、人工知能学会言語・音声理解と対話処理研究会資料、ＳＬＵＤ−３３，２００１に開示されている。これにより、このステップＳ２２の処理は完了し、このパラメータ算出処理はステップＳ２２の処理からステップＳ２３の処理に進む。
【００５０】
ステップＳ２３の処理では、ＣＰＵ１５が、テキストデータの自然言語解析結果に基づいて、取得したキーワードがテキストデータ内に含まれるか否かを判別する。そして、判別の結果、取得したキーワードが含まれない場合は、このパラメータ算出処理はステップＳ２３の処理からステップＳ２５の処理に進む。一方、取得したキーワードが含まれる場合には、このパラメータ算出処理はステップＳ２３の処理からステップＳ２４の処理に進む。
【００５１】
ステップＳ２４の処理では、ＣＰＵ１５が、取得したキーワードに関連付けられている数値α，β，γをＲＡＭ２４内に記憶する。なお、２回目の処理以後、ＲＡＭ２４内に既に数値α，β，γの値が記憶されている場合には、ＣＰＵ１５は既に記憶されている各数値に新たに記憶する数値を加算する。但し、記憶されている数値が他のテキストデータに基づいて作成されたものである場合には、ＣＰＵ１５は、この数値を消去した後、ＲＡＭ２４内に新しく数値を記憶する。これにより、このステップＳ２４の処理は完了し、このパラメータ算出処理はステップＳ２４の処理からステップＳ２５の処理に進む。
【００５２】
ステップＳ２５の処理では、ＣＰＵ１５が、自動作曲処理用データ２０内に未処理（未取得）のキーワードが含まれるか否かを判別する。そして、判別の結果、未処理のキーワードが含まれる場合は、このパラメータ算出処理はステップＳ２５の処理からステップＳ２２の処理に戻る。一方、未処理のキーワードが含まれない場合には、このパラメータ算出処理はステップＳ２５の処理からステップＳ２６の処理に進む。
【００５３】
ステップＳ２６の処理では、ＣＰＵ１５が、ＲＡＭ内に記憶されている数値α、β、γに基づいて、音楽の曲調、速さ、ジャンル、モチーフ（和音）、リズム、メロディ、伴奏、ドラムの進行ルールを指定するパラメータを算出する。なお、これらのパラメータはある音楽ルール（例えば「Ｃ」）を形成する。そして、この音楽ルールは、「ポップス」，「クラシック」等のジャンルの違いに応じてパラメータを動的に組み替えることにより、新たな音楽ルール（例えば「Ｃｍ」や「Ｃ７」に変更することができ、これにより、柔軟なメロディ生成と共に、携帯電話機１内に記憶する音楽ルール数を最小にすることができる。これにより、このステップＳ２６の処理は完了し、一連のパラメータ算出処理は終了する。
【００５４】
なお、上記音楽ルールとは、多くの人に何度もくり返し使われることによって定着した「コード進行の流れ」や「音の流れ」、「響きの美しさ」等を理論的にまとめたものである。音楽ルールの詳細については例えば特開２００２−２３７４７号公報に記載されている。
【００５５】
〔コード生成処理〕
次に、図５に示すフローチャートを参照して、上記ステップＳ３のコード生成処理について詳しく説明する。図５に示すフローチャートは、パラメータ算出処理が完了するのに応じて開始となり、このコード生成処理はステップＳ３１の処理に進む。
【００５６】
ステップＳ３１の処理では、ＣＰＵ１５が、パラメータ算出処理において算出したパラメータに従って最初に演奏する小節のコードを決定する。これにより、このステップＳ３１の処理は完了し、このコード生成処理はステップＳ３１の処理からステップＳ３２の処理に進む。
【００５７】
ステップＳ３２の処理では、ＣＰＵ１５が、前のコードに規定されている音楽ルールに従って、コード同士が不自然な繋がりにならないように、自動作曲処理用データ２０の中から次の小節のコードの候補（コード候補）を抽出する。これにより、このステップＳ３２の処理は完了し、このコード生成処理はステップＳ３２の処理からステップＳ３３の処理に進む。
【００５８】
ステップＳ３３の処理では、ＣＰＵ１５が、乱数を発生させる。これにより、このステップＳ３３の処理は完了し、このコード生成処理はステップＳ３３の処理からステップＳ３４の処理に進む。
【００５９】
ステップＳ３４の処理では、ＣＰＵ１５が、発生させた乱数に従って、抽出したコード候補の中から、次の小節のコードを決定する。これにより、このステップＳ３４の処理は完了し、このコード生成処理はステップＳ３４の処理からステップＳ３５の処理に進む。
【００６０】
ステップＳ３５の処理では、ＣＰＵ１５が、パラメータ算出処理において算出したジャンルに関するパラメータに従って、和音構成音（音程）を生成し、決定したコードに対して和音構成音を適用する。これにより、このステップＳ３５の処理は完了し、このコード生成処理はステップＳ３５の処理からステップＳ３６の処理に進む。
【００６１】
ステップＳ３６の処理では、ＣＰＵ１５が、所定の演奏時間内の全ての小節に対し上記ステップＳ３２〜ステップＳ３５の処理を実行したか否かを判別する。そして、判別の結果、全ての小節に対しステップＳ３２〜ステップＳ３５の処理を実行していない場合は、このコード生成処理はステップＳ３６の処理からステップＳ３２の処理に戻る。一方、全ての小節に対しステップＳ３２〜ステップＳ３５の処理を実行した場合には、ＣＰＵ１５は、ステップＳ３７の処理として、上記処理の結果をコード進行データとしてＲＡＭ２４内に記憶する。これにより、ステップＳ３７の処理が完了し、一連のコード生成処理は終了する。
【００６２】
なお、より柔軟なコード進行パターンを生成することを可能にするために、幾つかの確立されたコード進行パターンをジャンル毎に予め自動作曲処理用データ２０内に記憶し、コード生成処理が実行される度毎にＣＰＵ１５が処理結果に基づいて学習することが望ましい。
【００６３】
〔リズム生成処理〕
次に、図６に示すフローチャートを参照して、上記ステップＳ４のリズム生成処理について詳しく説明する。図６に示すフローチャートは、コード生成処理が完了するのに応じて開始となり、このリズム生成処理はステップＳ４１の処理に進む。
【００６４】
ステップＳ４１の処理では、ＣＰＵ１５が、パラメータ算出処理において算出したパラメータに従って最初に演奏する音符を決定する。これにより、このステップＳ４１の処理は完了し、このリズム生成処理はステップＳ４１の処理からステップＳ４２の処理に進む。
【００６５】
ステップＳ４２の処理では、ＣＰＵ１５が、前の音符に規定されている音楽ルールに従って、音符同士が不自然な繋がりにならないように、自動作曲処理用データ２０の中から次の拍数における音符の候補（音符候補）を抽出する。これにより、このステップＳ４２の処理は完了し、このリズム生成処理はステップＳ４２の処理からステップＳ４３の処理に進む。
【００６６】
ステップＳ４３の処理では、ＣＰＵ１５が、乱数を発生させる。これにより、このステップＳ４３の処理は完了し、このリズム生成処理はステップＳ４３の処理からステップＳ４４の処理に進む。
【００６７】
ステップＳ４４の処理では、ＣＰＵ１５が、発生させた乱数に従って、抽出した音符候補の中から次の拍数における音符を決定する。これにより、このステップＳ４４の処理は完了し、このリズム生成処理はステップＳ４４の処理からステップＳ４５の処理に進む。
【００６８】
ステップＳ４５の処理では、ＣＰＵ１５が、所定演奏時間分の拍数に対し上記ステップＳ４２〜Ｓ４４の処理を実行したか否かを判別する。そして、判別の結果、所定演奏時間分の拍数に対し上記ステップＳ４２〜Ｓ４４の処理を実行していない場合は、このリズム生成処理はステップＳ４５の処理からステップＳ４２の処理に戻る。一方、所定演奏時間分の拍数に対し上記ステップＳ４２〜Ｓ４４の処理を実行した場合には、ＣＰＵ１５は、ステップＳ４６の処理として、上記処理の結果をリズム進行データとしてＲＡＭ２４内に記憶する。これにより、ステップＳ４６の処理が完了し、一連のリズム生成処理は終了する。
【００６９】
なお、より柔軟なリズム進行を生成することを可能にするために、幾つかの確立されたリズム進行パターンをジャンル毎に予め自動作曲処理用データ２０内に記憶し、リズム生成処理が実行される度毎にＣＰＵ１５が処理結果に基づいて学習することが望ましい。
【００７０】
〔メロディ生成処理〕
次に、図７に示すフローチャートを参照して、上記ステップＳ５のメロディ生成処理について詳しく説明する。図７に示すフローチャートは、リズム生成処理が完了するのに応じて開始となり、このメロディ生成処理はステップＳ５１の処理に進む。
【００７１】
ステップＳ５１の処理では、ＣＰＵ１５が、上記リズム生成処理により生成したリズム進行データを読み込み、メロディ生成処理を未実行の音符を検索する。これにより、このステップＳ５１の処理は完了し、このメロディ生成処理はステップＳ５１の処理からステップＳ５２の処理に進む。
【００７２】
ステップＳ５２の処理では、ＣＰＵ１５が、検索の結果、メロディ生成処理の未実行の音符が検索されたか否かを判別する。そして、判別の結果、メロディ生成処理の未実行の音符が検索されない場合、このメロディ生成処理はステップＳ５２の処理からステップＳ５７の処理に進む。一方、メロディ生成処理の未実行の音符が検索された場合には、このメロディ生成処理はステップＳ５２の処理からステップＳ５３の処理に進む。
【００７３】
ステップＳ５３の処理では、ＣＰＵ１５が、自動作曲処理用データ２０の中から音符に適用可能なメロディルール候補を抽出する。これにより、このステップＳ５３の処理は完了し、このメロディ生成処理はステップＳ５３の処理からステップＳ５４の処理に進む。
【００７４】
ステップＳ５４の処理では、ＣＰＵ１５が、乱数を発生させる。これにより、このステップＳ５４の処理は完了し、このメロディ生成処理はステップＳ５４の処理からステップＳ５５の処理に進む。
【００７５】
ステップＳ５５の処理では、ＣＰＵ１５が、発生させた乱数に従って抽出したメロディルール候補の中からメロディルールを選択し、選択したメロディルールを検索された音符に適用する。これにより、このステップＳ５５の処理は完了し、このメロディ生成処理はステップＳ５５の処理からステップＳ５６の処理に進む。
【００７６】
ステップＳ５６の処理では、ＣＰＵ１５が、パラメータ算出処理において算出したジャンルに関するパラメータに従ってメロディ生成ルールを生成し、検索された音符に対し生成したメロディ生成ルールを適用する。これにより、このステップＳ５６の処理は完了し、このメロディ生成処理はステップＳ５６の処理からステップＳ５１の処理に戻る。
【００７７】
ステップＳ５７の処理では、ＣＰＵ１５は、上記処理の結果をメロディ進行データとしてＲＡＭ２４内に記憶する。これにより、このステップＳ５７の処理は完了し、一連のメロディ生成処理が終了する。
【００７８】
なお、より柔軟なメロディ進行を生成することを可能にするために、幾つかの確立されたメロディ進行パターンをジャンル毎に予め自動作曲処理用データ２０内に記憶し、メロディ生成処理が実行される度毎にＣＰＵ１５が処理結果に基づいて学習することが望ましい。
【００７９】
［実施形態の効果］
以上の説明から明らかように、本発明の一実施形態となる携帯電話機１は、表示部２に電子メールが表示されるのに応じて、表示された電子メールの内容に対応した音楽を自動的に作曲，再生するので、ユーザは、サーバ装置にアクセスすることなく、電子メールの内容に対応した音楽を鑑賞することができる。また、このような構成によれば、音楽の作曲及び再生処理は全て携帯電話機１側で行われるので、ユーザは、通信料金を支払わずに自動作曲サービスを利用することができる。すなわち、この携帯電話機１によれば、サーバ装置を介さずに、簡単、且つ、安価に電子メールの内容に対応した音楽を作曲，再生することができる。
【００８０】
また、本発明の一実施形態となる携帯電話機１は、スクロール操作によってユーザが表示部２に表示されている電子メールの内容を変化させた場合、内容の変化に対応した音楽を再度作曲，再生するので、表示されている電子メールの内容に対応した音楽を常に再生することができる。
【００８１】
また、本発明の一実施形態となる携帯電話機１は、ユーザが電子メールを閲覧している際に、電子メールの内容に対応した音楽を作曲，再生するので、電子メールの送信者は、視覚、聴覚双方のアプローチにより意志伝達を行うことができ、逆に、電子メールの受信者は、視覚と聴覚の二つの感覚で電子メールの内容を理解することができる。
【００８２】
さらに、本発明の一実施形態となる携帯電話機１では、ユーザは、例えば特開２００２−３２０７８号公報に開示されているような音楽を作曲，再生するための設定（モチーフメロディ設定）や、音楽を作曲，再生するためのデータを用意する必要がなく、気軽に自動作曲サービスを利用することができる。また、この携帯電話機１は、音楽を作曲する際に適用する音楽ルールに乱数に従って決定するので、電子メールの内容に応じて音楽を柔軟に作曲することができると共に、多様な音楽を作曲することが可能となる。
【００８３】
［その他の実施形態］
以上、本発明者によってなされた発明を適用した実施の形態の構成及び動作について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。例えば、上記実施形態は本発明を携帯電話機に適用したものであったが、本発明は、パーソナルコンピュータやＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）等の音楽再生機能を有する情報処理装置であれば適用、実施することができる。このように、上記実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることを付け加えておく。
【００８４】
【発明の効果】
本発明によれば、サーバ装置を介することなく、簡単、且つ、安価にテキストデータの内容に対応した音楽を作曲，再生することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態となる携帯電話機の外観を示す模式図である。
【図２】図１に示す携帯電話機の内部構成を示すブロック図である。
【図３】本発明の一実施形態となる自動作曲処理の流れを示すフローチャート図である。
【図４】図３に示すパラメータ算出処理の流れを示すフローチャート図である。
【図５】図３に示すコード生成処理の流れを示すフローチャート図である。
【図６】図３に示すリズム生成処理の流れを示すフローチャート図である。
【図７】図３に示すメロディ生成処理の流れを示すフローチャート図である。
【符号の説明】
１…携帯電話機、２…表示部、３…操作入力部、４…受話口、５…送話口、６…キーボタン、７…ダイアル、８…マイクロフォン、９…ＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）、１０…送信部、１１…デュプレクサ、１２，２７…アンテナ、１３…受信部、１４，１６…スピーカ、１７…記録部、１８…自動作曲プログラム、１９…アプリケーションプログラム記録部、２０…自動作曲処理用データ、２１…データ記録部、２２…ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、２３…再生プログラム、２４…ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、２５…カメラ部、２６…近距離無線通信部

Claims

テキストデータを表示する表示部と、
音楽の少なくとも明暗を制御する数値と関連付けられた複数のキーワードを記憶する記憶部と、
上記表示部に表示されるテキストデータ内に含まれる上記キーワードを検索し、検索されたキーワードと関連付けられた数値に基づいて、表示部に表示されるテキストデータの内容に対応した音楽を作曲する制御部と、
上記テキストデータが上記表示部に表示されるのに応じて、上記制御部が作曲した音楽を再生出力する再生部と
を備える携帯端末装置。
請求項１に記載の携帯端末装置であって、
上記表示部に表示されているテキストデータをスクロールする操作部を備え、
上記制御部は、テキストデータがスクロールされるのに応じて、上記表示部に新たに表示されたテキストデータの内容に対応した音楽を作曲し、
上記再生部は、新たに表示されたテキストデータの内容に対応した音楽を再生出力すること
を特徴とする携帯端末装置。
請求項１に記載の携帯端末装置であって、
上記キーワードは、音楽の少なくともテンポと抑揚を制御する数値と関連付けられていること
を特徴とする携帯端末装置。