JP4223940B2 - Image generation apparatus, portable terminal, image generation method, image display method, and program - Google Patents
Image generation apparatus, portable terminal, image generation method, image display method, and program Download PDFInfo
- Publication number
- JP4223940B2 JP4223940B2 JP2003432866A JP2003432866A JP4223940B2 JP 4223940 B2 JP4223940 B2 JP 4223940B2 JP 2003432866 A JP2003432866 A JP 2003432866A JP 2003432866 A JP2003432866 A JP 2003432866A JP 4223940 B2 JP4223940 B2 JP 4223940B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- image
- control information
- original image
- portable terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Systems (AREA)
- Editing Of Facsimile Originals (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Description
本発明は、画像の表示形態を制御する技術に関する。 The present invention relates to a technique for controlling a display form of an image.
近年、任意の形状から別の形状へ徐々に変化していく様子を動画で表現するため、その中間を補う画像を作成する所謂モーフィング技術が注目を集め、これを応用したソフトウェアも各種提案されている。ソフトウェアには、人物の顔などの合成画像に対して、動作を指定するシナリオ情報を付与することにより、形状を時系列で変化させ、表情の変化をアニメーションとして生成するものなどがある(例えば、特許文献1参照)。 In recent years, so-called morphing technology that creates an image that complements the middle has been attracting attention in order to express a moving image from an arbitrary shape to another shape as a moving image. Yes. Software includes a software that generates a change in facial expression as an animation by adding scenario information that specifies an action to a synthetic image such as a person's face, by changing the shape in time series (for example, Patent Document 1).
しかしながら、上記従来のモーフィングでは、静止画像データと、アニメーションの生成に必要な制御点情報や当該制御点を変位させるためのシナリオ情報を含む制御情報とが、別のファイルとして保持されていた。そのため、例えば、モーフィング画像データを携帯電話などの情報端末へ送信して、情報端末で再生するような場合、静止画像データのみの送信時と比較してファイルサイズが大きくなり、トラフィックが増大してしまう。また、データの保管においては、メモリ容量の消費が大きく、更に静止画像データと制御情報を関連付けて保存する必要があり、データの保管や取り扱いが煩雑である。 However, in the conventional morphing described above, still image data and control information including control point information necessary for generating an animation and scenario information for displacing the control point are held as separate files. Therefore, for example, when morphing image data is transmitted to an information terminal such as a mobile phone and played back on the information terminal, the file size is increased and traffic is increased as compared with the transmission of only still image data. End up. In addition, data storage consumes a large amount of memory, and still image data and control information need to be stored in association with each other, and data storage and handling are complicated.
そこで本発明は、データ量を増加させることなく原画像の表示形態を制御可能な画像生成装置、画像生成方法、及び生成された画像を表示できる携帯端末、画像表示方法及びプログラムを提供することを目的とする。 Therefore, the present invention provides an image generation apparatus, an image generation method, a portable terminal capable of displaying the generated image, an image display method, and a program capable of controlling the display form of the original image without increasing the data amount. Objective.
本発明の携帯端末は、原画像の表示形態を制御する制御情報が電子透かし情報として前記原画像に埋め込まれた画像データに基づいて表示形態が変化する画像を表示する携帯端末であって、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続する通信手段と、前記原画像と前記制御情報とを分離する分離手段と、分離した前記制御情報を解析する解析手段と、前記通信手段による着信があった場合に、電話帳に登録されている個人毎に前記制御情報に含まれるシナリオ情報に変更情報を付加するシナリオ情報変更手段と、解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、発信元に応じた前記画像を表示する表示手段と、を備える。The mobile terminal of the present invention is a mobile terminal that displays an image whose display form changes based on image data embedded in the original image as control information for controlling the display form of the original image as digital watermark information. A communication means for communicatively connecting to another portable terminal or server via a telephone network or the Internet, a separation means for separating the original image and the control information, an analysis means for analyzing the separated control information, Scenario information changing means for adding change information to scenario information included in the control information for each individual registered in the telephone directory when there is an incoming call by the communication means, the analyzed control information and the added information Display means for controlling the display form of the original image based on the change information and displaying the image according to a transmission source.
また、本発明の携帯端末は、原画像の表示形態を制御する制御情報が電子透かし情報として前記原画像に埋め込まれた画像データに基づいて表示形態が変化する画像を表示する携帯端末であって、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続する通信手段と、前記原画像と前記制御情報とを分離する分離手段と、分離した制御情報を解析する解析手段と、前記通信手段による留守録音があった場合に、当該留守録音の発信元及び内容、又は当該留守録音された時刻により、前記制御情報に含まれるシナリオ情報に固有の前記シナリオ情報の変更情報を付加するシナリオ情報変更手段と、解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、当該留守録音の発信元及び内容、又は当該留守録音のされた時刻に応じた前記画像を表示する表示手段と、を備える。The mobile terminal of the present invention is a mobile terminal that displays an image whose display form changes based on image data in which control information for controlling the display form of the original image is embedded in the original image as digital watermark information. A communication means for communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet, a separation means for separating the original image and the control information, and an analysis means for analyzing the separated control information; When there is an absence recording by the communication means, the scenario information change information specific to the scenario information included in the control information is added according to the origin and content of the absence recording or the time when the absence recording was performed. Scenario information changing means for controlling the display form of the original image based on the analyzed control information and the added change information, Provided Xinyuan and content, or a display means for displaying the image corresponding to is the time of the message recording, the.
また、本発明の携帯端末は、前記原画像を取得する手段を備える。上記構成によれば、端末自体で原画像の取得が可能となる。また、本発明の携帯端末は、原画像の表示形態を制御する制御情報を生成する手段を備える。上記構成によれば、端末自体で制御情報の生成が可能となる。The portable terminal of the present invention includes means for acquiring the original image. According to the above configuration, an original image can be acquired by the terminal itself. The portable terminal of the present invention includes means for generating control information for controlling the display form of the original image. According to the above configuration, control information can be generated by the terminal itself.
また、本発明の携帯端末は、前記原画像の表示形態を制御する制御情報を前記原画像に電子透かし情報として埋め込む埋め込み手段を備える。上記構成によれば、原画像と制御情報とが別々に存在する場合でも、制御情報を原画像に埋め込むことでマージし、データ量の増加を抑えることができる。The portable terminal of the present invention further includes an embedding unit that embeds control information for controlling the display form of the original image as electronic watermark information in the original image. According to the above configuration, even when the original image and the control information exist separately, the control information can be merged by being embedded in the original image, and an increase in the data amount can be suppressed.
また、本発明の画像表示プログラムは、原画像の表示形態を制御する制御情報が電子透かし情報として前記原画像に埋め込まれた画像データに基づいて表示形態が変化する画像を表示するための画像表示プログラムであって、コンピュータを備えた携帯端末を、無線電話網又はインターネットを介して、他の携帯端末又はサーバと通信可能に接続する通信手段と、前記原画像と前記制御情報とを分離する分離手段と、分離した前記制御情報を解析する解析手段と、前記通信手段による着信があった場合に、電話帳に登録されている個人毎に前記制御情報に含まれるシナリオ情報に変更情報を付加するシナリオ情報変更手段と、解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、発信元に応じた前記画像を表示する表示手段、として機能させる。Also, the image display program of the present invention provides an image display for displaying an image whose display form changes based on image data in which control information for controlling the display form of the original image is embedded in the original image as digital watermark information. A communication means for connecting a portable terminal equipped with a computer to another portable terminal or a server via a wireless telephone network or the Internet, and separation for separating the original image and the control information And means for analyzing the separated control information, and when there is an incoming call by the communication means, changes information is added to the scenario information included in the control information for each individual registered in the telephone directory Based on the scenario information changing means, the analyzed control information and the added change information, the display form of the original image is controlled, and the source information is selected. Display means for displaying the image, to function as a.
また、本発明の画像表示プログラムは、原画像の表示形態を制御する制御情報が電子透かし情報として前記原画像に埋め込まれた画像データに基づいて表示形態が変化する画像を表示するための画像表示プログラムであって、コンピュータを備えた携帯端末を、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続する通信手段と、前記原画像と前記制御情報とを分離する分離手段と、分離した前記制御情報を解析する解析手段と、前記通信手段による留守録音があった場合に、当該留守録音の発信元及び内容、又は当該留守録音された時刻により、前記制御情報に含まれるシナリオ情報に固有の前記シナリオ情報の変更情報を付加するシナリオ情報変更手段と、解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の表示形態を制御して、当該留守録音の発信元及び内容、又は当該留守録音された時刻に応じた前記画像を表示する表示手段、として機能させる。Also, the image display program of the present invention provides an image display for displaying an image whose display form changes based on image data in which control information for controlling the display form of the original image is embedded in the original image as digital watermark information. Communication means for connecting a portable terminal equipped with a computer to another portable terminal or server via a wireless telephone network or the Internet, and separating means for separating the original image and the control information And the analysis means for analyzing the separated control information, and when there is an absence recording by the communication means, the source and content of the absence recording, or the time when the absence recording was included in the control information Scenario information changing means for adding the scenario information change information unique to the scenario information, the analyzed control information and the added change information To control the display form of the original image on the basis of, source and content of the message recording or display means for displaying the image corresponding to the message recording is time, to function as a.
また、本発明の画像表示方法は、原画像の表示形態を制御する制御情報が電子透かし情報として前記原画像に埋め込まれた画像データに基づいて表示形態が変化する画像を表示する画像表示方法であって、通信手段が、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続するステップと、分離手段が、前記原画像と前記制御情報とを分離するステップと、解析手段が、分離した前記制御情報を解析するステップと、シナリオ情報変更手段が、前記通信手段による着信があった場合に、電話帳に登録されている個人毎に前記制御情報に含まれるシナリオ情報に変更情報を付加するステップと、表示手段が、解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、発信元に応じた前記画像を表示するステップと、を有する。上記構成によれば、原画像と制御情報とを分離するステップを設けることにより、制御情報が埋め込まれた状態の画像から、原画像に埋め込まれた制御情報を取り出すことが可能となり、原画像の表示形態を制御情報に基づいて変化させることができる。The image display method of the present invention is an image display method for displaying an image whose display form changes based on image data embedded in the original image as control information for controlling the display form of the original image as digital watermark information. A communication unit communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet, a separation unit separating the original image and the control information, and an analysis unit Analyzing the separated control information, and the scenario information changing means is changed to the scenario information included in the control information for each individual registered in the telephone book when there is an incoming call by the communication means. A step of adding information, and a display means controls the display form of the original image based on the analyzed control information and the added change information, and transmits And a step of displaying the image corresponding to. According to the above configuration, by providing the step of separating the original image and the control information, the control information embedded in the original image can be extracted from the image in which the control information is embedded. The display form can be changed based on the control information.
また、本発明の画像表示方法は、原画像の表示形態を制御する制御情報が電子透かし情報として前記原画像に埋め込まれた画像データに基づいて表示形態が変化する画像を表示する画像表示方法であって、通信手段が、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続するステップと、分離手段が、前記原画像と前記制御情報とを分離するステップと、解析手段が、分離した前記制御情報を解析するステップと、シナリオ情報変更手段が、前記通信手段による留守録音があった場合に、当該録音の発信元及び内容、又は当該留守録音された時刻により前記制御情報に含まれるシナリオ情報に固有の前記シナリオ情報の前記変更情報を付加するステップと、表示手段が、解析した前記制御情報および付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、当該留守録音の発信元及び内容、又は当該留守録音された時刻に応じた画像を表示するステップと、を有する。The image display method of the present invention is an image display method for displaying an image whose display form changes based on image data embedded in the original image as control information for controlling the display form of the original image as digital watermark information. A communication unit communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet, a separation unit separating the original image and the control information, and an analysis unit However, when the separated control information is analyzed, and the scenario information changing means has an absence recording by the communication means, the control information is determined according to the source and content of the recording or the time when the absence recording was performed. Adding the change information of the scenario information unique to the scenario information included in the display information, and the display means added the control information analyzed and By controlling the display form of the original image on the basis of the serial change information having, source and content of the message recording or displaying a picture in accordance with the absence recorded time, the.
本発明によれば、モーフィングの再生等に必要な制御情報を原画像に埋め込んでマージし、一ファイルとして扱える為、データ量の増加を抑えることができる。 According to the present invention, control information necessary for morphing reproduction or the like is embedded in the original image and merged, and can be handled as one file, so that an increase in data amount can be suppressed.
[実施の形態1]
図1は、本発明の実施の形態1における携帯端末の概略構成を示す図である。本実施の形態では、モーフィング画像の再生に必要な、原画像の表示形態を制御する制御情報を電子透かし情報として埋め込んだ画像データを生成する画像生成装置を搭載した携帯端末について説明する。なお、表示形態とは、表示の形状、模様及び色彩を含むものである。携帯端末100は、主に、原画像の表示形態を変化させた新たな画像を生成する画像生成装置10、画像再生部20、シナリオ情報変更部30、原画像を取得するカメラ40、メモリ50、制御部60、電話機能部70、通信部80を備えて構成される。
[Embodiment 1]
FIG. 1 is a diagram showing a schematic configuration of a mobile terminal according to Embodiment 1 of the present invention. In the present embodiment, a portable terminal equipped with an image generation apparatus that generates image data in which control information for controlling the display form of an original image necessary for reproduction of a morphed image is embedded as digital watermark information will be described. The display form includes a display shape, pattern, and color. The
画像生成装置10は、静止画像データ(原画像)に、モーフィング画像の生成に必要な制御情報である制御点情報、シナリオ情報、音声情報を電子透かしとして埋め込み、画像データとその制御情報を含む1つのファイルを生成するブロックであり、制御点情報生成部11、シナリオ情報生成部12、電子透かし埋め込み部13、などを含む。制御点情報はモーフィング画像を生成するための制御点の位置情報であり、シナリオ情報は制御点の移動を制御するための情報である。制御点情報生成部11及びシナリオ情報生成部12は、原画像の表示形態を制御する制御情報を生成する。画像生成装置10内部の詳細な機能構成については後述する。
The
画像再生部20は、画像生成装置10で生成された画像データから制御情報を分離し、シナリオ情報に基づいてモーフィング画像を再生するブロックで、画像再生に必要なLCD(液晶ディスプレイ)なども含む。画像再生部20内部の詳細な機能構成についても後述する。
The
シナリオ情報変更部30は、画像再生部20でモーフィング画像の再生に使用するシナリオ情報に対して、各種の条件に基づいた変更を施すブロックである。シナリオ情報の変更が発生する条件の例については後述する。
The scenario
カメラ40は、原画像を取得する機能を有し、携帯端末100の操作者の操作により所定圧縮フォーマットの静止画像データを生成する。尚、CCDによる撮像からアナログ信号処理、A/D変換、デジタル信号処理、データ圧縮などの一連の処理手順は公知の手法を用いてかまわない。また、予め撮影して生成した静止画像データを後述するメモリ50に保存しておき、メモリ50から画像データを取得することにより、原画像を取得してもよい。
The
メモリ50は、カメラ40で撮影した静止画像データや携帯端末100各部の動作を制御する制御プログラムなどを格納する。また、制御部60は、CPUを含み、携帯端末100の動作全体を統括するブロックである。特に、画像生成装置10、画像再生部20、シナリオ情報変更部30は、このメモリ50に格納されたそれぞれの制御用プログラムを制御部60で実行することにより実現される。
The
電話機能部70は、携帯電話としての機能を実現するブロックであり、電話や電子メールの送受信を制御する。また、通信部80は、アンテナ81を有し、無線電話網、インターネット等を介して他の携帯電話や携帯端末、サーバなどと通信可能に接続する通信手段としての機能を実現する。
The
図2は、本発明の実施の形態1における携帯端末の、画像生成装置の機能構成を示す図である。画像生成装置10は、JPEG画像データ(原画像)の可変長復号化を行う可変長復号化(VLD)部14、画像の圧縮率であるQファクタの取り出しを行うクオリティ取り出し部(IQ)15、Qファクタを所望の画質に基づく値に再設定するクオリティ再設定部16、制御点情報生成部11、シナリオ情報生成部12、生成された制御点情報やシナリオ情報、音情報等の制御情報を電子透かしとして埋め込む電子透かし埋め込み部13、制御情報埋め込み後のデータを可変長符号化する可変長符号化(VLC)部17、などで構成される。なお、クオリティ取り出し部(IQ)15及びクオリティ再設定部16は、制御情報を埋め込む原画像の画質調整を行う。
FIG. 2 is a diagram illustrating a functional configuration of the image generation device of the portable terminal according to Embodiment 1 of the present invention. The
図3は、本発明の実施の形態1における携帯端末の、画像生成装置の制御情報埋め込み動作の手順を示すフローチャートである。カメラ40で被写体の顔画像を撮影し(ステップS101)、公知の形状モデル生成手法により特徴点を検出する(ステップS102)。制御点情報生成部11は、必要な制御点全てが生成されたかを判断しながら(ステップS103)、特徴点から制御点を生成し(ステップS104)、形状モデルデータを生成する。撮影した静止画像データはエンコードされ(ステップS105)、作成されたJPEG画像データは(ステップS106)、メモリ50に一時的に格納される。以上の手順により、カメラ40で撮影した顔画像に関するJPEG画像データと形状モデルデータが生成される。
FIG. 3 is a flowchart showing the procedure of the control information embedding operation of the image generation apparatus of the portable terminal according to Embodiment 1 of the present invention. A face image of the subject is photographed by the camera 40 (step S101), and feature points are detected by a known shape model generation method (step S102). The control point information generation unit 11 generates control points from feature points (step S104) while determining whether all necessary control points have been generated (step S103), and generates shape model data. The captured still image data is encoded (step S105), and the created JPEG image data (step S106) is temporarily stored in the
次に、作成したJPEG画像データを可変長復号化部14で復号化する(ステップS107)。画質調整を行うか否かを判断し(ステップS108)、画質調整を行う場合はクオリティ取り出し部15でQファクタを取り出し(ステップS109)、クオリティ再設定部16でQファクタの再設定を行って最適画像品質への調整を行う(ステップS110)。JPEG画像データのクオリティが低い状態で埋め込みを行うと画質劣化が際立つ場合があるため、それを抑制するためにここで画像が一定品質以上となるようにQファクタの再設定を行えばよい。
Next, the created JPEG image data is decoded by the variable length decoding unit 14 (step S107). It is determined whether or not image quality adjustment is performed (step S108). When image quality adjustment is performed, the
次に、モーフィング画像の再生時に同時再生する音声情報と、モーフィング画像の生成に必要な制御点の移動を制御するためのシナリオ情報を取得するが、音声情報とシナリオ情報はそれぞれ予め生成されて(ステップS111及びステップS112)メモリ50に格納されている。モーフィングにおける被写体の動作は、制御点の変位制御により実現されるが、このシナリオ情報の作成は公知の手法を用いてかまわない。
Next, audio information to be reproduced simultaneously with the reproduction of the morphing image and scenario information for controlling the movement of the control points necessary for generating the morphing image are acquired. The audio information and the scenario information are respectively generated in advance ( Step S111 and Step S112) are stored in the
次に、電子透かし埋め込み部13で、復号化により取得したDCT(離散コサイン変換)係数(原画像の周波数の係数)のブロック単位に、制御点情報、シナリオ情報及び音声情報等の制御情報を電子透かし情報として埋め込む(ステップS113)。ここで、DCT係数への制御情報の埋め込みの詳細について説明する。
Next, control information such as control point information, scenario information, and voice information is electronically stored in block units of DCT (discrete cosine transform) coefficients (coefficients of the frequency of the original image) obtained by decoding by the digital
図4は、DCT係数ブロックへの電子透かし情報の埋め込みの概要を示す図である。本実施の形態では、図4(a)に示すように、可変長復号化部14での復号化において8×8セルのブロックのDCT係数が取得されるので、図4(b)に示すような順序で左上からジグザグスキャンを行って制御点情報の埋め込みを行う。ここでは、図4(c)に示すように、16ビットの制御点データが、低周波成分側の16箇所に所定の規約で埋め込まれている(本実施の形態では、埋め込みデータが0の時はDCT係数が偶数となるように、また埋め込みデータが1の時はDCT係数が奇数となるように、係数の増減を1だけ行う規約を設定している)。同様な方法で、制御点情報、シナリオ情報、音声情報を電子透かし情報としてDCT係数ブロックに埋め込む。
FIG. 4 is a diagram showing an outline of embedding digital watermark information in a DCT coefficient block. In this embodiment, as shown in FIG. 4 (a), the DCT coefficients of the block of 8 × 8 cells are obtained in the decoding by the variable
以上のように、16ビットの情報を低周波数成分側(低周波領域)に埋め込むため、情報量をほぼ増大させることなく、埋め込みを行うことができる。一方、高周波成分側に多く存在する、係数が0のセル、すなわち、情報を持たないセルに埋め込みが行われると情報量は増加する。 As described above, since 16-bit information is embedded on the low frequency component side (low frequency region), the information can be embedded without substantially increasing the amount of information. On the other hand, the amount of information increases when embedding is performed in a cell having a large coefficient on the high-frequency component side and having a coefficient of 0, that is, a cell having no information.
図5は、電子透かし情報のデータ構成例を示す図である。電子透かし情報は、電子透かし情報が埋め込まれているか否かの識別及び所定のモーフィング用アプリケーションの識別を行うための識別番号、各制御点の座標(位置)を示す制御点情報、制御点の移動を制御するものであり動作の種類と開始フレーム等を示すシナリオ情報、音声情報などで構成される。例えば、図のシナリオ情報では、初めに繰り返しの有無(有=1、無=0)、以降に開始フレーム番号、フレーム数、動作の種類の組を配列しており、図の例の(3,5,6)は、開始から3フレーム目から5フレームをかけて動作番号6の「困る」という表情(動作)を行うというシナリオを示す。尚、電子透かし情報のデータ構成やシナリオ情報の構成などは、上記の構成に拘束されるものではなく、任意に決定してよい。
FIG. 5 is a diagram illustrating a data configuration example of digital watermark information. The electronic watermark information includes an identification number for identifying whether or not the electronic watermark information is embedded, an identification number for identifying a predetermined morphing application, control point information indicating the coordinates (position) of each control point, and movement of the control point It is composed of scenario information indicating the type of operation and start frame, voice information, and the like. For example, in the scenario information shown in the figure, first, the presence / absence of repetition (present = 1, none = 0), and then the start frame number, the number of frames, and the type of operation are arranged. 5 and 6) show a scenario in which the expression “motion” of
図3のフローチャートに示すように、DCT係数ブロックへの電子透かし情報の埋め込み完了後、可変長符号化部17で画像データの符号化を行い(ステップS114)、電子透かし情報が埋め込まれたJPEG画像データが生成される(ステップS115)。以上の手順により、モーフィング画像を再生するための制御情報と音声情報が電子透かしとして埋め込まれたJPEG画像データが生成される。
As shown in the flowchart of FIG. 3, after the digital watermark information is embedded in the DCT coefficient block, the variable
図6は、本発明の実施の形態1における携帯端末の、画像再生部とシナリオ情報変更部の機能構成を示す図であり、画像再生部20内部の詳細な機能構成を示す。画像再生部20は、電子透かし情報が埋め込まれたJPEG画像データの可変長復号化を行う可変長復号化部21、DCT係数の取り出しを行うDCT係数取得部22、DCT係数から原画像データ、制御点情報、シナリオ情報、音声情報の分離を行う情報分離部23、分離して取得したシナリオ情報または外部のシナリオ情報変更部30(例えば、時刻でシナリオ情報の変更の有無を判定する現在時刻判定部31など)からの変更情報を解析するシナリオ解析部24、解析したシナリオ情報に基づいて原画像の表示形態を制御してアニメーションを再生するアニメーション再生部25などで構成される。なお、アニメーション再生部25で再生されるアニメーションは、図示しないLCD等の表示手段によって表示される。
FIG. 6 is a diagram showing a functional configuration of the image playback unit and the scenario information change unit of the mobile terminal according to Embodiment 1 of the present invention, and shows a detailed functional configuration inside the
図7は、本発明の実施の形態1における携帯端末の、画像再生部のアニメーション再生動作の手順を示すフローチャートである。画像生成装置10にて電子透かし情報が埋め込まれたJPEG画像データは、メモリ50より取得され(ステップS201)、制御部60のRAM(図示省略)内に展開される(ステップS202)。
FIG. 7 is a flowchart showing the procedure of the animation reproduction operation of the image reproduction unit of the mobile terminal according to Embodiment 1 of the present invention. The JPEG image data in which the digital watermark information is embedded by the
次に、画像データを可変長復号化部21で復号化し(ステップS203)、DCT係数取得部22でDCT係数と埋め込み情報の抽出を行う(ステップS204)。更に、情報分離部23で、抽出した埋め込み情報を所定の規約に基づいて分離し、制御点情報、シナリオ情報、音声情報を取得する(ステップS205)。以上の手順により、モーフィング画像の再生に必要な制御情報が画像データから分離される。
Next, the image data is decoded by the variable length decoding unit 21 (step S203), and the DCT
以降は、モーフィング画像の再生に係わる手順であるが、ここで、例えば、シナリオ情報変更部30に、時刻に応じてモーフィング画像の再生速度を増減させるというシナリオ変更が設定されている場合、現在時刻判定部31は、現在時刻の判定を行い(ステップS206)、設定条件に合致する場合はシナリオ情報に変更情報を付加する(ステップS207)。一方、合致しない場合はそのままステップS208へ進む。
The following is the procedure related to the reproduction of the morphing image. Here, for example, when the scenario
次に、シナリオ解析部24でシナリオ情報の解析を行い(ステップS208)。解析結果に基づいて、アニメーション再生部25でモーフィング画像の再生を開始して(ステップS209)、携帯端末100の電話待ち受け画面として表示する(ステップS210)。以上の手順により、抽出したシナリオ情報またはシナリオ情報変更部30で変更が付加されたシナリオ情報に基づいてモーフィング画像の再生が行える。
Next, the
ところで、シナリオ情報変更部30におけるシナリオ情報変更例としては、上記の時刻に応じて異なる動作をするモーフィング画像を待ち受け画面に表示させる例の他に次のような応用例が設定できる。
By the way, as an example of scenario information change in the scenario
図8は、本発明の実施の形態1における携帯端末の、シナリオ情報変更部の別の機能構成を示す図である。シナリオ情報変更部30に個人電話帳判定部32を設け、メモリ50に格納された電話帳に登録されている個人毎にシナリオ情報を設定する。従って、携帯端末100の電話着信時に、発信元に応じて異なるシナリオのモーフィング画像を再生することが可能となる。
FIG. 8 is a diagram showing another functional configuration of the scenario information changing unit of the mobile terminal according to Embodiment 1 of the present invention. The scenario
図9は、本発明の実施の形態1における携帯端末の、シナリオ情報変更部の更に別の機能構成を示す図である。シナリオ情報変更部30に留守録音再生判定部33を設け、再生する録音の発信元や内容、または録音された時刻等により固有のシナリオ情報を設定する。従って、携帯端末100の留守録音再生時に、発信元や録音時の状況などに応じて異なるシナリオのモーフィング画像を再生することが可能となる。
FIG. 9 is a diagram showing still another functional configuration of the scenario information changing unit of the mobile terminal according to Embodiment 1 of the present invention. The absence information recording / reproducing
[実施の形態2]
図10は、本発明の実施の形態2における携帯端末及びサーバの概略構成を示す図である。同図を参照して、携帯端末ではなく、通信可能に接続されたサーバに画像生成装置を搭載した構成の携帯端末とサーバについて説明する。携帯端末200は、主に、画像再生部20、シナリオ情報変更部30、カメラ40、メモリ50、制御部60、電話機能部70、通信部80を備えて構成される。また、サーバ300は、主に、画像生成装置10、メモリ90、制御部91、通信部92、などで構成される。
[Embodiment 2]
FIG. 10 is a diagram showing a schematic configuration of the mobile terminal and the server according to
携帯端末200の各部の機能は、実施の形態1の携帯端末100のそれと同じであるので、説明を省略する。また、サーバ300の画像生成装置10の構成及び機能も実施の形態1の携帯端末100内のそれと同じであるので、説明を省略する。サーバ300のメモリ90は、携帯端末200から取得した静止画像データや画像生成装置10で処理された画像データ、サーバ300の各部の機能を実現するための制御プログラムなどを格納している。また、制御部91は、制御プログラムを実行することにより、サーバ全体の動作を統括制御する。更に、通信部92は、インターネット網400、携帯電話の地上基地局500等を介して携帯端末200の通信部80と接続する。
Since the function of each part of the
図11は、本発明の実施の形態2における携帯端末及びサーバの制御情報埋め込み動作の手順を示すフローチャートである。はじめに、携帯端末200のカメラ40で被写体の顔画像データが撮影され(ステップS301)、携帯端末200の操作者の操作入力を受けて、制御部60は、撮影した静止画像データを通信部80を介してサーバ300へ送信する(ステップS302)。
FIG. 11 is a flowchart showing the procedure of the control information embedding operation of the portable terminal and the server in the second embodiment of the present invention. First, the face image data of the subject is photographed by the
サーバ300は、通信部92を介して静止画像データを受信し(ステップS303)、画像生成装置10において、受信した静止画像データに制御情報等の埋め込みを行う。 尚、ステップS304からステップS317の手順は、実施の形態1の図3のフローチャートにおけるステップS102からステップS115までのそれと同じであるので、説明を省略する。
The
制御情報と音声情報が電子透かし情報として埋め込まれたJPEG画像データは、サーバ300から携帯端末200へ送信され(ステップS318)、携帯端末200はモーフィング画像のシナリオ情報などが電子透かし情報として埋め込まれたJPEG画像データを受信する(ステップS319)。
The JPEG image data in which control information and audio information are embedded as digital watermark information is transmitted from the
以上の手順により、携帯端末側でモーフィング画像の生成に必要な制御情報の埋め込み処理が行えなくても、撮影した静止画像データについて、モーフィング画像の再生が可能な電子透かし埋め込み画像データを取得できる。つまり、カメラ付き携帯電話にモーフィング画像生成のためのアプリケーションがなくても、サーバから電子透かし埋め込み処理後の画像データを取得することにより、モーフィング画像の再生が可能となる。モーフィング画像の再生は、電子透かし情報として埋め込まれた制御情報を抽出することにより実行されるものであり、このためのプログラム(アプリケーション)は必要となる。尚、上記の手順ではカメラ40で撮影した静止画像データを携帯端末200からサーバ300へ送信する構成としたが、予め撮影されてメモリ50に保存されている静止画像データを送信する構成としてもよい。
Through the above procedure, even if the control information necessary for generating the morphing image cannot be embedded on the mobile terminal side, the digital watermark embedded image data that can reproduce the morphing image can be acquired for the captured still image data. That is, even if the camera-equipped mobile phone does not have an application for generating a morphing image, the morphing image can be reproduced by acquiring the image data after the digital watermark embedding process from the server. The reproduction of the morphing image is executed by extracting control information embedded as digital watermark information, and a program (application) for this purpose is required. In the above procedure, still image data captured by the
図12は、本発明の実施の形態1における携帯端末の、画像再生部のアニメーション再生動作の手順を示すフローチャートである。サーバ300の画像生成装置10で生成された電子透かし埋め込み画像データは、サーバ300の通信部92、インターネット網400、携帯電話網等を介して携帯端末200のメモリ50にダウンロードされる(ステップS401)。ステップS402からステップS410までの手順は、実施の形態1の図7のフローチャートにおけるステップS202からステップS210までのそれと同じであるので、説明を省略する。以上の手順により、抽出したシナリオ情報またはシナリオ情報変更部で変更が付加されたシナリオ情報に基づいてモーフィング画像の再生が行える。
FIG. 12 is a flowchart showing the procedure of the animation reproduction operation of the image reproduction unit of the portable terminal according to Embodiment 1 of the present invention. The digital watermark embedded image data generated by the
尚、上記の実施の形態では画像圧縮の方式としてJPEGを用いたが、制御点情報やシナリオ情報などのDCT係数ブロックへの電子透かし埋め込みが可能なその他の圧縮方式を用いてもかまわない。 In the above embodiment, JPEG is used as an image compression method. However, other compression methods that can embed digital watermarks in DCT coefficient blocks such as control point information and scenario information may be used.
ところで、電子透かし情報として制御点情報やシナリオ情報、音声情報が埋め込まれた静止画像データを、本発明のモーフィングの画像生成装置を搭載しない情報端末が受信しても、単に静止画像が画面表示されるだけである。つまり、本発明の画像生成装置を搭載した携帯端末やサーバは、既存の携帯端末に悪影響を及ぼすことなく画像データの送受信が可能である。 By the way, even if an information terminal not equipped with the morphing image generation apparatus of the present invention receives still image data embedded with control point information, scenario information, and audio information as digital watermark information, the still image is simply displayed on the screen. Just do. That is, a mobile terminal or server equipped with the image generation apparatus of the present invention can transmit and receive image data without adversely affecting existing mobile terminals.
本発明の画像生成装置、携帯端末、画像生成方法、画像表示方法及びプログラムは、モーフィングの再生等に必要な制御情報を原画像に埋め込んでマージし、一ファイルとして扱える為、データ量の増加を抑えることができる効果を有し、画像の表示形態を制御する技術等に有用である。 The image generation apparatus, portable terminal, image generation method, image display method, and program of the present invention embed control information necessary for morphing reproduction, etc., by merging them into the original image and handling them as a single file. It has an effect that can be suppressed, and is useful for a technique for controlling the display form of an image.
10 画像生成装置
11 制御点情報生成部
12 シナリオ情報生成部
13 電子透かし埋め込み部
20 画像再生部
30 シナリオ情報変更部
81 アンテナ
400 インターネット網
500 地上基地局
DESCRIPTION OF
Claims (9)
無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続する通信手段と、 A communication means for communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet;
前記原画像と前記制御情報とを分離する分離手段と、 Separating means for separating the original image and the control information;
分離した前記制御情報を解析する解析手段と、 Analyzing means for analyzing the separated control information;
前記通信手段による着信があった場合に、電話帳に登録されている個人毎に前記制御情報に含まれるシナリオ情報に変更情報を付加するシナリオ情報変更手段と、 Scenario information changing means for adding change information to the scenario information included in the control information for each person registered in the phone book when there is an incoming call by the communication means;
解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、発信元に応じた前記画像を表示する表示手段と、を備える携帯端末。 A portable terminal comprising: display means for controlling the display form of the original image based on the analyzed control information and the added change information, and displaying the image according to a transmission source.
無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続する通信手段と、A communication means for communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet;
前記原画像と前記制御情報とを分離する分離手段と、 Separating means for separating the original image and the control information;
分離した制御情報を解析する解析手段と、 An analysis means for analyzing the separated control information;
前記通信手段による留守録音があった場合に、当該留守録音の発信元及び内容、又は当該留守録音された時刻により、前記制御情報に含まれるシナリオ情報に固有の前記シナリオ情報の変更情報を付加するシナリオ情報変更手段と、When there is an absence recording by the communication means, the scenario information change information specific to the scenario information included in the control information is added according to the source and content of the absence recording or the time when the absence recording was performed. Scenario information change means,
解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、当該留守録音の発信元及び内容、又は当該留守録音のされた時刻に応じた前記画像を表示する表示手段と、を備える携帯端末。 The display mode of the original image is controlled based on the analyzed control information and the added change information, and the image corresponding to the sender and content of the absence recording or the time when the absence recording was performed is displayed. And a display device for displaying.
前記原画像を取得する手段を備える携帯端末。A portable terminal comprising means for acquiring the original image.
前記原画像の表示形態を制御する制御情報を生成する手段を備える携帯端末。A portable terminal comprising means for generating control information for controlling a display form of the original image.
前記原画像の表示形態を制御する前記制御情報を、前記原画像に電子透かし情報として埋め込む埋め込み手段を備える携帯端末。A portable terminal comprising embedding means for embedding the control information for controlling a display form of the original image as digital watermark information in the original image.
コンピュータを備えた携帯端末を、A mobile device equipped with a computer
無線電話網又はインターネットを介して、他の携帯端末又はサーバと通信可能に接続する通信手段と、A communication means for communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet;
前記原画像と前記制御情報とを分離する分離手段と、Separating means for separating the original image and the control information;
分離した前記制御情報を解析する解析手段と、Analyzing means for analyzing the separated control information;
前記通信手段による着信があった場合に、電話帳に登録されている個人毎に前記制御情報に含まれるシナリオ情報に変更情報を付加するシナリオ情報変更手段と、Scenario information changing means for adding change information to the scenario information included in the control information for each person registered in the phone book when there is an incoming call by the communication means;
解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、発信元に応じた前記画像を表示する表示手段、として機能させるための画像表示プログラム。An image display program for controlling the display form of the original image on the basis of the analyzed control information and the added change information to function as display means for displaying the image according to a transmission source.
コンピュータを備えた携帯端末を、A mobile device equipped with a computer
無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続する通信手段と、A communication means for communicatively connecting to another portable terminal or server via a wireless telephone network or the Internet;
前記原画像と前記制御情報とを分離する分離手段と、Separating means for separating the original image and the control information;
分離した前記制御情報を解析する解析手段と、Analyzing means for analyzing the separated control information;
前記通信手段による留守録音があった場合に、当該留守録音の発信元及び内容、又は当該留守録音された時刻により、前記制御情報に含まれるシナリオ情報に固有の前記シナリオ情報の変更情報を付加するシナリオ情報変更手段と、When there is an absence recording by the communication means, the scenario information change information unique to the scenario information included in the control information is added according to the sender and content of the absence recording or the time when the absence recording was performed. Scenario information change means,
解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の表示形態を制御して、当該留守録音の発信元及び内容、又は当該留守録音された時刻に応じた前記画像を表示する表示手段、として機能させるための画像表示プログラム。The display mode of the original image is controlled based on the analyzed control information and the added change information, and the image corresponding to the sender and content of the absence recording or the time when the absence recording was performed is displayed. An image display program for functioning as display means.
通信手段が、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続するステップと、A communication means communicatively connects to another portable terminal or server via a wireless telephone network or the Internet;
分離手段が、前記原画像と前記制御情報とを分離するステップと、Separating means for separating the original image and the control information;
解析手段が、分離した前記制御情報を解析するステップと、An analyzing means for analyzing the separated control information;
シナリオ情報変更手段が、前記通信手段による着信があった場合に、電話帳に登録されている個人毎に前記制御情報に含まれるシナリオ情報に変更情報を付加するステップと、Scenario information changing means, when there is an incoming call by the communication means, adding the change information to the scenario information included in the control information for each individual registered in the phone book;
表示手段が、解析した前記制御情報及び付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、発信元に応じた前記画像を表示するステップと、を有する画像表示方法。A display means for controlling the display form of the original image based on the analyzed control information and the added change information, and displaying the image according to a transmission source.
通信手段が、無線電話網又はインターネットを介して他の携帯端末又はサーバと通信可能に接続するステップと、A communication means communicatively connects to another portable terminal or server via a wireless telephone network or the Internet;
分離手段が、前記原画像と前記制御情報とを分離するステップと、Separating means for separating the original image and the control information;
解析手段が、分離した前記制御情報を解析するステップと、An analyzing means for analyzing the separated control information;
シナリオ情報変更手段が、前記通信手段による留守録音があった場合に、当該録音の発信元及び内容、又は当該留守録音された時刻により前記制御情報に含まれるシナリオ情報に固有の前記シナリオ情報の前記変更情報を付加するステップと、When there is an absence recording by the communication means, the scenario information changing means, the scenario information unique to the scenario information included in the control information according to the source and content of the recording, or the time when the absence recording was performed Adding change information; and
表示手段が、解析した前記制御情報および付加された前記変更情報に基づいて前記原画像の前記表示形態を制御して、当該留守録音の発信元及び内容、又は当該留守録音された時刻に応じた画像を表示するステップと、を有する画像表示方法。The display means controls the display form of the original image based on the analyzed control information and the added change information, and responds to the source and content of the absence recording or the time when the absence recording was performed. An image display method comprising: displaying an image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003432866A JP4223940B2 (en) | 2003-12-26 | 2003-12-26 | Image generation apparatus, portable terminal, image generation method, image display method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003432866A JP4223940B2 (en) | 2003-12-26 | 2003-12-26 | Image generation apparatus, portable terminal, image generation method, image display method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005190319A JP2005190319A (en) | 2005-07-14 |
JP4223940B2 true JP4223940B2 (en) | 2009-02-12 |
Family
ID=34790442
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003432866A Expired - Fee Related JP4223940B2 (en) | 2003-12-26 | 2003-12-26 | Image generation apparatus, portable terminal, image generation method, image display method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4223940B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4321550B2 (en) | 2005-08-31 | 2009-08-26 | ソニー株式会社 | Information processing apparatus, information recording medium manufacturing apparatus, information recording medium and method, and computer program |
US9064350B2 (en) | 2007-07-18 | 2015-06-23 | Nanyang Technological University | Methods of providing graphics data and displaying |
CN102411791B (en) * | 2010-09-19 | 2013-09-25 | 三星电子(中国)研发中心 | Method and equipment for changing static image into dynamic image |
-
2003
- 2003-12-26 JP JP2003432866A patent/JP4223940B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005190319A (en) | 2005-07-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100630983B1 (en) | Image processing method, and image encoding apparatus and image decoding apparatus capable of employing the same | |
KR20070034931A (en) | Mobile information terminal and image management program | |
KR100689419B1 (en) | Method and apparatus for compounding taken?image in mobile terminal having camera | |
KR100678209B1 (en) | Method for controlling image in wireless terminal | |
CN107079131A (en) | Image processing equipment and image processing method | |
JP4222982B2 (en) | Image decoding reduction apparatus and method | |
CN115205164B (en) | Training method of image processing model, video processing method, device and equipment | |
CN113343895B (en) | Target detection method, target detection device, storage medium and electronic equipment | |
US7606432B2 (en) | Apparatus and method for providing thumbnail image data on a mobile terminal | |
JP4223940B2 (en) | Image generation apparatus, portable terminal, image generation method, image display method, and program | |
KR100678035B1 (en) | Device and method for identifying photographer of image in terminal using camera | |
KR20080106668A (en) | Method for taking pictures in a wireless terminal | |
JP6319491B2 (en) | Imaging apparatus and control method | |
JP2012059115A (en) | Image data processor and image data processing method | |
KR100630203B1 (en) | Method for displaying of picture in wireless terminal | |
US8417281B2 (en) | Communication terminal with camera | |
KR100719841B1 (en) | Method for creation and indication of thumbnail view | |
KR100826943B1 (en) | Method and apparatus for processing jpeg image, and record media recored program for realizing the same | |
JP5392244B2 (en) | Imaging apparatus, control method, and program | |
KR100827142B1 (en) | Apparatus and method for extracting video data in mobile terminal | |
CN116055778B (en) | Video data processing method, electronic device and readable storage medium | |
JP4795187B2 (en) | Still image transmission device, still image reception device, still image transmission / reception device, still image transmission method, still image reception method, still image transmission / reception method, camera device, and portable terminal device | |
JP7148236B2 (en) | Encoding device and its control method and program | |
JP5644578B2 (en) | Image processing apparatus, image processing method, and computer program for image processing | |
KR101391785B1 (en) | Portable terminal and method for executing mode photographing panorama image thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060310 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060327 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071114 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071121 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20071128 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071205 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20071212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080730 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080924 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081022 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081120 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111128 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121128 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131128 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |