[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP4795133B2 - 画像形成装置、画像処理方法、該方法を実行する制御プログラム - Google Patents

画像形成装置、画像処理方法、該方法を実行する制御プログラム Download PDF

Info

Publication number
JP4795133B2
JP4795133B2 JP2006173624A JP2006173624A JP4795133B2 JP 4795133 B2 JP4795133 B2 JP 4795133B2 JP 2006173624 A JP2006173624 A JP 2006173624A JP 2006173624 A JP2006173624 A JP 2006173624A JP 4795133 B2 JP4795133 B2 JP 4795133B2
Authority
JP
Japan
Prior art keywords
data
user
image
information
document management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006173624A
Other languages
English (en)
Other versions
JP2008005284A5 (ja
JP2008005284A (ja
Inventor
敦之 柏岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2006173624A priority Critical patent/JP4795133B2/ja
Priority to US11/765,331 priority patent/US8446616B2/en
Priority to EP07110819.5A priority patent/EP1874026B1/en
Priority to CN2007101234374A priority patent/CN101094301B/zh
Priority to KR1020070061441A priority patent/KR100880758B1/ko
Publication of JP2008005284A publication Critical patent/JP2008005284A/ja
Publication of JP2008005284A5 publication Critical patent/JP2008005284A5/ja
Application granted granted Critical
Publication of JP4795133B2 publication Critical patent/JP4795133B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00347Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with another still picture apparatus, e.g. hybrid still picture apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/00413Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416Multi-level menus
    • H04N1/00419Arrangements for navigating between pages or parts of the menu
    • H04N1/00424Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H04N1/00445Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array
    • H04N1/00448Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails arranged in a one dimensional array horizontally
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00458Sequential viewing of a plurality of images, e.g. browsing or scrolling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00408Display of information to the user, e.g. menus
    • H04N1/0044Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00461Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet marking or otherwise tagging one or more displayed image, e.g. for selective reproduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035User-machine interface; Control console
    • H04N1/00405Output means
    • H04N1/00474Output means outputting a plurality of functional options, e.g. scan, copy or print
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0039Connection via a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0008Connection or combination of a still picture apparatus with another apparatus
    • H04N2201/0034Details of the connection, e.g. connector, interface
    • H04N2201/0037Topological details of the connection
    • H04N2201/0041Point to point
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Facsimiles In General (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、周辺装置とデータ通信する画像形成装置、及びこれらに適用可能な方法等に関するものである。
新聞、雑誌、または建設業者の作業として、現場で撮影した写真や、入手/作成した資料や情報を迅速に処理し、他のユーザと共有するための手段が求められている。そのために、ノートPC等の携帯端末を利用して、インターネットを介した文書管理サービス(ASP)に上記情報をアップロードして共有することが考えられる。また、メールに上記情報を添付して送信するといった方法が検討されている。しかしながら、必ずしもそれらを実現するための情報機器を携帯しているわけではない。また、企業のセキュリティへの取り組みが強化される昨今、情報漏えいなどを配慮してインターネット通信可能なPDAなどの情報機器を携帯できない場合もある。
上述した問題点を解消するための方策として、次の技術が存在する。
まず、入手/作成した資料となる紙原稿をMFPデバイスで読み取る。そして、読み取ったスキャンイメージの一覧を操作パネル上に表示する。さらに、操作パネルから、メール送信したいページを選択する。更に選択したデータに対する情報となるコメントを付加して、情報を共有したいPC又は携帯電話にスキャンイメージを添付してメール送信する。つまり、MFPからスキャンしたデータに対してMFPの操作パネル又は携帯電話から入力した文字列を合成して送信する技術が記載されている。
特開2006−33406
しかしながら、メール添付にてデータを送信することになる。ファイルの大きさに制限されてしまう可能性が高い。更に、メールの送信相手先やコメントは、携帯電話にて入力/保存されている、もしくはMFPデバイスにて入力するため、操作性の悪いキーを使って入力する必要があるなど前提条件が多かった。また、情報共有の目的でメールを受信したユーザは、メールに添付されたファイルをクライアントPCや、もし多くのユーザの間で共有するのであれば文書管理装置に再度保存する必要があった。更にユーザは、コメントをインデックス情報として別途保存しなおす必要があった。
そこで、本発明は、上述した問題点を解消するためになされたものである。
周辺装置からのデータ及び画像形成装置からのデータを必要に応じて取り込んで所望の情報を得る仕組みを提供することをひとつの目的とする。
さらに、周辺装置からのデータを、画像形成装置から取り込んだデータと合成して、使用価値のあるデータを簡易に得ることができる仕組みを提供することをさらに別の目的とする。
本発明の一実施形に係る画像形成装置は、周辺装置と通信する画像形成装置であって、原稿を読み取る読み取り手段と、前記読み取り手段が読み取った原稿に対応するデータを生成する生成手段と、前記周辺装置が有するデータを取得する取得手段と、前記生成手段が生成したデータと、前記周辺装置から取得手段が取得したデータを関連付けて表示するための表示データとして管理する管理手段と、を有し、前記表示データには、前記管理手段が前記周辺装置から取得したデータを基に生成した該データのサムネイルの一覧を示すページが含まれており、前記管理手段は、前記画像形成装置のブラウザの起動指示により表示される前記表示データ内のサムネイルの一覧の中からサムネイルが選択されたことに応じて、選択されたサムネイルに対応する前記周辺装置から取得されたデータ、および、選択されたサムネイルに対応する前記読み取り手段により読み取られた原稿のデータを読み出すページを表示するための表示データを生成することを特徴とする。
周辺装置からのデータを、画像形成装置から取り込んだデータと関連付けて表示できるデータを簡易に得ることができる。
(第1実施の形態)
以下、本発明の各実施の形態を図面に基づき説明する。ユーザAは、外出先などで、例えば、雑誌、新聞での取材用途や、工事現場などでの進捗確認などの業務に必要となる写真を該デジタルカメラ30で撮影する。該撮影した写真データに対する詳細な説明や報告書等などの付加情報を添えて、ユーザBに対して緊急に情報共有する、もしくは報告を行うために本発明の実施形態を利用する。
[システム構成]
図1は、データの合成、および登録システムのシステム構成図である。本実施形態に係るデータの合成、および登録システム用のクライアントアプリケーションが入ったMFPデバイス10と、本実施形態に係るデータの合成、および登録システム用の文書管理サービス装置20がインターネットを介して接続されている。そして、該MFPデバイス10は無線通信手段IF10を介してデジタルカメラ30と接続している。IF10はUniversal Serial Busなど有線でもかまわない。
本実施形態においては、該MFPデバイス20と該文書管理サービス装置20がインターネットを介して接続されている場合について述べる。イントラネット内でも実施できるためLANを介して接続されていてもかまわない。また、該MFPデバイス20と該デジタルカメラ30が無線通信手段を介して接続されている場合について述べる。ただし、これ以外のUSBなどの媒体/方法を介して接続していても構わない。
更に、写真データを取得するための画像処理装置を含む周辺機器の一例して該デジタルカメラ30を用いた場合について述べる。これら以外のカメラ付の携帯電話や予め該文書管理サービス装置20に登録したいデータが保存されたUSBメモリなど各種リムーバブルなメモリであっても良い。
図2は、本実施の第1の形態に係るデータの合成、および登録システムを実施するためのMFPデバイス10の一例を示すブロック構成図である。図中のCPU101は、内部バス108を介して後述する各機能/装置を接続する。該MFPデバイス10を制御するものである。
表示装置102は、タッチパネル(操作パネル)などにユーザインターフェースを表示するための装置である。ユーザAからの指示が、ユーザ所望の動作を行うための操作等を該表示装置102に表示されるユーザインターフェースから入力される。
図15は本発明の第一の実施形態であるデジタルカメラの構成を示す。
図15において、結像レンズ1501、撮像素子1502、はデジタルカメラを構成する。また、信号処理回路1503、記録部1504、カメラ表示部1505、OnScreen Display回路(OSD回路)1506、カメラシステム制御回路1507、キースイッチ1508、はデジタルカメラを構成する。また、カメラ通信インターフェース1509はデジタルカメラを構成する。
また、記録媒体1510はメモリカードなどのように、デジタルカメラで撮影した画像の記録、読み出しが可能な媒体である。
結像レンズ1501で結象された光学像はCCDなどの撮像素子1502で光電変換され、撮像される。変換による電荷信号は信号処理回路1503において所定の画像信号に処理される。信号処理回路103で処理された画像信号は記録部1504とカメラ表示部1505へ出力する。必要に応じて、記憶媒体1510にも記憶される。記憶媒体1510はリムーバブルな記憶媒体である。
記録部1504は信号処理回路1503から出力された画像信号を記録媒体1510への記録、および読み出し制御のための入出力処理を行う。この読み出した画像信号、及び、カメラシステム制御回路1507からの情報に従い、表示および印刷を行う。このため、カメラ表示部1505および通信インターフェース1509へ出力される。
通信I/F1509は近接無線通信、若しくはUSBに対応している。通信I/F1509は、近接無線通信を用いて図2の無線通信装置103と接続できる。 通信I/F1509は、図1に示すように、I/F10を用いて、USBなどで図2のデバイスに接続し、通信できる。無線通信装置103をUSBに置き換えるか、又はUSBインタフェースを新たに追加することになる。デジタルカメラを無線通信装置103に近づける。これに応答して、本実施例に関わる図9の本システムの処理においてログイン受け付けを開始することも可能である。
MFPデバイス10からの指示に応じて、記憶媒体1510に図2の無線通信装置103と近接した場合に、通信が開始するようにすると好適である。若しくは、近接無線通信手段をUSBの有線インタフェースとしてもよい。この場合、USB接続されるのに応じて、MFPデバイス10とデジタルカメラ30が通信するようにしても良い。通信が確立されるのに応答して、記憶された画像データが、デジタルカメラ30からMFPデバイス10へ送信される。当該画像データの送信処理は、通信I/F1509及びネットワークインタフェース107を用いて、システム制御回路1507が実行する。
本実施形態では、デバイス10と通信が確立されており、図3のGUI表示手段1002が起動している間は、表示部1505の表示内容を無効化する。図3のGUI表示手段1002からの入力により表示部1505の有効化が指示された場合は、1505のパネルに通電される。
キースイッチ1508は複数のスイッチなどから成る画像の記録、読み出し、印刷などのデジタルカメラの各種操作を行うための入力インターフェースであり、これらのキーの操作情報はカメラシステム制御回路1507へ送られる。
本実施形態では,デジタルカメラとデバイス10間の通信では記録媒体1510から読み出した印刷対象画像の画像信号をデジタルカメラからデバイス10へ送信する。
カメラ表示部1505はLCDなどから成り、信号処理回路1503、記録部1504からの画像信号、OSD回路1506からの文字などの情報を表示する。
カメラシステム制御回路1507はキースイッチ1508からの画像記録、画像再生、印刷実行などの操作情報に応じ、デジタルカメラの各処理部に情報を出す。記録部1504に対しては、画像記録、再生を行う場合、記録媒体1510への画像信号の読み書きの制御信号を出力する。カメラ通信インターフェース1509に対しては、印刷作業におけるデバイス10との通信開始、終了などの制御信号を出力する。またOSD回路106に対しては所定のユーザーインターフェース画面構成や言語種別を用いた文字情報から成る印刷動作の状態を示す表示データを出力する。
図17は、本願発明の文書管理サービス装置20を示す図である。1はシステム・バスである。図4で説明する各構成ブロック手段2001乃至2009のプログラムは、ハードディスク15に記憶されている。そして必要に応じて、当該プログラムは、CPUにより読み出され実行される。
本図で説明する各要素は、このシステム・バスに接続されている。2はCPU(Centrtal ProcessingUnit)であり、PMEM3、ハードディスク15、FD16に記憶された制御プログラムに従って処理を実行する。3はプログラム・メモリ(以下PMEMと称す)で、文書管理サービスを実行するのためのプログラムを適宜ハード・ディスク14から選択/読み込む。そして、当該プログラムを2のCPUにて実行する。又、キーボード8から入力されたデータはテキスト・メモリでもあるPMEMにコード情報として格納される。4はイメージ・メモリ(以下IMEMと称す)であり、イメージデータを記憶している。5は画像入出力制御部であり、ファクシミリとの画像データおよびユーザ設定情報などの入出力制御を行う。6はファクシミリ本体の画像入出力制御部である。7はファクシミリであり、ファクシミリ7から読み込まれたユーザ設定情報は、3のPMEMに記憶されたのちに表示フォーマットに変換されてVRAM11上に展開され、CRT13に表示される。また送信文書データはビットマップデータとして4のIMEMに展開されたのちに機能指定情報と併せて5の画像入出力制御部の制御により6のファクシミリ本体の画像入出力制御部に出力される。8は入力制御部であり、9のキーボード、10のポインティング・デバイス(以下PDと称す)等の入力装置が接続される。操作者はこのキーボード9を操作することによりシステムの動作指令等を行う。またPD10は13のCRT上で画像情報や図形データや文字データや数値データを選択、加工指示するためのもので本実施例ではマウスを使用している。これによりCRT13上のマウスカーソルをX,Y方向に任意に移動して、メニューの選択、画像データ、図形データ、文字データ、数値データの選択、編集を行なう。11はビデオ・イメージ・メモリ(以下VRAMと称す)、12は表示出力制御部、13はCRTである。13のCRTに表示されるデータは11のVRAM上にビットマップデータとして展開されている。例えば図形データであれば、その位置、属性情報に対応した図形パターンがVRAM上に展開されており、また、ソフト制御によりVRAMの表示エリアに直接カーソルを発生し表示が可能である。14は外部記憶装置制御部、15、16は画像データや図形データや文字データや数値データなどを記録しておくデータファイル用のディスクで、例えば15はハード・ディスク(以下HDと称す)であり、16は、フロッピー(登録商標)・ディスク(以下FDと称す)である。また、ハードディスク15或はFD16に文書管理サービスを実行するためのプログラム等の制御プログラムを記憶している。
無線通信装置103は、該デジタルカメラ30と通信を行い、該デジタルカメラ30より写真データを取得するための装置である。スキャナ装置104は、オートドキュメントフィーダ機能など機能を有する文書を読み込むための装置である。
更に、メモリ105は、該CPU101が該MFPデバイス10を制御するために実行する各種命令(アプリケーションプログラム)を記憶しており、本実施形態におけるクライアントアプリケーションも該メモリ105にロードし、実行される。
大容量記憶装置106には、本実施形態におけるクライアントアプリケーションのプログラムの実体、該デジタルカメラ30から取得した写真データ、及び該スキャナ装置104で読み取ったスキャンイメージを保存する。また、ネットワークインターフェース107は、該CPU101に従い、インターネットを介して信号の送受信を行う。特にネットワークインターフェース107は、本実施形態においては、該文書管理サービス装置20との通信を行うために用いられる。
なお、該クライアントアプリケーションは、事前に該大容量記憶装置106に保存されていても、該ネットインターフェース107を介して動的に取得し、該大容量記憶装置106に保存しても構わない。
[処理の概要]
以下、データの合成、および登録システムの処理の流れについて説明する。
図3は、本発明の第1の実施形態に係るデータの合成、および登録システムにおける該MFPデバイス10で動作するクライアントアプリケーションの一例を示すソフトウェア構成図である。また、図4は、本発明の第1の実施形態に係るデータの合成、および登録システムにおける該文書管理サービス装置20内部の一例を示すソフトウェア構成図である。本願発明ではMFPデバイスについて説明するが、スキャンにより画像入力機能と記憶手段を有する周辺装置であればよい。
更に、図9は、本発明の第1の実施形態に係るデータの合成、および登録システムにおける流れを示す。
つまり、ユーザ操作と本システムの処理の流れを示すフローチャートである。該表示装置102に表示されるユーザインターフェースを介して、ユーザが該デジタルカメラ30から取得した写真データを選択する。また、該スキャナ装置104を用いて原稿をスキャンして得られたスキャンイメージを、該MFPデバイス20に入った該クライアントアプリケーションが処理を行なう。そして、処理したデータを文書管理サービス装置20に送信するまでの処理動作の流れを示している。
まず、ステップS201において、本システムの該クライアントアプリケーションが該メモリ105にロードされた後、実行される。これにより、アプリケーションメイン制御手段1001は、GUI表示手段1002を介して該MFPデバイス10の該表示装置102に該クライアントアプリケーションのユーザインターフェースを表示する。
次に、ステップS101において、ユーザ操作処理手段1003は、ユーザAがS201に基づき表示されるユーザインターフェースを用いてログイン情報を入力するのを受け付ける。すると、ステップS202において、本システムは該文書管理サービス装置20に対してログイン処理を実行する(該S202における該文書管理サービス装置20へのログイン処理に関する処理フローは、別途詳細を後述する)。なお、該S101におけるユーザAのログイン情報の入力は、ICカード等の個人を特定できる媒体を用いても良い。
次に、ステップS102において、ユーザ操作処理手段1003は、該S101により該文書管理サービス装置20へのユーザAのログインに失敗したと判定した場合、ステップS103において、再度該文書管理サービス装置20へのログインを実行するか判断する。ログインを再度実行しない場合、本システムの処理を終了する。該S103において、ユーザ操作処理手段1003は、再度該文書管理サービス装置20にログインを検知するために、該S101に戻る。ユーザAは再度ログイン情報を入力するとさらにS101以降の処理をユーザ操作処理手段1003は実行する。
次に、ステップS203において、アプリケーションメイン制御手段1001は、該GUI表示手段1002を介して該MFPデバイスの該表示装置102に写真データ、もしくはスキャンイメージの入力待ちである旨のユーザインターフェースを表示する。更に、無線通信制御手段1004を介して、該デジタルカメラ30が通信可能な距離まで近接するまで待機する。
次に、ステップS104において、ユーザAが該デジタルカメラ30を該MFPデバイスの該無線通信装置103に近づけるのをユーザ操作処理手段1001が検知する。すると、S203により待機状態であった本システムのアプリケーションメイン制御手段1001は、該無線通信制御手段1004から該デジタルカメラ30と通信可能である旨のイベントを受け取る。その後、1001は、ステップS204において、該無線通信制御手段1004より該デジタルカメラ30に保存された写真データを取得する。1001は、データ記憶手段1006を介して該MFPデバイス10の該大容量記憶装置106に一旦保存する。続いて、該アプリケーションメイン制御手段1001は、該大容量記憶手段106に保存した該デジタルカメラ30から取得した写真データを、表示データ生成手段1008を介して縮小画像データを作成する。1001は、該GUI表示手段1002を介して該MFPデバイス10の該表示装置102(操作パネル)に写真データの一覧を表示する。この際、作成した縮小画像データは、一旦該データ記憶手段1006を介して該大容量記憶装置106に保存しても良いし、該メモリ105に展開しておいても良い。
ここで、図5は、該表示装置102に表示した写真データの一覧を示すユーザインターフェースの一例である。ユーザAは、該表示装置102に表示した写真データの一覧から、保存したい写真を選択して、次の工程に移動する。ここで、ユーザAは、特別な設定を行う必要がなければ、該デジタルカメラ30から取得した全データ、もしくは該表示装置102に表示した写真データの一覧から保存したい写真だけを選択した後、該文書管理サービス装置20に送信しても良い。なお、図5に示すユーザインターフェースは一例であり、ここで必要となる機能を実現するためのユーザインターフェース、及び用いるコントロールをどのような形態であっても構わない。
次に、ステップS105において、ユーザAは該MFPデバイス10の該スキャナ装置104に、該デジタルカメラ30から取得した写真データと一緒に該文書管理サービス装置20に保存したい原稿をセットする。ここで、原稿には、写真データに対する詳細な説明や報告内容が記載されている。そして、スキャンを実行する。ここで、該原稿の紙サイズ、フォーマット等を特別限定するものではなく、例えば手書きのメモ/レポート用紙のようなものであっても構わない。さらに、該MFPデバイス10の該スキャナ装置104にて読み込み可能な紙媒体であれば良い。また、本発明の第一の実施形態においては、原稿をスキャンして得たスキャンイメージを用いた際の動作について述べる。しかし、該MFPデバイス10の該大容量記憶装置106に保存された電子データであっても良いし、USBメモリのような持ち運び可能な記憶媒体から取得した電子データであったも構わない。
次に、ステップS205において、本システムの該クライアントアプリケーションにおける該アプリケーションメイン制御手段1001が、スキャナ制御手段1005を介して該MFPデバイス10の該スキャナ装置104にセットされた原稿を読み取る。そして、スキャンイメージを取得し、該データ記憶手段1006を介して該MFデバイス10の該大容量記憶装置106に一旦保存する。続いて、該アプリケーションメイン制御手段1001は、該大容量記憶手段106に保存したスキャンイメージを、表示データ生成手段1008を介して縮小したスキャンイメージを生成する。さらに、該GUI表示手段1002を介して該MFPデバイス10の該表示装置102にスキャンイメージの一覧を表示する。この際、作成した縮小画像データは、一旦該データ記憶手段1006を介して該大容量記憶装置106に保存しても良いし、該メモリ105に展開しておいても良い。
ここで、図6は、該表示装置102に表示したスキャンイメージの一覧を示すユーザインターフェースの一例である。なお、図6に示すユーザインターフェースは一例であり、ここで必要となる機能を実現するためのユーザインターフェース、及び用いるコントロールをどのような形態であっても構わない。
次に、ステップS106において、ユーザAは、該デジタルカメラ30から取得した写真データと、該スキャナ装置104を用いて取得したスキャンイメージを紐付け保存する際に、どのような方法で合成したデータを生成するのか選択する。この選択は、図示しない該MFPデバイス10の該表示装置102に表示したユーザインターフェースを介して行う。本発明の実施形態においては、HTMLファイル形式で該写真データと該スキャンイメージを合成して表示する手段を用いた場合について述べるが、該スキャンイメージに該写真データを重ねて、一つの画像ファイルとして保存しても良い。また、該写真データ、及び該スキャンイメージを紐付け、合成することなく、そのまま該文書管理サービス装置20に保存しても良い。
次に、ステップS206において、該アプリケーションメイン制御手段1001は、該ユーザ操作処理手段1003を介して該S106によりユーザAが選択した紐付け手段を取得する。さらに、ユーザ情報指定保存手段1006を介して該MFPデバイス10の該メモリ105、もしくは該大容量記憶装置106に保存する。
次に、ステップS107において、ユーザAは、図7に一例として示すように、該MFPデバイス10の該表示装置102に表示したユーザインターフェースを介して、該写真データと該スキャンイメージをドラッグ&ドロップで紐付けを指示する。この際、紐付けを指示する手段として、ドラッグ&ドロップ以外の手段であっても構わない。また、該写真データと該スキャンイメージの紐付けは、1対1ではなく、複数対複数であっても良い。また、紐付けを行う際にドラッグする対象が、スキャンイメージではなく写真データであり、ドロップする対象がスキャンイメージであっても構わない。
次に、ステップS207において、本システムは該S107により指示された写真データとスキャンイメージの紐付け関係を保存する(該S207における該写真データとスキャンイメージの紐付け関係を保存する処理に関する処理フローは、別途詳細を後述する)。
次に、ステップS108において、ユーザAは、図7に一例として示した写真データとスキャンイメージの紐付け指定処理を終える。すると、該S207により本システムは該写真データとスキャンイメージの紐付け関係の保存処理を終了する。続いて、ステップS208において、該文書管理サービス装置20において写真データとスキャンイメージの合成処理を実行する(該S207における該写真データとスキャンイメージの紐付け関係を保存する処理に関する処理フローは、別途詳細を後述する)。
次に、ステップS109において、ユーザAは、該S208により生成された写真データとスキャンイメージの合成結果(HTML)を確認し、問題が無いか確認する。この際、ユーザAは、該MFPデバイス10の該表示装置102において表示する図示しないブラウザを介して該合成結果を確認しても良いし、該S106において指示した写真データとスキャンイメージの紐付け手段に応じた確認手段があれば良い。
該S109において、再度合成処理を実施したい場合、該S106に戻り、再度写真データとスキャンイメージの紐付け手段から選択を再開する。この際、紐付け手段を選択し直すだけで、該S107、および該S108の写真データとスキャンイメージの紐付け指示の肯定はスキップしても良い。
次に、ステップS110において、ユーザAは、該S109により確認した写真データとスキャンイメージの合成結果を誰かに通知するか否かを選択する。例えば、図8のユーザインタフェースを用いる。この際、誰かに通知を行う場合、本システムの該クライアントアプリケーションにおける該アプリケーションメイン制御手段1001は、ユーザ情報取得手段1010に指示する。1001は、該MFPデバイス10のネットワークインターフェース107を介して、該文書管理サービス装置20に対し、既にユーザAに関連付けて登録済みの通知先が存在しないか問い合わせする。該文書管理サービス装置20は、サービスメイン制御手段2001がデータ受信手段2002から該登録済みの通知先の取得要求があった旨の通知を受ける。すると、20は、ユーザ情報記憶手段2003を介してユーザAに関連付けて登録済みの通知先情報を検索する。20は、その検索結果を返信する。その結果を受けた該クライアントアプリケーションの該アプリケーションメイン制御手段は該GUI表示手段を介して、該MFPデバイス10の該表示装置102にユーザインターフェースを表示する。
図8は、該表示装置102に表示したユーザAが通知先を選択するためのユーザインターフェースの一例である。なお、図8に示すユーザインターフェースは一例であり、通知先ユーザとして複数選択するためにはリストコントロールより選択できるようになっていても良い。また、ここで必要となる機能を実現するためのユーザインターフェース、及び用いるコントロールをどのような形態であっても構わない。
次に、ステップS111において、ユーザAは、該S110により図6に一例として示した該MFPデバイス10の該表示装置102に表示したユーザインターフェースを介して、通知先のユーザを選択する。本発明の実施形態においては、ユーザBを選択することになる。なお、先述したとおり、通知先として選択できるユーザ数は複数であっても構わない。
最後に、ステップS112において、ユーザAは本システムを用いた操作終了を指示する。すると、ステップS210において、該アプリケーションメイン制御手段1001は、各ステップでユーザAが設定した各種情報を該ユーザ指定情報保存手段1007から取得する。該データ送受信手段1009に指示して、該MFPデバイスの該ネットワークインターフェース107を介して該文書管理サービス装置20に対して該ユーザAが設定した各種情報の保存要求を送る。ここで、該ユーザAが設定した各種情報とは、写真データとスキャンイメージの紐付け手段や通知先の情報である。また、それら以外の情報であっても構わない。続いて、該文書管理サービス装置20は、該サービスメイン制御手段2001がデータ受信手段2002から該ユーザAが設定した各種情報の保存要求を受けると、該ユーザ情報記憶手段2003に保存する。これにより、次回ユーザAが本システムを利用する際には、前回設定した内容に従った、カスタマイズされた情報を用いることができる。
更に、該アプリケーションメイン制御手段1001は、S111によりユーザAが指定した通知先(本発明の実施形態の場合、ユーザB)に従い、メール送信手段1011を介してユーザBにメール通知を行う。この際、メール本文には、該S208で生成された写真データとスキャンイメージの合成結果(HTML)の該文書管理サービス装置20における保存場所を示すURLが記載されていることが望ましい。また、該合成結果の保存場所を示す情報が含んだブラウザを起動するためのショートカットが、メールに添付されていても良い。続いて、該アプリケーションメイン制御手段1001は、該データ送受信手段1009に指示する。そして、1001は、該MFPデバイスの該ネットワークインターフェース107を介して該文書管理サービス装置20にログアウト要求を送信し、受信した該文書管理サービス装置20において後処理を実行し、本発明の実施形態に係るシステムの処理を終了する。
以下、本システムにおける幾つかのステップにおいて、該MFPデバイス10にインストールされた本システムのクライアントアプリケーションと、該文書登録サービス20の間の処理について、図を用いて具体的に説明する。
[文書管理サービスにログイン]
ステップS202において、ユーザインターフェースを介して入力したログイン情報を用いて、該文書管理サービス装置20に対してログイン処理を実行する。ここで、ユーザインタフェースは、ユーザAが該MFPデバイス10の該表示装置102に表示される本システムのクライアントアプリケーションのものである。図10は、該文書管理サービス装置20へのログイン処理における該クライアントアプリケーションと該文書管理サービス装置20の処理の流れを示すフローチャートである。以下、図10を用いて詳細に説明する。
ステップS1001において、本システムのクライアントアプリケーションの該アプリケーションメイン制御手段1001は、該S101によりユーザAが入力したユーザ情報を該ユーザ指定情報保存手段1007から取得する。そして、該アプリケーションメイン制御手段1001は、該データ送受信手段1009に指示する。そして、該アプリケーションメイン制御手段1001は、該MFPデバイスの該ネットワークインターフェース107を介して該文書管理サービス装置20をログイン要求として送信する。
次に、ステップS1101において、該S1001において、該クライアントアプリケーションがログイン要求を該文書管理サービス装置20に対して送信する。すると、データ送受信手段2002でリクエストを受信し、サービスメイン制御手段2001にリクエスト受信のイベントを通知する。さらに、リクエスト記憶手段2004に該ログイン要求に含まれるユーザ情報を保存し、続いて、ユーザ情報記憶手段2003に登録済みのユーザか否かを問い合わせ、確認する。
次に、ステップS1102において、該文書管理サービス装置20は該S1101により登録済みのユーザか否か、およびそのユーザ情報が正しいか否かを確認する。その結果、ユーザ情報が不正であると判断された場合、ステップS1103へ進む。S1103において該サービスメイン制御手段2001は該データ送受信手段2002にログイン失敗の結果を返信するように指示する。さらに、2001は、該リクエスト記憶手段2004に保存したユーザ情報を破棄する。
該S1102において、ユーザ情報が正しいと判断した場合、ステップS1104において該サービスメイン制御手段2001はセッション情報を生成する。さらに、2001は、該リクエスト記憶手段2004に保存したユーザ情報と関連付けて保存する。該S210により該文書管理サービス装置20における後処理において、該サービスメイン制御手段2001は該リクエスト記憶手段2004に保存したユーザ情報および該セッション情報を削除する。ここでサーバとクライアント間でのリクエスト交換を繰り返す処理シーケンスを実行する場合、全リクエストにユーザ情報を付けるのではない。該セッション情報は、ログインからログアウトまでの一連の処理シーケンスを明示するためのユニークなIDを指す。例えば、HTTPにおけるCookieなどの既知の技術を文書管理サービス装置20はセッション情報として用いても良い。
次に、ステップS1105において、該文書管理サービス装置20における該サービスメイン制御手段2001は、該データ送受信手段2002にログイン成功の結果、および該S1104により生成した該セッション情報を返信するように指示する。
次に、ステップS1002において、該クライアントアプリケーションにおける該アプリケーションメイン制御手段1001は、該データ送受信手段1009よりログイン要求に対する返信を受けたイベントを受信する。そして1001は、該文書管理サービス装置20へのログイン処理が失敗した場合、ステップS1003において、該GUI表示手段を介して該MFPデバイス10の該表示装置102にログインに失敗した旨のメッセージを表示する。
次に、ステップS1004において、該S1002において、該文書管理サービス装置20へのログイン処理が成功と判断された場合、次の処理を行なう。すなわち、該アプリケーションメイン制御手段1001は該文書管理サービス装置20から返信された該セッション情報を前記データ記憶手段1006に保存する。該クライアントアプリケーションは、ユーザAがログアウトするまでの一連の該文書管理サービス装置20との処理シーケンスにおける全リクエストに、該セッション情報を付加して送信する。
[写真データとスキャンイメージの紐付け関係の保存]
ステップS207において、該S107によりユーザAが該MFPデバイス10の該表示装置102に表示されるユーザインターフェースを介して指示した写真データとスキャンイメージの紐付け関係に従い保存処理を20は行なう。つまり、本システムの該クライアントアプリケーションと該文書管理サービス装置20が該紐付け関係の保存処理を20は実行する。図11は、該紐付け関係の保存処理における該クライアントアプリケーションと該文書管理サービス装置20の処理の流れを示すフローチャートである。以下、図11を用いて詳細に説明する。
S203で、デバイス10とデジタルカメラ30との通信が確立されるのに応答してS1201は開始される。
ステップS1201において、該クライアントアプリケーションにおける該アプリケーションメイン制御手段1001は前記ユーザ操作処理手段1003を監視する。これにより、該MFPデバイスの該表示装置102に表示するユーザインターフェースを介してユーザAが何らかの操作を行ったか否かを検知する。
次に、ステップS1202において、該S1201によりユーザAが何らかの操作を行ったことを検知した場合、該アプリケーションメイン制御手段1001は、ユーザAが写真データとスキャンイメージの紐付け処理を終了したか否かを確認する。
次に、ステップS1203において、該S1202によりユーザAの操作が紐付け処理の終了ではないと判断した場合、該アプリケーションメイン制御手段1001は、写真データとスキャンイメージの紐付け指示か否かを確認する。
次に、ステップS1204において、該S1203によりユーザAの操作が紐付け指示であると判断した場合、該アプリケーションメイン制御手段1001は前記ユーザ指定情報保存手段1007に問い合わせる。これにより、1001は、既に紐付け情報が保存された写真データに対する指示であるか否かを確認する。なお、前記データ記憶手段1006に保存された写真データ、およびスキャンイメージの各々には、特定をするためのユニークなIDを割り当ることで20は管理する。更に、該写真データとスキャンイメージの紐付け情報はテーブルで該ユーザ指定情報保存手段1007に20は管理している。
次に、ステップS1205において、該S1204により該ユーザ指定情報保存手段1007にユーザAが紐付けようとした写真データを特定するIDに対する紐付け情報が無いと判断した場合、次の処理を行なう。該アプリケーションメイン制御手段1001は、該紐付け情報テーブルに該写真データを特定するIDを新規追加する。さらに、1001は、紐付けるスキャンイメージを特定するIDと共に該ユーザ指定情報保存手段1007を介して該MFPデバイス10の前記大容量記憶装置106に保存する。
次に、ステップS1206において、該S1204により該ユーザ指定情報保存手段1007にユーザAが紐付けようとした写真データを特定するIDに対する紐付け情報があると判断した場合、次の処理を行なう。該アプリケーションメイン制御手段1001は、写真データに紐付けるスキャンイメージの追加、変更、削除などのユーザAの操作に応じて該紐付け情報テーブルの内容を更新する。そして、1001は、該ユーザ指定情報保存手段1007を介して該MFPデバイス10の該大容量記憶装置106に保存する。
次に、ステップS1207において、該S1202によりユーザAの操作が紐付け処理の終了であると判断した場合、次の処理を行なう。該アプリケーションメイン制御手段1001は、該ユーザ指定情報保存手段1007を介して該写真データとスキャンイメージの該紐付け情報テーブルを取得する。更に、該データ記憶手段1006に保存した該文書管理サービス装置20がログイン結果として返信した該セッション情報を送信する。さらに、該データ送受信手段1009に指示して該MFPデバイスの該ネットワークインターフェース107を介して該文書管理サービス装置20に該紐付け情報テーブルもあわせて送信する。
次に、ステップS1301において、該文書管理サービス装置20は、該S1207により該クライアントアプリケーションより該セッション情報と該紐付け情報テーブルが送信されると、該データ送受信手段2002でリクエストを受信する。さらに、該サービスメイン制御手段2001にリクエスト受信のイベントを通知し、該リクエスト記憶手段2004に該セッション情報に関連付けて該紐付け情報テーブルを保存する。
次に、ステップS1302において、文書管理サービス装置20は、S1301により該セッション情報に関連付けて該紐付け情報テーブルを保存した結果を、該サービスメイン制御手段2001が該クライアントアプリケーションに返信する。
クライアントアプリケーションは、紐付け結果をデバイス10の表示装置102に表示する。
[合成処理の実行]
ステップS208において本システムの該クライアントアプリケーションと該文書管理サービス装置20が写真データとスキャンイメージの合成処理を実行する。合成処理は、該S107によりユーザAが該MFPデバイス10の該表示装置102に表示されるクライアントアプリケーションのユーザインターフェースを介して指示した写真データとスキャンイメージの紐付け関係に従う。
図12は、写真データとスキャンイメージの合成処理における該クライアントアプリケーションと該文書管理サービス装置20の処理の流れを示すフローチャートである。以下、図12を用いて詳細に説明する。図12は、デジタルカメラ30とデバイス10との通信が確立した後、デバイス10の表示装置から合成処理開始指示があると開始される。
ステップS1401において、アプリケーションメイン制御手段1001は、該S207により該MFPデバイス10の該大容量記憶装置106に保存した写真データを取得する。さらに、同様に、106に保存したスキャンイメージの該紐付け情報テーブルに保存された写真データを示すIDを該ユーザ指定情報保存手段1007を介して取得する。その後、該紐付け情報テーブルに保存されたIDに該当する写真データを該データ記憶手段1006を介して該大容量記憶装置106から順次取得する。さらに、該データ送受信手段1009に指示して該MFPデバイス10の該ネットワークインターフェース107を介して、送信する。1009は、該写真データを示すID、および更に、該データ記憶手段1006に保存した該文書管理サービス装置20がログイン結果として返信した該セッション情報とあわせてと該文書管理サービス装置20に送信する。
次に、ステップS1501において、該文書管理サービス装置20の該サービスメイン制御手段2001は、該S1401により該クライアントアプリケーションから順次送信される写真データ、および該写真データを示すIDを、該セッション情報と関連付ける。そして、該データ記憶手段2005を介してハードディスクに保存する。
次に、ステップS1502において、該文書管理サービス装置20は、該S1501により写真データを保存した結果を、該サービスメイン制御手段2001が該データ送受信手段2002を介して該クライアントアプリケーションに返信する。
次に、ステップS1402において、IDを該ユーザ指定情報保存手段1007を介して取得する。当該IDは、アプリケーションメイン制御手段1001は、S207により該MFPデバイス10の該大容量記憶装置106に保存した写真データとスキャンイメージの該紐付け情報テーブルに保存された写真データと紐付けられたスキャンイメージを示す。そして、1000は、該紐付け情報テーブルに保存されたIDに該当するスキャンイメージを該データ記憶手段1006を介して該大容量記憶装置106から順次取得する。そして、該スキャンイメージを示すID、および更に、該データ記憶手段1006に保存した該文書管理サービス装置20がログイン結果として返信した該セッション情報とあわせて該文書管理サービス装置20に対して送信する。送信は、該データ送受信手段1009に指示して該MFPデバイス10の該ネットワークインターフェース107を介して行う。
次に、ステップS1503において、サービスメイン制御手段2001は、該S1402にて該クライアントアプリケーションから送信されるスキャンイメージをHD15に保存する。さらに、該スキャンイメージを示すIDを、該セッション情報と関連付けて該データ記憶手段2005を介してハードディスク15に保存する。
次に、ステップS1504において、該文書管理サービス装置20は、該S1503によりスキャンイメージを保存した結果を、該サービスメイン制御手段2001が該データ送受信手段2002を介して該クライアントアプリケーションに返信する。
続いて、ステップS1505において、該サービスメイン制御手段2001が該データ記憶手段2005を介して取得した写真データのサムネイル(縮小データ)を該文書管理サービス装置20は生成する。そして、該データ記憶手段2005に該文書管理サービス装置20は保存する。この際、該S1501、S1502の処理に対してシリアルに処理を該文書管理サービス装置20は実施する。或いは、該S1501において該写真データを保存した後、次の該1502と平行して写真データのサムネイル処理を該文書管理サービス装置20が実行しても良い。
次に、ステップS1506において、テンプレート記憶手段2009を介して写真データとスキャンイメージの合成結果を生成する際のフォーマットとなるHTMLテンプレートを該サービスメイン制御手段2001は取得する。HTML生成手段2007を介して該S1505において生成した、該データ記憶手段2005に保存された該写真データのサムネイルのファイルパスを該サービスメイン制御手段は追加する。ここで、図13は、本発明の第1実施の形態に係るデータの合成、および登録システムにおける写真データとスキャンイメージの合成結果として生成されるHTMLの一例を示す図である。1300は、フレームを定義するHTMLサンプルであり、また、1301は写真データのリスト領域におけるHTMLサンプルである。図13の1300、および1301の追加部分以外のHTMLが、該テンプレート記憶手段2009を介して取得したHTMLテンプレートの一例である。更に、該S1506により該HTML生成手段2007を介して取得したHTMLテンプレートに該写真データのサムネイルのファイルパスを追加した一例が1302である。つまり、当該部分は、図13の1301における「写真データのサムネイルを追加1」した部分にあたる。なお、図13で示した写真データとスキャンイメージの合成処理結果として生成されるHTMLに関して、その形態、およびHTMLの記述方法は限定されたものではない。
また、次のようにしてもよい。例えば、デジタルカメラ30がMFPデバイス10とが近接する。すると、通信が確立する。そして、デジタルカメラ30の記録部1504又は記録媒体1510に記憶されている画像データが読み出される。そして、通信I/F1509を介して、通信I/F1509は画像データを送信する。通信I/F1509を介して、画像データは、MFPデバイス10へ送信される。通信I/F1509の先は、無線通信装置103につながっている。通信I/F1509は無線通信媒体又はUSBである。
画像データは、無線通信装置103を介して受信される。そして、大容量記憶装置106に記憶される。画像を記憶したデバイス10は、S1401の処理を開始する。以降、同様である。
また、S1501乃至1509を、デバイス10の内部で処理してもよい。この場合、デバイス10内のクライアントアプリケーションと、サービスアプリケーションがデバイス10内で図12の処理を行なう。表示データの一例である合成結果を、他のコンピュータに対して送信しても良い。
また、図14は、データの合成、および登録システムにおける写真データとスキャンイメージの合成処理結果として生成されるHTMLをブラウザに表示した際のユーザインターフェースの一例を示す図である。該S1506では、図13の写真データのリストとして範囲指定した領域のHTML部分を編集したことになる。なお、図13で示した写真データとスキャンイメージの合成結果の一例として示したHTMLをブラウザに表示した際のユーザインターフェースに関して、その形態、フレームの構成、およびコントロールは限定されたものではない。つまり、ユーザインタフェースは、必要となる機能を実現するためHTMLが生成されればどのような形態であっても構わない。
次に、ステップS1507において、該S1506により写真データのサムネイルのファイルパスが追加されたHTMLに対し該サービスメイン制御手段2001は次の処理をする。つまり2001は、1303に該当する処理をHTMLにScriptとして追加する。Scriptの一例としては、図13の1301における1303を追加した部分にあたる。更に、そのScriptに伴う動作結果の一例として次が考え得る。例えば、図13における写真データのリスト内にある写真データのサムネイルをクリックした場合、フレーム分割された写真データの拡大表示エリアとして範囲指定した領域に写真データを表示する処理がある。更に、写真データに紐づいたスキャンイメージの拡大表示エリアとして範囲指定した領域に、写真データに紐付いたスキャンイメージを表示することをスクリプトとして挿入できる。なお、これら処理を実現する手段として、単純なHTMLに限定するものでなく、DHTMLやAjaxなどの技術を用いて、写真データのサムネイルクリック時の動作を非同期に処理できるようにしても良い。更に、フレーム内の写真データ、もしくはスキャンイメージの拡大縮小表示の指定など、描画の修正ができても良い。また、ここでは、Scriptにより処理を実行することとして説明するが、単純なハイパーリンクによるページ遷移にて、写真データとスキャンイメージの合成結果を示しても良い。
次に、ステップS1508において、該S1506、及び該S1507により生成したHTMLを該サービスメイン制御手段2001は前記ユーザ情報記憶手段2003を介して図示しない記憶装置に保存する。更に、該サービスメイン制御手段は、該保存したHTML示すURL文字列を生成し、該セッション情報と関連付けて該ユーザ情報記憶手段2003に保存する。これにより、合成結果を確認するユーザは、図示しないクライアントPCに特別に閲覧を行うためのアプリケーションをインストール必要がない。さらに、ユーザは、標準でインストールされている各種ブラウザを介して、確認することが可能となる。更に、該ユーザ情報記憶手段2003の保存により、ユーザが保存した合成結果の一覧を確認することができるようになる。さらに、該合成結果を公開したい相手にのみアクセスできるように設定することもできるようになる。
次に、ステップS1403において、該クライアントアプリケーションは、該文書管理サービス装置20に対して写真データとスキャンイメージの合成処理が終了したか否かを問い合わせる。この際、該セッション情報をリクエストに付けることとする。
次に、ステップS1509において、該文書管理サービス装置20は、該S1403により該クライアントアプリケーションからの問い合わせに対し、リクエストに付加されたセッション情報を元に該S1508にまでの処理が終了しているか否かの結果を返答する。この際、処理が終了していた場合、該サービスメイン制御手段2001は、該S1508において該ユーザ情報記憶手段2003に保存されたURL文字列を取得し、処理結果とともに該クライアントアプリケーションに返信する。
次に、ステップS1404において、該クライアントアプリケーションは、該S1509により該文書管理サービス装置20が返す処理結果が終了していないと判断した場合、次を行う。すなわち、該S1403に戻り定期的に処理の終了を該文書管理サービス装置20に問い合わせる。なお、この際、該クライアントアプリケーションから該文書管理サービス装置20への問い合わせという手段で該合成処理の終了を確認するだけに限定しない。
手段は、該文書管理サービス装置20から該クライアントアプリケーションに処理結果を通知する手段であっても構わない。
該S1404において、該文書管理サービス装置20における該合成処理が終了したと判断した場合、次の処理をする。1001は、一旦該S1509により該文書管理サービス装置20から返信された該合成結果を示すURLを該データ記憶手段1006を介して前記メモリ105、もしくは大容量記憶装置106に保存する。
次に、ステップS1405において、次の処理を行う。該クライアントアプリケーションは、図示しない該MFPデバイス10にインストールされたブラウザを起動し、該S1509により該文書管理サービス装置20から返信された該合成結果が保存されたURLが示すHTMLの取得要求を送信する。
次に、ステップS1510において、次の処理を行なう。該文書管理サービス装置20の該サービスメイン制御手段2001は、該S1405による該クライアントアプリケーションが示すURLに従い、該ユーザ情報記憶手段2003よりHTMLを取得し、該クライアントアプリケーション(ブラウザ)に返信する。
次に、ステップS1406において、該S1510により該文書管理サービス装置20より返信のあったHTMLを該MFPデバイス10の該表示装置102にブラウザを介して表示する。
なお、本発明の第一の実施形態においては、該合成結果の確認をブラウザを介して行うこととしたが、それに限定するわけではなく、合成結果を一つのイメージとして整形して保存、表示しても構わない。
図16に本発明の合成データの一例を示す。図14とあわせて説明する。図16には、1604が乃至1604が挿入されている。また、1601乃至1603が挿入されている。1604に対応するのは1601である。1605に対応するのは1602である。1606に対応するのは1603である。1601と1604の組を例にとって説明する。1604は、図14の1401に対応する。1404のTDタグに挟まれているのがページ1という文字列で、1401の下にページ1として表示されている。1401はXXX.JPGというファイルで、デジタルカメラから取り込まれた画像である。さらに、サムネイル1401がマウスなどを用いてUIで指示されると、Update1()関数が呼び出される。Update1()関数が呼び出されると、ブラウザは、1601に定義されている。フレームにて読み出されているPictureのフレーム1307をPicture1.htmlを読出し更新表示する。サムネイル1402はYYY.JPGである。サムネイル1403はZZZ.JPGである。
図示するように、Documentのフレーム1308を、Docoment1.htmlを読出し更新表示する。Picture.htmlは1404を表示する。Picture1.htmlはサムネイルXXX.JPGに対応するデジタルカメラから取り込んだリソースをPictureフレームへ表示指示する。Document1.htmlは、サムネイルXXX.JPGに対応するスキャナから読み込んだドキュメントデータを表示指示する。
同様に、1605のサムネイルを指示すると、1602が実行される。また、1606のサムネイルを指示すると、1603が実行される。
このようにして、図14にて1401乃至1403が指示された場合に、それぞれのサムネイル対応するデジタルカメラからの画像が1404読み出され切り換え表示される。同時に、1405には、指示されたサムネイルに対応するスキャンされた文書が表示される。
以上述べたように、周辺装置の一例であるデジタルカメラ30と通信する画像形成装置の一例であるデバイス10を開示した。デバイス10は、原稿を読み取る読み取り手段としてのスキャナを有する。スキャナが原稿を読み取ることにより生成したデータを生成する生成手段の一例である合成データ生成手段2006が画像形成装置内に記憶されている。
周辺装置が有するデータを取得する取得手段の一例であるデータ生成手段が画像形成装置内に記憶されている。前記の生成したデータと、デジタルカメラ30から取得したデータを関連付けて表示するための表示データとして管理する管理手段の一例として管理プログラムを画像形成装置は有する。さらに、管理プログラムが管理する表示データを外部情報処理装置の一例である情報処理装置に対して送信してもよい。
送信手段の一例として送信プログラムが考えられる。管理プログラム、生成プログラムは、表示データ生成手段1008に対応する。取得プログラムは、無線通信制御手段に対応する。送信プログラムは、メール送信手段1011に対応する。
前記管理プログラムは、スキャナが読み取ったドキュメントデータと、デジタルカメラ30から受信した画像データを関連付けた構造化文書を表示データとして管理する。
前記管理プログラムは、前記周辺装置から取得した画像データのサムネイルを生成するサムネイル生成手段としても機能する。
前記サムネイル生成手段が生成したサムネイルの一覧を示すページを表示するためのデータを生成する生成手段としても機能する。表示データに基づき表示されるサムネイルを指示する。すると、当該サムネイルに対応する、デジタルカメラ30から取得されたデータ又は、当該サムネイルに対応する、スキャナが読み取ったデータを読み出すページを表示するための表示データを管理しても良い。
周辺装置は撮像装置の一例であるデジタルカメラである。また、画像形成装置の一例であるデバイス10はスキャナを有する複合機であると好適である。また、デジタルカメラ30とデバイス10との通信が確立するのを待つ。通信が確立するのに応答して、画像形成装置に接続される表示装置上へ撮像装置から取得する画像を選択するためのユーザインタフェースを表示してもよい。表示手段の一例が操作部である。
さらに、ユーザインタフェースには、デジタルカメラ30から読み込んだ画像と、スキャナが読み取ったデータとの関連付けを指示する指示部を有するとよい。
管理プログラムは、生成したデータを示すリンク情報と、周辺装置から取得したデータを示すリンク情報を含むHTMLドキュメントを、表示データとして生成してもよい。
本実施形態によれば、ノートPCなどのPDA機器を用いることなくインターネット/イントラネット上のサーバにデータを保存することができる。このため、外出時などインフラが用意されていない環境下においても、容易に情報共有することができる。
更に、保存、情報共有したいデータに対するコメントやレポートをデータに関連付けて保存することができる。このため、データに対する詳細な情報も共有することが可能となる。例えば、雑誌、出版社において現地で撮影した写真データに対して手書きのコメントやレポートを関連付けて保存できる。また、建築、事故現場などで撮影した写真データに対して、現地で作成した報告書を関連付けて保存するといった作業を、本発明の第1の実施形態を用いることで実現することができる。
また、本発明の実施形態に係るデータの合成、および登録システムによれば、利用するユーザは文書管理サービス内のフォルダ構成等を意識することがなくなる。また、自動的に写真データとスキャンイメージの合成結果の保存場所を示すURLを生成し、ユーザに通知するため、文書管理/整理という煩わしい作業を行う必要がなくなる。
また、本発明の実施形態に係るデータの合成、および登録システムによれば、写真データとスキャンイメージの合成結果をHTMLとして保存する。このため、ユーザが閲覧するためには特別なアプリケーションを要することがない。よって、クライアントPCにインストールされているブラウザを用いて閲覧することができる。更に、合成結果はHTMLであるため、写真データやスキャンイメージは容易にクライアントPCにダウンロードし、再利用が可能となる。
本実施形態のシステムのシステム構成図である。 本実施形態のシステムにおけるMFPデバイスの一例を示すブロック構成図である。 本実施形態のシステムにおけるMFPデバイスで動作するソフトウェア構成図である。 本実施形態のシステムにおける文書管理サービスの一例を示すソフトウェア構成図である。 本実施形態のシステムにおけるクライアントアプリケーションがデータの一覧を表示するユーザインターフェースの一例を示す図である。 本実施形態のシステムにおけるクライアントアプリケーションがスキャンイメージの一覧を表示するユーザインターフェースの一例を示す図である。 本実施形態のシステムにおけるクライアントアプリケーションを用い、写真データとスキャンイメージを紐付けるためのユーザ操作の一例を示す図である。 本実施形態のシステムにおけるクライアントアプリケーションがメール通知する相手先を選択するために表示する表示するユーザインターフェースの一例を示す図である。 本実施形態のシステムにおけるユーザ操作とシステムの処理の流れを示すフローチャートである。 本実施形態のシステムにおけるログイン処理時のクライアントアプリケーションと文書管理サービスの処理の流れを示すフローチャートである。 本実施形態のシステムにおける写真データとスキャンイメージを紐付けるためのユーザ操作に伴うクライアントアプリケーションと文書管理サービスの処理の流れを示すフローチャートである。 本実施形態のシステムにおける写真データとスキャンイメージの合成処理時のクライアントアプリケーションと文書管理サービスの処理の流れを示すフローチャートである。 本実施形態のシステムにおける写真データとスキャンイメージの合成処理結果として生成されるHTMLの一例を示す図である。 本実施形態のシステムにおける写真データとスキャンイメージの合成処理結果として生成されるHTMLをブラウザに表示した際のユーザインターフェースの一例を示す図である。 デジタルカメラ30のハードウェア構成を示す図である。 本実施形態の表示データの一例を示す図である。 本実施形態の文書管理サービス装置20の一例を示す図である。

Claims (3)

  1. 周辺装置通信する画像形成装置であって
    原稿を読み取る読み取り手段と、
    前記読み取り手段が読み取った原稿に対応するデータを生成する生成手段と、
    前記周辺装置が有するデータを取得する取得手段と、
    前記生成手段が生成したデータと、前記周辺装置から取得手段が取得したデータを関連付けて表示するための表示データとして管理する管理手段と、を有し、
    前記表示データには、前記管理手段が前記周辺装置から取得したデータを基に生成した該データのサムネイルの一覧を示すページが含まれており、前記管理手段は、前記画像形成装置のブラウザの起動指示により表示される前記表示データ内のサムネイルの一覧の中からサムネイルが選択されたことに応じて、選択されたサムネイルに対応する前記周辺装置から取得されたデータ、および、選択されたサムネイルに対応する前記読み取り手段により読み取られた原稿のデータを読み出すページを表示するための表示データを生成することを特徴とする画像形成装置。
  2. 周辺装置と通信する画像形成装置における画像処理方法であって、
    原稿を読み取る読み取り工程と、
    前記読み取り工程にて読み取られた原稿に対応するデータを生成する生成工程と、
    前記生成工程が生成したデータと、前記周辺装置から取得工程が取得したデータを関連付けて表示するための表示データとして管理する管理工程と、を含み
    前記表示データには、前記管理工程において前記周辺装置から取得したデータを基に生成された該データのサムネイルの一覧を示すページが含まれており、
    前記管理工程においては、前記画像形成装置のブラウザの起動指示により表示される前記表示データ内のサムネイルの一覧の中からサムネイルが選択されたことに応じて、選択されたサムネイルに対応する前記周辺装置から取得されたデータ、および、選択されたサムネイルに対応する前記読み取り手段により読み取られた原稿のデータを読み出すページを表示するための表示データが生成されることを特徴とする画像処理方法。
  3. 請求項2に記載の画像処理方法をコンピュータに実行させるための制御プログラム
JP2006173624A 2006-06-23 2006-06-23 画像形成装置、画像処理方法、該方法を実行する制御プログラム Expired - Fee Related JP4795133B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006173624A JP4795133B2 (ja) 2006-06-23 2006-06-23 画像形成装置、画像処理方法、該方法を実行する制御プログラム
US11/765,331 US8446616B2 (en) 2006-06-23 2007-06-19 Image-forming apparatus, image-processing method, and control program for executing the same
EP07110819.5A EP1874026B1 (en) 2006-06-23 2007-06-21 Image-forming apparatus,image-processing method, and control program for executing the same
CN2007101234374A CN101094301B (zh) 2006-06-23 2007-06-22 图像形成设备和图像处理方法
KR1020070061441A KR100880758B1 (ko) 2006-06-23 2007-06-22 화상 형성 장치, 화상 처리 방법, 및 이를 실행하기 위한제어 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006173624A JP4795133B2 (ja) 2006-06-23 2006-06-23 画像形成装置、画像処理方法、該方法を実行する制御プログラム

Publications (3)

Publication Number Publication Date
JP2008005284A JP2008005284A (ja) 2008-01-10
JP2008005284A5 JP2008005284A5 (ja) 2009-08-06
JP4795133B2 true JP4795133B2 (ja) 2011-10-19

Family

ID=38559564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173624A Expired - Fee Related JP4795133B2 (ja) 2006-06-23 2006-06-23 画像形成装置、画像処理方法、該方法を実行する制御プログラム

Country Status (5)

Country Link
US (1) US8446616B2 (ja)
EP (1) EP1874026B1 (ja)
JP (1) JP4795133B2 (ja)
KR (1) KR100880758B1 (ja)
CN (1) CN101094301B (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5157682B2 (ja) * 2008-03-17 2013-03-06 株式会社リコー 情報処理装置、画像形成装置、操作画面変更方法、操作画面変更プログラムおよび記憶媒体
TWI381134B (zh) * 2008-06-02 2013-01-01 榮創能源科技股份有限公司 發光二極體光源模組
JP5129669B2 (ja) * 2008-06-30 2013-01-30 キヤノン株式会社 画像形成装置及びその制御方法、画像供給装置及びその制御方法
WO2010002416A1 (en) * 2008-07-03 2010-01-07 Zkimmer Inc. System and method for displaying digital editions of pictorial periodicals or publications
JP5199761B2 (ja) * 2008-07-11 2013-05-15 キヤノン株式会社 情報処理装置と画像入力装置、文書配信システムとそれらの制御方法
JP4981826B2 (ja) 2009-01-28 2012-07-25 シャープ株式会社 通信システム、画像形成装置及び携帯情報端末装置
CN104935776B (zh) 2009-03-03 2019-04-05 夏普株式会社 通信系统、通信方法、图像形成装置、数字照相机、信息处理装置
JP2011076535A (ja) * 2009-10-01 2011-04-14 Toshiba Corp 情報処理装置およびキャプチャ画像の送信方法
CN105207998A (zh) * 2011-03-11 2015-12-30 北京奇虎科技有限公司 一种多账户登录方法及设备
JP5742545B2 (ja) * 2011-07-27 2015-07-01 ブラザー工業株式会社 画像処理プログラム、情報処理装置および画像処理方法
JP5765366B2 (ja) * 2013-04-30 2015-08-19 コニカミノルタ株式会社 画像処理装置、携帯端末装置、リモート画面データの作成プログラム及び表示制御プログラム
JP2015076036A (ja) * 2013-10-11 2015-04-20 キヤノン株式会社 印刷システム、モバイル端末、印刷装置、モバイル端末の制御方法、印刷装置の制御方法及びプログラム
US20150288849A1 (en) * 2014-04-02 2015-10-08 Xerox Corporation Methods and systems for merging and including additional electronic documents in a scan job
CN105323449A (zh) * 2014-06-20 2016-02-10 宇龙计算机通信科技(深圳)有限公司 一种照片处理方法、系统及终端
JP6353345B2 (ja) * 2014-11-04 2018-07-04 キヤノン株式会社 通信システム、通信装置及びその制御方法、情報処理装置及びその制御方法、並びにプログラム
US20160337551A1 (en) * 2015-05-14 2016-11-17 Xerox Corporation Systems and methods for injecting documents from a mobile device into a build job for a multifunction device
CN109510908A (zh) * 2017-09-14 2019-03-22 日本冲信息株式会社 数据处理方法和系统
JP7363212B2 (ja) * 2019-08-30 2023-10-18 ブラザー工業株式会社 情報処理プログラム、情報処理装置及び情報処理方法
JP7455576B2 (ja) * 2019-12-25 2024-03-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2185990C (en) * 1994-03-21 2002-07-23 Kirk M. Scott Document proxy framework
US6976032B1 (en) * 1999-11-17 2005-12-13 Ricoh Company, Ltd. Networked peripheral for visitor greeting, identification, biographical lookup and tracking
US6876759B2 (en) * 2001-02-01 2005-04-05 Fuji Photo Film Co., Ltd. Image transmitting system, image transmitting method and storage medium
JP2003060956A (ja) * 2001-08-20 2003-02-28 Fuji Photo Film Co Ltd デジタルカメラ
US20030200107A1 (en) * 2002-03-13 2003-10-23 Allen Jeffrey L. System and method for cash management
US20030195802A1 (en) * 2002-04-15 2003-10-16 Hensen Kelly P. System and method for managing a distributed branding program and creating advertisements
JP2004048647A (ja) 2002-05-15 2004-02-12 Dainippon Printing Co Ltd 撮影機能を有する画像プリントシステム、プログラム、記録媒体
JP3732161B2 (ja) 2002-07-24 2006-01-05 京セラミタ株式会社 文書管理プログラム
JP3903897B2 (ja) 2002-09-30 2007-04-11 ブラザー工業株式会社 画像形成装置、及び、プログラム
US7356768B1 (en) * 2002-11-27 2008-04-08 Adobe Systems Incorporated Using document templates to assemble a collection of documents
US7739583B2 (en) * 2003-03-31 2010-06-15 Ricoh Company, Ltd. Multimedia document sharing method and apparatus
JP2004328451A (ja) * 2003-04-25 2004-11-18 Kyocera Mita Corp 画像形成装置
JP2005086385A (ja) 2003-09-08 2005-03-31 Konica Minolta Business Technologies Inc 画像形成装置
JP2006033406A (ja) 2004-07-15 2006-02-02 Konica Minolta Business Technologies Inc 画像読取装置及び端末装置
US7617450B2 (en) * 2004-09-30 2009-11-10 Microsoft Corporation Method, system, and computer-readable medium for creating, inserting, and reusing document parts in an electronic document
JP2006178719A (ja) * 2004-12-22 2006-07-06 Casio Comput Co Ltd 作業管理システムおよびプログラム
JP3903110B2 (ja) * 2005-10-21 2007-04-11 富士フイルム株式会社 メッセージ付きプリント作成方法及びシステム

Also Published As

Publication number Publication date
US20070297017A1 (en) 2007-12-27
CN101094301A (zh) 2007-12-26
US8446616B2 (en) 2013-05-21
KR100880758B1 (ko) 2009-02-02
KR20070122157A (ko) 2007-12-28
EP1874026B1 (en) 2016-11-30
EP1874026A2 (en) 2008-01-02
CN101094301B (zh) 2010-12-08
EP1874026A3 (en) 2008-08-06
JP2008005284A (ja) 2008-01-10

Similar Documents

Publication Publication Date Title
JP4795133B2 (ja) 画像形成装置、画像処理方法、該方法を実行する制御プログラム
CN106254718B (zh) 图像处理系统、图像接收装置、图像处理装置及其方法
US9699332B2 (en) Information providing apparatus, terminal device, information providing system, and computer readable medium
JP6191266B2 (ja) 情報蓄積装置、情報処理システム、情報蓄積システム及びプログラム
US10230863B2 (en) Information processing device performing a data sharing process among applications and controlling method thereof
JP6040731B2 (ja) 連携処理装置、連携処理システム及びプログラム
US20130067027A1 (en) Apparatus and method for uploading image to a social network service thereof
JP3770268B2 (ja) 情報処理システム及びそれに用いる情報処理方法並びに情報処理プログラム
US20130063771A1 (en) Apparatus and method for uploading image file of apparatus to social network service
US20080222655A1 (en) Information Processing Apparatus and Information Processing Method
JP6052241B2 (ja) 処理装置、表示システム、表示方法、およびコンピュータプログラム
JP2011041214A (ja) 文書管理システム及びその制御方法、情報処理装置
EP3873078B1 (en) Device, process execution system, process execution method, and carrier means
JP6075502B1 (ja) 情報処理装置及びプログラム
JP2010250552A (ja) 中継サーバ装置
JP6616867B2 (ja) 画像受信装置とその制御方法、アプリケーションプログラム、画像処理システムおよびその制御方法
JP6624242B2 (ja) 情報処理装置及びプログラム
JP6367409B2 (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP6114353B2 (ja) 画像処理システム、画像処理方法及びコンピュータプログラム
JP2021019225A (ja) 画像形成装置、通知システム、制御方法及びプログラム
JP2017062825A (ja) 情報処理装置及びクラウドシステム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090619

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090619

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110727

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140805

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees