JP6870137B1 - データ活用システム、データ活用方法及びプログラム - Google Patents

Abstract

【課題】本発明は、手書データを活用可能なデータ活用システム、データ活用方法及びプログラムを提供することを目的とする。【解決手段】手書入力デバイス１００とデータ処理装置２００とからなるデータ活用システム１は、前記手書入力デバイス１００が、ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書きされた位置情報等の当該手書入力デバイス１００から取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、紙等の書類に当該ユーザが手書きで入力したデータを手書データとして取得し、取得した前記手書データを前記データ処理装置に送信し、前記データ処理装置２００が、前記手書入力デバイスが送信した前記手書データを受信し、受信した前記手書データのテキスト変換を行い、受信した前記手書データと、テキスト変換された前記手書データと、前記メタデータとを対応付けて記憶する。【選択図】図１

Description

本発明は、手書入力デバイスとデータ処理装置とからなるデータ活用システムに関する。

従来より、スマートフォン端末やタブレット端末等の端末にタッチペンや指を使って、手書で入力できるデバイスが知られている。

しかしながら、タッチペンの書き心地やタッチペンが接触する端末画面の感触が、紙の方が良いと感じるユーザも多く、端末に手書で入力するユーザが減少している。そこで、紙等の書類にボールペン等で手書きしたデータを取り扱えるデバイスが注目されている（例えば、非特許文献１参照）。

［令和２年３月２４日検索］、インターネット< URL: https://www.wacom.com/ja-jp/products/smartpads>

このようなデバイスは、書類に書いた手書データを、電子データとしてクラウドに記憶し、テキスト認識させることができる。

しかしながら、単に手書データをクラウドに記憶しているに過ぎず、手書データの活用までは至っていない。例えば、手書データを入力したユーザや端末を特定して、手書データを、誰が書いたか、何時書いたか、何処で書いたか等を識別したいという課題が存在する。そこで、本発明者らは、この課題を解決するために、本発明を想到した。

本発明は、手書データを活用可能なデータ活用システム、データ活用方法及びプログラムを提供することを目的とする。

本発明では、以下のような解決手段を提供する。

本発明は、手書入力デバイスとデータ処理装置とからなるデータ活用システムであって、
前記手書入力デバイスは、
ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書きされた位置情報等の当該手書入力デバイスから取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、所定の帳簿に当該ユーザが手書きで入力したデータを手書データとして取得する取得手段と、
取得した前記手書データを前記データ処理装置に送信する送信手段と、
を備え、
前記データ処理装置は、
前記手書入力デバイスが送信した前記手書データを受信する受信手段と、
受信した前記手書データのテキスト変換を行う変換手段と、
受信した前記手書データと、テキスト変換された前記手書データと、前記メタデータとを対応付けて記憶する識別情報記憶手段と、
前記所定の帳簿に手書きで入力されたデータの座標情報に基づいて、当該帳簿における当該手書きで入力されたデータの位置を特定し、当該データの位置とテキスト変換したテキスト値とに基づいて、当該帳簿に対応するフォーマットを指定する帳簿データを認識する認識手段と、
前記変換手段が変換したテキスト値に対して、対応する識別名を推測する推測手段と、
前記テキスト値と、推測した前記識別名とを対応付けて記憶するテキスト値記憶手段と、
他の帳簿から取得した手書データをテキスト変換したテキスト値から推測した識別名のうち、当該他の帳簿から取得した手書データが未入力のものに、記憶した前記テキスト値を、当該他の帳簿から取得した手書データに埋め込む埋込手段と、
を備えることを特徴とするデータ活用システムを提供する。

本発明によれば、手書入力デバイスとデータ処理装置とからなるデータ活用システムは、前記手書入力デバイスが、ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書きされた位置情報等の当該手書入力デバイスから取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、所定の帳簿に当該ユーザが手書きで入力したデータを手書データとして取得し、取得した前記手書データを前記データ処理装置に送信し、前記データ処理装置が、前記手書入力デバイスが送信した前記手書データを受信し、受信した前記手書データのテキスト変換を行い、受信した前記手書データと、テキスト変換された前記手書データと、前記メタデータとを対応付けて記憶し、前記所定の帳簿に手書きで入力されたデータの座標情報に基づいて、当該帳簿における当該手書きで入力されたデータの位置を特定し、当該データの位置とテキスト変換したテキスト値とに基づいて、当該帳簿に対応するフォーマットを指定する帳簿データを認識し、変換したテキスト値に対して、対応する識別名を推測し、前記テキスト値と、推測した前記識別名とを対応付けて記憶し、他の帳簿から取得した手書データをテキスト変換したテキスト値から推測した識別名のうち、当該他の帳簿から取得した手書データが未入力のものに、記憶した前記テキスト値を、当該他の帳簿から取得した手書データに埋め込む。

本発明は、データ活用システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。

本発明によれば、手書データを活用可能なデータ活用システム、データ活用方法及びプログラムを提供することが可能となる。

図１は、データ活用システム１の概要を示す図である。 図２は、データ活用システム１の全体構成図である。 図３は、手書入力デバイス１００、データ処理装置２００が実行する手書データ送受信処理のフローチャートを示す図である。 図４は、データ処理装置２００が実行する第１のデータ活用処理のフローチャートを示す図である。 図５は、データ処理装置２００が実行する第２のデータ活用処理のフローチャートを示す図である。 図６は、データ処理装置２００が実行する第３のデータ活用処理のフローチャートを示す図である。 図７は、データ処理装置２００が実行する第４のデータ活用処理のフローチャートを示す図である。 図８は、データ処理装置２００が実行する第５のデータ活用処理のフローチャートを示す図である。 図９は、データ処理装置２００が実行する第６のデータ活用処理のフローチャートを示す図である。 図１０は、ユーザが書類に対して入力した手書入力データの一例を模式的に示す図である。 図１１は、図１１は、データ処理装置２００が記憶するデータの一例を模式的に示す図である。

以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。

［データ活用システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるデータ活用システム１の概要を説明するための図である。データ活用システム１は、手書入力デバイス１００、データ処理装置２００から構成されたコンピュータシステムである

なお、データ活用システム１は、ユーザ又は端末の認証に必要な各種データを読み取る認証データ読取装置、ユーザの筆跡とユーザとを対応付けて記憶した筆跡データベース、各種データを記憶するブロックチェーン技術等を用いた分散型台帳を管理する各ノードとなるコンピュータ、その他の端末や装置類等が含まれていても良い。この場合、データ活用システム１は、手書入力デバイス１００、データ処理装置２００及び含まれる端末や装置類等の何れか又は複数の組み合わせにより、後述する各処理を実行することになる。

手書入力デバイス１００は、例えば、ユーザが所持するスマートフォン端末やタブレット端末等の携帯端末と、この携帯端末と有線通信又は近距離無線通信等によりデータ通信可能に接続され、紙等の書類を載置し、ボールペン等の通常のペンで手書きしたデータを取り扱う下敷きデバイスとからなるデバイスである。手書入力デバイス１００は、上述したデータ処理装置２００、その他の端末や装置類等と、公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信や各種処理を実行する。なお、手書入力デバイス１００は、通信を行う携帯端末と下敷きデバイスが一体となった通信装置であってもよい。

データ処理装置２００は、例えば、サーバ機能を有するコンピュータであり、上述した手書入力デバイス１００、その他の端末や装置類等と公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信や各種処理を実行する。

なお、データ処理装置２００は、１台のコンピュータで実現されても良いし、クラウドコンピュータのような複数のコンピュータで実現されてもよい。

手書入力デバイス１００は、ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書された位置情報等の当該手書入力デバイスから取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、紙等の書類にこのユーザが手書きで入力したデータを、手書データとして取得する。

例えば、手書入力デバイス１００は、下敷きデバイスに載置された紙等の書類に、ユーザが手書きで入力したデータを、手書入力データとして取得する。下敷きデバイスは、自身に載置された書類に対して、手書きで入力されたデータを、手書入力データとして、自身に接続された携帯端末に送信する。携帯端末は、この手書入力データを受信する。この結果、手書入力デバイス１００は、手書入力データを取得することになる。

手書入力デバイス１００は、ユーザ又は自身に関するメタデータを取得する。メタデータは、例えば、ユーザ又は端末を特定するＩＤ、手書された時刻（ユーザが手書きでデータを入力した時刻）又は手書された位置情報（ユーザが手書きでデータを入力した場所の位置情報）の手書入力デバイス１００から取得可能なメタデータのうちの少なくとも一つであってよい。

なお、メタデータは、その他に、手書入力を行ったペンのペンＩＤ、手書入力されたデータのイメージを示す手書イメージデータ、書類に対する手書座標情報（ユーザが手書きでデータを入力した位置に対する書類上の位置を示す座標情報）、端末のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や使用言語等の端末情報等であってもよい。

ユーザを特定するＩＤは、例えば、ユーザの識別子（例えば、氏名、管理番号、所定の文字列や記号）である。端末を特定するＩＤは、例えば、端末自身の識別子（例えば、ＭＡＣアドレス、ＩＰアドレス、機器番号、管理番号、所定の文字列や記号）である。手書きされた時刻は、例えば、端末自身にインストールされた時計アプリケーションが示す現在時刻である。手書きされた位置情報は、例えば、端末自身が、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）等から取得する自身の位置情報や、端末自身に接続された無線ＬＡＮ等の電波を発する基地局等のＩＤ等から取得する自身の位置情報である。

手書入力デバイス１００は、取得した手書入力データと、取得したメタデータとを対応付けることにより、手書入力データとメタデータとを対応付けた手書データを取得する。

手書入力デバイス１００は、取得した手書データを、データ処理装置２００に送信する。

データ処理装置２００は、この手書データを受信する。

データ処理装置２００は、手書データのテキスト変換を行う。

例えば、データ処理装置２００は、手書データにおける手書入力データを、所定の方法により、テキスト変換を行い、この手書データにおけるテキスト値を生成する。

データ処理装置２００は、受信した手書データと、テキスト変換された手書データと、メタデータとを対応付けて記憶する。

例えば、データ処理装置２００は、手書データと、生成したテキスト値と、メタデータとを対応付けて記憶する。

なお、データ処理装置２００は、変換したテキスト値に対して、対応する識別名を推測し、このテキスト値と、識別名とを対応付けて記憶する構成も可能である。

例えば、データ処理装置２００は、変換したテキスト値が、「山田太郎」といった、人の名前に相当するものである場合、このテキスト値に対応する識別名として、「氏名」を、推測する。また、データ処理装置２００は、変換したテキスト値が、「東京都」といった、都道府県名、地名又は住所に相当するものである場合、このテキスト値に対応する識別名として、「都道府県名」、「地名」又は「住所」を、推測する。また、データ処理装置２００は、変換したテキスト値が、所定の桁数の数値や所定の並び方の数値である場合、このテキスト値に対応する識別名として、「電話番号」を、推測する。同様に、データ処理装置２００は、その他の変換したテキスト値も同様に、対応する識別名を推測する。データ処理装置２００は、この変換したテキスト値と、推測した識別名とを対応付けて記憶する。

また、データ処理装置２００は、紙等の書類が、所定の帳簿であって、この帳簿に手書で入力されたデータの座標情報に基づいて、又はこの帳簿に印字された帳簿識別コードを認識することで、この帳簿に対応する帳簿データを認識する構成も可能である。

例えば、データ処理装置２００は、書類が、所定の帳簿（例えば、仕訳帳、総勘定元帳、現金出納帳、仕入帳、売上帳、支払手形記入帳、売掛金元帳）である場合、メタデータとして取得した書類に対する手書座標情報や取得した手書データにおけるデータの座標情報（手書入力データにおけるデータの位置情報）に基づいて、帳簿に対応する帳簿データを認識する。また、データ処理装置２００は、手書データにおける書類に印字されたユニークなＩＤ（例えば、帳簿名、項目の名称）等を手書きでなぞって入力されたデータを、帳簿識別コードとして認識することで、この帳簿に対応する帳簿データを認識する。

また、データ処理装置２００は、ユーザの指紋、顔画像又は証明書の少なくとも一つの認証データに基づいて、ユーザを特定する構成も可能である。

例えば、手書入力デバイス１００や認証データ読取装置が、ユーザの指紋、顔画像又は証明書の少なくとも一つの認証データを読み取る。手書入力デバイス１００や認証データ読取装置は、読み取った認証データを、データ処理装置２００に送信する。データ処理装置２００は、この認証データを受信することにより、この認証データを取得する。データ処理装置２００は、予め自身が記憶するユーザと、このユーザの認証データとを対応付けて記憶した認証データベースを参照することにより、今回取得した認証データに該当する今回取得した手書データを入力したユーザを特定する。

また、データ処理装置２００は、ユーザの筆跡を記憶した筆跡データベースとデータ通信可能に接続され、手書データを入力したユーザの筆跡に基づいて、筆跡データベースを参照することで、このユーザを特定する構成も可能である。

例えば、データ処理装置２００は、自身とデータ通信可能に接続された筆跡データベースを参照し、今回取得した手書データにおけるユーザの筆跡に基づいて、今回取得した手書データに該当するユーザを特定する。

また、データ処理装置２００は、変換したテキスト値を、手書データに埋め込む構成も可能である。

例えば、データ処理装置２００は、変換したテキスト値を、他の書類における識別名や同様の書類における手書座標情報に対して、変換したテキスト値を埋め込む。

また、データ処理装置２００は、識別名と対応付けて記憶されたテキスト値に対して、公開設定を受け付け、この受け付けたテキスト値を、所定の要求に応じて、読出可能に記憶する構成も可能である。

例えば、データ処理装置２００は、識別名と対応付けて記憶されたテキスト値に対して、公開設定を受け付ける。この公開設定は、例えば、他のサービスへの再利用の可否、パーソナルデータデータストアとしての利用の可否、情報銀行としての利用の可否である。データ処理装置２００は、手書入力デバイス１００等からこの公開設定を受け付ける。データ処理装置２００は、ブロックチェーン技術を用いた分散型台帳に公開設定を受け付けた識別名とテキスト値とを公開する。この結果、データ処理装置２００は、所定の要求に応じて、公開設定を受け付けたテキスト値を読出可能に記憶することになる。

また、データ処理装置２００は、変換したテキスト値と、認識した帳簿データとに基づいて、このテキスト値を反映した所定の帳簿を作成する構成も可能である。

例えば、データ処理装置２００は、認識した帳簿データに基づいて、予め記憶した帳簿のフォーマットを読み込み、このフォーマットに、変換したテキスト値を反映することにより、所定の帳簿を作成する。

次に、データ活用システム１が実行する処理の概要について説明する。

はじめに、手書入力デバイス１００は、ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書された位置情報など手書入力デバイス１００から取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、紙等の書類にこのユーザが手書きで入力したデータを、手書データとして取得する（ステップＳ０１）。

手書入力デバイス１００は、書類に、ユーザが手書きで入力したデータを、手書入力データとして取得するとともに、ユーザ又は自身に関するメタデータを取得する。メタデータは、上述した通りである。手書入力デバイス１００は、この手書入力データと、このメタデータとを対応付けることにより、手書データを取得する。

手書入力デバイス１００は、取得した手書データを、データ処理装置２００に送信する（ステップＳ０２）。

データ処理装置２００は、この手書データを受信する（ステップＳ０３）。

データ処理装置２００は、手書データのテキスト変換を行う（ステップＳ０４）。

データ処理装置２００は、手書データにおける手書入力データを、所定の方法により、テキスト変換を行い、この手書データにおけるテキスト値を生成する。

データ処理装置２００は、受信した手書データと、テキスト変換された手書データと、メタデータとを対応付けて記憶する（ステップＳ０５）。

以上が、データ活用システム１が実行する処理の概要である。

［データ活用システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態であるデータ活用システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるデータ活用システム１のシステム構成を示す図である。図２において、データ活用システム１は、手書入力デバイス１００、データ処理装置２００から構成されるコンピュータシステムである。

なお、データ活用システム１は、ユーザ又は端末の認証に必要な各種データを読み取る認証データ読取装置、ユーザの筆跡とユーザとを対応付けて記憶した筆跡データベース、各種データを記憶するブロックチェーン技術等を用いた分散型台帳を管理する各ノードとなるコンピュータ、その他の端末や装置類等が含まれていても良い。この場合、データ活用システム１は、手書入力デバイス１００、データ処理装置２００及び含まれる端末や装置類等の何れか又は複数の組み合わせにより、後述する各処理を実行することになる。

手書入力デバイス１００は、上述した通り、携帯端末と、この携帯端末とデータ通信可能に接続された下敷きデバイスとからなるデバイスであり、上述したデータ処理装置２００、その他の端末や装置類等と、公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信や各種処理を実行する。

手書入力デバイス１００は、制御部として、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉ―Ｆｉ（Ｗｉｒｅｌｅｓｓ―Ｆｉｄｅｌｉｔｙ）対応デバイス等を備える。また、手書入力デバイス１００は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、手書入力デバイス１００は、処理部として、各種処理を実行する各種デバイス等を備える。

手書入力デバイス１００において、制御部が所定のプログラムを実行することにより、通信部と協働して、手書入力データ取得モジュール１２０、手書データ送信モジュール１２１を実現する。また、手書入力デバイス１００において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、メタデータ取得モジュール１４０、手書データ取得モジュール１４１を実現する。

データ処理装置２００は、上述した通り、サーバ機能を有するコンピュータであり、上述した手書入力デバイス１００、その他の端末や装置類等と公衆回線網等を介してデータ通信可能に接続されており、必要なデータの送受信や各種処理を実行する。

なお、データ処理装置２００は、１台のコンピュータで実現されても良いし、クラウドコンピュータのような複数のコンピュータで実現されてもよい。

データ処理装置２００は、手書入力デバイス１００と同様に、制御部として、ＣＰＵ、ＧＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイスを備え、記憶部として、データのストレージ部を備え、処理部として、各種処理を実行する各種デバイス等を備える。

データ処理装置２００において、制御部が所定のプログラムを実行することにより、通信部と協働して、手書データ受信モジュール２２０、認証データ取得モジュール２２１、接続モジュール２２２、公開設定受付モジュール２２３を実現する。また、データ処理装置２００において、制御部が所定のプログラムを読み込むことにより、記憶部と協働して、識別情報記憶モジュール２３０、テキスト値記憶モジュール２３１、公開データ記憶モジュール２３２を実現する。また、データ処理装置２００において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、テキスト変換モジュール２４０、識別名推測モジュール２４１、帳簿データ認識モジュール２４２、帳簿作成モジュール２４３、第１ユーザ特定モジュール２４４、第２ユーザ特定モジュール２４５、埋込モジュール２４６を実現する。

［手書データ送受信処理］
図３に基づいて、データ活用システム１が実行する手書データ送受信処理について説明する。図３は、手書入力デバイス１００、データ処理装置２００が実行する手書データ送受信処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。

手書入力データ取得モジュール１２０は、下敷きデバイスに載置された紙等の書類にユーザが手書きで入力したデータを、手書入力データとして取得する（ステップＳ１０）。ステップＳ１０において、手書入力データ取得モジュール１２０は、ユーザが、この書類に対して手書きした文字、数字、記号、絵や、手書したものの書きぶりである筆跡等を、手書入力データとして取得する。

下敷きデバイスは、自身に載置された書類に対して、手書きで入力されたデータを、手書入力データとして、自身に接続された携帯端末に送信する。携帯端末は、この手書入力データを受信する。この結果、手書入力データ取得モジュール１２０は、手書入力データを取得することになる。

メタデータ取得モジュール１４０は、メタデータを取得する（ステップＳ１１）。ステップＳ１１において、メタデータは、上述した通り、ユーザ又は端末を特定するＩＤ、手書された時刻、手書された位置情報などデバイスから取得可能なメタデータのうちの少なくとも一つのメタデータである。また、メタデータは、これらの例に限らず、上述した通り、ペンＩＤ、手書イメージデータ、書類に対する手書座標情報、端末のＯＳや使用言語等の端末情報等であってもよい。ユーザ又は端末を特定するＩＤ、手書された時刻、手書された位置情報は、其々、上述した通りである。

手書データ取得モジュール１４１は、このように取得した、手書入力データと、メタデータとを対応付けることにより、手書データを取得する（ステップＳ１２）。

手書データ送信モジュール１２１は、取得した手書データを、データ処理装置２００に送信する（ステップＳ１３）。

手書データ受信モジュール２２０は、手書入力デバイス１００が送信した手書データを受信する（ステップＳ１４）。

以上が、手書データ送受信処理である。

データ活用システム１は、本処理にて、取得した手書データを用いて、以降の処理を実行する。

［第１のデータ活用処理］
図４に基づいて、データ活用システム１が実行する第１のデータ活用処理について説明する。図４は、データ処理装置２００が実行する第１のデータ活用処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。

テキスト変換モジュール２４０は、手書データのテキスト変換を行う（ステップＳ２０）。ステップＳ２０において、テキスト変換モジュール２４０は、手書データにおける手書入力データに対して、テキスト変換を行う。テキスト変換モジュール２４０は、手書入力データをテキスト変換し、テキスト値を生成する。

識別情報記憶モジュール２３０は、受信した手書データと、テキスト変換された手書データと、メタデータとを対応付けて識別情報として記憶する（ステップＳ２１）。ステップＳ２１において、識別情報記憶モジュール２３０は、受信した手書データと、テキスト変換の結果生成したテキスト値と、この手書データに対応付けられたメタデータとを、対応付けて、識別情報として記憶する。

識別名推測モジュール２４１は、変換したテキスト値に対して、対応する識別名を推測する（ステップＳ２２）。ステップＳ２２において、識別名は、上述したような、「氏名」、「都道府県名」、「地名」、「住所」、「電話番号」等のテキスト値を所定の区分に分類し、識別するためのものである。識別名推測モジュール２４１は、予め設定された識別名に基づいて、テキスト値に対応する識別名を推測する。

識別名推測モジュール２４１は、変換したテキスト値が、「山田太郎」といった、人の名前に相当するものである場合、このテキスト値に対応する識別名として、「氏名」を、推測する。また、識別名推測モジュール２４１は、変換したテキスト値が、「東京都」といった、都道府県名、地名又は住所に相当するものである場合、このテキスト値に対応する識別名として、「都道府県名」、「地名」又は「住所」を、推測する。また、識別名推測モジュール２４１は、変換したテキスト値が、所定の桁数の数値や所定の並び方の数値である場合、このテキスト値に対応する識別名として、「電話番号」を、推測する。同様に、識別名推測モジュール２４１は、その他の変換したテキスト値も同様に、対応する識別名を推測する。

テキスト値記憶モジュール２３１は、変換したテキスト値と、推測した識別名とを対応付けて記憶する（ステップＳ２３）。ステップ２３において、テキスト値記憶モジュール２３１は、上述したステップＳ２０の処理により変換して生成したテキスト値と、上述したステップＳ２２の処理により推測した識別名と、このユーザの識別子等のユーザを特定可能なデータとを対応付けて記憶する。

上述した処理について、図１０及び図１１に基づいて、説明する。図１０は、ユーザが書類に対して入力した手書入力データの一例を模式的に示す図である。また、図１１は、データ処理装置２００が記憶するデータの一例を模式的に示す図である。

図１０において、書類３００に手書入力された手書入力データ３１０が示されている。手書入力デバイス１００は、上述したステップＳ１０―Ｓ１２の処理により、この手書入力データ３１０及びこの手書入力データ３１０が入力された際のメタデータを対応付けて、手書データを取得する。手書入力デバイス１００は、上述したステップＳ１３の処理により、この手書データをデータ処理装置２００に送信する。データ処理装置２００は、上述したステップＳ１４の処理により、この手書データを受信する。

図１１において、データ処理装置２００が記憶したデータが示されている。データ処理装置２００は、上述したステップＳ２０−Ｓ２１の処理により記憶した識別情報により、ユーザ名、記入日時及び記入場所を記憶する。このとき、データ処理装置２００は、識別情報におけるメタデータに応じて、ユーザ名、記入日時及び記入場所の何れか又は複数の組み合わせを記憶することになる。データ処理装置２００は、上述したステップＳ２２−Ｓ２３の処理により推測した識別名により、この識別名と対応付けられたテキスト値とを記憶する。

これまでは、ユーザが、手書きされた書類を見て、タイピング等を行うことにより、データ入力し、手書入力データをデータ化する必要があったため、誰が、何時、どこで、どのような内容を手書入力データを入力したかを判断することが困難であった。具体的には、誰が手書入力データを入力したかは、対面確認や印鑑やサイン等で判別していた。また、何時手書入力データを入力したかは、ユーザが時刻を記載する等しない限り、データとして残されなかった。また、何処で手書入力データを入力したかは、ユーザが場所を記載する等しない限り、データとして残されなかった。また、どのような内容を手書入力データを入力したかは、ユーザが人力でデータ化していた。

一方、本発明のデータ活用システム１は、書類へ手書きするだけで、手書データを識別可能なデータに自動で変換し、関連するメタデータとともに、保管及び確認が可能となる。そのため、誰が、何時、どこで、どのような内容を手書入力データを入力したかを判断することがメタデータや識別名を用いることにより容易となる。具体的には、誰が手書入力データを入力したかは、ユーザ又は端末を特定するＩＤで判別することが容易となる。また、何時手書入力データを入力したかは、手書された時刻で判別することが容易となる。また、何処で手書入力データを入力したかは、手書された位置情報で判別することが容易となる。また、どのような内容を手書入力データを入力したかは、変換したテキスト値や推測した識別名により判別することが容易となる。

なお、データ活用システム１は、記憶した識別情報や、識別名を、ユーザからの要求に応じて、表示することや、編集することが可能な構成であっても良い。例えば、データ処理装置２００は、ユーザからの表示要求に応じて、このユーザの識別情報やこのユーザの手書データにおける識別名を表示することや、ユーザからの編集要求に応じて、このユーザの識別情報やこのユーザの手書データにおける識別名に対する編集を行える構成であっても良い。

以上が、第１のデータ活用処理である。

［第２のデータ活用処理］
図５に基づいて、データ活用システム１が実行する第２のデータ活用処理について説明する。図５は、データ処理装置２００が実行する第２のデータ活用処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。また、本処理において、書類は、所定の帳簿であるものとして説明する。この帳簿は、上述した通り、仕訳帳、総勘定元帳、現金出納帳、仕入帳、売上帳、支払手形記入帳、売掛金元帳等である。

帳簿データ認識モジュール２４２は、ユーザが手書入力した帳簿の帳簿データを認識する（ステップＳ３０）。ステップＳ３０において、帳簿データは、帳簿のフォーマットを指定するためのデータであり、上述した帳簿の種類に関するデータである。帳簿データ認識モジュール２４２は、手書データにおける手書入力データの座標情報又はこの帳簿に印字された帳簿識別コードに基づいて、帳簿データを認識する。

帳簿データ認識モジュール２４２が、手書入力データの座標情報に基づいて、帳簿データを認識する場合について説明する。帳簿データ認識モジュール２４２は、メタデータとして取得した手書座標情報又はデータの座標情報に基づいて、書類における手書入力データの位置を特定する。帳簿データ認識モジュール２４２は、この位置と、変換したテキスト値とに基づいて、帳簿データを認識する。

帳簿データ認識モジュール２４２が、帳簿識別コードに基づいて、帳簿データを認識する場合について説明する。帳簿データ認識モジュール２４２は、手書データにおける手書入力データとして、上述したような書類に印字されたユニークなＩＤを取得していた場合、この手書入力データを、テキスト値に変換した変換結果に基づいて、帳簿データを認識する。

帳簿作成モジュール２４３は、変換したテキスト値と、認識した帳簿データとに基づいて、このテキスト値を反映した所定の帳簿を作成する（ステップＳ３１）。ステップＳ３１において、帳簿作成モジュール２４３は、認識した帳簿データに基づいて、作成する帳簿のフォーマットを特定する。このとき、帳簿作成モジュール２４３は、予め帳簿データと、この帳簿データのフォーマットとを対応付けて記憶したデータベース等を参照することにより、今回認識した帳簿データに対応するフォーマットを特定する。帳簿作成モジュール２４３は、特定したフォーマットに、変換したテキスト値を埋め込むことにより、変換したテキスト値を反映した所定の帳簿を作成する。

これまでは、システムが、帳簿データを認識するためには、ユーザが、帳簿データを指定する必要や帳簿毎に手書入力デバイス１００を準備する必要があった。

一方、本発明のデータ活用システム１は、帳簿データを自動的に識別可能となり、データの管理が容易となる。また、データ活用システム１は、識別した帳簿データに基づいて、帳簿を自動的に作成することが可能となり、データの管理が容易となる。この結果、ユーザが、帳簿データを指摘する必要がなくなるだけでなく、帳簿毎に手書入力デバイス１００を準備する必要がなくなり、複数の手書入力デバイスを準備する必要がなくなる。

以上が、第２のデータ活用処理である。

［第３のデータ活用処理］
図６に基づいて、データ活用システム１が実行する第３のデータ活用処理について説明する。図６は、データ処理装置２００が実行する第３のデータ活用処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。

認証データ取得モジュール２２１は、ユーザの指紋、顔画像又は証明書の少なくとも一つを認証データとして取得する（ステップＳ４０）。ステップＳ４０において、認証データ取得モジュール２２１は、手書入力デバイス１００や認証データ読取装置から、認証データを取得する。以下の説明において、認証データ取得モジュール２２１は、認証データ読取装置から、認証データを取得する構成を例として説明する。

認証データ読取装置は、ユーザの指紋を読み取る。認証データ読取装置は、読み取ったユーザの指紋を、認証データとして、データ処理装置２００に送信する。認証データ取得モジュール２２１は、この認証データを受信することにより、ユーザの指紋を認証データとして取得することになる。

認証データ読取装置は、ユーザの顔を顔画像として撮影する又はユーザの顔画像を読み取る。認証データ読取装置は、撮影した顔画像又は読み取った顔画像を、認証データとして、データ処理装置２００に送信する。認証データ取得モジュール２２１は、この認証データを受信することにより、ユーザの顔画像を認証データとして取得することになる。

認証データ読取装置は、ユーザの証明書を撮影する又は読み取る。認証データ読取装置は、撮影した証明書又は読み取った証明書を、認証データとして、データ処理装置２００に送信する。認証データ取得モジュール２２１は、この認証データを受信することにより、ユーザの証明書を取得することになる。

第１ユーザ特定モジュール２４４は、今回取得した認証データに基づいて、ユーザを特定する（ステップＳ４１）。ステップＳ４１において、第１ユーザ特定モジュール２４４は、予めユーザと、このユーザの認証データとを対応付けて記憶した認証データベースを参照することにより、ユーザを特定する。第１ユーザ特定モジュール２４４は、この認証データベースを参照し、今回取得した認証データに対応付けられたユーザを特定する。この結果、第１ユーザ特定モジュール２４４は、上述した手書データ送受信処理により受信した手書データを入力したユーザを特定することになる。

以上が、第３のデータ活用処理である。

［第４のデータ活用処理］
図７に基づいて、データ活用システム１が実行する第４のデータ活用処理について説明する。図７は、データ処理装置２００が実行する第４のデータ活用処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。

接続モジュール２２２は、ユーザの筆跡を記憶した筆跡データベースとデータ通信可能に接続する（ステップＳ５０）。ステップＳ５０において、筆跡データベースは、ユーザと、このユーザの筆跡とを対応付けて記憶したものである。接続モジュール２２２は、この筆跡データベースそのもの又はこの筆跡データベースを記憶するコンピュータとデータ通信可能に接続する。

なお、この筆跡データベースは、データ処理装置２００が記憶する構成であってもよい。この場合、上述したステップＳ５０の処理は、省略可能であり、データ処理装置２００は、後述するステップＳ５１の処理から実行することになる。

第２ユーザ特定モジュール２４５は、手書データにおけるユーザの筆跡に基づいて、筆跡データベースを参照することで、このユーザを特定する（ステップＳ５１）。ステップＳ５１において、第２ユーザ特定モジュール２４５は、この筆跡データベースを参照し、上述した手書データ送受信処理により受信した手書データにおける、ユーザの筆跡に対応付けられたユーザを特定する。この結果、第２ユーザ特定モジュール２４５は、上述した手書データ送受信処理により受信した手書データを入力したユーザを特定することになる。

以上が、第４のデータ活用処理である。

なお、データ処理装置２００は、上述した第３のデータ活用処理及び第４のデータ活用処理以外の方法で、上述した手書データ送受信処理により受信した手書データを入力したユーザを特定する構成も可能である。具体的には、データ処理装置２００は、手書入力デバイス１００を使用するユーザから、予め、ユーザを特定するためのデータを取得することにより、上述した手書データ送受信処理により受信した手書データを入力したユーザを特定する。

これまでは、ユーザを特定するために、ユーザ毎に手書入力デバイス１００を用意する必要があった。また、ユーザ毎に異なるペンを使用させ、このペンのペンＩＤを用いたユーザの特定が行われていたが、ユーザ間でペンの貸し借りが行われた場合、正確なユーザの特定が困難であった。

一方、本発明のデータ活用システム１は、ユーザの生体認証や証明書によるユーザの特定、筆跡によるユーザの特定といったユーザの特定をより高度に保証することが容易となる。また、複数の手書入力デバイス１００を用意する必要がなくなるとともに、ペンの貸し借りを制限する必要がなくなるといった、デバイスに依存しないユーザの特定を行うことが容易となる。

［第５のデータ活用処理］
図８に基づいて、データ活用システム１が実行する第５のデータ活用処理について説明する。図８は、データ処理装置２００が実行する第５のデータ活用処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。

埋込モジュール２４６は、上述したステップＳ２０の処理により、変換したテキスト値を、手書データに埋め込む（ステップＳ６０）。ステップＳ６０において、埋込モジュール２４６は、上述したステップＳ２１の処理において記憶した識別情報における受信した手書データに対して、この変換したテキスト値を埋め込む。また、埋込モジュール２４６は、他の書類から取得した手書データに対して、上述したステップＳ２２の処理を実行した結果推測した識別名のうち、手書データが未入力のもの対して、上述したステップＳ２２の処理により、変換したテキスト値に対応する識別名の推測結果と一致するこのテキスト値を、取得した他の書類の手書データに埋め込む。また、埋込モジュール２４６は、他の書類から取得した手書データに対して、他の書類から取得した手書データに対して、上述したステップＳ３０の処理を実行した結果認識した帳簿データのうち、手書データが未入力のものに対して、上述したステップＳ３０の処理により、認識した帳簿データと一致するこのテキスト値を、取得した他の書類の手書データに埋め込む。

以上が、第５のデータ活用処理である。

［第６のデータ活用処理］
図９に基づいて、データ活用システム１が実行する第６のデータ活用処理について説明する。図９は、データ処理装置２００が実行する第６のデータ活用処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。なお、上述した処理と同様の処理については、その詳細な説明は省略する。

公開設定受付モジュール２２３は、識別名と対応付けて記憶されたテキスト値に対して、公開設定を受け付ける（ステップＳ７０）。ステップＳ７０において、公開設定受付モジュール２２３は、上述したステップＳ２３の処理において、記憶したテキスト値に対しての公開設定を受け付ける。この公開設定は、上述した通り、他のユーザや企業等が、他のサービスへの再利用、パーソナルデータストアとして利用、情報銀行として利用する等に対する可否である。

公開設定受付モジュール２２３は、手書入力デバイス１００やその他の端末や装置類等から、この公開設定の入力を受け付ける。これらのデバイスは、各識別名及びこの識別名に対応付けられたテキスト値に対して、他のユーザや企業等が利用可能とするか否かを、公開設定の入力として受け付ける。これらのデバイスは、受け付けた公開設定の可否を、データ処理装置２００に送信する。公開設定受付モジュール２２３は、この公開設定の可否を受信することにより、各識別名及びこの識別名に対応付けられたテキスト値に対する公開設定の入力を受け付けることになる。

公開データ記憶モジュール２３２は、この公開設定を受け付けた識別名及びテキスト値を、公開データとして、所定の要求に応じて、読出可能に記憶する（ステップＳ７１）。ステップＳ７１において、公開データ記憶モジュール２３２は、ブロックチェーン技術を用いた分散型台帳に、公開設定を受け付けた識別名及びテキスト値を、公開データとして書き込む。

この分散型台帳は、データ処理装置２００を含む複数のノードにより管理されており、各ノードにより、共有されるものである。

データ処理装置２００は、所定の要求として、この公開データの利用要求を受け付け、受け付けた利用要求における公開データを、読み出し、利用することになる。

これまでは、各サービスにおいて、手書データの再入力や再取得の必要があった。また、手書データを記憶する際、セキュリティを構築する必要があった。

一方、本発明のデータ活用システム１は、他サービスでの再入力が不要となるとともに、手書データをセキュアに構築、管理することが容易となる。

以上が、第６のデータ活用処理である。

上述した各データ活用処理の説明において、其々を別個の処理として記載しているが、データ活用システム１は、各データ活用処理を組み合わせて実行する構成も可能である。

上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、単数又は複数のコンピュータからネットワーク経由で提供される（クラウドサービス、ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、コンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置（記録媒体）に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。

以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。

１ データ活用システム、１００ 手書入力デバイス、２００ データ処理装置

Claims (7)

1. 手書入力デバイスとデータ処理装置とからなるデータ活用システムであって、
   前記手書入力デバイスは、
   ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書きされた位置情報等の当該手書入力デバイスから取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、所定の帳簿に当該ユーザが手書きで入力したデータを手書データとして取得する取得手段と、
   取得した前記手書データを前記データ処理装置に送信する送信手段と、
   を備え、
   前記データ処理装置は、
   前記手書入力デバイスが送信した前記手書データを受信する受信手段と、
   受信した前記手書データのテキスト変換を行う変換手段と、
   受信した前記手書データと、テキスト変換された前記手書データと、前記メタデータとを対応付けて記憶する識別情報記憶手段と、
   前記所定の帳簿に手書きで入力されたデータの座標情報に基づいて、当該帳簿における当該手書きで入力されたデータの位置を特定し、当該データの位置とテキスト変換したテキスト値とに基づいて、当該帳簿に対応するフォーマットを指定する帳簿データを認識する認識手段と、
   前記変換手段が変換したテキスト値に対して、対応する識別名を推測する推測手段と、
   前記テキスト値と、推測した前記識別名とを対応付けて記憶するテキスト値記憶手段と、
   他の帳簿から取得した手書データをテキスト変換したテキスト値から推測した識別名のうち、当該他の帳簿から取得した手書データが未入力のものに、記憶した前記テキスト値を、当該他の帳簿から取得した手書データに埋め込む埋込手段と、
   を備えることを特徴とするデータ活用システム。
2. 前記データ処理装置は、
   前記ユーザの指紋、顔画像又は証明書の少なくとも一つの認証データに基づいて、前記ユーザを特定する第１特定手段と、
   をさらに備えることを特徴とする請求項１に記載のデータ活用システム。
3. 前記データ処理装置は、
   前記ユーザの筆跡を記憶した筆跡データベースとデータ通信可能に接続する接続手段と、
   前記手書データを入力したユーザの筆跡に基づいて、前記筆跡データベースを参照することで、当該ユーザを特定する第２特定手段と、
   をさらに備えることを特徴とする請求項１に記載のデータ活用システム。
4. 前記データ処理装置は、
   前記ユーザから、前記識別名と対応付けて記憶されたテキスト値に対して、公開設定を受け付ける受付手段と、
   公開設定を受け付けた前記テキスト値を、所定の要求に応じて、読出可能に記憶する公開データ記憶手段と、
   をさらに備えることを特徴とする請求項１に記載のデータ活用システム。
5. 前記データ処理装置は、
   変換した前記テキスト値と、認識した前記帳簿データとに基づいて、当該テキスト値を反映した前記所定の帳簿を作成する作成手段と、
   をさらに備えることを特徴とする請求項１に記載のデータ活用システム。
6. 手書入力デバイスとデータ処理装置とからなるデータ活用システムが実行するデータ活用方法であって、
   前記手書入力デバイスは、
   ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書きされた位置情報等の当該手書入力デバイスから取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、所定の帳簿に当該ユーザが手書きで入力したデータを手書データとして取得するステップと、
   取得した前記手書データを前記データ処理装置に送信するステップと、
   を備え、
   前記データ処理装置は、
   前記手書入力デバイスが送信した前記手書データを受信するステップと、
   受信した前記手書データのテキスト変換を行うステップと、
   受信した前記手書データと、テキスト変換された前記手書データと、前記メタデータとを対応付けて記憶するステップと、
   前記所定の帳簿に手書きで入力されたデータの座標情報に基づいて、当該帳簿における当該手書きで入力されたデータの位置を特定し、当該データの位置とテキスト変換したテキスト値とに基づいて、当該帳簿に対応するフォーマットを指定する帳簿データを認識するステップと、
   前記変換したテキスト値に対して、対応する識別名を推測するステップと、
   前記テキスト値と、推測した前記識別名とを対応付けて記憶するステップと、
   他の帳簿から取得した手書データをテキスト変換したテキスト値から推測した識別名のうち、当該他の帳簿から取得した手書データが未入力のものに、記憶した前記テキスト値を、当該他の帳簿から取得した手書データに埋め込むステップと、
   を備えることを特徴とするデータ活用方法。
7. 手書入力デバイスとデータ処理装置とからなるデータ活用システムに実行させるためのコンピュータ読み取り可能なプログラムであって、
   前記手書入力デバイスに、
   ユーザ又は端末を特定するＩＤ、手書きされた時刻、手書きされた位置情報等の当該手書入力デバイスから取得可能なメタデータのうち、少なくとも一つのメタデータと対応付けて、所定の帳簿に当該ユーザが手書きで入力したデータを手書データとして取得するステップ、
   取得した前記手書データを前記データ処理装置に送信するステップ、
   を実行させ、
   前記データ処理装置に、
   前記手書入力デバイスが送信した前記手書データを受信するステップ、
   受信した前記手書データのテキスト変換を行うステップ、
   受信した前記手書データと、テキスト変換された前記手書データと、前記メタデータとを対応付けて記憶するステップ、
   前記所定の帳簿に手書きで入力されたデータの座標情報に基づいて、当該帳簿における当該手書きで入力されたデータの位置を特定し、当該データの位置とテキスト変換したテキスト値とに基づいて、当該帳簿に対応するフォーマットを指定する帳簿データを認識するステップ、
   前記変換したテキスト値に対して、対応する識別名を推測するステップ、
   前記テキスト値と、推測した前記識別名とを対応付けて記憶するステップ、
   他の帳簿から取得した手書データをテキスト変換したテキスト値から推測した識別名のうち、当該他の帳簿から取得した手書データが未入力のものに、記憶した前記テキスト値を、当該他の帳簿から取得した手書データに埋め込むステップ、
   を実行させるためのコンピュータ読み取り可能なプログラム。

Images