JP2011028611A - 文字情報読取装置および文字情報読取方法 - Google Patents

Abstract

【課題】表示画面に表示される文字情報を正確かつ迅速に読み取ることができる文字情報読取装置および文字情報読取方法を提供する。
【解決手段】レシピ管理サーバ３は、画像転送ユニット２を介して、表示画面１３に文字情報を表示するためのビデオ信号を取得する。画像作成手段３２は、取得された前記ビデオ信号を画像に変換する。認識手段３３は、画像作成手段３２により得られた前記画像に対する画像処理によって前記文字情報を認識する。
【選択図】図１

Description

本発明は、表示画面に表示される文字情報を読み取る文字情報読取装置および文字情報読取方法に関する。

印刷物や手書きの文字を光学的に読み取る装置（ＯＣＲ：Optical Character Reader）が知られている。ＯＣＲは光学的に取り込んだ印刷物等のイメージから文字列の領域を抽出し、その領域にある文字列を認識する機能を有する。

特開２００３−２２３６１０号公報

特開平１０−２０８０４０号公報

通常、コンピュータ画面に文字列を含む情報が表示される状態にある場合には、当然のことながら、元の情報自体にアクセスすることにより画面表示される文字列の内容を認識することが可能である。しかし、オンライン化されていない装置で取り扱っている情報など、元情報にアクセス困難な場合もある。例えば、半導体デバイスの既存生産ラインなど、オンライン化されていない製造設備が生産工程内に含まれている場合などには、当該設備の画面上に表示されるレシピパラメータ（製造条件を規定するパラメータ）の元データにアクセスできない場合もある。このため、レシピパラメータのチェックが画面上での目視に頼らざるを得なくなり、レシピパラメータの内容（パラメータ値）の誤りを見過ごすおそれがある。

一方、元情報にアクセスできない場合であっても、コンピュータ画面に表示される文字列をＯＣＲにより認識させることが可能である。この場合には、カメラにより画面を撮影し、あるいは画面の印刷物を光学的に読み取ることが考えられる。

しかし、カメラにより画面を撮影する場合には、画像が不鮮明になるだけでなく、画像の大きさや歪み、傾きなどを補正する必要がある。また、印刷物を読み取る場合にも、読み取った画像のずれや傾きを修正する処理等が必要となる。したがって、ＯＣＲを用いる方法では単時間で正確な読み取りを行うことが困難である。

本発明の目的は、表示画面に表示される文字情報を正確かつ迅速に読み取ることができる文字情報読取装置および文字情報読取方法を提供することにある。

本発明の文字情報読取装置は、表示画面に表示される文字情報を読み取る文字情報読取装置において、前記表示画面に前記文字情報を表示するためのビデオ信号を取得するビデオ信号取得手段と、前記ビデオ信号取得手段により取得された前記ビデオ信号を画像に変換する画像作成手段と、前記画像作成手段により得られた前記画像に対する画像処理によって前記文字情報を認識する認識手段と、を備えることを特徴とする。
この文字情報読取装置によれば、ビデオ信号を画像に変換し、変換後の画像に対する画像処理によって文字情報を認識するので、表示画面に表示される文字情報を正確かつ迅速に読み取ることができる。

前記認識手段は、前記画像に対する画像処理に基づき前記画像の座標原点を設定する処理と、設定された前記座標原点を基準とする特定の相対座標の領域に対する文字認識処理と、を実行してもよい。

前記座標原点を設定する処理では、あらかじめ登録された特徴的な形状を発見し、当該形状の位置に基づいて前記座標原点を設定してもよい。

前記文字情報は製造工程における製造条件を規定するパラメータであってもよい。

本発明の文字情報読取方法は、表示画面に表示される文字情報を読み取る文字情報読取方法において、前記表示画面に前記文字情報を表示するためのビデオ信号を取得するステップと、前記ビデオ信号を取得するステップにより取得された前記ビデオ信号を画像に変換するステップと、前記変換するステップにより得られた前記画像に対する画像処理によって前記文字情報を認識するステップと、を備えることを特徴とする。
この文字情報読取方法によれば、ビデオ信号を画像に変換し、変換後の画像に対する画像処理によって文字情報を認識するので、表示画面に表示される文字情報を正確かつ迅速に読み取ることができる。

本発明の文字情報読取装置によれば、ビデオ信号を画像に変換し、変換後の画像に対する画像処理によって文字情報を認識するので、表示画面に表示される文字情報を正確かつ迅速に読み取ることができる。

本発明の文字情報読取方法によれば、ビデオ信号を画像に変換し、変換後の画像に対する画像処理によって文字情報を認識するので、表示画面に表示される文字情報を正確かつ迅速に読み取ることができる。

オペレーションコンソールに表示される文字情報を読み取るためのシステム構成を示すブロック図。 表示画面を例示する図。 画像作成手段により作成される画像を例示する図。 原点および文字列の読み込み処理を行う箇所を指定する方法を例示する図。 別の箇所の読み込みを指定する例を示す図。 複数の文字列を認識させる例を示す図。 原点の位置が画面上で移動可能な例を示す図。

以下、本発明による文字情報読取方法の実施形態について説明する。

図１は、オペレーションコンソールに表示される文字情報を読み取るためのシステム構成を示すブロック図である。

図１に示すように、オペレーションコンソール１は、レシピパラメータを格納するパラメータ格納部１１と、パラメータ格納部１１に格納されたレシピパラメータの表示画面を作成する演算部１２と、演算部１２で作成された上記表示画面を表示する表示装置１３と、を備える。

演算部１２で作成された表示画面はビデオ信号として表示装置１３に与えられる。また、図１に示すように、演算部１２から表示装置１３に送られるビデオ信号は、画像転送ユニット２を介してレシピ管理サーバ３にネットワーク転送可能とされている。

図１に示すように、レシピ管理サーバ３は、画像転送ユニット２から転送されてきた上記ビデオ信号を格納する画像格納部３１と、画像格納部３１に格納されたビデオ信号に基づいて画像を生成する画像生成手段３２と、画像生成手段３２により生成された画像に含まれる文字列を認識する認識手段３３と、を備える。画像生成手段３２により生成された画像は、適宜、表示画面４に表示される。

次に、レシピ管理サーバ３の動作について説明する。

表示装置１３の表示画面にレシピパラメータを表示させた状態で、ユーザが画像転送ユニット２に対して画像転送の指示を与えると、表示装置１３の表示画面に表示されている画像に対応するビデオ信号が演算部１２から転送され、画像処理装置３の画像格納部３１に静止画像として格納される。

図２は、表示装置１３の表示画面を例示する図である。図２の例では、一覧表形式でパラメータ格納部１１に格納されたレシピパラメータが表示されており、レシピパラメータの項目名と、その項目名に対応するパラメータ値とが対応付けられて配置された画像５１が示されている。

図３は、画像作成手段３２により作成される画像を例示する図である。図３に示す画像５２は、画像作成手段３２により作成された画像を示している。この例では、認識手段３３での認識処理の負担を軽減するため、画像５１の明暗を反転させることで画像５２を作成している。

図４は、画像５２における原点および文字列の読み込み処理を行う箇所を指定する方法を例示する図である。

図４の例では、原点６１を「通信先ＴＣＰポート」という文字列の中心に位置付けている。この場合、ユーザは原点６１を定めるための領域として、「通信先ＴＣＰポート」という文字列が表示される領域を指定し、予め登録しておく。また、ユーザは認識したい文字列が配置された領域６２を予め指定し、登録しておく。領域６２の位置は原点６１からの相対位置（座標）として認識、登録される。原点６１および領域６２の指定は、例えば、表示画面４に画像５２を表示させ、画面上へのユーザの操作を介して受け付けることができる。

認識手段３３は、画像処理によって画像５２の全域を検索し、登録された領域のパターンと同一パターンの領域を抽出し、その領域の中心を原点６１とする。

次に、認識手段３３は、登録されている原点６１からの上記相対位置（座標）に基づいて領域６２を確定し、領域６２にある文字列の認識処理を実行する。この認識処理では、ＯＣＲにおいて用いられる各種の技術を用いて文字列を認識することができる。この場合には、「７００１」という文字列が認識される。

また、認識手段３３により認識された文字列は、予め文字情報として登録されたレシピパラメータと照合され、不一致であったパラメータが通知される。これにより、パラメータ格納部１１に格納されているレシピパラメータの誤りを見過ごすおそれがなくなる。

図５は、別の箇所の読み込みを指定する例を示している。

図５の例では、領域６３に表示される「対応する」という文字列を認識する。原点６１からの相対位置（座標）に基づいて領域６３が特定される点は、図４の例と同じである。この場合、領域６３に表示される文字列は、「対応する」と「対応しない」の２つの文字列のいずれか一方である。この場合には、認識手段３３における処理では、通常のＯＣＲにおける処理のような手順で具体的な文字列を特定する必要はなく、二者のうちいずれか１つであると判定できればよい。したがって、認識手段３３における処理負担を軽減できる。

図６は、複数の文字列を認識させる例を示している。

図６の例では、複数の文字列を１つの領域６４として指定している。原点６１からの相対位置（座標）に基づいて領域６４が特定される点は、図４の例と同じである。この場合、認識手段３３は、領域６４における文字列の配置状況を認識し、次に、それぞれの箇所に配置された文字列を認識する。

図７は、原点の位置が画面上で移動可能な例を示している。

この例では、図７（ａ）および図７（ｂ）に示すように、ダイアログボックス７が画面上で移動可能とされているため、ダイアログボックス７中にある原点７１の位置は、ダイアログボックス７の位置に応じて移動する。

図７の例では、原点６５を「T3 Timeout」という文字列の中心に位置付けている。この場合、ユーザは原点６５を定めるための領域として、「T3 Timeout」という文字列が表示される領域を指定し、予め登録しておく。また、ユーザは認識したい文字列が配置された領域６６およびチェックボックスの領域６７を予め指定し、登録しておく。領域６６および領域６７の位置は原点６５からの相対位置（座標）として登録される。

認識手段３３は、画像処理によって画像の全域を検索し、登録された領域のパターンと同一パターンの領域を抽出し、その領域の中心を原点６５とする。このため、ダイアログボックス７がどの位置にあっても、原点６５の位置を特定することができる。

次に、認識手段３３は、登録されている原点６５からの上記相対位置（座標）に基づいて領域６６を確定し、領域６６にある文字列の認識処理を実行する。この認識処理では、ＯＣＲにおいて用いられる各種の技術を用いて文字列を認識することができる。図７の例では、「４５」という文字列が認識される。

また、認識手段３３は、登録されている原点６５からの上記相対位置（座標）に基づいて領域６７を確定し、画像処理によって領域６６にあるチェックボックスに対するチェックの有無を判定する。

以上のように、本発明の文字情報読取方法によれば、ビデオ信号に基づいて作成された画像に対して文字情報の認識処理を実行するため、光学的に画像を読み込む場合と異なり、画像の変形や回転、ずれ、あるいは歪みなどが発生しない。このため、文字情報を認識するに際して、画像の縮小、拡大、回転、歪みの除去、あるいは文字列の位置ずれの補正などの煩雑な前処理を実行する必要がない。このため、表示画面に表示される文字情報を正確かつ迅速に読み取ることができる。

本発明の適用範囲は上記実施形態に限定されることはない。本発明は、表示画面に表示される文字情報を読み取る文字情報読取装置および文字情報読取方法に対し、広く適用することができる。

２ 画像転送ユニット（ビデオ信号取得手段）
３２ 画像作成手段
３３ 認識手段

Claims (5)

1. 表示画面に表示される文字情報を読み取る文字情報読取装置において、
   前記表示画面に前記文字情報を表示するためのビデオ信号を取得するビデオ信号取得手段と、
   前記ビデオ信号取得手段により取得された前記ビデオ信号を画像に変換する画像作成手段と、
   前記画像作成手段により得られた前記画像に対する画像処理によって前記文字情報を認識する認識手段と、
   を備えることを特徴とする文字情報読取装置。
2. 前記認識手段は、前記画像に対する画像処理に基づき前記画像の座標原点を設定する処理と、設定された前記座標原点を基準とする特定の相対座標の領域に対する文字認識処理と、を実行することを特徴とする請求項１に記載の文字情報読取装置。
3. 前記座標原点を設定する処理では、あらかじめ登録された特徴的な形状を発見し、当該形状の位置に基づいて前記座標原点を設定することを特徴とする請求項２に記載の文字情報読取装置。
4. 前記文字情報は製造工程における製造条件を規定するパラメータであることを特徴とする請求項１〜３のいずれか１項に記載の文字情報読取装置。
5. 表示画面に表示される文字情報を読み取る文字情報読取方法において、
   前記表示画面に前記文字情報を表示するためのビデオ信号を取得するステップと、
   前記ビデオ信号を取得するステップにより取得された前記ビデオ信号を画像に変換するステップと、
   前記変換するステップにより得られた前記画像に対する画像処理によって前記文字情報を認識するステップと、
   を備えることを特徴とする文字情報読取方法。