[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP2017046248A - 画像形成装置 - Google Patents

画像形成装置 Download PDF

Info

Publication number
JP2017046248A
JP2017046248A JP2015168366A JP2015168366A JP2017046248A JP 2017046248 A JP2017046248 A JP 2017046248A JP 2015168366 A JP2015168366 A JP 2015168366A JP 2015168366 A JP2015168366 A JP 2015168366A JP 2017046248 A JP2017046248 A JP 2017046248A
Authority
JP
Japan
Prior art keywords
determination unit
character string
pixel
color
document
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015168366A
Other languages
English (en)
Other versions
JP6452577B2 (ja
Inventor
涼 設楽
Ryo Shidara
涼 設楽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Data Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Data Corp filed Critical Oki Data Corp
Priority to JP2015168366A priority Critical patent/JP6452577B2/ja
Priority to US15/236,516 priority patent/US9826118B2/en
Publication of JP2017046248A publication Critical patent/JP2017046248A/ja
Application granted granted Critical
Publication of JP6452577B2 publication Critical patent/JP6452577B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40Document-oriented image-based pattern recognition
    • G06V30/41Analysis of document content
    • G06V30/414Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00684Object of the detection
    • H04N1/00721Orientation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00681Detecting the presence, position or size of a sheet or correcting its position before scanning
    • H04N1/00684Object of the detection
    • H04N1/00724Type of sheet, e.g. colour of paper or transparency
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/38Circuits or arrangements for blanking or otherwise eliminating unwanted parts of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3877Image rotation
    • H04N1/3878Skew detection or correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Input (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)

Abstract

【課題】簡易な構成で原稿の向きを判定する手段を提供する。
【解決手段】原稿を読取って前記原稿の画像データを生成する画像読取部と、前記画像データの画素の色を判定する色判定部と、前記色判定部で判定された画素の色に基づいて前記画像データの空白列を検出する空白列判定部と、前記空白列に基づいて前記原稿に記載された文字列の行間の延伸方向を検出する平行方向判定部と、前記文字列の開始位置および終了位置を検出する文字列領域判定部と、前記開始位置および終了位置に基づいて原稿の向きを検出する垂直方向判定部と、を有する。
【選択図】 図1

Description

本発明は、読取った原稿の画像データに基づいて原稿の向きを判定する画像形成装置に関する。
従来の画像形成装置は、読取った原稿の画像データに基づいて原稿の向きを判定するため、光学文字認識技術を用いて読取った原稿の画像データに対して文字認識処理(パターンマッチング)を行い、文字の方向毎の割合に基づいて原稿の向きを判定するようにしている(例えば、特許文献1参照)。
特開2011−10033号公報
しかしながら、従来の技術においては、光学文字認識技術を用いた文字認識処理では、マッチングするために重ね合わせる文字パターン情報を格納するパターン辞書が必要であり、そのパターン辞書を有していない場合など簡易な構成では原稿の向きを判定することができないという問題がある。
本発明は、このような問題を解決することを課題とし、簡易な構成で原稿の向きを判定できるようにすることを目的とする。
そのため、本発明は、原稿を読取って前記原稿の画像データを生成する画像読取部と、前記画像データの画素の色を判定する色判定部と、前記色判定部で判定された画素の色に基づいて前記画像データの空白列を検出する空白列判定部と、前記空白列に基づいて前記原稿に記載された文字列の行間の延伸方向を検出する平行方向判定部と、前記文字列の開始位置および終了位置を検出する文字列領域判定部と、前記開始位置および終了位置に基づいて原稿の向きを検出する垂直方向判定部と、を有することを特徴とする。
このようにした本発明は、簡易な構成で原稿の向きを判定することができるという効果が得られる。
第1の実施例における画像形成装置の制御構成を示すブロック図 第1の実施例における画像形成装置の構成を示す説明図 第1の実施例における原稿向き判定処理の流れを示すフローチャート 第1の実施例における空白ライン検出処理の流れを示すフローチャート 第1の実施例における文字列領域検出処理の流れを示すフローチャート 第1の実施例における空白ライン検出結果の説明図 第1の実施例における空白ラインのばらつき度の説明図 第1の実施例における開始座標と終了座標のばらつき度の説明図 第1の実施例における原稿の説明図 第1の実施例における原稿向き判定処理の説明図 第2の実施例における原稿向き判定処理の流れを示すフローチャート 第2の実施例における空白ライン検出結果の説明図
以下、図面を参照して本発明による画像形成装置の実施例を説明する。
図2は第1の実施例における画像形成装置の構成を示す説明図である。
図2において、画像形成装置10は、プリンタ部100と、操作部101と、スキャナ部102とを有する。この画像形成装置10は、スキャナ部102で読み取った原稿の画像をプリンタ部100で用紙に印刷するコピージョブや外部の装置から通信回線を介して受信した印刷データに従って用紙に印刷する印刷ジョブ等を行う。
プリンタ部100は、画像形成ユニット111(111K、111Y、111M、111C)と、定着部113と、給紙トレイ115、116とを有している。
画像形成ユニット111(111K、111Y、111M、111C)は、各色(K:ブラック、Y:イエロー、M:マゼンタ、C:シアン)の現像剤としてのトナーにより像担持体としての感光体ドラムにトナー画像を形成するものである。感光体ドラムに形成されたトナー画像は転写ローラ112(112K、112Y、112M、112C)により、給紙トレイ115、116から搬送された用紙に転写される。
なお、本実施例では、画像形成ユニット111はCMYKの各色のトナー画像を形成するものとして説明するが、CMYK以外の画像形成ユニット111を追加しても良く、また一部を透明トナー等の特色の画像形成ユニット111に置き換えても良い。
定着部113は、ヒータ114の熱により用紙に転写されたトナーを用紙に定着させるものである。トナーが定着された用紙は搬送部により搬送され、装置外に排出される。
給紙トレイ115、116は、印刷するための用紙を収容するためのトレイであり、それぞれの給紙トレイにサイズが異なる用紙を入れたり、用紙の向きが異なるように入れたりすることが可能になっている。
このようにプリンタ部100は、画像形成ユニット111、定着部113、および給紙トレイ115、116等を備え、用紙に画像を形成して印刷を行う。
操作部101は、各種情報を表示する表示手段およびユーザの操作を受付ける入力手段からなるオペレーションパネル1010を有するものである。オペレーションパネル1010は、ハードキーやタッチパネル等を備えたものである。
スキャナ部102は、原稿の画像を読取り、画像データを生成する画像読取部1020と、原稿載置台1028と、ADF(Auto Document Feeder)1029とを有している。
画像読取部1020は、原稿に光を照射し、原稿の画像の反射光を発生させるための光源1020aと、反射光を読取り、画像データを生成するCCD(Charge Coupled Device)部1020bとから構成されている。画像読取部1020は、主走査方向の1ライン毎の画像データを副走査方向に複数ライン生成して原稿の画像データを生成する。
原稿載置台1028は、原稿を載置するものである。原稿台1028に載置された原稿は、副走査方向に移動する画像読取部1020により画像が読み取られる。
ADF1029は、原稿自動給紙装置であり、載置された原稿を1枚ずつ給紙し、画像読取部1020へ送るものである。給紙された原稿は画像読取部1020により画像が読み取られる。
図1は第1の実施例における画像形成装置の制御構成を示すブロック図である。
図1において、画像形成装置10は、プリンタ部100と、操作部101と、スキャナ部102とを有している。
印刷部としてのプリンタ部100は、画像を媒体に形成するものであり、印刷制御部1000を有するものである。
印刷制御部1000は、上述した図2に示す画像形成ユニット111、定着部113、および給紙トレイ115、116等を制御し、用紙に画像を形成して印刷を行うものである。
操作部101は、情報を表示する表示手段および入力操作を受付ける入力手段を有するものである。操作部101は、上述したオペレーションパネル1010と、プレビュー画像生成部1011とを有している。操作部101は、ユーザが操作するためのものであり、画像形成装置10に対する指示の入力操作を受付ける入力部および入力操作を誘導する表示、ジョブの実行状態の表示、スキャン画像のプレビュー表示等を行う表示部としてのオペレーションパネル1010を有している。
プレビュー画像生成部1011は、画像読取部1020が読み取った原稿の画像を縮小してプレビュー画像を生成し、生成したプレビュー画像をオペレーションパネル1010にプレビュー表示するものである。
読取部としてのスキャナ部102は、原稿の画像を読取るものであり、図2に示す画像読取部1020と、色判定部1021と、空白ライン判定部1022と、文字列領域判定部1023と、水平方向判定部1024と、垂直方向判定部1025と、画像回転部1026とを有している。
画像読取部1020は、原稿を読取り、その原稿の画像データを生成するものである。
色判定部1021は、画像読取部1020で読み取った原稿の画像データの画素の色(RGB色)を判定するものである。
空白列判定部としての空白ライン判定部1022は、色判定部1021が判定した画素の色に基づいて画像データのX方向(例えば、副走査方向)およびY方向(例えば、主走査方向)の画素のライン(列)が空白のライン(空白列)か否かを判定し、空白のラインを検出するものである。空白ライン判定部1022は、色判定部1021が白色と判定した画素のみが並ぶラインを空白のラインと判定し、また白色以外の画素であっても異なる複数の色の画素が連続して検出される領域を白色とみなして空白のラインと判定することにより、読取った画像データのX方向およびY方向の画素のラインが空白のラインか否かを判定する。なお、本実施例では、X方向を横方向、Y方向を縦方向という。
平行方向判定部としての水平方向判定部1024は、空白ライン判定部1022が検出した空白のライン(空白列)に基づいて原稿に記載された文字列と平行となる行間の延伸方向を検出するものである。水平方向判定部1024は、空白ライン判定部1022が空白ラインとして判定したラインが横方向または縦方向のいずれで連続しているかを調べ、連続している方向を文字列の行間が延伸する方向として判定する。なお、本実施例では、文字列の行間が延伸する方向を水平方向という。
文字列領域判定部1023は、文字列の開始位置および終了位置を検出するものである。この文字列領域判定部1023は、水平方向判定部1024が判定した文字列の行間が延伸する方向において、色判定部1021により単色の画素および白色の画素のみが検出されるラインを文字列のラインと判定し、その文字列のラインにおける文字領域の開始座標を開始位置とし、終了座標を終了位置として検出する。なお、本実施例では、座標を画像データの端部(例えば、左端部)から画素の位置とする。
垂直方向判定部1025は、文字列領域判定部1023が検出した文字列の開始位置および終了位置に基づいて原稿の向きを検出するものである。この垂直方向判定部1025は、文字列領域判定部1023が検出した開始座標および終了座標のばらつき度を算出し、ばらつき度が小さく、一定した位置になっている方を文字列の始端として判定する。なお、本実施例では、文字列の行間が延伸する方向と直交する方向を垂直方向という。
画像回転部1026は、水平方向判定部1024が検出した文字列の行間の延伸方向および垂直方向判定部1025が検出した原稿の向きに基づいて画像読取部1020が生成した原稿の画像データを回転させるものである。この画像回転部1026は、水平方向判定部1024および垂直方向判定部1025が判定した方向および角度に従って画像データを回転させる。
このように構成された画像形成装置は、スキャナ部102で読取った原稿の画像データに基づいて原稿の向きを判定する原稿向き判定処理を行う。
上述した構成の作用について説明する。
画像形成装置が行う原稿向き判定処理を図3の第1の実施例における原稿向き判定処理の流れを示すフローチャートの図中Sで表されるステップに従って図1および図2を参照しながら説明する。
まず、利用者は、画像形成装置10のスキャナ部102の原稿載置台1028またはADF1029に文字が記載された原稿を載置し、操作部101で原稿の読取りを開始する操作を行うものとし、画像形成装置10が原稿の読取り動作を開始する。
なお、本実施例において、読取る原稿は文字列が横方向に延伸するように配置されている横書き原稿であるものとして説明する。これは、一般的に原稿は横書きのものが多いためである。
S101:スキャナ部102の画像読取部1020は、原稿を読取り、原稿の画像データを生成する。
S102:色判定部1021は、画像読取部1020で読み取った原稿の画像データの画素の色を判定する。空白ライン判定部1022は、色判定部1021が判定した色に基づいて空白のラインか否かを判定し、画像データの縦方向および横方向のそれぞれで空白ラインを検出する空白ライン検出処理を行う。
例えば、色判定部1021は、図6に示すように、空白ラインの検出を行う。図6(a)は横ラインの1、2、5ライン目が空白であり、3、4ライン目が空白でないと判定した結果を表している。
なお、空白ライン検出処理の詳細は後述する。
S103:水平方向判定部1024は、空白ラインが連続して現れるライン数(空白ラインのまとまりのライン数)のばらつきを縦方向および横方向のそれぞれで求め、横方向のばらつきと縦方向のばらつきとを比較し、横方向のばらつきが縦方向のばらつきより小さいと判定すると画像データの回転は必要ないため処理をS104へ移行し、縦方向のばらつきが横方向のばらつき以下と判定すると画像データを回転させるため処理をS105へ移行する。
例えば、水平方向判定部1024は、図7に示すように、横ラインに空白ラインのまとまりが5つあり、その空白ライン数が、2、3、4、3、および6である場合、母分散は1.356466となり、一方縦ラインに空白ラインのまとまりが2つあり、その空白ライン数が、1、および10である場合、母分散は4.5となる。この場合、水平方向判定部1024は、横ラインの母分散が縦ラインの母分散より小さい、すなわち横方向のばらつきが縦方向のばらつきより小さいと判定し、文字列の行間の延伸方向(文字列方向)が横方向であることを検出する。
このように、水平方向判定部1024は、空白ラインが連続するライン数(空白ラインのまとまりのライン数)のばらつき度に基づいて文字列の行間の延伸方向を検出する。
S104:横方向のばらつきが小さいと判定した水平方向判定部1024は、文字列方向が水平方向であるため、画像データの回転はなしとし、処理をS106へ移行する。
S105:縦方向のばらつきが小さいと判定した水平方向判定部1024は、文字列方向が垂直方向であるため、画像データは90度の回転(例えば、時計回りの方向に90度)が必要とし、処理をS106へ移行する。なお、本実施例では、後述する文字列領域検出処理を行うため、画像回転部1026により一時的に画像データを90度の回転させるものとする。
本実施例では、S103におけるばらつきの判定で、ばらつき度を求めるために、母分散を使用している。なお、ばらつきを判定することができる手段であれば母分散でなくても良い。また、図9に示すように、空白ラインのまとまりの最初と最後は単純な余白領域であることが多いため、余白領域を除外するため、空白ラインのまとまりの平均値よりも極端に大きい(例えば、平均値から所定数大きい)領域は、ばらつきを調べる対象から外すものとする。さらに、ばらつきを判定する母数が横方向または縦方向のいずれか一方において極端に少ない場合は、誤検出としてばらつきが大きいものとして扱うものとする。
S106:文字列領域判定部1023は、S102において空白ライン判定部1022が求めた文字列の延伸方向における文字列の開始座標と終了座標を検出する文字列領域検出処理を行う。
S107:垂直方向判定部1025は、文字列領域判定部1023が検出した開始座標と終了座標のばらつきをそれぞれ求め、開始座標のばらつきが終了座標のばらつきより小さいと判定すると処理をS108へ移行し、開始座標のばらつきが終了座標のばらつき以上であると判定すると処理をS109へ移行する。
例えば、垂直方向判定部1025は、図8に示すように、文字列領域判定部1023が検出した開始座標と終了座標の母分散をそれぞれ求め、開始座標の母分散が2.584293、終了座標の母分散が164.7854である場合、開始座標のばらつきが終了座標のばらつきより小さいと判定する。
なお、本実施例では、S103におけるばらつきの判定と同様に、ばらつき度を求めるために、母分散を使用しているが、ばらつきを判定することができる手段であれば母分散でなくても良い。
S108:開始座標のばらつきが終了座標のばらつきより小さいと判定した垂直方向判定部1025は、開始座標が実際の文字列の開始側(例えば、左側)であるため、画像データの回転はなしとし、処理をS110へ移行する。
S109:開始座標のばらつきが終了座標のばらつき以上であると判定した垂直方向判定部1025は、終了座標が実際の文字列の開始側(例えば、左側)であるため、画像データは180度の回転が必要とし、処理をS110へ移行する。
このように、垂直方向判定部1025は、文字列領域判定部1023が検出した開始位置および終了位置のばらつき度に基づいて原稿の向きを検出する。
S110:画像回転部1026は、S104、S105、S108、S109において水平方向判定部1024および垂直方向判定部1025が判定した角度の合計角度に従って画像読取部1020が読み取った画像データを回転(例えば、時計回りの方向に回転)させる。
S111:操作部101のプレビュー画像生成部1011は、画像回転部1026により回転された画像データをプレビュー画面としてオペレーションパネル1010に表示し、画像の向きが正しいことを利用者に確認して本処理を終了する。
次に、空白ライン判定部が行う空白ライン検出処理を図4の第1の実施例における空白ライン検出処理の流れを示すフローチャートの図中Sで表されるステップに従って図1および図2を参照しながら説明する。なお、この空白ライン検出処理は図3のS102において行われる処理である。
S201:空白ライン判定部1022は、画像読取部1020が読み取った原稿の画像データに空白ラインが有るか否かを調べるため、画像データを調べる方向を横方向(例えば、画像データの左端の画素から右端の画素に向かう方向)とする。
S202:空白ライン判定部1022は、画像データのラインの先頭画素が白色か否かを判定し、白色であると判定すると処理をS203へ移行し、白色でないと判定すると処理をS206へ移行する。
S203:空白ライン判定部1022は、次の画素が白色か否かを判定し、白色であると判定すると処理をS204へ移行し、白色でないと判定すると処理をS206へ移行する。
S204:空白ライン判定部1022は、当該ラインの最後の画素まで確認したか否かを判定し、最後の画素まで確認したと判定すると処理をS205へ移行し、最後の画素まで確認していないと判定すると次の画素を調べるために処理をS203へ移行する。
S205:最後の画素まで確認したと判定した空白ライン判定部1022は、当該ラインは空白ラインであると判定して記憶部に記憶し、処理をS214へ移行する。
このように、空白ライン判定部1022は、色判定部1021が白色と判定した画素のみが並ぶ画素列と、色判定部1021が白色でないと判定された色の画素であって当該色の画素が所定数を超えて連続して並んでいない画素列とを空白ライン(空白列)と判定する。
S206:一方、S202またはS203において、画素が白色でないと判定した空白ライン判定部1022は、当該画素の色を一時的に記憶部に記憶する。
S207:空白ライン判定部1022は、変数Countを「1」に初期化する。
S208:空白ライン判定部1022は、変数Countが5以上になったか否かを判定し、5以上になったと判定すると文字列領域を検出したとして処理をS213へ移行し、5未満であると判定すると処理をS209へ移行する。
S209:変数Countが5未満であると判定した空白ライン判定部1022は、当該ラインの最後の画素まで確認したか否かを判定し、最後の画素まで確認したと判定すると当該ラインは空白ラインであると判定するため処理をS205へ移行し、最後の画素まで確認していないと判定すると次の画素を調べるために処理をS210へ移行する。
S210:空白ライン判定部1022は、次の画素の色を調べ、記憶部に一時的に記憶した前の画素の色と一致するか否かを判定し、一致すると判定すると処理をS211へ移行し、一致しないと判定すると処理を212へ移行する。
S211:調べた画素の色と前の画素の色とが一致すると判定した空白ライン判定部1022は、変数Countに「1」を加算してS208へ処理を移行する。
S212:調べた画素の色と前の画素の色とが一致しないと判定した空白ライン判定部1022は、白色の画素が現れるまで画像データの画素を読み飛ばし、処理をS204へ戻す。
S213:S208において、変数Countが5以上になったと判定した空白ライン判定部1022は、文字列領域を検出したと判断し、空白ラインでないと判定して記憶部に記憶する。
S214:1ラインの判定を完了した空白ライン判定部1022は、次のラインが有るか否かを判定し、有ると判定すると処理をS215へ移行し、無いと判定すると処理をS216へ移行する。
S215:次のラインが有ると判定した空白ライン判定部1022は、調べるラインを次のラインとして処理をS202へ戻す。
S216:次のラインが無いと判定した空白ライン判定部1022は、調べていたラインは横方向か否かを判定し、横方向であると判定すると縦方向のラインを調べるため処理をS217へ移行し、横方向でない、即ち縦方向であると判定すると本処理を終了する。
S217:調べていたラインは横方向であると判定した空白ライン判定部1022は、調べる画像データのラインの方向を縦方向に変更して処理をS202へ戻す。
このようにして空白ライン判定部1022は、原稿の画像データの横方向および縦方向において空白ラインの存否を検出する。
例えば、図10に示す原稿の画像データの場合、空白ライン判定部1022は、横方向に延伸するラインのうち、1〜4ライン、10〜15ラインを空白ラインと判定し、5〜9ラインを空白でないラインと判定し、また縦方向に延伸するラインのうち、1〜4ライン、11〜14ラインを空白ラインと判定し、5〜10ラインを空白でないラインと判定する。
なお、S208において、変数Countが閾値としての5以上になったか否かを判定するようにしているが、閾値は「5」に限られることなく、文字サイズが小さければ連続で単色が並ぶ数が少なくなったり、文字サイズが大きければ連続で単色が並ぶ数が多くなったりするため、文字を使用する環境に応じて最適な閾値に替えることにより空白ラインの検出精度を向上させることができる。また、画像読取部1020で原稿を読み取る解像度が大きい場合に閾値を大きく、解像度が小さい場合に閾値を小さくし、原稿を読み取る解像度に応じて最適な閾値に替えることにより空白ラインの検出精度を向上させることができる。
また、S212において、白色の画素が現れるまで画像データの画素を読み飛ばすようにしているため、イメージ画像等の複数の色を使用した原稿の領域を無視して空白ラインの判定を行うことができる。
次に、文字列領域判定部が行う文字列領域検出処理を図5の第1の実施例における文字列領域検出処理の流れを示すフローチャートの図中Sで表されるステップに従って図1および図2を参照しながら説明する。なお、この文字列領域検出処理は図3のS106において行われる処理である。なお、本処理においても画像データを調べる方向を横方向(例えば、画像データの左端の画素から右端の画素に向かう方向)とする。
S301:文字列領域判定部1023は、画像読取部1020が読み取った原稿の画像データのラインの先頭画素が白色か否かを判定し、白色であると判定すると処理をS302へ移行し、白色でないと判定すると処理をS304へ移行する。
S302:文字列領域判定部1023は、次の画素が白色か否かを判定し、白色であると判定すると処理をS303へ移行し、白色でないと判定すると処理をS304へ移行する。
S303:文字列領域判定部1023は、当該ラインの最後の画素まで確認したか否かを判定し、最後の画素まで確認したと判定すると処理をS317へ移行し、最後の画素まで確認していないと判定すると次の画素を調べるために処理をS302へ移行する。
S304:一方、S301またはS302において画素が白色でないと判定した文字列領域判定部1023は、当該画素の色を記憶部に一時的に記憶する。
S305:文字列領域判定部1023は、変数Countを「1」に初期化する。
S306:文字列領域判定部1023は、変数Countが5以上になったか否かを判定し、5以上になったと判定すると文字列領域を検出したとして処理をS307へ移行し、5未満であると判定すると処理をS309へ移行する。
S307:変数Countが5以上になったと判定した文字列領域判定部1023は、文字列の開始と判断できるため、文字列の開始座標が既に記憶部に記憶されているか否かを判定し、記憶されていると判定すると処理をS309へ移行し、記憶されていないと判定すると処理をS308へ移行する。
S308:文字列の開始座標が記憶部に記憶されていないと判定した文字列領域判定部1023は、当該画素から「変数Count−1」の値だけ前の画素の位置を文字列の開始座標として記憶部に記憶する。
このように、文字列領域判定部1023は、色判定部1021が白色でないと判定された色の画素であって当該色の画素が所定数を超えて連続して並んでいる画素列の先頭画素を文字列の開始位置と判定する。
S309:文字列領域判定部1023は、当該ラインの最後の画素まで確認したか否かを判定し、最後の画素まで確認したと判定すると処理をS317へ移行し、最後の画素まで確認していないと判定すると次の画素を調べるために処理をS310へ移行する。
S310:文字列領域判定部1023は、次の画素の色を調べ、記憶部に一時的に記憶した前の画素の色と一致するか否かを判定し、一致すると判定すると処理をS311へ移行し、一致しないと判定すると処理を312へ移行する。
S311:調べた画素の色と前の画素の色とが一致すると判定した文字列領域判定部1023は、変数Countに「1」を加算してS306へ処理を移行する。
S312:文字列領域判定部1023は、文字列の開始座標が既に記憶部に記憶されているか否かを判定し、記憶されていると判定すると処理をS313へ移行し、記憶されていないと判定すると処理をS316へ移行する。
S313:文字列の開始座標が既に記憶部に記憶されていると判定した文字列領域判定部1023は、文字列の終了座標が既に記憶部に記憶されているか否かを判定し、記憶されていると判定すると処理をS315へ移行し、記憶されていないと判定すると処理をS314へ移行する。
S314:文字列の終了座標が記憶部に記憶されていないと判定した文字列領域判定部1023は、当該画素の位置を文字列の終了座標として記憶部に記憶し、処理をS316へ移行する。
S315:文字列の終了座標が記憶部に記憶されていると判定した文字列領域判定部1023は、記憶部に記憶されている文字列の終了座標を当該画素の位置に更新し、処理をS316へ移行する。
このように、文字列領域判定部1023は、文字列の開始位置を検出した後、文字列の画素の色と異なる色の画素を検出したとき、文字列の最終画素を文字列の終了位置と判定する。
S316:S312において文字列の開始座標が記憶部に記憶されていないと判定、またはS314もしくはS315において文字列の終了座標を記憶または更新した文字列領域判定部1023は、白色の画素が現れるまで画像データの画素を読み飛ばし、処理をS303へ戻す。
S317:S303またはS309において当該ラインの最後の画素まで確認したと判定した文字列領域判定部1023は、空白でないラインが未だ存在するか否かを判定し、存在すると判定すると処理をS318へ移行し、存在しないと判定すると本処理を終了する。
S318:文字列領域判定部1023は、次の空白でないラインを調べるため、調べるラインを次の空白でないラインに更新し、処理をS301へ戻す。
このようにして文字列領域判定部1023は、原稿の画像データの文字列の方向における開始座標と終了座標を検出する。
例えば、図10に示す原稿の画像データの場合、文字列領域判定部1023は、縦方向における5ライン目の開始座標を「6」、終了座標を「12」とし、6ライン目の開始座標を「5」、終了座標を「13」として検出する。
なお、本実施例では、開始座標および終了座標を画像データの左端の画素を基準として検出するようにしたが、終了座標は画像データの右端の画素を基準として検出するようにしても良い。
このように、本実施例では、画像読取部1020が読み取った原稿の画像データの色情報のみを使用し、空白ライン判定部1022が原稿の画像データの空白ラインの延伸方向を検出して原稿の横(水平)方向を決定し、文字列領域判定部1023が空白ラインの延伸方向における文字列の開始位置および終了位置を検出して原稿の縦(垂直)方向を決定するようにしたことにより、画像読取部1020で読み取った原稿の向きを自動で判定することができる。
したがって、画像形成装置10は、パターン辞書を有していない場合であっても、画像読取部で読み取った原稿の向きを自動で判定することができる。
また、画像読取部1020で読み取った原稿の画像データを正しい向きに回転させることができる。
以上説明したように、第1の実施例では、原稿の画像データの空白ラインの延伸方向を検出して原稿の横(水平)方向を決定するとともに、空白ラインの延伸方向における文字列の開始位置および終了位置を検出して原稿の縦(垂直)方向を決定するようにしたことにより、パターン辞書を有していない場合であっても、画像読取部で読み取った原稿の向きを自動で判定することができるという効果が得られる。
第2の実施例は、画像形成装置が行う原稿向き判定処理において、原稿を読取る前に、原稿に記載された文字列が横書きまたは縦書きであるかの入力操作を受付けるようにしていることが第1の実施例と異なっている。
なお、第2の実施例の構成は、上述した第1の実施例と同様なので同一の符号を付してその説明を省略する。
本実施例の画像形成装置が行う原稿向き判定処理を図11の第2の実施例における原稿向き判定処理の流れを示すフローチャートの図中Sで表されるステップに従って図1および図2を参照しながら説明する。
S401:まず、利用者は、画像形成装置10で読み取る原稿の文字が横書き(横書き原稿)または縦書き(縦書き原稿)のいずれかであることを操作部101で指定する入力操作を行うものとし、操作部101は利用者の当該入力操作を受付ける。ここで、横書き原稿とは、文字列が横方向に延伸するように配置されている原稿であり、縦書き原稿とは、文字列が縦方向に延伸するように配置されている原稿である。
続いて、利用者は、画像形成装置10のスキャナ部102の原稿載置台1028またはADF1029に文字が記載された原稿を載置し、操作部101で原稿の読取りを開始する操作を行うものとし、画像形成装置10が原稿の読取り動作を開始する。
S402:スキャナ部102の画像読取部1020は、原稿を読取り、原稿の画像データを生成する。
S403:色判定部1021は、画像読取部1020で読み取った原稿の画像データの画素の色を判定する。空白ライン判定部1022は、色判定部1021が判定した色に基づいて空白のラインか否かを判定し、画像データの縦方向および横方向のそれぞれで空白ラインを検出する空白ライン検出処理を行う。なお、この空白ライン検出処理は、図4に示す処理である。
S404:水平方向判定部1024は、S401において横書きまたは縦書きのいずれが入力されているかを判定し、横書きが入力されていると判定すると処理をS405へ移行し、縦書きが入力されていると判定すると処理をS408へ移行する。
S405:横書きが入力されていると判定した水平方向判定部1024は、空白ラインが連続して現れるライン数(空白ラインのまとまりのライン数)の発生頻度を縦方向および横方向のそれぞれで求め、横方向の最頻値と縦方向の最頻値とを比較し、横方向の最頻値が縦方向の最頻値以上であると判定すると文字列が横方向に延伸していると判断し、画像データの回転は必要ないため処理をS406へ移行し、縦方向の最頻値が横方向の最頻値より大きいと判定すると文字列が縦方向に延伸していると判断し、画像データを回転させるため処理をS407へ移行する。
例えば、水平方向判定部1024は、図12に示すように、横ライン(横方向)に空白ラインのまとまりが6つあり、空白ライン数が4本のまとまりが「2回(度数)」、5本のまとまりが「4回(度数)」、6本のまとまりが「6回(度数)」、7本のまとまりが「10回(度数)」、8本のまとまりが「5回(度数)」、9本のまとまりが「3回(度数)」出現したとすると、横方向の空白ライン数の最頻値は「7」となる。
また、縦ライン(縦方向)に空白ラインのまとまりが6つあり、空白ライン数が1本のまとまりが「2回(度数)」、2本のまとまりが「3回(度数)」、3本のまとまりが「8回(度数)」、4本のまとまりが「7回(度数)」、5本のまとまりが「4回(度数)」、6本のまとまりが「2回(度数)」出現したとすると、縦方向の空白ライン数の最頻値は「3」となる。
この場合、水平方向判定部1024は、横方向の最頻値が縦方向の最頻値以上であると判定し、文字列の行間の延伸方向が横方向であることを検出する。
このように、水平方向判定部1024は、空白ラインが連続する空白ラインのまとまりの最頻値に基づいて文字列の行間の延伸方向を検出する。
S406:水平方向判定部1024は、検出した文字列方向がS401において入力された文字列の方向と同じであるため、画像データの回転はなしとし、処理をS409へ移行する。
S407:水平方向判定部1024は、検出した文字列方向がS401において入力された文字列の方向と異なるため、画像データは90度の回転(例えば、時計回りの方向に90度)が必要とし、処理をS409へ移行する。
このように、水平方向判定部1024は、文字列の行間の延伸方向と、S401において入力された文字列の方向とに基づいて画像データの回転の要否を判定する。
S408:S404において、縦書きが入力されていると判定した水平方向判定部1024は、空白ラインが連続して現れるライン数(空白ラインのまとまりのライン数)の発生頻度を縦方向および横方向のそれぞれで求め、横方向の最頻値と縦方向の最頻値とを比較し、横方向の最頻値が縦方向の最頻値以上であると判定すると文字列が横方向に延伸していると判断し、画像データを回転させるため処理をS407へ移行し、縦方向の最頻値が横方向の最頻値より大きいと判定すると文字列が縦方向に延伸していると判断し、画像データの回転は必要ないため処理をS406へ移行する。
なお、図9に示すように、空白ラインのまとまりの最初と最後は単純な余白領域であることが多いため、余白領域を除外するため、空白ラインのまとまりの平均値よりも極端に大きい(例えば、平均値から所定数大きい)領域は、最頻値を調べる対象から外すものとする。
S409〜S414:図3に示すS106〜S111と同様の処理なのでその説明を省略する。
また、空白ライン検出処理および文字列領域検出処理は、第1の実施例と同様なので、その説明を省略する。
このように、本実施例では、原稿の文字が横書き(横書き原稿)または縦書き(縦書き原稿)であるかの入力操作を操作部101で受付けるようにしたことにより、横書き原稿または縦書き原稿のいずれについても画像読取部1020で読み取った原稿の向きを自動で判定することができる。
また、水平方向判定部1024が、空白ラインが連続して現れるライン数(空白ラインのまとまりのライン数)の横方向の最頻値と縦方向の最頻値とを比較し、最頻値が大きい方向(空白ラインのまとまりのライン数が多い方向)を文字列の延伸方向と判定するようにしたことにより、空白ラインが連続して現れるライン数のばらつき度に顕著な差が無い場合であっても文字列の延伸方向を確実に判定することができる。
すなわち、文字と文字との間の空白ライン数が略一定して現れる原稿(同じ大きさの文字が同じ間隔を保持して配置された原稿等)であっても文字列と文字列との間の空白ラインを検出することができ、文字列の延伸方向を確実に判定することができる。
以上説明したように、第2の実施例では、第1の実施例の効果に加え、横書き原稿または縦書き原稿のいずれについても画像読取部で読み取った原稿の向きを自動で判定することができるという効果が得られる。
また、文字と文字との間の空白ライン数が略一定して現れる原稿であっても文字列と文字列との間の空白ライン数を検出することができ、文字列の延伸方向を確実に判定することができるという効果が得られる。
なお、第1の実施例および第2の実施例では、画像形成装置をスキャナ部およびプリンタ部を有するものとして説明したが、それに限られることなく、プリンタ部を有しないスキャナ装置、ファクシミリ装置、複合機(MFP)等としても良い。
10 画像形成装置
100 プリンタ部
101 操作部
102 スキャナ部
111 画像形成ユニット
112 転写ローラ
113 定着部
115、116 給紙トレイ
1000 印刷制御部
1010 オペレーションパネル
1011 プレビュー画像生成部
1020 画像読取部
1021 色判定部
1022 空白ライン判定部
1023 文字列領域判定部
1024 水平方向判定部
1025 垂直方向判定部
1026 画像回転部
1028 原稿載置台
1029 ADF

Claims (9)

  1. 原稿を読取って前記原稿の画像データを生成する画像読取部と、
    前記画像データの画素の色を判定する色判定部と、
    前記色判定部で判定された画素の色に基づいて前記画像データの空白列を検出する空白列判定部と、
    前記空白列に基づいて前記原稿に記載された文字列の行間の延伸方向を検出する平行方向判定部と、
    前記文字列の開始位置および終了位置を検出する文字列領域判定部と、
    前記開始位置および終了位置に基づいて原稿の向きを検出する垂直方向判定部と、
    を有することを特徴とする画像形成装置。
  2. 請求項1に記載の画像形成装置において、
    前記平行方向判定部が検出した文字列の行間の延伸方向および前記垂直方向判定部が検出した原稿の向きに基づいて前記画像データを回転させる画像回転部を有することを特徴とする画像形成装置。
  3. 請求項1または請求項2に記載の画像形成装置において、
    前記空白列判定部は、前記色判定部が白色と判定した画素のみが並ぶ画素列と、前記色判定部が白色でないと判定された色の画素であって当該色の画素が所定数を超えて連続して並んでいない画素列とを空白列と判定することを特徴とする画像形成装置。
  4. 請求項1から請求項3のいずれかに記載の画像形成装置において、
    前記平行方向判定部は、前記空白列が連続する画素列数のばらつき度に基づいて文字列の行間の延伸方向を検出することを特徴とする画像形成装置。
  5. 請求項1から請求項3のいずれかに記載の画像形成装置において、
    前記平行方向判定部は、前記空白列が連続する画素列数の最頻値に基づいて文字列の行間の延伸方向を検出することを特徴とする画像形成装置。
  6. 請求項5に記載の画像形成装置において、
    前記画像読取部で読み取る原稿が横書き原稿または縦書き原稿のいずれかを指定する操作を受付ける操作部を有し、
    前記平行方向判定部は、前記文字列の行間の延伸方向と、前記指定とに基づいて前記画像データの回転の要否を判定することを特徴とする画像形成装置。
  7. 請求項1から請求項6のいずれかに記載の画像形成装置において、
    前記文字列領域判定部は、前記色判定部が白色でないと判定された色の画素であって当該色の画素が所定数を超えて連続して並んでいる画素列の先頭画素を文字列の開始位置と判定することを特徴とする画像形成装置。
  8. 請求項7に記載の画像形成装置において、
    前記文字列領域判定部は、前記文字列の開始位置を検出した後、前記文字列の画素の色と異なる色の画素を検出したとき、前記文字列の最終画素を文字列の終了位置と判定することを特徴とする画像形成装置。
  9. 請求項1から請求項8のいずれかに記載の画像形成装置において、
    前記垂直方向判定部は、前記開始位置および終了位置のばらつき度に基づいて原稿の向きを検出することを特徴とする画像形成装置。
JP2015168366A 2015-08-27 2015-08-27 画像形成装置 Expired - Fee Related JP6452577B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015168366A JP6452577B2 (ja) 2015-08-27 2015-08-27 画像形成装置
US15/236,516 US9826118B2 (en) 2015-08-27 2016-08-15 Image formation apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015168366A JP6452577B2 (ja) 2015-08-27 2015-08-27 画像形成装置

Publications (2)

Publication Number Publication Date
JP2017046248A true JP2017046248A (ja) 2017-03-02
JP6452577B2 JP6452577B2 (ja) 2019-01-16

Family

ID=58096378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015168366A Expired - Fee Related JP6452577B2 (ja) 2015-08-27 2015-08-27 画像形成装置

Country Status (2)

Country Link
US (1) US9826118B2 (ja)
JP (1) JP6452577B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6452577B2 (ja) * 2015-08-27 2019-01-16 株式会社沖データ 画像形成装置
JP6822367B2 (ja) * 2017-09-28 2021-01-27 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6841259B2 (ja) * 2018-03-30 2021-03-10 京セラドキュメントソリューションズ株式会社 画像形成システム、及び画像形成装置の制御方法
CN112487760A (zh) * 2019-08-23 2021-03-12 珠海金山办公软件有限公司 一种文档中空白行的删除方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01253077A (ja) * 1988-03-25 1989-10-09 Internatl Business Mach Corp <Ibm> 文字列検出方法
JPH0944593A (ja) * 1995-08-01 1997-02-14 Casio Comput Co Ltd 文字認識制御装置
JP2004178397A (ja) * 2002-11-28 2004-06-24 Minolta Co Ltd 文書画像の向きの判定方法及び同補正方法
JP2009272962A (ja) * 2008-05-08 2009-11-19 Murata Mach Ltd 画像処理装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3251959B2 (ja) * 1991-10-17 2002-01-28 株式会社リコー 画像形成装置
JP3630705B2 (ja) * 1993-08-02 2005-03-23 コニカミノルタビジネステクノロジーズ株式会社 デジタル複写装置
JP3562174B2 (ja) * 1995-11-13 2004-09-08 ミノルタ株式会社 画像処理装置
JP3902840B2 (ja) * 1996-10-18 2007-04-11 キヤノン株式会社 画像処理装置および画像処理方法
JPH117170A (ja) * 1997-06-16 1999-01-12 Minolta Co Ltd 画像形成装置
US20010054335A1 (en) * 2000-06-21 2001-12-27 Harman Wes F. Self-adjusting vise-grip wrench
JP4469885B2 (ja) * 2007-09-07 2010-06-02 シャープ株式会社 画像照合装置、画像照合方法、画像データ出力処理装置、プログラム、及び記録媒体
US8260061B2 (en) * 2007-09-21 2012-09-04 Sharp Kabushiki Kaisha Image data output processing apparatus and image data output processing method
BRPI0817108B8 (pt) * 2007-09-21 2021-05-25 Univ California composição compreendendo uma proteína de fusão, kit compreendendo a referida composição e uso da mesma.
JP4552993B2 (ja) * 2007-10-11 2010-09-29 ブラザー工業株式会社 画像処理装置及び画像処理装置の制御プログラム
JP2010266536A (ja) * 2009-05-12 2010-11-25 Canon Inc 画像形成装置および方法
JP2011010033A (ja) 2009-06-25 2011-01-13 Sharp Corp 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
JP6233230B2 (ja) * 2014-07-30 2017-11-22 京セラドキュメントソリューションズ株式会社 画像形成装置
JP6452577B2 (ja) * 2015-08-27 2019-01-16 株式会社沖データ 画像形成装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01253077A (ja) * 1988-03-25 1989-10-09 Internatl Business Mach Corp <Ibm> 文字列検出方法
JPH0944593A (ja) * 1995-08-01 1997-02-14 Casio Comput Co Ltd 文字認識制御装置
JP2004178397A (ja) * 2002-11-28 2004-06-24 Minolta Co Ltd 文書画像の向きの判定方法及び同補正方法
JP2009272962A (ja) * 2008-05-08 2009-11-19 Murata Mach Ltd 画像処理装置

Also Published As

Publication number Publication date
US9826118B2 (en) 2017-11-21
US20170064137A1 (en) 2017-03-02
JP6452577B2 (ja) 2019-01-16

Similar Documents

Publication Publication Date Title
JP6060557B2 (ja) 画像処理装置
JP4553015B2 (ja) 画像形成装置
US20160261758A1 (en) Reading device, image forming apparatus including reading device, and method for controlling reading device
JP6452577B2 (ja) 画像形成装置
JP2011011367A (ja) 画像形成装置
GB2178923A (en) Image processing apparatus
EP3151165B1 (en) Image processing apparatus
JP5743971B2 (ja) 画像形成装置および画像形成システム
JP7014921B2 (ja) 画像処理装置
JP2008211743A (ja) 画像形成装置
JP2011166591A (ja) 画像形成装置及び画像形成プログラム
JP2018006946A (ja) 画像形成装置
JP2017184030A (ja) 画像処理装置
US11032439B2 (en) Image processing apparatus
JP5150594B2 (ja) 画像処理装置
JP5822865B2 (ja) 画像処理装置、罫線判定方法、及び罫線判定プログラム
JP2006060760A (ja) 画像形成装置
JP2018078464A (ja) 画像処理装置、および、プログラム
JP6623979B2 (ja) 画像処理装置及び画像処理方法
JP6524941B2 (ja) 画像処理装置、画像処理方法
JP2024150397A (ja) 画像検査装置、画像形成装置、及び画像検査方法
JPH05328099A (ja) 画像処理装置
JP2021177140A (ja) 画像検査装置
JP2013211708A (ja) 画像形成装置
JP2011042172A (ja) 画像形成装置及び画像位置調整方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181211

R150 Certificate of patent or registration of utility model

Ref document number: 6452577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees