[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110691172A - 图像处理装置、图像处理方法以及记录介质 - Google Patents

图像处理装置、图像处理方法以及记录介质 Download PDF

Info

Publication number
CN110691172A
CN110691172A CN201910611373.5A CN201910611373A CN110691172A CN 110691172 A CN110691172 A CN 110691172A CN 201910611373 A CN201910611373 A CN 201910611373A CN 110691172 A CN110691172 A CN 110691172A
Authority
CN
China
Prior art keywords
image
image data
output
value
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910611373.5A
Other languages
English (en)
Other versions
CN110691172B (zh
Inventor
今泉大作
松冈辉彦
高岛真彦
安达靖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Publication of CN110691172A publication Critical patent/CN110691172A/zh
Application granted granted Critical
Publication of CN110691172B publication Critical patent/CN110691172B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • H04N1/4092Edge or detail enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026Methods therefor
    • H04N1/00039Analysis, i.e. separating and studying components of a greater whole
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00185Image output
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40062Discrimination between different image types, e.g. two-tone, continuous tone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40087Multi-toning, i.e. converting a continuous-tone signal for reproduction with more than two discrete brightnesses or optical densities, e.g. dots of grey and black inks on white paper
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/40093Modification of content of picture, e.g. retouching
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/407Control or modification of tonal gradation or of extreme levels, e.g. background level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40Picture signal circuits
    • H04N1/409Edge or detail enhancement; Noise or error suppression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6027Correction or control of colour gradation or colour contrast
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6072Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0094Multifunctional device, i.e. a device capable of all of reading, reproducing, copying, facsimile transception, file transception

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供以较高的精度判断适当的输出灰度数而生成输出图像的图像处理装置、图像处理方法、计算机程序以及记录介质。一种处理输入图像数据而生成输出图像数据的图像处理装置,具备:特征量计算部,其根据上述输入图像数据计算特征量;输出灰度数设定部,其基于上述特征量计算部计算出的特征量,将多个输出灰度数候选中的任一个灰度数设定为输出灰度数;以及图像处理部,其处理上述输入图像数据而生成上述输出灰度数设定部所设定的输出灰度数的输出图像数据。

Description

图像处理装置、图像处理方法以及记录介质
技术领域
本发明涉及图像处理装置等。
背景技术
近年来,随着数字复合机(MFP)、因特网的普及,平时也经常进行,不仅通过FAX等传送打印的图像,通过将纸面的图像由扫描仪进行读取而转换为电子数据形式的图像数据、通过电子邮件等添附并传送电子数据形式的图像数据。
另外,最近较为普及搭载有自动片材供给器(Auto Document Feeder:以下,省略为“ADF”)的MFP,所述自动片材供给器用于对用于读取原稿的扫描仪部分输送纸,不是按每一张纸面进行原稿设置而扫描这样的作业,若将向上述ADF欲读取的量的原稿多张集中设置而开始扫描,则能够使ADF自动连续地进行按每一张原稿的扫描。这样,设置有减少对向用户的扫描作业的负担的环境。
然而,为了省去因ADF的利用每次设置原稿的麻烦,存在用户未意识到原稿的内容而导致在原稿设置中以性质不同的图像混在一起的状态将纸设置于ADF的趋势。例如,在原稿设置中,可产生彩色图像的原稿和黑白图像的原稿混在一起的情况。另外,作为其他例子,在原稿设置中,可产生文本数据的原稿和照片数据的原稿混在一起的情况。
另外,作为扫描处理的方式,公知有将彩色图像、灰度图像、或者黑白二值图像等读取到的图像转换为各种形式的图像数据的方法。如上述那样当在原稿设置中混在一起各种原稿的情况下,未根据原稿区分选择适当的扫描处理的方式时,存在有时填满图像而无法辨认等信息大幅受损这样的情况。
鉴于上述那样的状况,例如公知有作为原稿的种类的区分而检测是彩色图像和黑白图像的哪一个、或者是文本数据和照片数据的哪一个等图像的性质,来切换扫描处理的方式的技术。
例如,根据专利文献1,首先辨别读取到的图像是彩色还是黑白。而且,在读取到的图像是黑白的情况下,基于图像的利用目的、布局,决定将图像数据设为多值灰度(grayscale)的数据或者二值数据的哪一个并进行处理。
在进行布局进行决定的情况下,相对于无彩色(黑白)数据的读取原稿图像,进行原稿布局的解析,调查占原稿中的文本数据和照片数据各自的比例,决定与该比例对应地作为文本原稿来处理、还是作为照片原稿来处理。例如,在照片数据以规定的比例以上存在的情况下判断为照片原稿,相反在照片数据比规定的比例少的情况下判断为文本原稿。公开有以下技术,即,在接受该判断而原稿为文本数据的情况下,通过执行将无彩色数据从灰度向黑白转换的处理,根据原稿的种类,切换成为灰度数据、还是成为黑白二值数据。
现有技术文献
专利文献
专利文献1:日本特开2007-266921号公报
发明内容
本发明所要解决的技术问题
然而,在专利文献1的方式中,有时将读取图像应该设为灰度数据、还是应该成为黑白二值的数据的判断不适当。而且,特别是在作为二值数据进行了处理的情况下,有时导致信息大幅损失。
作为一个例子,专利文献1的方式当读取图像是在白色的基底以黑色记载文字的文本数据的情况下适用。但是,现实上,除了这样的情况以外,如图17的(a)所示,有时读取图像是在中间灰度色的基底以黑色记载文字的文本数据。在以专利文献1那样的方式处理这样的文本数据的原稿的情况下,导致作为基底和文字双方均被涂满黑色的黑白二值图像而处理,如图17的(b)所示导致有时无法辨认文字。
该原因是由于,专利文献1的方法只不过仅基于文本原稿适于二值数据,照片数据适于灰度数据这样的定性的依据,来进行将读取图像作为二值数据而处理还是作为灰度数据的判断,并不是定量地评价将读取图像作为二值数据输出、或作为灰度数据输出的妥当性。即,可以说对于图17的(a)所示那样的读取图像,专利文献1的方法是判断精度低的方法。
本发明是鉴于上述那样的点而完成的,目的在于提供以高精度设定适当的输出灰度数而生成输出图像的图像处理装置、图像处理方法、计算机程序以及记录介质。
解决问题的方案
为了解决上述的课题,本发明的图像处理装置是处理输入图像数据而生成输出图像数据的图像处理装置,其特征在于,具备:
特征量计算部,其根据上述输入图像数据计算特征量;
输出灰度数设定部,其基于上述特征量计算部计算出的特征量,将多个输出灰度数候选中的任一个灰度数设定为输出灰度数;以及
图像处理部,其处理上述输入图像数据而生成上述输出灰度数设定部所设定的输出灰度数的输出图像数据。
本发明的图像处理方法的特征在于,具备:
特征量计算步骤,根据输入图像数据计算特征量;
输出灰度数设定步骤,基于在上述特征量计算步骤中计算出的特征量,将多个输出灰度数候选中的任一个灰度数设定为输出灰度数;以及
图像生成步骤,处理输入图像数据而生成在输出灰度数设定步骤中设定的上述输出灰度数的输出图像数据。
本发明的计算机程序是用于使计算机执行上述图像处理方法的各步骤的计算机程序。
本发明的记录介质是记录有上述计算机程序的计算机能够读取的记录介质。
发明效果
根据本发明,能够基于由输入图像数据计算出的特征量,生成由多个输出灰度数候选中的选择出的任一个灰度数所表示的输出图像数据。例如,即便在输入图像数据包含多个文本数据的情况下,也不是直接设为黑白二值图像,而是能够基于特征量设定输出灰度数而生成输出图像。因此,通过基于包含文字的输入图像数据生成输出图像数据,从而能够避免无法辨认文字的情况。
附图说明
图1是用于对第一实施方式的图像处理装置的功能结构进行说明的图。
图2是用于对第一实施方式的主处理进行说明的流程图。
图3是表示第一实施方式的有灰度性的图像的特征量的例子的图。
图4是表示第一实施方式的没有灰度性图像的特征量的例子的图。
图5是用于对第一实施方式的主处理的其他处理例进行说明的流程图。
图6是第一实施方式的扫描模式设定画面的画面例。
图7是第一实施方式的彩色模式设定画面的画面例。
图8是第一实施方式的判断基准设定画面的画面例。
图9是用于对第一实施方式的第1评价图像以及第2评价图像进行说明的图。
图10是用于对第一实施方式的差分图像数据进行说明的图。
图11是用于对第二实施方式的图像处理装置的功能结构进行说明的图。
图12是用于对第二实施方式的主处理进行说明的流程图。
图13是用于对第三实施方式的主处理进行说明的流程图。
图14是用于对第四实施方式的主处理进行说明的流程图。
图15是用于对第五实施方式的主处理进行说明的流程图。
图16是表示第五实施方式的群集的例子的图。
图17是表示现有的二值化处理的结果的例子的图。
具体实施方式
以下,参照附图对本发明的实施方式详细地进行说明。在以下的说明中,例示本发明所涉及的图像处理装置成为图像形成装置的一部分的形式。
[1.第一实施方式]
[1.1功能结构]
图1是表示第一实施方式所涉及的图像形成装置1的功能的结构的框图。图像形成装置1是具有复印功能、打印功能以及扫描功能等的数字复合机。图像形成装置1具备图像处理装置10、图像读取装置20、图像打印装置30以及图像数据发送装置40。
在图像读取装置20、图像处理装置10、图像打印装置30以及图像数据发送装置40连接有操作面板50。操作面板50具备:用于供用户设定图像形成装置1的动作模式的设定按钮以及数字键等操作部(未图示)、和由液晶显示器等构成的显示部(未图示)。
图像形成装置1所执行的各种处理由未图示的控制部(包含CPU(CentralProcessing Unit)或者DSP(Digital Signal Processor)等处理器的计算机)来控制。图像形成装置1的控制部经由未图示的网卡以及LAN线缆,与网络连接的计算机以及其他数字复合机等进行数据通信。以下,对图像形成装置1的各部分进行详述。
图像读取装置20从原稿光学地读取图像。图像读取装置20例如由具有CCD(ChargeCoupled Device)的彩色扫描仪构成,使用CCD将来自原稿的反射光像读取为RGB(R:红,G:绿,B:蓝)或者黑白的模拟信号,输出至图像处理装置10。图像读取装置20也可以不是扫描仪,例如也可以是数码相机等。
图像处理装置10具备图像输入电路11、图像输出电路12、图像处理运算电路13、特征量计算运算电路14、记录电路15以及输出灰度数设定电路16。
图像输入电路11基于图像读取装置20输出至图像处理装置10的模拟信号而生成输入图像数据。此外,图像输入电路11不限定于上述的例子,也可以从外部接受图像数据,将接受到的图像数据作为输入图像数据。
图像处理运算电路13对输入图像数据进行图像处理,生成新的图像数据。作为图像处理的具体例,可举出分辨率变更处理、平滑处理、锐化处理、伽马修正等灰度转换处理、彩色/黑白转换处理、转换为黑白二值图像或者多灰度图像(灰度图像等)即灰度数不同的图像数据的转换处理等。
特征量计算运算电路14进行基于图像数据来计算适当的输出灰度数的判断所需要的特征量的运算。特征量也可以是单纯的数值数据,也可以是将针对图像数据的各像素记载了特征量的数值数据的群作为图像数据而使用的特征量图像数据。另外,特征量不一定为1个成分,也可以是具有多个成分的矢量。即,也能够由与后述的第1评价图像以及第2评价图像相同的像素数构成,也能够成为按每个像素具有多个成分的特征量图像数据。
记录电路15是预先记录与多个输出灰度数候选相关的信息、其他各种设定信息的同时,在图像处理中暂时保存由图像处理运算创建出的图像数据的记录装置。记录电路15能够使用易失性存储器、非易失性存储器或者它们的组合。
输出灰度数设定电路16以由特征量计算运算电路14计算出的特征量为基础,对记录于记录电路15的多个输出灰度数候选中的、最适合表示输入图像数据的正的灰度数进行判断而设定为输出灰度数。根据输出灰度数设定电路16所设定的输出灰度数,图像处理运算电路13转换输入图像数据的灰度数而生成输出图像数据。
图像输出电路12将图像处理装置10所生成出的输出图像数据以电子数据的形式输出至图像处理装置10的外部。
图像打印装置30基于输出图像数据将图像打印于纸张。图像打印装置30能够使用一般的电子照相、打印机。
图像数据发送装置40经由网络将输出图像数据发生至外部。图像数据发送装置40能够使用一般的电子邮件。
[1.2处理的流程]
接下来,参照图2详细地说明通过由上述结构构成的图像形成装置1生成输出图像数据的方法。
[1.2.1图像数据的输入]
首先,通过图像读取装置20,光学地读取描绘于成为原料的原稿纸张的图像,而作为模拟信号输出至图像处理装置10。而且,通过图像处理装置10所具备的图像输入电路11,转换为作为电子数据的图像数据而进行基于原稿纸张的图像数据的输入(步骤S102)。该方法与一般的扫描仪相同。读取的方法也可以是将原稿逐张手动设置于图像读取装置20的方法,也可以是使用机械送纸功能(ADF)连续地读入多张原稿的方法。在本实施方式中,是连续地读入使用机械送纸功能设置的多张的原稿的方法,并且假定在多张原稿中,文本数据图像、照片数据图像等具有不同性质的图像混在一起的情况。
图像读取装置20附属有送纸机构(ADF),将由送纸机构设置的多张的原稿逐张连续地输送只图像读取装置20。而且,图像读取装置20对输送的原稿逐张进行读取,生成每一张原稿的图像数据,将图像数据发送至图像处理装置10。
图像处理装置10按每一张原稿进行以下的处理。首先,图像处理装置10将经由图像输入电路11输入的图像数据作为输入图像数据而暂时保存于记录电路15(步骤S104)。
[1.2.2第1评价图像的生成]
存在输入图像数据若保持原样则分辨率过大、或者对比度不适当等设定适当的灰度数时不适当的情况。因此,首先,图像处理运算电路13对输入图像数据进行如以下那样的图像处理(前处理)的图像修正(第1前处理),使得输入图像数据成为适合于适当的灰度数的设定的图像数据(步骤S106)。
以下列举作为前处理进行的图像处理的例子。
(1)分辨率转换处理
存在输入图像数据若保持原样则在进行灰度数的判断时分辨率过大的情况。因此,进行图像的分辨率即大小的转换。作为分辨率的转换所使用的方法的例子可以使用,作为已知的图像插入方法的、直接使用最附近像素的值的最近邻法(nearest neighbor)、和与和周边4像素之间的距离对应的加权而根据各像素值的值计算的双线性法等。伴随着分辨率的变更,第1评价图像的像素数比原来的输入图像数据的像素数变小,能够减少后段的运算处理的处理负荷。例如,在扫描时的图像的分辨率为300dpi的情况下,以成为150dpi的图像数据的方式转换分辨率,从而能够将图像数据的像素数减少至原来的输入图像的像素数的1/4。适当的灰度数的设定所需要的特征量的运算以第1评价图像的像素单位来进行。换句话说,第1评价图像的像素是特征量的运算中的评价像素。以下,只要未特别限定,评价像素不与通常的像素区别而仅称为像素。
(2)对比度调整处理
为了针对分辨率转换处理后的图像调整输出用图像的输入侧处的明亮度、对比度,使用与输入值对应的输出值以1:1储存的检查表等,将图像数据调整成所希望的特性的输出值。该图像处理一般使用被称为γ修正的方法。
(3)平滑/锐化处理
针对对比度调整处理后的图像,进行用于使模糊的印象的图像转换为鲜明的图像的尖锐化滤波处理,或者相反用于使边缘部等过于突出而生硬的印象的图像转换为平滑的图像的、被称为平滑滤波器的平滑滤波处理,从而实施作为输出图像合适的滤波处理。该图像处理是通过在空间滤波处理部中将被称为滤波器核的系数进行图像的关注像素及其周边像素的卷积运算来实现。
例如,作为进行卷积运算的空间滤波处理,一般已知有移动平均滤波器、加权平均滤波器等。对于通过应用该滤波器而输入的图像的关注像素而言,由于成为采用与关注像素周边的周边像素之间的平均值化的像素值,因此成为像素值的变动变缓而被平滑处理。
此外,实施平滑/锐化处理的任一个、或者均不实施、或者组合双方的处理是应该由设计者适当选择的事项。
针对输入图像数据,将作为第1前处理进行(1)~(3)那样的图像处理(前处理)而新生成的图像数据设为第1评价图像(步骤S108),记录于记录电路15(步骤S110)。此外,(1)~(3)的图像处理能够省略其中的一部分,也能够除此以外还追加其他公知的图像处理。另外,也可以省略(1)~(3)的全部而将输入图像数据其本身作为第1评价图像数据。各种图像处理的组合、顺序能够在“以为了设定适当的灰度数而适于图像数据的方式进行修正”这样的目的的范围内适当地设定。
此外,在用于判断适当的灰度数而直接使用输入图像数据的情况下,也能够全部省略前处理,该情况下,能够将输入图像数据直接用作第1评价图像数据。
[1.2.3第2评价图像的生成]
接下来,图像处理运算电路13对输入图像数据进行图像处理(第2前处理)(步骤S112),生成比第1评价图像数据灰度数的小的、规定的灰度数的图像(例如,黑白二值图像),成为第2评价图像(步骤S114)。此外,第2前处理也可以是与第1前处理相同的处理,也可以是其他的处理。另外,也可以省略图像处理,将输入图像数据其本身作为第2评价图像数据。
作为减少灰度数的方法即二值化或多值化的方法,作为公知的技术已知有单纯阈值处理等基于阈值的处理、误差扩散法等。
在本实施方式中,说明输出灰度数候选为8比特(灰度数256)的灰度图像、和输出灰度数候选为1比特(灰度数2)的黑白二值图像这两种的情况。此外,在以下的说明中,将输出灰度数候选中的较大的灰度数设为A(在本实施方式中256),将较小的灰度数设为B(在本实施方式中2)。
在本实施方式中,基于输出灰度数候选中的较小的灰度数亦即B的值即2,将第2评价图像作为灰度数为2的黑白二值图像而生成。具体而言,针对第1评价图像数据的各像素,判断第1评价图像数据的灰度值是设定的阈值以上还是小于设定的阈值。而且,在第1评价图像数据的灰度值为设定的阈值以上的情况下,将该像素的灰度值设为表示白色的灰度值的“1”,在小于设定的阈值的情况下,将该像素的灰度值设为表示黑色的灰度值的“0”。由此,生成像素数与第1评价图像相同且所有的像素的灰度值为“0”或者“1”的任一个,即灰度数为2的图像数据。而且,将新生成的黑白二值图像数据作为第2评价图像记录于记录电路15(步骤S116)。
如上所述,第2评价图像的像素数与第1评价图像相同,第2评价图像的像素与第1评价图像的像素相同,是用于进行评价的对象的像素。
此外,输出灰度数候选的组合不一定是如本实施方式那样限定为8比特和1比特这两种,例如输出灰度数候选也可以为三种以上,也可以如4比特、16比特那样包含其他灰度数。另外,第1评价图像、第2评价图像不一定是黑白(无彩色)图像,也可以是彩色(有颜色)图像。
[1.2.4差分图像数据的生成]
接下来,特征量计算运算电路14以第1评价图像和第2评价图像为基础生成差分图像数据(步骤S118)。差分图像数据可以说是将第1评价图像和第2评价图像之间产生的信息损失的程度,按每个对应的像素数值化的特征量图像数据。
如前述那样,第2评价图像是以第1评价图像为基础而生成的图像数据,且第2评价图像和第1评价图像是相同的像素数的图像数据。
首先,作为用于生成差分图像数据的前准备,进行用于将第1评价图像和第2评价图像的灰度值的范围匹配的标准化处理(准备处理)。例如,在第1评价图像是灰度值的最小值为0且灰度值的最大值为255的8比特的灰度图像,第2评价图像是灰度值的最小值为0且灰度值的最大值为1的黑白二值图像的情况下,若保持原样则灰度值的范围不匹配,因此以使第2评价图像的最大值与第1评价图像相同成为255的方式对第2评价图像乘以规定的倍率(255)。由此,能够在相同的灰度值的范围内计算第1评价图像和第2评价图像的各像素的灰度值彼此。
在准备处理后,图像处理运算电路13针对第1评价图像的各像素,在与对应于各像素的第2评价图像的各像素之间,计算各像素的灰度值的差值。而且生成使计算出的差值成为各像素的灰度值的新的图像数据。而且,将该新生成的图像数据作为差分图像数据记录于记录电路。此外,差分图像数据中的像素数与第1评价图像以及第2评价图像的像素数相同,且差分图像数据的像素与第1评价图像以及第2评价图像的像素相同为评价像素。
此处差值能够成为表示信息损失的大小的特征量,所述信息损失是例如从具有多个像素值的图像生成二值的图像的情况下的灰度值的变化的程度、即生成黑白二值图像的情况下的信息损失。例如,针对图像整体计算原来的图像和二值化后的图像的相同的像素位置的像素值之差的绝对值。此处,分别计算各自的像素位置的差的绝对值。
参照附图而示出例子。图3的(a)是照片等的有灰度性的图像的横4像素、纵8像素的局部放大图(灰度数为256灰度)。图3的(b)是针对图3的(a)的各像素的像素值即灰度值,若灰度值小于“110”则转换为“0”,若为“110”以上则转换为“255”,从而生成以阈值作为“110”的黑白二值图像的情况下的局部放大图。在图3的(a)、图3的(b)中,矩形中所记载的值表示该位置的像素的灰度值。另外,图3的(c)表示图3的(a)和图3的(b)的各像素的灰度值的差分。针对图3的(a)、图3的(b)以及图3的(c),各像素的位置对应。此处,左上的像素的灰度值在图3的(a)中为“20”,在图3的(b)中为“0”。此时的左上的像素的差值(灰度值之差的绝对值)为“20”。同样,右下的像素的灰度值在图3的(a)中为“220”,在图3的(b)中为“255”。此时的右下的差值为“35”。另外,图4的(a)是文字那样的没有灰度性图像的横4像素、纵8像素的局部放大图(灰度数为256灰度)。是生成图4的(a)~图4的(b)所示那样的黑白二值图像(阈值为110)的情况下的局部放大图。在图4的(a)、图4的(b)中,矩形中所记载的值表示该位置的像素的灰度值。各像素的灰度值的差值如图4的(c)所示那样。这样,基于原来的图像和二值化后的图像,计算对应的像素位置的差分。而且,能够将对应的像素位置的差分成为表示信息损失的大小的特征量。
以下,将由数值表示信息损失的量的值称为信息损失评价值。而且,作为基于像素值的信息损失评价值的例子,可举出对此处所示的灰度值的变化的程度进行比较的图像彼此的相同位置像素之差的绝对值。
此外,差值其本身可取正负的值,因此因通过二值化成为白像素而产生的信息损失、和因通过二值化成为黑像素而产生的信息损失被认为是不同性质的信息损失。也可以是,在不将它们加以区别而仅考虑信息损失的程度的大小即可的情况下,通过绝对值运算、平方等使转换为0以上的数值的值成为信息损失评价值。
另外,在第1评价图像和第2评价图像的比较中,例如,在欲着眼于图像中的图像的边缘(轮廓)的变化的情况下,为了对各个图像提取边缘而应用边缘检测算子,从而能够作为边缘图像生成。
作为边缘检测算子,例如公知有下述的式(1)所示的Prewitt,或者被称为Sobel的水平方向(x)和垂直方向(y)的算子等。
Figure BDA0002122450110000141
进行轮廓提取处理的优点是,在判断后述的变化量时能够敏感地检测图像的边缘部分的变化。例如,在处理的图像数据是包含浓度高的文字图像的图像的数据的情况下,即便相对于图像整体的变化的比例微小,也由于二值化,而在文字的像的轮廓形状变化的情况下,也产生文字变形而无法辨认文字。轮廓提取处理为了敏感地检测这样的现象而特别有效,因此针对前述的第1评价图像以及标准化后的第2评价图像各自,生成进行了前处理和轮廓提取处理的图像生成第1’评价图像、第2’评价图像。而且,通过根据第1’评价图像和第2’评价图像生成差分图像,能够生成对文字等边缘部的变化特别敏感的差分图像数据。
这样的轮廓提取处理例如在第1前处理以及第2前处理后作为对前处理后的图像的图像处理来进行。具体而言,如图5所示,在对输入图像数据的第1前处理后,作为第1提取处理,进行上述的轮廓提取处理(步骤S152),进行第1’评价图像的生成和记录(步骤S154→步骤S156)。同样,在对输入图像数据的第2前处理后,作为第2提取处理,进行上述的轮廓提取处理(步骤S158),进行第2’评价图像的生成和记录(步骤S160→步骤S162)。在步骤S118中,特征量计算运算电路14以第1’评价图像和第2’评价图像为基础生成差分图像数据。此外,在步骤S112中,生成基于输入图像数据的黑白二值图像的情况下,预先进行了对黑白二值图像的标准化之后,对标准化后的图像进行轮廓提取处理。
另外,在输出灰度数的候选为有三种以上的情况下,按每个输出灰度数的候选进行步骤S112~步骤S118的处理。通过这样,能够按每个输出灰度数的候选生成差分图像数据。
[1.2.5统计量的计算]
返回图2,接下来,输出灰度数设定电路16计算对差分图像数据整体的像素的灰度值的统计量,基于统计量,判断并设定适当的输出灰度数。如上所述,差分图像数据是在第1评价图像和第2评价图像之间基于对应的像素彼此的差值而生成的图像数据。因此,有时在图像的特定的部位,差值(信息损失评价值)的大小较大(换句话说信息损失大),在其他部位,差值(信息损失评价值)的大小较小(换句话说信息损失小)情况。在这样的情况下,也通过基于信息损失评价值以及统计量双方而总合评价图像整体的信息损失的大小,能够设定适当的输出灰度数。
首先,输出灰度数设定电路16计算统计量(步骤S120)。一般,在信息损失较大的情况下,存在作为整体而差分图像数据的灰度值亦即差值或者作为差值的绝对值而表示的信息损失评价值变大的趋势,因此作为统计量,能够使用反映了灰度值的总合大小的统计值。具体而言,能够使用差分图像数据整体的各像素的灰度值的总和(合计值)、平均值、中央值等。
另外,在信息损失较大的情况下,存在作为整体而灰度值即差值或者作为差值的不一致而表示的信息损失评价值变大的趋势。该理由是由于在信息损失较小的情况下,各像素的灰度值即差值或者差值的绝对值几乎在全部的像素成为与0接近的值,在相对于不一致变小而信息损失较大的情况下,包含较多的具有除0以外的值的像素,因此不一致变大。因此,作为统计量,能够使用反映了灰度值的不一致的大小的统计值。具体而言,能够使用差分图像数据整体的各像素的灰度值的分散值、标准偏差值、熵值等。
这样,输出灰度数设定电路16基于差分图像数据整体的各像素的灰度值的累计值(合计值)、平均值、中央值、各像素的灰度值的分散值、标准偏差值、熵值等,计算对差分图像数据整体的像素的灰度值的统计量。这样计算统计值也可以适当地选择设计者,也可以由用户选择。
[1.2.6输出灰度数的设定]
接下来,输出灰度数设定电路16基于步骤S120中计算出的统计量,设定输出灰度数。例如,预先设定相对于统计量的基准值,在统计量为基准值以上的情况下和小于基准值的情况下,改变设定的输出灰度值。
这样,能够基于统计量,判断将第2评价图像的灰度数成为输出灰度数的情况是否适当,能够设定适当的灰度数。
例如,在本实施方式中,输出灰度数设定电路16判断在步骤S120中计算出的统计量是否为规定的基准值以上(步骤S122)。当在步骤S120中计算出的统计量为规定的基准值以上的情况下,判断为不适合将第2评价图像的灰度数设定为输出灰度数的情况(在本实施方式中B的值即灰度数2),将输出灰度数候选的另一方的灰度数(在本实施方式中A的值即灰度数256)设定为输出灰度数(步骤S122;是→步骤S124)。在统计量小于规定的基准值的情况下,判断为适合将第2评价图像的灰度数设定为输出灰度数的情况(在本实施方式中B的值亦即灰度数2),将灰度数2设定为输出灰度数(步骤S122;否→步骤S126)。
此外,在本实施方式中,说明了针对预先设定的基准值判断统计量为基准值以上还是小于基准值,从而改变输出灰度值的情况,但也可以取代基准值而设定基准范围。换句话说,也可以根据统计量处于基准范围内还是处于基准范围外来改变输出灰度值。
另外,上述的方法是一个例子,适当的输出灰度数的设定方法不限定于此。在本申请发明中本质的部分在于,通过信息损失评价值来判断使用特征量生成特定的输出灰度数的输出图像的情况下的信息损失的大小,由此能够定量地判断生成该输出灰度数的输出图像的情况下的适当度,能够使用它设定适当的输出灰度数。只要不有损该本质部分,则能够使用其他方法。
[1.2.7输出图像数据的生成]
图像处理运算电路13对记录于记录电路15的输入图像数据进行图像处理,将由设定出的输出灰度数来表示的图像数据作为输出图像数据而生成(步骤S128)。针对由与输入图像的灰度数不同的输出灰度数所表示的情况下的输出图像数据的生成,能够与第2评价图像的生成相同,使用公知的一般技术。而且,图像处理装置10对输入的全部图像数据,判断为图像处理运算电路13未生成输出图像数据的情况下(步骤S130;否),针对未处理的输入图像数据,进行从步骤S104开始的处理。
在针对输入的全部图像数据生成输出图像数据的情况下,图像输出电路12将生成的输出图像数据输出至图像处理装置10的外部(步骤S130;是→步骤S132)。而且,图像打印装置30以及图像数据发送装置40根据设定或者操作面板50的操作,将输出图像数据打印于纸张或者经由网络发送至外部。
[1.3动作例]
参照附图,对本实施方式的动作例进行说明。首先,说明操作部的信息损失判断功能的动作切换。图6示出当通过邮件等发送扫描的图像的扫描模式下的动作时,显示于图像形成装置1的显示部的设定画面W100的画面例。在画面上区分设置有:显示区域E100,其包括向从用于指定发送目的地的注册完毕的目的地列表选择或用于直接输入目的地的输入画面转移的、操作画面的按钮、以及用于直接输入目的地的文本框;彩色模式按钮B100,其用于指定发送的扫描图像的颜色;分辨率的按钮B101,其用于指定扫描图像的分辨率;文件形式按钮B102,其用于指定向发送目的地发送的扫描图像的图像数据的文件形式;种类按钮B103,其用于指定扫描图像仅为文字的文书原稿或者包含灰度的照片、包含图的文书原稿之类的原稿的种类;浓度按钮B104,其用于设定输出图像数据的浓度;其他设定按钮B105,其为了选择其他即其他功能而转移,所述其他功能例如是显示菜单等,所述菜单用于指示以表背均实施的方式进行原稿的读取;复位按钮B106,其用于从最初重新开始各种设定;开始按钮B107,其用于开始扫描。
作为信息损失的一个例子,说明将用于防止因二值化引起的文字的变形的功能成为有效/无效的方法。
因二值化引起的文字变形能够通过将扫描图像作为灰色(gray scale)原稿来处理而避免。
因此,在通过ACS(Auto Color Selection)的功能判断为黑白(无彩色)的原稿的情况下,能够设定是进一步判断是灰色原稿还是黑白二值原稿、或者还是用户任意指定各自的模式作为灰色原稿或者黑白二值原稿进行扫描。因此,图7示出在选择图6的彩色模式按钮B100时显示于显示部的、彩色模式的设定画面W110的画面例。
如图7所示,彩色模式的设定画面W110包括显示了选择使用ACS的功能还是手动设定彩色模式的按钮的区域E110;显示了在根据ACS的功能判断为原稿为黑白(无彩色)的原稿的情况下,能够选择使图像处理装置10进一步判断是灰色原稿还是黑白二值原稿还是手动设定的按钮的区域E111;以及用于确定设定的OK按钮B111。在该画面中,能够提供以下功能,即,在通过从区域E110选择显示为“自动”的按钮而使ACS的功能有效之后,当选择了使图像处理装置10判断是灰色原稿还是黑白二值原稿的区域E111内的黑白自动的模式按钮B110的情况下,在图像处理装置10内执行将读取原稿而得到图像以灰色还是黑白二值的哪一个模式来输出的判断,以成为基于判断结果而设定的灰度数的方式转换图像而输出的功能。
另外,因二值化引起的信息损失的能够允许的等级根据用户而不同,因此图像处理装置10所执行的上述判断的结果成为某个用户所希望那样的判断的结果,另一方面,存在未成为不同的用户的所希望的判断的结果的情况即进行无意识的灰度化或黑白二值化这样的相反的判断而处理的情况。需要提供以更接近用户的所希望的判断结果作为目的而变更判断的基准的方法。
图8示出用于变更判断的基准的设定画面W120(判断基准设定画面)的画面例。而且,该画面例如根据通过选择图6所示的操作画面W100的其他设定按钮B105而显示于显示部的菜单(未图示),由用户从“设备设定”这样的项目中,选择“判断基准设定”而显示。
如图8所示,设定画面W120包含:用于选择判断的基准的列表区域E120、用于确定设定的OK按钮B120、以及用于放弃设定而返回设定画面W100的Cancel按钮B122。通过用户从列表区域E120选择一个判断的基准,按下OK按钮B120,从而图像处理装置10将相对于统计量的判断的基准更新为选择出的判断的基准。以下,对判断基准能够从5个阶段中选择的情况进行说明。
在初始的状态下,灰度和黑白二值的判断设定为没有特别偏差地判断,因此例如,作为“普通”设定为处于5个阶段中的中央的位置的3的等级。该“普通”的情况下的相对于统计量的基准值通过设计者而设定适当的值。
在保持该设定的状态下,例如,应该判断为灰色原稿的原稿被判断为黑白二值原稿的情况下,通过选择处于设定画面的“5(靠近灰度)”所存在的一侧的“4”、“5”之类的等级,能够容易地判断为灰色原稿。在作为判断基准选择了“4”或者“5”的情况下,图像处理装置10使相对于统计量的基准值小于判断基准为“3”的情况下的基准值。通过这样,即便在判断基准为“3”时是被判断为黑白二值原稿的信息损失评价值,也能够判断为灰色原稿。
另外,相反在应该判断为黑白二值原稿的原稿被判断为灰色原稿的情况下,通过选择处于设定画面的“1(靠近二值)”所存在的一侧的“2”、“1”之类的等级,能够容易判断为黑白二值原稿。在作为判断基准选择了“2”或者“1”的情况下,图像处理装置10使相对于统计量的基准值大于判断基准为“3”的情况下的基准值。通过这样,即便在判断基准为“3”时是被判断为灰色原稿的信息损失评价值,也能够判断为黑白二值原稿。
接下来,参照图9以及图10,说明第1评价图像、第2评价图像以及差分图像数据。图9的(a)是将字母的小写的“a”表示在纵10像素、横8像素的范围的图。这样,在输入图像数据为黑白(无彩色)的原稿的情况下,实施了前处理的图像是第1评价图像。另外,图9的(b)是表示图9的(a)的灰度值的图。此外,在动作例的说明中,第1评价图像的灰度数为256,灰度值为0~255中任一个整数值。
图9的(c)是将图9的(b)所示的灰度值中的灰度值为153以下的像素的灰度值为0,灰度值为154以上的像素的灰度值为1而二值化的图像。这样,成为比第1评价图像的灰度数小的灰度数的图像是第2评价图像。而且,图9的(d)是通过在第2评价图像的各像素的灰度值加上255而标准化的图。按每个像素,计算图9的(d)所示的值、和图9的(b)所示的灰度值的差值,从而输出灰度数设定电路16生成差分图像数据。
图10示出差分图像数据的例子。图10所示的图是按每个像素,将由从图9的(d)所示的值减去对应的图9的(b)的灰度值而得到的值的绝对值所示的值作为差值,示出于对应的像素的位置的图。如图9所示,越靠近中间灰度色(灰色)的像素则差值越大。
此外,图10所示的差值的累计值是2553,平均值是31.9125。在使差值的绝对值的平均值设为统计量的情况下,例如若基准值为50,则统计量小于基准值,因此输出灰度数设定电路16使因二值化而引起的信息损失较小,而将输出灰度数设为2。另一方面,若基准值为30,则统计量为基准值以上,因此输出灰度数设定电路16使因二值化而引起的信息损失较大,而将输出灰度数设为256。
如前述那样,基准值也可以在判断基准设定画面W120中由用户设定。因此,若使判断的基准的等级为“3”时的基准值设为50,使判断的基准的等级为“5”时的基准值设为30,则通过用户的设定输出的图像根据判断的基准的设定而不同。
根据本实施方式,能够基于将信息损失成为数值化的信息损失评价值来判断是将无彩色的原稿作为黑白二值原稿而输出、还是作为灰色原稿而输出。通过这样,即便为文本数据较多的原稿,在由于二值化而向用户传递的信息的损失较大的情况下,也能够作为灰色原稿而输出,能够抑制提供给用户的信息的损失。另一方面,在作为黑白二值原稿输出也不妨碍的情况下能够二值化而输出。作为其结果,能够根据输入数据,控制将输出图像数据输出时的图像形成装置所消耗的调色剂量、转送的数据量。
[2.第二实施方式]
接下来对第二实施方式进行说明。第二实施方式在前述的第一实施方式基础上,还将输入图像数据的图像区域分成第1图像区域和第2图像区域,并强调上述第1图像区域中的特征量,由此更高精度地判断并设定适当的输出灰度数的实施方式。
以下,针对本实施方式,对与第一实施方式的不同点进行说明。针对与第一实施方式的共用点省略说明。
图11示出表示本实施方式的图像形成装置2的功能的结构的框图。如图11所示,在第一实施方式的图像形成装置1的结构基础上,图像形成装置2还具备图像区域区分运算电路17这点不同。
图像区域区分运算电路17基于图像数据的特征,进行将图像中的区域区分为包含第1图像区域和第2图像区域在内的多个属性的区域的运算。此外,在本实施方式的例子中,第1图像区域是文字区域,第2图像区域是照片区域,但不限定于此。
参照图12对本实施方式的主处理的流程进行说明。基于图像区域区分运算电路17的处理与第一实施方式所说明的步骤S106~步骤S118的处理并行地进行,进行基于输入图像将图像中的区域区分为包含第1图像区域和第2图像区域在内的多个区域的图像区域区分运算处理(步骤S202)。此外,作为图像区域区分运算处理的预先准备,也可以进行第一实施方式所说明那样的前处理。图像区域区分运算处理的方法例如能够使用日本特开2012-114774号公报(以下,记载为“引用文献”)所公开的技术。根据引用文献所公开的技术,将图像数据分割为多个像素块,判断像素块是否为构成图像的前景的前景像素块,而且能够提取前景像素块连续的前景区域。另外,能够根据多个前景区域间的距离以及方向距离以及方向,提取由多个前景区域构成的字符串的区域。因此,能够使用引用文献,首先从图像中的区域提取前景区域,将除此以外的区域作为背景区域来区分图像区域。而且,而且能够从前景区域提取字符串区域作为文字区域,将前景区域的除此以外的区域区分为照片区域。即,能够使用引用文献所公开的技术将图像中的区域区分为背景区域、文字区域、以及照片区域这3个区域的任一个。针对详情记载于引用文献,因此省略说明。
图像区域区分运算电路17生成将图像中的区域区分为背景区域、文字区域以及照片区域这3个区域的任一个的掩模图像数据(步骤S204)。作为掩模图像数据的具体例,是与第1评价图像以及第2评价图像相同的像素数的图像数据,是在背景区域的像素的值作为附图标记而分配0的值,在文字区域的像素的值作为附图标记而分配1的值,在照片区域的像素的值作为附图标记而分配2的值的3灰度的图像数据。生成的掩模图像数据记录于记录电路15(步骤S206)。
接下来,针对在第一实施方式所说明的步骤S114中创建的差分图像数据的各像素的灰度值,输出灰度数设定电路16使用掩模图像数据进行加权处理(步骤S208)。加权处理通过以图像区域区分运算电路17所区分出的各图像区域中的、引起重要的信息损失的图像区域的像素的特征量变大的方式乘以倍率系数而进行。例如,背景区域、文字区域以及照片区域这3个区域的种类中的背景区域的信息损失由于重要度低,所以设定小的倍率系数。另一方面,文字区域的信息损失由于因少许的信息损失而给予无法辨认文字那样的深刻的影响,所以由于重要度高,所以设定较大的倍率系数。而且,针对照片区域设定它们的中间的倍率系数。
这样,使用掩模图像数据针对差分图像数据根据图像区域的种类而乘以不同的倍率系数而进行重要度高的信息损失的强调。
针对以下的处理,与第一实施方式相同进行判断处理。根据本实施方式,能够更敏感地判断特别重要的文字区域中的信息损失,因此能够适当地防止文字变形。
[3.第三实施方式]
在第一实施方式中,说明了从由不同灰度数所表示地多个评价图像,计算基于图像间的差分的统计量,并将统计量与基准值进行比较而设定适当的输出灰度数的方法。在本实施方式中,作为其他方法,按每个差分图像数据整体的像素,基于灰度值判断该像素是否满足规定的基准,对基于上述评价图像整体中的判断为满足上述规定的基准的上述像素的数量设定上述输出灰度数的方法进行说明。此外,本实施方式除了判断适当的输出灰度数的方法以外,其他与第一实施方式相同。
参照图13对本实施方式的主处理的流程进行说明。在本实施方式中,首先,输出灰度数设定电路16按每个差分图像数据整体的像素计算特征量(步骤S302)。例如,基于按每个差分图像数据的像素的灰度值,计算特征量。而且,对于输出灰度数设定电路16而言,在特征量为规定的基准值以上的情况下将其像素判断为不满足规定的基准,在特征量小于规定的基准值的情况下将其像素判断为满足规定的基准。此处,判断为不满足规定的基准的像素是指信息损失大的像素。
而且,接下来,输出灰度数设定电路16在步骤S302中对判断为满足规定的基准的像素的总数进行计数(步骤S304)。而且,对满足基准的像素的总数是否处于预先决定的规定的范围进行判断(步骤S306)。在满足基准的像素的总数处于规定的范围的情况下,判断为不适合将第2评价图像的灰度数设定为输出灰度数,将第1评价图像的灰度数(例如A的值即灰度数256)设定为输出灰度数(步骤S306;是→步骤S124)。在满足基准的像素的总数不在规定的范围的情况下,判断为适合将第2评价图像的灰度数设为输出灰度数,将第2评价图像的灰度数(例如B的值即灰度数2)设定为输出灰度数(步骤S306;否→步骤S126)。
此外,针对相对于像素的特征量的基准值、相对于满足基准的像素的总数的规定的范围,也可以预先设定,也可以能够由用户来设定。此外,也可以取代相对于像素的特征量的基准值而预先决定基准范围,根据像素的特征量是否处于基准范围,判断是否满足规定的基准。另外,也可以是,预先决定相对于满足基准的像素的总数的基准值,根据满足基准的像素的总数是该基准值以上还是小于基准值,而设定输出灰度数。
另外,在本实施方式的说明中,对判断为满足规定的基准的像素的总数进行了计数,但也可以是,对判断为不满足规定的基准的像素的总数进行计数,根据计数出的总数是否处于规定的范围而设定输出灰度数。
[4.第四实施方式]
在第一实施方式中,说明了从由不同的灰度数来表示的评价图像,基于由图像间的差分得到的差分图像,计算与一张的差分图像整体对应的统计量,通过将统计量与基准值进行比较,判断并设定适当的输出灰度数的方法。在本实施方式中,说明将差分图像数据整体分割为分别包含多个像素的多个图像块,基于按每个图像块计算的图像块的统计量,判断各图像块是否满足规定的条件,基于判断为满足规定的基准的图像块的总数而设定输出灰度数的方法。此外,像素块例如是规定的大小的矩形区域。此外,图像块也可以是圆形区域、菱形的区域,一个像素也可以属于多个像素块。
参照图14对本实施方式的主处理的流程进行说明。在本实施方式中,首先,输出灰度数设定电路16将差分图像数据整体基于记录于记录电路的规定的设定条件分割为多个图像块,按每个图像块计算基于图像块所含的多个像素的特征量的统计量(步骤S402)。此处,设定条件是针对图像块的分割数、划分方法等的信息。图像块以分别包含多个像素的方式被分割。而且,接下来,输出灰度数设定电路16按每个图像块,基于图像块的统计量进行该图像块是否满足规定的基准的判断,对图像整体满足规定的基准的图像块的总数进行计数(步骤S404)。该判断的方法能够使用与基于相对于第一实施方式所说明的图像整体的统计量的判断方法相同的方法。换句话说,与第一实施方式的不同点在于相对于第一实施方式基于图像整体的统计量对图像整体进行判断,而在本实施方式中基于图像块内的统计量对图像块进行判断这点,除此以外能够使用相同的方法。
而且接下来,输出灰度数设定电路16对步骤S404中计数出的图像块的数量是否处于预先决定的规定的范围进行判断(步骤S406)。在满足规定的基准的图像块的数量处于预先决定的规定的范围的情况下,判断为不适合将第2评价图像的灰度数设定为输出灰度数,将第1评价图像的灰度数(例如A的值即灰度数256)设定为输出灰度数(步骤S406;是→步骤S124)。在满足规定的基准的图像块的数量不在预先决定的规定的范围的情况下,判断为适合将第2评价图像的灰度数设为输出灰度数,将第2评价图像的灰度数(例如B的值即灰度数2)设定为输出灰度数(步骤S406;否→步骤S126)。
此外,针对相对于图像块的统计量的基准值、相对于满足基准的图像块的总数的规定的范围,也可以预先设定,也可以能够根据用户来设定。此外,也可以是,取代相对于图像块的统计量的基准值而预先决定基准范围,根据图像块的统计量是否处于基准范围来判断是否满足规定的基准。另外,也可以是,预先决定相对于满足基准的图像块的总数的基准值,根据满足基准的图像块的总数是该基准值以上还是小于该基准值,而设定输出灰度数。
另外,在本实施方式的说明中,对判断为满足规定的基准的图像块的总数进行了计数,但也可以是,对判断为不满足规定的基准的图像块的总数进行计数,并根据计数出的总数是否处于规定的范围而设定输出灰度数。
本实施方式可以说是第一实施方式和第三实施方式的中间的方法。以下对其进行说明。第一实施方式的方法基于从图像整体计算的统计量对图像整体进行判断,因此无论图像中产生的各个信息损失的程度的大小、产生位置的分布的疏密如何,均作为遍及图像整体的平均的数值而使信息损失的程度定量化。因此,在图像整体中,在即便局部产生信息损失也认为不是除此之外的范围内的程度的较大的信息损失的情况下,存在难以判断这样的局部的信息损失的缺点。另一方面,由于对图像整体的信息损失的大小的平均量进行判断,所以存在难以受到噪声的影响这样的优点。另一方面,第三实施方式的方法与其相反,是基于按每个像素计算的统计量进行判断,根据满足规定的条件的像素的数量设定输出灰度数的方法,因此具有能够较强地反映与局部范围中的信息损失相关的信息这一点是优点。
一般而言,图像数据包含像素尺寸的噪声的情况较多。噪声的原因各种各样,但例如存在图像读取装置20从原稿光学地读取图像时的CCD的输出噪声等。因此,在这样的局部范围中的信息损失的信息中,除了本来应该判断的信息损失的信息以外,还包含较多以这样的噪声为起因的信息。换句话说,存在容易受到噪声的影响这样的缺点。本实施方式如前述那样是第一实施方式和第三实施方式的中间的方法,且通过使将画面整体分割为图像块时的分割的方法(例如分割的细微的程度)最佳化,从而能够抑制噪声的影响,并且正确地判断与局部范围中的信息损失相关的信息。
[5.第五实施方式]
在本实施方式中,对在第三实施方式(像素单位的判断方法)或者第四实施方式(图像块单位的判断)的方法中,作为用于抑制噪声的影响的一个方法而使用组化的方法的方法进行说明。
在本实施方式中,输出灰度数设定电路16将判断为满足规定的基准的多个像素或者多个图像块所邻接的连续的像素群或者图像块群辨别为一个群集。换句话说,在判断出的多个像素或者多个图像块以2个以上邻接连续存在的情况下,将它们组化而视为一个群集进行群集处理(组化处理)。此外,在没有邻接的部分的情况下将该像素或者图像块单独视为一个群集。而且,根据基于组化处理的群集的数量进行输出灰度数的设定。
参照图15对本实施方式的主处理的流程进行说明。此外,图15是对图像块进行组化处理的流程图。首先,输出灰度数设定电路16将在步骤S404中判断为满足规定的基准的图像块所邻接的图像块群视为一个群集而进行群集处理(组化处理)(步骤S502)。
在取代图像块而将像素组化的情况下,取代图15的步骤S402和步骤S404,执行步骤S302的处理,判断足规定的基准的像素。而且,在步骤S502中,将满足基准的像素所邻接的像素群视为一个群集进行群集处理(组化处理)。
而且,接下来,输出灰度数设定电路16对判断出的各群集的大小进行判断(步骤S504)。各群集的大小能够通过构成群集的像素或者图像块的数量评价。在这种情况下,群集的大小(也称为行程长度)由1以上的数值表达。
使用图16的(a)~(d)对上述的处理进行说明。图16的(a)~(d)在差分图像数据中将判断为满足规定的基准的像素设为黑色,将判断为不满足规定的基准的像素设为白色而图示。在图16的(a)中,判断为满足规定的基准的像素三个邻接连续存在。在这样的情况下,将三个像素视为一个群集进行组化。而且,视为存在一个大小为3的群集。同样,将图16的(b)、(c)以及(d)分别视为存在一个群集的大小为4、9以及1的群集。
而且,接下来,输出灰度数设定电路16计数规定的基准尺寸以上的大小的群集的总数,判断规定的基准尺寸以上的群集的总数是否处于预先决定的规定的范围(步骤S506)。在规定的基准尺寸以上的群集的总数处于规定的范围的情况下,判断为不适合将使第2评价图像的灰度数设定为输出灰度数,将第1评价图像的灰度数(例如A的值即灰度数256)设定为输出灰度数(步骤S506;是→步骤S124)。在群集的总数不在规定的范围的情况下,判断为适合将第2评价图像的灰度数设为输出灰度数,将第2评价图像的灰度数(例如B的值即灰度数2)设定为输出灰度数(步骤S506;否→步骤S126)。例如,在群集的大小的基准尺寸为3的情况下,将大小为2以下的群集忽略而不计数,计数大小为3以上的群集的总数。
此外,针对基准尺寸、相对于规定的基准尺寸以上的群集的总数的规定的范围,也可以预先设定,也可以能够根据用户而设定。另外,在本实施方式的说明中,说明基于判断为满足规定的基准的像素或者图像块进行组化处理,但也可以基于判断为不满足规定的基准的像素或者图像块进行组化处理。
根据本实施方式,从总数的计数除去小于规定的基准的大小的群集。因此,为了由于因噪声的影响而产生了与周边的像素不同的变动而判断,能够将偶然产生的较小的群集那样的极为局部的范围的信息损失除去而正确地判断输出灰度数。
[6.变形例]
本申请发明也可以应用于数字复写机。另外,也可以应用于具备复印功能、打印功能、传真发送功能、scan to e-mail功能等的数字彩色复合机。数字彩色复合机例如也可以还具备由调制解调器、网卡构成的通信装置。若通信装置在进行传真的发送时,通过调制解调器,进行与对方目的地之间的发送手续并确保能够发送的状态,则从存储器读出以规定的形式被压缩的图像数据(由扫描仪读入的图像数据),实施压缩形式的变更等必要的处理,经由通信线路依次向对方目的地发送。
在接收传真的情况下,CPU一边进行通信手续一边接收从对方目的地发送来的图像数据而输入至图像处理装置,在图像处理装置中,将接收到的图像数据在未图示的压缩/伸长处理部中实施伸长处理。伸长的图像数据根据需要进行旋转处理、分辨率转换处理,实施输出灰度修正、灰度再现处理,并从图像打印装置30输出。
另外,经由网卡、LAN线缆,和与网络连接的计算机、其他数字复合机进行数据通信。
在上述中,对彩色复合机进行了说明,但也可以是黑白的复合机。本发明也能够在记录有用于使计算机执行的程序的计算机能够读取的记录介质中记录在上述的图像处理装置中,输入包括包含背景而拍摄到的对象的图像而提取仅对象区域的图像数据的处理方法。
作为其结果,能够以自由携带的方式提供记录有进行上述处理的程序代码(执行形式程序、中间代码程序、源程序)的记录介质。另外,在本实施方式中,作为该记录介质,既可以是利用微型计算机进行处理用的未图示的存储器、例如ROM本身就可以为程序介质(program media),另外虽然未图示,但是也可以是作为外部存储装置而设置程序代码读取装置,且可通过将记录介质插入到其中来进行读取的程序介质。
在任一个情况下,储存的程序也可以是微处理器访问而执行的结构,或者也可以是,在任一个情况下也读出程序代码,读出的程序代码下载于微型计算机的未图示的程序存储区域而执行该程序的方式。在任意一种情况下,所存储的程序,既可以是由微处理器访问存储器来执行的构成,或者也可以是任意情况下都读出程序代码,将所读出的程序代码下载到微型计算机的未图示的程序存储区域中,并执行该程序代码的方式。设该下载用的程序预先存储在主体装置内。
在这里,上述程序介质,是构成为可与主体分离的记录介质,也可以是如下的固定携带程序的介质,即包括:磁带和盒装磁带等磁带系列、软盘和硬盘等磁盘以及CD-ROM/MO/MD/DVD等光盘的盘系列、IC卡(包含存储器卡)/光卡等的卡系列、或者掩模只读存储器(MASKROM)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(ElectricallyErasable Programmable Read Only Memory)、闪存ROM等半导体存储器。
另外,在本实施方式中,由于是可与包括因特网的通信网络连接的系统构成,所以也可以为以从通信网络下载程序代码的方式流动地携带程序的介质。另外,在如这样地从通信网络下载程序代码的情况下,该下载用的程序可以预先存储在主体装置内,或者也可以从其他记录介质调入。另外,本发明中,上述程序代码也可以以通过电子传输来具体化的、包含于载波中的计算机数据信号的方式来实现。
上述记录介质,通过利用设置在数字彩色图像形成装置和计算机系统中的程序读取装置来读取,而执行上述的图像处理方法。
附图标记说明
1、2 图像形成装置
10 图像处理装置
11 图像输入电路
12 图像输出电路
13 图像处理运算电路
14 特征量计算运算电路
15 记录电路
16 输出灰度数设定电路
20 图像读取装置
30 图像打印装置
40 图像数据发送装置
50 操作面板

Claims (10)

1.一种图像处理装置,处理输入图像数据而生成输出图像数据,所述图像处理装置的特征在于,具备:
特征量计算部,其根据所述输入图像数据计算特征量;
输出灰度数设定部,其基于所述特征量计算部计算出的特征量,将多个输出灰度数候选中的任一个灰度数设定为输出灰度数;以及
图像处理部,其处理所述输入图像数据而生成所述输出灰度数设定部所设定的输出灰度数的输出图像数据。
2.根据权利要求1所述的图像处理装置,其特征在于,
所述特征量计算部计算在生成所述输出图像数据的情况下的信息损失评价值作为所述特征量,
所述输出灰度数设定部基于所述信息损失评价值设定输出灰度数。
3.根据权利要求1或2所述的图像处理装置,其特征在于,
所述特征量计算部将所述输入图像数据其本身或者对所述输入图像数据实施规定的图像处理而新生成的图像数据作为第1评价图像,
以所述输入图像数据其本身或者对所述输入图像数据实施与所述规定的图像处理相同的或者其他规定的图像处理而新生成的图像数据为基础,生成灰度数比该第1评价图像小的第2评价图像,
基于所述第1评价图像和所述第2评价图像的差分,计算所述特征量。
4.根据权利要求3所述的图像处理装置,其特征在于,
所述规定的图像处理包含:
提取所述输入图像数据中的图像的边缘部分的轮廓提取处理。
5.根据权利要求3或4所述的图像处理装置,其特征在于,
所述特征量计算部生成按每个像素计算出所述第1评价图像的像素值和所述第2评价图像的像素值的差值的差分图像数据,
所述输出灰度数设定部基于所述差分图像数据整体的像素中的、相对于所述差值的统计量设定所述输出灰度数。
6.根据权利要求3或4所述的图像处理装置,其特征在于,
所述特征量计算部生成按每个像素计算出所述第1评价图像的像素值和所述第2评价图像的像素值的差值的差分图像数据,
所述输出灰度数设定部按所述差分图像数据的每个像素,判断所述差值是否满足规定的基准,
基于所述差分图像数据整体中的、判断为满足所述规定的基准的像素的数量来设定所述输出灰度数。
7.根据权利要求1~6中任一项所述的图像处理装置,其特征在于,
所述图像处理装置具备:将所述输入图像数据的图像区域区分为至少包含第1图像区域和第2图像区域在内的多个区域的图像区域区分部,
所述输出灰度数设定部
进行相比于所述第2图像区域中的所述特征量更加强调所述第1图像区域中的所述特征量的强调处理,而设定所述输出灰度数。
8.根据权利要求7所述的图像处理装置,其特征在于,
所述第1图像区域为文字区域。
9.一种图像处理方法,其特征在于,具备:
特征量计算步骤,根据输入图像数据计算特征量;
输出灰度数设定步骤,基于在所述特征量计算步骤中计算出的特征量,将多个输出灰度数候选中的任一个灰度数设定为输出灰度数;以及
图像生成步骤,处理输入图像数据而生成在输出灰度数设定步骤中设定的所述输出灰度数的输出图像数据。
10.一种计算机可读取的记录介质,其特征在于,
记录有用于计算机使根据权利要求1~8中任一项所述的图像处理装置动作的计算机程序。
CN201910611373.5A 2018-07-06 2019-07-03 图像处理装置、图像处理方法以及记录介质 Active CN110691172B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-129080 2018-07-06
JP2018129080A JP7050599B2 (ja) 2018-07-06 2018-07-06 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
CN110691172A true CN110691172A (zh) 2020-01-14
CN110691172B CN110691172B (zh) 2021-11-16

Family

ID=69102397

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910611373.5A Active CN110691172B (zh) 2018-07-06 2019-07-03 图像处理装置、图像处理方法以及记录介质

Country Status (3)

Country Link
US (1) US10855882B2 (zh)
JP (1) JP7050599B2 (zh)
CN (1) CN110691172B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415317A (zh) * 2020-03-20 2020-07-14 苏州杰锐思智能科技股份有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7378221B2 (ja) * 2019-04-17 2023-11-13 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、制御方法、コンピュータプログラム、および記録媒体
JP7341758B2 (ja) * 2019-07-08 2023-09-11 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP7382834B2 (ja) * 2020-01-07 2023-11-17 シャープ株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022088249A (ja) * 2020-12-02 2022-06-14 シャープ株式会社 画像処理装置、制御方法及びプログラム
US11995120B1 (en) * 2023-09-13 2024-05-28 ClioTech Ltd Apparatus and method for generation of an integrated data file

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206912A1 (en) * 2004-03-22 2005-09-22 Kabushiki Kaisha Toshiba Image processing apparatus
CN101170641A (zh) * 2007-12-05 2008-04-30 北京航空航天大学 一种基于阈值分割的图像边缘检测方法
CN101232555A (zh) * 2007-01-23 2008-07-30 夏普株式会社 图像处理方法和图像处理装置
CN103034978A (zh) * 2011-09-29 2013-04-10 株式会社东芝 图像处理装置及图像处理方法
CN103310211A (zh) * 2013-04-26 2013-09-18 四川大学 一种基于图像处理的填注标记识别方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5446802A (en) * 1991-09-05 1995-08-29 Minolta Camera Kabushiki Kaisha Image processing apparatus comprising judgement means for judging dot photograph image, photograph image and character image
JPH09321988A (ja) * 1996-05-31 1997-12-12 N T T Data Tsushin Kk 階調削減装置及び階調削減方法
US6731400B1 (en) * 1996-11-01 2004-05-04 Hitachi, Ltd. Color image processing apparatus which performs different image processings depending on region of color image
JP3854060B2 (ja) 2000-11-21 2006-12-06 シャープ株式会社 画像処理装置、画像形成装置、画像処理方法及び記録媒体
JP3494161B2 (ja) * 2001-03-30 2004-02-03 ミノルタ株式会社 画像処理システム、管理装置、画像処理装置、管理方法、管理プログラム及び記録媒体
JP3514246B2 (ja) * 2001-03-30 2004-03-31 ミノルタ株式会社 画像処理システム、サーバ、画像処理装置、画像処理装置管理方法、プログラム、記録媒体
JP4483567B2 (ja) 2004-12-21 2010-06-16 コニカミノルタビジネステクノロジーズ株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP2007266921A (ja) 2006-03-28 2007-10-11 Toshiba Corp 画像形成装置、画像形成方法及びプログラム
JP4994326B2 (ja) 2008-08-05 2012-08-08 京セラドキュメントソリューションズ株式会社 画像処理装置及び当該画像処理装置を備えた画像形成装置
JP2010288146A (ja) 2009-06-12 2010-12-24 Canon Inc 画像処理装置及び画像処理方法
JP6003055B2 (ja) * 2011-12-27 2016-10-05 ブラザー工業株式会社 印刷制御装置、および、コンピュータプログラム
JP2015216455A (ja) 2014-05-08 2015-12-03 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム。
JP2017184197A (ja) 2016-03-31 2017-10-05 船井電機株式会社 印刷装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050206912A1 (en) * 2004-03-22 2005-09-22 Kabushiki Kaisha Toshiba Image processing apparatus
CN101232555A (zh) * 2007-01-23 2008-07-30 夏普株式会社 图像处理方法和图像处理装置
CN101170641A (zh) * 2007-12-05 2008-04-30 北京航空航天大学 一种基于阈值分割的图像边缘检测方法
CN103034978A (zh) * 2011-09-29 2013-04-10 株式会社东芝 图像处理装置及图像处理方法
CN103310211A (zh) * 2013-04-26 2013-09-18 四川大学 一种基于图像处理的填注标记识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111415317A (zh) * 2020-03-20 2020-07-14 苏州杰锐思智能科技股份有限公司 图像处理方法及装置、电子设备、计算机可读存储介质
CN111415317B (zh) * 2020-03-20 2024-01-05 苏州杰锐思智能科技股份有限公司 图像处理方法及装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
US20200014820A1 (en) 2020-01-09
JP2020010163A (ja) 2020-01-16
JP7050599B2 (ja) 2022-04-08
US10855882B2 (en) 2020-12-01
CN110691172B (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN110691172B (zh) 图像处理装置、图像处理方法以及记录介质
US8170336B2 (en) Image processing apparatus, image forming apparatus, image processing method and computer-readable recording medium
US8203773B2 (en) Image processing method, image processing apparatus, image forming apparatus, and recording medium for chromatic content determination
JP4170353B2 (ja) 画像処理方法、画像処理装置、画像読取装置、画像形成装置、プログラムおよび記録媒体
JP4912270B2 (ja) 画像処理装置及びその制御方法
JP4166744B2 (ja) 画像処理装置、画像形成装置、画像処理方法、コンピュータプログラム及び記録媒体
US20150015917A1 (en) Image processing apparatus, image forming apparatus, image processing method, and storage medium
JP4402090B2 (ja) 画像形成装置、画像形成方法、プログラムおよび記録媒体
JP4725645B2 (ja) 画像処理装置、データ量削減方法およびデータ量削減プログラム
JP4465377B2 (ja) 画像処理方法、画像処理装置、画像形成装置、画像読取装置、コンピュータプログラム、及び記録媒体
JP2022050362A (ja) スキャンした文書の背景領域を検出、抑制、及び修正するためのシステム及び方法
JP7382834B2 (ja) 画像処理装置、画像処理方法、及びプログラム
EP3096294B1 (en) Computer program, image processing apparatus, and method for improving quality of image data
JP2022088249A (ja) 画像処理装置、制御方法及びプログラム
US11972594B2 (en) Image processing apparatus, recording medium having image processing program recorded thereon, and image processing method for image data size reduction
JP4545766B2 (ja) 画像処理装置、画像形成装置、画像読取装置、画像処理プログラムおよび記録媒体
JP4188039B2 (ja) 画像処理装置および画像処理方法並びにそれを備えた画像読取装置、画像形成装置、プログラム、記録媒体
JP2017135690A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2008172677A (ja) 画像処理装置および地色検出方法
JP7317557B2 (ja) 画像処理装置、画像処理方法、プログラム、記録媒体及び画像形成装置
JP2020069717A (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム及び記録媒体
US20240037716A1 (en) Image processing apparatus and image processing method
JP2008271364A (ja) 画像処理装置及び画像処理方法
JP4808282B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録する記録媒体
JP6441772B2 (ja) 画像処理装置、画像形成装置、及び、画像処理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant