[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20110075110A - Image size converting apparatus - Google Patents

Image size converting apparatus Download PDF

Info

Publication number
KR20110075110A
KR20110075110A KR1020090131457A KR20090131457A KR20110075110A KR 20110075110 A KR20110075110 A KR 20110075110A KR 1020090131457 A KR1020090131457 A KR 1020090131457A KR 20090131457 A KR20090131457 A KR 20090131457A KR 20110075110 A KR20110075110 A KR 20110075110A
Authority
KR
South Korea
Prior art keywords
image
operator
information
change
source
Prior art date
Application number
KR1020090131457A
Other languages
Korean (ko)
Other versions
KR101134362B1 (en
Inventor
이인권
윤종철
김수화
이선영
Original Assignee
연세대학교 산학협력단
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단, 포항공과대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090131457A priority Critical patent/KR101134362B1/en
Publication of KR20110075110A publication Critical patent/KR20110075110A/en
Application granted granted Critical
Publication of KR101134362B1 publication Critical patent/KR101134362B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

PURPOSE: A device for converting an image size is provided to provide an image converted according to the taste of each user. CONSTITUTION: A source image is inputted(S1210). The device is combined of an image cropping operator, an image scaling operator, and/or modified seam carving operator. The inputted source image is transformed through the combination. At least one temporary image is generated through the conversion(S1220). In a temporal image, a target image is selected(S1230).

Description

이미지 크기 변환 장치{IMAGE SIZE CONVERTING APPARATUS}Image size converter {IMAGE SIZE CONVERTING APPARATUS}

개시된 기술은 이미지 크기 변환 장치에 관한 것으로, 특히 이미지의 크기를 변환하는 장치에 관한 것이다.The disclosed technique relates to an image size converting apparatus, and more particularly, to an apparatus for converting an image size.

TV, PC와 같은 대형 디스플레이 장치뿐만 아니라 PDA, 휴대폰과 같은 개인 단말기도 이미지를 화면에 디스플레이할 수 있다. 다양한 디스플레이 장치들은 용도에 따라 각기 다른 종횡비 또는 해상도로 이미지를 화면에 디스플레이한다. 따라서, 디스플레이 장치에 적합한 이미지를 생성할 수 있는 이미지 크기 변환 방법들이 연구되고 있다.In addition to large display devices such as TVs and PCs, personal terminals such as PDAs and mobile phones can display images on the screen. Various display devices display images on the screen in different aspect ratios or resolutions, depending on the application. Therefore, image size conversion methods for generating an image suitable for a display device have been studied.

실시예들 중에서, 이미지 크기 변환 장치는 디스플레이 장치, 사용자 인터페이스부, 소스 이미지를 저장하는 메모리 및 상기 소스 이미지를 변환하는 이미지 변환부를 제어하는 제어부를 포함한다. 상기 이미지 변환부는 소스 이미지를 입력받고, 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하며 -상기 수정된 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-, 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다.Among the embodiments, the image size converting apparatus includes a display device, a user interface unit, a memory for storing a source image, and a control unit for controlling the image converting unit for converting the source image. The image converting unit receives a source image, converts the received source image by combining an image cropping operator, an image scaling operator, and / or a modified seam carving operator to convert at least one input image. Generate a temporary image of the modified seam operator that determines the direction in which the change in pixel value is greatest at the boundaries of objects contained in the image, and at a predetermined distance in the determined direction. Corresponding to an operator removing or adding a seam based on the rate of change between pixels-selecting a target image from the at least one temporary image.

실시예들 중에서, 이미지 크기 변환 방법은 (a) 소스 이미지를 입력받는 단계, (b) 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하는 단계 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함- 및 (c) 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택하는 단계를 포함한다.Among the embodiments, the image size conversion method comprises (a) receiving a source image, (b) an image cropping operator, an image scaling operator and / or a modified seam carving operator Combining the input source images to generate at least one temporary image, wherein the modified shim carving operator determines a direction in which a change in pixel value is greatest at a boundary of objects included in the image. Determine and correspond to an operator that removes or adds a seam based on a rate of change between pixels at a predetermined distance in the determined direction— and (c) selecting a target image from the at least one temporary image. It includes.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments may be variously modified and may have various forms, and thus the scope of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

“제1”, “제2” 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.The terms " first ", " second ", and the like are used to distinguish one element from another and should not be limited by these terms. For example, the first component may be named a second component, and similarly, the second component may also be named a first component.

“및/또는”의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, “제1 항목, 제2 항목 및/또는 제3 항목”의 의미는 제1, 제2 또는 제3 항목뿐만 아니라 제1, 제2 또는 제3 항목들 중 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다.The term “and / or” should be understood to include all combinations that can be suggested from one or more related items. For example, the meaning of “first item, second item and / or third item” may be given from two or more of the first, second or third items as well as the first, second or third items. Any combination of the possible items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.When a component is referred to as being "connected" to another component, it should be understood that there may be other components in between, although it may be directly connected to the other component. On the other hand, when a component is said to be "directly connected" to another component, it should be understood that there is no other component in between. On the other hand, other expressions describing the relationship between the components, such as "between" and "immediately between" or "neighboring to" and "directly neighboring to", should be interpreted as well.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.A singular expression should be understood to include a plurality of expressions unless the context clearly indicates otherwise, and the terms "comprise" or "having" include features, numbers, steps, actions, components, parts, or combinations thereof. It is to be understood that this does not preclude the existence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

각 단계들에 있어 식별부호(예를 들어, a, b, c, ...)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.For each step, the identifiers (e.g., a, b, c, ...) are used for convenience of description, and the identifiers do not describe the order of the steps, and each step is clearly contextual. Unless stated in a specific order, it may occur differently from the stated order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art unless otherwise defined. Terms defined in commonly used dictionaries should be interpreted to be consistent with meaning in the context of the relevant art and can not be construed as having ideal or overly formal meaning unless expressly defined in the present application.

도 1은 개시된 기술의 일 실시예에 따른 이미지 크기 변환 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating an image size converting apparatus according to an embodiment of the disclosed technology.

도 1을 참조하면, 이미지 크기 변환 장치(100)는 메모리(110), 디스플레이부(120), 사용자 인터페이스부(130), 제어부(140) 및 이미지 변환부(150)를 포함한다.Referring to FIG. 1, the image size converting apparatus 100 may include a memory 110, a display 120, a user interface 130, a controller 140, and an image converter 150.

메모리(110)는 소스 이미지를 저장하고, 디스플레이부(120)는 이미지를 디스플레이하며, 사용자 인터페이스부(130)는 사용자로부터 명령을 입력받는다. 제어부(140)는 메모리(110), 디스플레이부(120) 및 사용자 인터페이스부(130)를 제어한다. 제어부(140)는 이미지 변환부(150)를 로드하고 이미지 변환부(150)를 통해 이미지를 변환한다.The memory 110 stores a source image, the display 120 displays an image, and the user interface 130 receives a command from a user. The controller 140 controls the memory 110, the display 120, and the user interface 130. The controller 140 loads the image converter 150 and converts the image through the image converter 150.

도 2는 도 1의 이미지 변환부의 이미지 변환 제어 화면을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing an image conversion control screen of the image conversion unit of FIG. 1.

도 2를 참조하면, 이미지 변환 제어 화면(210)은 소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240) 및 소스 이미지 디스플레이부(250)를 포함한다.Referring to FIG. 2, the image conversion control screen 210 may include a source image opening input unit 220, an image conversion input unit 230, a target image size input unit 240, and a source image display unit 250.

제어부(140)가 이미지 변환부(150)를 로드하는 경우에는, 이미지 변환부(150)는 이미지 변환 제어 화면(210)을 디스플레이부(120)에 디스플레이한다. 소스 이미지 열기 입력부(220)가 선택되는 경우에는 이미지 변환부(150)는 메모리(110)에서 크기를 변환시키기 위한 소스 이미지를 로드하고 로드된 소스 이미지를 소스 이미지 디스플레이부(250)에 디스플레이한다. 크기를 변환시키기 위한 소스 이미지는 사용자에 의해 선택될 수 있다.When the controller 140 loads the image converter 150, the image converter 150 displays the image conversion control screen 210 on the display 120. When the open source image input unit 220 is selected, the image converter 150 loads a source image for converting the size from the memory 110 and displays the loaded source image on the source image display unit 250. The source image for converting the size may be selected by the user.

이미지 변환부(150)는 타깃 이미지 크기 입력부(240)를 통해 타깃 이미지의 크기를 입력받는다. 일 실시예에서, 타깃 이미지의 크기는 타깃 이미지의 픽셀 수에 상응할 수 있다. 일 실시예에서, 이미지 변환부(150)는 타깃 이미지의 크기 즉, 픽셀의 수를 직접 입력받을 수 있고, 다른 일 실시예에서, 기 설정된 예시 크기 중에서 하나를 선택받을 수 있다. The image converter 150 receives the size of the target image through the target image size inputter 240. In one embodiment, the size of the target image may correspond to the number of pixels of the target image. In one embodiment, the image converter 150 may directly receive the size of the target image, that is, the number of pixels, and in another embodiment, may select one of the preset example sizes.

소스 이미지 및 타깃 이미지의 크기가 선택된 후 이미지 변환 입력부(230)가 선택되는 경우에는 이미지 변환부(150)는 이미지 변환 과정을 수행한다.If the image conversion input unit 230 is selected after the sizes of the source image and the target image are selected, the image conversion unit 150 performs an image conversion process.

이하에서는 이미지 변환부(150)를 통해 소스 이미지를 변환하는 과정을 설명한다.Hereinafter, a process of converting the source image through the image converter 150 will be described.

이미지마다 특성이 다르므로 이미지마다 동일한 이미지 변환부를 적용하는 경우에는 자연스러운 축소 또는 확장 이미지를 얻기가 어렵다. 따라서, 이미지 변환부(150)는 오퍼레이터를 임의로 조합하여 제1 오퍼레이터 조합을 생성하고, 생성된 제1 오퍼레이터 조합을 기초로 제1 타깃 이미지를 생성한다. 이미지 변환부(150)는 생성된 제1 타깃 이미지를 디스플레이부(120)에 디스플레이하고 제1 타깃 이미지에 대한 평가 정보를 입력받는다.Since the characteristics are different for each image, it is difficult to obtain a natural reduced or expanded image when the same image converter is applied to each image. Accordingly, the image converter 150 arbitrarily combines the operators to generate the first operator combination, and generates the first target image based on the generated first operator combination. The image converter 150 displays the generated first target image on the display 120 and receives evaluation information about the first target image.

이미지 변환부(150)는 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하고, 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다. 수정된 심 카빙 오퍼레이터는 소스 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하여 이미지를 변환한다.The image converter 150 converts the source image by combining an image cropping operator, an image scaling operator, and / or a modified seam carving operator to generate at least one temporary image. Select the target image from at least one temporary image. The modified seam carving operator determines the direction in which the change in the pixel value is greatest at the boundaries of the objects contained in the source image, and based on the rate of change between the pixels at a predetermined distance in the determined direction. Convert the image by removing or adding it.

일 실시예에서, 이미지 변환부(150)는 오페레이터의 종류, 순서, 개수 등을 임의로(random) 조합할 수 있다. 오퍼레이터의 조합은 (k1O1, k2O2, k3O3,…)로 표시될 수 있다. Oi는 오퍼레이터의 종류를 나타내며, ki는 해당 오퍼레이터에 의해 축소 또는 확장되는 픽셀의 개수를 나타낸다. 따라서, ∑ki는 소스 이미지의 크기와 타깃 이미지의 크기의 차이 값과 같다.In one embodiment, the image converter 150 may randomly combine the types, order, number, etc. of the operator. The combination of operators may be represented by (k1O1, k2O2, k3O3, ...). Oi represents the type of operator and ki represents the number of pixels reduced or expanded by the operator. Thus, ∑ki is equal to the difference between the size of the source image and the size of the target image.

도 3은 이미지 크롭핑 오퍼레이터 및 이미지 스케일링 오퍼레이터를 설명하기 위한 도면이다.3 is a diagram for describing an image cropping operator and an image scaling operator.

도 3을 참조하면, 도 3의 (a)는 원본 이미지를, 도 3의 (b)는 이미지 크롭핑 오퍼레이터를 통해 원본 이미지를 크롭한 이미지를, 도 3의 (c)는 이미지 스케일링 오퍼레이터를 통해 원본 이미지를 스케일링한 이미지를 나타낸다.Referring to FIG. 3, FIG. 3A illustrates an original image, FIG. 3B illustrates an image cropped through an image cropping operator, and FIG. 3C illustrates an image scaling operator. Represents the scaled image of the original image.

이미지 크롭핑 오퍼레이터는 이미지에서 일부 영역을 강조하거나 또는 이미지의 종횡비(aspect ratio)를 변환하기 위해 이미지의 외부 영역을 제거한다. 도 3의 (b)는 이미지 크롭핑 오퍼레이터를 통해 도 3의 (a)의 원본 이미지에서 외부 영역을 제거한 이미지이다. 이미지 스케일링 오퍼레이터는 이미지의 크기를 확대 또는 축소한다. 예를 들어, 이미지 스케일링 오퍼레이터는 업샘플링(upsampling) 또는 보간(interpolating)을 통해 이미지를 확대할 수 있고, 다운샘플링(downsampling)을 통해 이미지를 축소할 수 있다. 도 3의 (c)는 이미지 스케일링을 통해 도 3의 (a)의 원본 이미지를 축소한 이미지이다.The image cropping operator removes the outer areas of the image to highlight some areas in the image or to convert the aspect ratio of the image. FIG. 3B is an image in which an external region is removed from the original image of FIG. 3A through an image cropping operator. The image scaling operator enlarges or reduces the size of the image. For example, an image scaling operator can magnify an image through upsampling or interpolating and can downscale an image through downsampling. FIG. 3C is a reduced image of the original image of FIG. 3A through image scaling.

수정된 심 카빙 오퍼레이터는 내용 인식 이미지 크기 변환 방법 중에 하나이다. 수정된 심 카빙 오퍼레이터는 상기 소스 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하여 이미지를 변환한다. 예를 들어, 수정된 심 카빙 오퍼레이터는 플로우 가이디드(flow guided) 심 카빙 오퍼레이터에 상응할 수 있다.The modified seam carving operator is one of the methods of content-aware image size conversion. The modified shim carving operator determines the direction in which the change in the pixel value is greatest at the boundary of objects included in the source image, and based on the rate of change between the pixels at a predetermined distance in the determined direction. Convert the image by removing or adding seam). For example, the modified shim carving operator may correspond to a flow guided shim carving operator.

도 4는 수정된 심 카빙 오퍼레이터를 설명하기 위한 도면이다.4 is a view for explaining a modified seam carving operator.

도 4를 참조하면, 도 4의 (a)는 이미지의 방향을 고려하지 않고 특징 점에서 방향 축 기반으로 편향치를 구하는 도면을 나타내고, 도 4의 (b)는 에지 탄젠트 플로우(ETF, Edge Tangent Flow) 알고리즘을 수행하여 이미지의 정규화된 접선 벡터(tangent vector)를 구하는 도면을 나타내며, 도 4의 (c)는 도 4의 (b)를 기초로 수직 벡터(normal vector) 방향으로 편향치를 구하는 도면을 나타낸다.Referring to FIG. 4, (a) of FIG. 4 shows a drawing for obtaining a deflection value based on a direction axis from a feature point without considering the direction of an image, and FIG. 4 (b) shows an edge tangent flow (ETF). Fig. 4 (c) shows a diagram for calculating a deflection value in the direction of a normal vector based on (b) of Fig. 4, by performing an algorithm. Indicates.

수정된 심 카빙 오퍼레이터는 에지 탄젠트 플로우(ETF) 알고리즘을 수행하여 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 구한다. 에지 탄젠트 플로우 알고리즘은 이미지 내의 경계에서 픽셀 값의 변화가 가장 작은 방향을 나타내는 접선 벡터를 구하고 접선 벡터를 정규화한다. 아래 수학식 1은 이미지 상의 픽셀(x)에서 정규화된 접선 벡터(t(x))를 구하는 식이다.The modified seam carving operator performs an edge tangent flow (ETF) algorithm to determine the direction in which the change in pixel value is greatest at the boundaries of the objects contained in the image, and to determine the pixels at a predetermined distance in the determined direction. Find the rate of change of the liver. The edge tangent flow algorithm finds a tangent vector representing the direction in which the change in pixel value is the smallest at the boundary in the image and normalizes the tangent vector. Equation 1 below calculates a normalized tangent vector t (x) in a pixel x on an image.

Figure 112009080469897-PAT00001
Figure 112009080469897-PAT00001

tx(x)는 접선 벡터의 x축 성분을 나타내고 ty(x)는 접선 벡터의 y축 성분을 나타낸다. 도 4의 (b)는 수학식 1을 통해 계산된 정규화된 접선 벡터를 나타내는 도면이다.t x (x) represents the x-axis component of the tangential vector and t y (x) represents the y-axis component of the tangential vector. FIG. 4B is a diagram illustrating a normalized tangent vector calculated through Equation 1. FIG.

접선 벡터의 수직 방향이 픽셀 값의 변화가 가장 크므로, 에지 탄젠트 플로우 알고리즘은 접선 벡터의 수직 방향으로 이미지의 방향 도함수를 계산하여 해당 방향으로 소정의 거리에 있는 픽셀들 간의 변화율(또는, 방향에 따른 편향치)을 구한다. 아래 수학식 2는 방향에 따른 편향치를 구하는 식이다.Since the vertical direction of the tangential vector has the largest change in pixel value, the edge tangent flow algorithm calculates the direction derivative of the image in the vertical direction of the tangential vector to determine the rate of change (or direction) between the pixels at a given distance in that direction. According to the deflection value). Equation 2 below calculates a deflection value according to a direction.

Figure 112009080469897-PAT00002
Figure 112009080469897-PAT00002

Figure 112009080469897-PAT00003
는 방향에 따른 편향치를 나타내고 I(x)는 이미지를 나타낸다. 도 4의 (c)는 수학식 2를 통해 접선 벡터의 수직 방향으로 방향에 따른 편향치를 구하는 방법을 나타내는 도면이다.
Figure 112009080469897-PAT00003
Denotes a deflection value along the direction and I (x) denotes an image. FIG. 4C is a diagram illustrating a method of obtaining a deflection value according to a direction in a vertical direction of a tangential vector through Equation (2).

수정된 심 카빙 오퍼레이터는 정규화된 접선 벡터와 방향에 따른 편향치를 기초로 픽셀의 변화율(또는, 에너지) 을 계산하고 변화율이 가장 낮은 픽셀들을 연결한 심을 검출한다. 아래 수학식 3은 이미지 상의 특정 픽셀에서 수직 방향의 변화 율(또는, 에너지)을 구하는 식이다.The modified shim carving operator calculates the rate of change (or energy) of the pixel based on the normalized tangent vector and the deflection value along the direction, and detects the shim connecting the pixels with the lowest rate of change. Equation 3 below calculates the rate of change (or energy) in the vertical direction in a specific pixel on the image.

Figure 112009080469897-PAT00004
Figure 112009080469897-PAT00004

wv(x)는 이미지의 구조에 따른 수직 방향 가중치를 나타내며,

Figure 112009080469897-PAT00005
는 수학식 2에서 구한 방향에 따른 편향치를 나타낸다. 아래 수학식 4는 wv(x)를 구하는 식이다.w v (x) represents the vertical weight according to the structure of the image,
Figure 112009080469897-PAT00005
Denotes a deflection value according to the direction obtained from Equation 2. Equation 4 below calculates w v (x).

Figure 112009080469897-PAT00006
Figure 112009080469897-PAT00006

ey는 y축 방향 단위 벡터 즉 (0,1)을 나타내고, t(x)은 정규화된 접선 벡터를 나타낸다.e y represents the y-axis direction unit vector, i.e., (0, 1), and t (x) represents the normalized tangent vector.

수정된 심 카빙 오퍼레이터는 수학식 3의 수직 방향 변화율을 기초로 변화율이 가장 작은 픽셀들을 연결한 수직 방향의 심을 검출하고, 해당 심을 제거함으로써 소스 이미지의 폭을 축소시킬 수 있다.The modified shim carving operator may reduce the width of the source image by detecting a vertical seam connecting the pixels having the smallest change rate based on the vertical change rate of Equation 3 and removing the seam.

아래 수학식 5는 이미지 상의 특정 픽셀에서 수평 방향의 변화율(또는, 에너지)을 구하는 식이다.Equation 5 below calculates a rate of change (or energy) in a horizontal direction in a specific pixel on an image.

Figure 112009080469897-PAT00007
Figure 112009080469897-PAT00007

wh(x)는 이미지의 구조에 따른 수평 방향 가중치를 나타내며,

Figure 112009080469897-PAT00008
는 수학식 2에서 구한 방향에 따른 편향치를 나타낸다. 아래 수학식 6은 wh(x)를 구하는 식이다.w h (x) represents the horizontal weight along the structure of the image,
Figure 112009080469897-PAT00008
Denotes a deflection value according to the direction obtained from Equation 2. Equation 6 below calculates w h (x).

Figure 112009080469897-PAT00009
Figure 112009080469897-PAT00009

ex는 x축 방향 단위 벡터 즉 (1,0)을 나타내고, t(x)은 정규화된 접선 벡터를 나타낸다.e x represents the x-axis direction unit vector, that is, (1,0), and t (x) represents the normalized tangent vector.

수정된 심 카빙 오퍼레이터는 수학식 5의 수평 방향 변화율을 기초로 변화율이 가장 작은 픽셀들을 연결한 수평 방향의 심을 검출하고, 해당 심을 제거함으로써 소스 이미지의 높이를 축소시킬 수 있다.The modified shim carving operator may reduce the height of the source image by detecting a horizontal seam connecting the pixels having the smallest change rate based on the horizontal change rate of Equation 5 and removing the seam.

도 5는 도 1의 이미지 변환부를 통해 생성된 임시 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing an image conversion control screen including a temporary image generated by the image converter of FIG. 1.

도 5를 참조하면, 이미지 변환 제어 화면(210)은 소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240), 소스 이미지 디스플레이부(250), 임시 이미지 디스플레이부(510) 및 임시 이미지 평가 정보 입 력부(520)를 포함한다. 도 5는 6개의 임시 이미지가 생성된 경우의 도면이다.Referring to FIG. 5, the image conversion control screen 210 may include a source image open input unit 220, an image conversion input unit 230, a target image size input unit 240, a source image display unit 250, and a temporary image display unit ( 510 and the temporary image evaluation information input unit 520. 5 is a diagram when six temporary images are generated.

소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240) 및 소스 이미지 디스플레이부(250)는 위에 열거한 도 2의 설명과 동일하다.The source image opening input unit 220, the image conversion input unit 230, the target image size input unit 240, and the source image display unit 250 are the same as the descriptions of FIG. 2 listed above.

임시 이미지 디스플레이부(510)는 이미지 변환부(150)에 의해 생성된 임시 이미지를 각각 디스플레이한다. 6개의 임시 이미지가 생성된 경우에는, 6개의 임시 이미지 디스플레이부(510a, 510b, 510c, 510d, 510e, 510f)를 통해 임시 이미지가 디스플레이될 수 있다.The temporary image display unit 510 displays the temporary images generated by the image converter 150, respectively. When six temporary images are generated, the temporary images may be displayed through the six temporary image display units 510a, 510b, 510c, 510d, 510e, and 510f.

임시 이미지 평가 정보 입력부(520)는 임시 이미지 디스플레이부(510)에 디스플레이된 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정한다. 일 실시예에서, 평가 정보는 임시 이미지 디스플레이부(510)에 디스플레이된 임시 이미지에 대한 평가 점수에 상응할 수 있다. 다른 일 실시예에서, 평가 정보는 임시 이미지 디스플레이부(510)에 디스플레이된 임시 이미지에 대한 선택/제외에 상응할 수 있다.The temporary image evaluation information input unit 520 receives evaluation information on each of the at least one temporary image displayed on the temporary image display unit 510 and determines at least one candidate image. In one embodiment, the evaluation information may correspond to an evaluation score for the temporary image displayed on the temporary image display unit 510. In another embodiment, the evaluation information may correspond to the selection / exclusion of the temporary image displayed on the temporary image display unit 510.

도 6은 도 5의 이미지 변환 제어 화면에서 평가 정보를 입력받는 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a method of receiving evaluation information on the image conversion control screen of FIG. 5.

도 6을 참조하면, 임시 이미지 평가 정보 입력부(520)는 임시 이미지 디스플레이부(510)에 디스플레이된 어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받을 수 있다.Referring to FIG. 6, the temporary image evaluation information input unit 520 may receive evaluation information on each of at least one temporary image displayed on the temporary image display unit 510.

임시 이미지들 각각에 대한 평가 정보를 입력받은 후, 이미지 변환부(150)는 임시 이미지들 중 평가 정보가 높은 이미지들을 선택하고 선택된 이미지들을 후보 이미지들로 결정한다. 일 실시예에서, 이미지 변환부(150)는 평가 점수가 높은 순서대로 일정 개수의 후보 이미지를 결정할 수 있다.After receiving evaluation information about each of the temporary images, the image converter 150 selects images having high evaluation information among the temporary images and determines the selected images as candidate images. In one embodiment, the image converter 150 may determine a predetermined number of candidate images in the order of the high evaluation score.

후보 이미지들을 선택한 후, 이미지 변환부(150)는 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는다. 이미지 변환 정보는 해당 후보 이미지에 수행된 적어도 하나의 오퍼레이터(즉, 이미지 크롭핑 오퍼레이터, 이미지 스케일링 오퍼레이터 및/또는 수정된 심 카빙 오퍼레이터)에 관한 정보에 상응할 수 있다.After selecting the candidate images, the image converter 150 obtains image conversion information from each of the at least one candidate image. The image transformation information may correspond to information about at least one operator (ie, image cropping operator, image scaling operator and / or modified seam carving operator) performed on the candidate image.

이미지 변환부(150)는 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성한다. 예를 들어, 이미지 변환부(150)는 이미지 변환 정보에 대하여 GA(Genetic Algorithm) 연산을 수행하여 새로운 이미지 변환 정보를 생성하고, 생성된 새로운 이미지 변환 정보를 기초로 소스 이미지를 재변환할 수 있다.The image converter 150 generates an image by reconverting the source image based on the image conversion information. For example, the image converter 150 may generate new image conversion information by performing GA (Genetic Algorithm) operation on the image conversion information, and may reconvert the source image based on the generated new image conversion information. .

이미지 변환부(150)는 최종 타깃 이미지가 결정될 때까지, 적어도 하나의 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 과정, 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 과정 및 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성하는 과정을 반복할 수 있다.The image conversion unit 150 receives evaluation information about each of the at least one image and determines at least one candidate image until the final target image is determined, and obtains image conversion information from each of the at least one candidate image. And reconverting the source image based on the image conversion information to generate an image.

일 실시예에서, 이미지 변환부(150)는 이미지 변환 정보를 포함하는 비트 열(bit string)을 유전 정보(chromosome)로 사용하여 GA 연산을 수행할 수 있다.According to an embodiment, the image converter 150 may perform a GA operation using a bit string including image conversion information as genetic information.

도 7은 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.7 is a diagram for describing a bit string including image conversion information.

도 7을 참조하면, 비트 열은 오퍼레이터 개수 정보 필드(NumofOp)(710), 이미지 변환 타입 정보 필드(MixorReg)(720), 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730), 오퍼레이터 종류 정보 필드(WhichOp)(740), 오퍼레이터 순서 정보 필드(order) (750) 및 오퍼레이터 반복 횟수 정보 필드(opMap)(760)를 포함한다.Referring to FIG. 7, the bit string includes an operator number information field (NumofOp) 710, an image conversion type information field (MixorReg) 720, a size information field (reqWidth) 730 of a pixel to be reduced or expanded, an operator type. An information field (WhichOp) 740, an operator order information field (order) 750, and an operator repetition count information field (opMap) 760 are included.

오퍼레이터 개수 정보 필드(NumofOp)(710)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 개수 정보를 포함하며 필드의 크기는 2바이트이다. 이미지 변환 타입 정보 필드(MixorReg)(720)는 변환 전에 해당 오퍼레이터 조합의 오퍼레이터의 순서 및 반복 횟수를 모르는 타입(Mix)인지 또는 변환 전에 해당 오퍼레이터 조합의 오퍼레이터의 순서가 고정된 타입(Regular)인지에 대한 정보를 포함하며 필드의 크기는 1바이트이다.The operator number information field (NumofOp) 710 includes information about the number of operators included in the operator combination, and the size of the field is 2 bytes. The image conversion type information field (MixorReg) 720 is a type (Mix) that does not know the order and number of iterations of the operator combination before the conversion, or whether the operator order of the operator combination before the conversion is a fixed type (Regular). This field contains information about the size of a field.

축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730)는 축소 또는 확장될 픽셀의 크기 즉, 소스 이미지의 크기와 타깃 이미지의 크기 사이의 차이 정보를 포함하며 필드의 크기는 3바이트이다. 오퍼레이터 종류 정보 필드(WhichOp)(740)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 종류에 대한 정보를 포함하며 필드의 크기는 3바이트이다. 오퍼레이터 순서 정보 필드(order) (750)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 순서에 대한 정보를 포함하며 필드의 크기는 3바이트이다. 오퍼레이터 반복 횟수 정보 필드(opMap)(760)는 해당 오퍼레이터 조합에 포함된 오퍼레이터의 반복 횟수 정보를 포함하며 필드의 크기는 3바이트이다.The size information field (reqWidth) 730 of the pixel to be reduced or expanded includes information on the size of the pixel to be reduced or expanded, that is, the difference between the size of the source image and the size of the target image, and the size of the field is 3 bytes. The operator type information field (WhichOp) 740 includes information on the type of the operator included in the operator combination, and the size of the field is 3 bytes. The operator order information field 750 includes information on the order of operators included in the operator combination, and the size of the field is 3 bytes. The operator repeat count information field (opMap) 760 includes repeat count information of an operator included in a corresponding operator combination, and the size of the field is 3 bytes.

이미지 변환부(150)는 후보 이미지에 대한 이미지 변환 정보를 포함하는 비 트 열을 유전 정보로 사용하여 GA 연산을 수행한다.The image converter 150 performs a GA operation using a bit string including image conversion information of the candidate image as genetic information.

도 8은 후보 이미지에 대한 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.8 is a diagram for describing a bit string including image transformation information about a candidate image.

도 8은 이미지 변환부(150)가 평가 정보가 높은 3개의 이미지를 후보 이미지로 선택한 경우를 가정하였다. 도 8을 참조하면, 이미지 변환부(150)는 3개의 후보 이미지에 대한 이미지 변환 정보를 포함하는 비트 열(810, 820, 830)을 유전 정보로 사용한다. 예를 들어, 제1 비트 열(810)은 제1 이미지를 생성한 이미지 변환 정보를 포함하고, 제2 비트 열(820)은 제2 이미지를 생성한 이미지 변환 정보를 포함하며, 제3 비트 열(830)은 제3 이미지를 생성한 이미지 변환 정보를 포함한다.FIG. 8 assumes that the image converter 150 selects three images having high evaluation information as candidate images. Referring to FIG. 8, the image converter 150 uses bit strings 810, 820, and 830 including image transformation information of three candidate images as genetic information. For example, the first bit string 810 includes image conversion information for generating the first image, the second bit string 820 includes image conversion information for generating the second image, and the third bit string. 830 includes image conversion information that generates a third image.

이미지 변환부(150)는 제1 비트열(810), 제2 비트열(820) 및 제3 비트열(830)을 기초로 GA 연산을 수행한다. GA는 유전 정보를 기초로 크로스오버(crossover) 연산 또는 변이(mutation) 연산을 수행하여 새로운 유전 정보를 생성한다. 크로스오버 연산은 크로스오버 포인트(crossover point)를 기준으로 유전 정보에 포함된 정보를 교환(swap)하는 연산이며, 변이 연산은 유전 정보에 포함된 정보 중 특정 비트를 반전시키는 연산이다. 일 실시예에서, 유전 알고리즘 연산의 크로스오버 확률과 변이 확률은 미리 설정될 수 있다.The image converter 150 performs a GA operation based on the first bit string 810, the second bit string 820, and the third bit string 830. The GA generates new genetic information by performing a crossover operation or a mutation operation based on the genetic information. The crossover operation is an operation for swapping information included in the genetic information based on a crossover point, and the variation operation is an operation for inverting a specific bit among the information included in the genetic information. In one embodiment, the crossover probability and the variation probability of the genetic algorithm operation may be preset.

도 9는 도 8의 비트 열을 기초로 크로스오버 연산을 수행하는 과정을 설명하기 위한 도면이다.FIG. 9 is a diagram for describing a process of performing a crossover operation based on the bit string of FIG. 8.

도 9를 참조하면, 유전 알고리즘은 이미지 변환 타입 정보 필드(MixorReg)(720)와 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730) 사 이를 크로스오버 포인트로 하여 유전 정보에 포함된 정보를 교환(swap)한다. 유전 알고리즘은 크로스오버 포인트의 뒤에 위치한 정보를 교환할 수 있다.Referring to FIG. 9, the genetic algorithm uses information included in the genetic information as a crossover point between an image transformation type information field (MixorReg) 720 and a size information field (reqWidth) 730 of a pixel to be reduced or expanded. Swap. Genetic algorithms may exchange information located behind the crossover point.

예를 들어, 유전 알고리즘은 크로스오버 연산을 통해 제1 비트 열(810)과 제2 비트 열(820)의 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730), 오퍼레이터 종류 정보 필드(WhichOp)(740), 오퍼레이터 순서 정보 필드(order) (750) 및 오퍼레이터 반복 횟수 정보 필드(opMap)(760)를 교환할 수 있다. 유전 알고리즘은 제1 비트 열(810)과 제2 비트 열(820)을 기초로 크로스오버 연산을 수행하여 새로운 비트 열(또는, 유전 정보)(910, 920)을 생성한다.For example, the genetic algorithm may include a size information field (reqWidth) 730 and an operator type information field (WhichOp) of a pixel to be reduced or expanded in the first bit string 810 and the second bit string 820 through a crossover operation. 740, an operator order information field 750, and an operator repeat count information field (opMap) 760 may be exchanged. The genetic algorithm performs a crossover operation based on the first bit string 810 and the second bit string 820 to generate new bit strings (or genetic information) 910 and 920.

도 10는 도 8의 비트 열을 기초로 변이 연산을 수행하는 과정을 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a process of performing a shift operation based on the bit string of FIG. 8.

도 10은 유전 알고리즘이 축소 또는 확장될 픽셀의 크기 정보 필드(reqWidth)(730)와 오퍼레이터 종류 정보 필드(WhichOp)(740) 사이를 크로스오버 포인트로 하여 유전 정보에 포함된 정보를 교환한 경우를 가정하였다.FIG. 10 illustrates a case in which the genetic algorithm exchanges information included in genetic information using a crossover point between a size information field (reqWidth) 730 and an operator type information field (WhichOp) 740 of a pixel to be reduced or expanded. Assumed

도 10을 참조하면, 유전 알고리즘은 제1 비트 열(810)과 제3 비트 열(830)을 기초로 크로스오버 연산을 수행하여 새로운 비트 열(또는, 유전 정보)(1010, 1020)을 생성한다. 변이 연산은 크로스오버 연산을 통해 생성된 비트 열(1010, 1020)의 특정 비트를 반전시킨다. 예를 들어, 변이 연산은 새로 생성된 비트 열(1010) 중 오퍼레이터 순서 정보 필드(order) (750)에 포함된 비트의 값을 0에서 1로 반전시킬 수 있다. 일 실시예에서, 변이 연산을 수행할 비트의 개수는 변이 확률에 따라 달라질 수 있다. 일 실시예에서, 변이 연산을 수행할 비트의 위치는 임의로 정해질 수 있다.Referring to FIG. 10, the genetic algorithm generates a new bit string (or genetic information) 1010 and 1020 by performing a crossover operation based on the first bit string 810 and the third bit string 830. . The transition operation inverts specific bits of the bit strings 1010 and 1020 generated through the crossover operation. For example, the shift operation may invert the value of the bit included in the operator order information field 750 of the newly generated bit string 1010 from 0 to 1. In one embodiment, the number of bits to perform the shift operation may vary according to the shift probability. In one embodiment, the position of the bit to perform the shift operation can be arbitrarily determined.

유전 알고리즘은 기 설정된 수의 새로운 비트 열(또는, 유전 정보)을 생성한다. 일 실시예에서, 유전 알고리즘은 6개의 새로운 비트 열을 생성할 수 있다. 이미지 변환부(150)는 새로운 비트 열에 포함된 정보를 기초로 해당 비트 열에 상응하는 이미지 변환 정보를 생성하고, 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 변환된 이미지들을 생성한다.The genetic algorithm generates a predetermined number of new bit strings (or genetic information). In one embodiment, the genetic algorithm may generate six new bit strings. The image converter 150 generates image conversion information corresponding to the corresponding bit string based on the information included in the new bit string, and reconverts the source image based on the image transform information to generate the converted images.

도 11은 새로운 이미지 변환 정보를 통해 변환된 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.FIG. 11 is a diagram for describing an image conversion control screen including an image converted through new image conversion information.

이미지 변환 제어 화면(210), 소스 이미지 열기 입력부(220), 이미지 변환 입력부(230), 타깃 이미지 크기 입력부(240), 소스 이미지 디스플레이부(250), 타깃 이미지 디스플레이부(510) 및 타깃 이미지 평가 정보 입력부(520)는 위에 열거한 도 5의 설명과 동일하다.Image conversion control screen 210, source image open input unit 220, image conversion input unit 230, target image size input unit 240, source image display unit 250, target image display unit 510 and target image evaluation The information input unit 520 is the same as the description of FIG. 5 listed above.

타깃 이미지 디스플레이부(510)는 새로운 이미지 변환 정보에 의해 생성된 이미지들을 각각 디스플레이한다. 6개의 이미지 변환 정보를 통해 6개의 이미지가 생성된 경우에는, 6개의 타깃 이미지 디스플레이부(510a, 510b, 510c, 510d, 510e, 510f)에 이미지가 디스플레이된다. 타깃 이미지 평가 정보 입력부(520)는 타깃 이미지 디스플레이부(510)에 디스플레이된 이미지에 대한 평가 정보를 입력받는다.The target image display unit 510 displays the images generated by the new image conversion information, respectively. When six images are generated through six image conversion information, the images are displayed on the six target image display units 510a, 510b, 510c, 510d, 510e, and 510f. The target image evaluation information input unit 520 receives evaluation information about the image displayed on the target image display unit 510.

이미지 변환부(150)는 최종 타깃 이미지가 결정될 때까지, 적어도 하나의 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 과정, 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 과정 및 이 미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성하는 과정을 반복할 수 있다.The image conversion unit 150 receives evaluation information about each of the at least one image and determines at least one candidate image until the final target image is determined, and obtains image conversion information from each of the at least one candidate image. And a process of generating an image by reconverting the source image based on the image conversion information.

도 12는 이미지를 변환하는 과정을 설명하기 위한 순서도이다.12 is a flowchart illustrating a process of converting an image.

이미지 크기 변환 장치는 소스 이미지를 입력받고(S1210), 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성한다(S1220). 수정된 심 카빙 오퍼레이터는 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가한다.The image size conversion device receives the source image (S1210), converts the source image by combining an image cropping operator, an image scaling operator and / or a modified seam carving operator to at least One temporary image is generated (S1220). The modified seam carving operator determines the direction in which the change in the pixel value is greatest at the boundaries of the objects contained in the image, and based on the rate of change between the pixels at a predetermined distance in the determined direction. Remove or add.

이미지 크기 변환 장치는 적어도 하나의 임시 이미지에서 타깃 이미지를 선택한다(S1230). 일 실시예에서, 이미지 크기 변환 장치는 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정할 수 있다. 이미지 크기 변환 장치는 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻고, 이미지 변환 정보를 기초로 소스 이미지를 재변환할 수 있다.The image size converting apparatus selects a target image from at least one temporary image (S1230). In one embodiment, the image size converting apparatus may receive evaluation information about each of the at least one temporary image and determine at least one candidate image. The image size converting apparatus may obtain image conversion information from each of the at least one candidate image, and reconvert the source image based on the image conversion information.

이미지 변환부는 최종 타깃 이미지가 결정될 때까지, 적어도 하나의 이미지 각각에 대한 평가 정보를 입력받아 적어도 하나의 후보 이미지를 결정하는 단계, 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 단계 및 이미지 변환 정보를 기초로 소스 이미지를 재변환하여 이미지를 생성하는 단계를 반복할 수 있다.The image conversion unit receives evaluation information about each of the at least one image until the final target image is determined, determining at least one candidate image, obtaining image conversion information from each of the at least one candidate image, and image conversion information. Based on the reconversion of the source image to generate an image can be repeated.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

일 실시예에 따른 이미지 크기 변환 장치는 이미지의 특성을 고려하여 자연스럽게 이미지를 변환할 수 있다. 이미지의 크기를 변환하는 경우 이미지의 구조적인 특성을 고려하여 각 이미지에 맞는 오퍼레이터 조합을 생성할 수 있고, 해당 오퍼레이터 조합을 통해 자연스럽게 크기가 변환된 이미지를 얻을 수 있다.The image size converting apparatus according to an exemplary embodiment may naturally convert an image in consideration of characteristics of the image. When converting the size of an image, an operator combination suitable for each image may be generated in consideration of the structural characteristics of the image, and a naturally resized image may be obtained through the operator combination.

일 실시예에 따른 이미지 크기 변환 장치는 이미지 변환 과정에 사용자의 평가를 반영하여 각 사용자의 기호에 따라 크기가 변환된 이미지를 제공할 수 있다. 복수의 오퍼레이터 조합을 통해 생성된 이미지들에 대해 사용자의 평가를 입력받고, 평가가 높은 오퍼레이터 조합을 기초로 새로운 오퍼레이터 조합을 생성하여 이미지를 변환하므로 각 사용자의 기호에 따라 변환된 이미지를 제공할 수 있다.The image size converting apparatus according to an embodiment may provide an image whose size is converted according to a preference of each user by reflecting a user's evaluation in an image converting process. The user's evaluation is input to the images generated by the plurality of operator combinations, and a new operator combination is generated based on the operator combination with high evaluation to convert the image, thereby providing a converted image according to each user's preference. have.

또한, 일 실시예에 따른 이미지 크기 변환 장치는 이미지의 방향을 기초로 이미지를 변환하므로, 방향성을 갖는 이미지를 변환하는 경우 이미지의 왜곡을 줄이고 더욱 자연스러운 이미지를 얻을 수 있다.In addition, the image size conversion apparatus according to an embodiment converts the image based on the direction of the image, so that the distortion of the image can be reduced and a more natural image can be obtained when the image having the orientation is converted.

상기에서는 개시된 기술의 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 기술의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 개시된 기술을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described above with reference to embodiments of the disclosed technology, those skilled in the art can variously modify and change the disclosed technology without departing from the spirit and scope of the technology described in the claims below. I can understand that.

도 1은 개시된 기술의 일 실시예에 따른 이미지 크기 변환 장치를 설명하기 위한 블록도이다.1 is a block diagram illustrating an image size converting apparatus according to an embodiment of the disclosed technology.

도 2는 도 1의 이미지 변환부의 이미지 변환 제어 화면을 설명하기 위한 도면이다.FIG. 2 is a diagram for describing an image conversion control screen of the image conversion unit of FIG. 1.

도 3은 이미지 크롭핑 오퍼레이터 및 이미지 스케일링 오퍼레이터를 설명하기 위한 도면이다.3 is a diagram for describing an image cropping operator and an image scaling operator.

도 4는 수정된 심 카빙 오퍼레이터를 설명하기 위한 도면이다.4 is a view for explaining a modified seam carving operator.

도 5는 도 1의 이미지 변환부를 통해 생성된 임시 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.FIG. 5 is a diagram for describing an image conversion control screen including a temporary image generated by the image converter of FIG. 1.

도 6은 도 5의 이미지 변환 제어 화면에서 평가 정보를 입력받는 방법을 설명하기 위한 도면이다.FIG. 6 is a diagram for describing a method of receiving evaluation information on the image conversion control screen of FIG. 5.

도 7은 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.7 is a diagram for describing a bit string including image conversion information.

도 8은 후보 이미지에 대한 이미지 변환 정보를 포함하는 비트 열을 설명하기 위한 도면이다.8 is a diagram for describing a bit string including image transformation information about a candidate image.

도 9는 도 8의 비트 열을 기초로 크로스오버 연산을 수행하는 과정을 설명하기 위한 도면이다.FIG. 9 is a diagram for describing a process of performing a crossover operation based on the bit string of FIG. 8.

도 10는 도 8의 비트 열을 기초로 변이 연산을 수행하는 과정을 설명하기 위한 도면이다.FIG. 10 is a diagram for describing a process of performing a shift operation based on the bit string of FIG. 8.

도 11은 새로운 이미지 변환 정보를 통해 변환된 이미지를 포함하는 이미지 변환 제어 화면을 설명하기 위한 도면이다.FIG. 11 is a diagram for describing an image conversion control screen including an image converted through new image conversion information.

도 12는 이미지를 변환하는 과정을 설명하기 위한 순서도이다.12 is a flowchart illustrating a process of converting an image.

Claims (12)

(a) 소스 이미지를 입력받는 단계;(a) receiving a source image; (b) 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하는 단계 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-; 및(b) transforming the input source image to produce at least one temporary image by combining an image cropping operator, an image scaling operator and / or a modified seam carving operator The modified shim carving operator determines the direction in which the change in the pixel value is greatest at the boundary of objects contained in the image, and based on the rate of change between the pixels at a predetermined distance in the determined direction. corresponds to an operator removing or adding seam; And (c) 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택하는 단계를 포함하는 이미지 크기 변환 방법.(c) selecting a target image from the at least one temporary image. 제1항에 있어서, 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택하는 단계는The method of claim 1, wherein selecting a target image from the at least one temporary image (c1) 상기 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 상기 적어도 하나의 후보 이미지를 결정하는 단계;(c1) receiving evaluation information on each of the at least one temporary image and determining the at least one candidate image; (c2) 상기 결정된 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻는 단계 -상기 이미지 변환 정보는 해당 후보 이미지에 수행된 적어도 하나의 오퍼레이터(즉, 이미지 크롭핑 오퍼레이터, 이미지 스케일링 오퍼레이터 및/또 는 수정 심 카빙 오퍼레이터)에 관한 정보에 상응함-; 및(c2) obtaining image conversion information from each of the determined at least one candidate images, wherein the image conversion information is assigned to at least one operator (ie, image cropping operator, image scaling operator and / or modification) performed on the candidate image. Corresponding to information on the seam carving operator); And (c3) 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 상기 타깃 이미지를 결정하는 단계를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.and (c3) reconverting the source image based on the obtained image conversion information to determine the target image. 제2항에 있어서, 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 상기 타깃 이미지를 결정하는 단계는The method of claim 2, wherein the reconverting the source image based on the obtained image conversion information to determine the target image comprises: (c31) 상기 얻은 이미지 변환 정보에 대하여 GA(Genetic Algorithm) 연산을 수행하여 새로운 이미지 변환 정보를 생성하는 단계; 및(c31) generating new image conversion information by performing a GA (Genetic Algorithm) operation on the obtained image conversion information; And (c32) 상기 생성된 새로운 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하는 단계를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.(c32) reconverting the source image based on the generated new image conversion information. 제3항에 있어서, 상기 이미지 변환 정보는The method of claim 3, wherein the image conversion information is 오퍼레이터의 개수 정보, 이미지 변환 타입 정보, 축소 또는 확장될 픽셀의 크기 정보, 오퍼레이터의 종류 정보, 오퍼레이터의 순서 정보 및/또는 오퍼레이터의 반복 횟수 정보를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.And information on the number of operators, information on the type of image conversion, information on the size of pixels to be reduced or expanded, information on the type of the operator, information on the order of the operators, and / or information on the number of repetitions of the operators. 제2항에 있어서, 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 상기 타깃 이미지를 결정하는 단계는The method of claim 2, wherein the reconverting the source image based on the obtained image conversion information to determine the target image comprises: 상기 (c1) 단계 내지 상기 (c3) 단계를 반복하여 최종 타깃 이미지를 결정하 는 단계를 포함하는 것을 특징으로 하는 이미지 크기 변환 방법.Repeating the steps (c1) to (c3) to determine the final target image. 제1항에 있어서, 상기 소스 이미지 내에 포함된 대상들의 경계에서 픽셀 값의 변화가 가장 큰 방향은The method of claim 1, wherein the direction of change of pixel value at the boundary of the objects included in the source image is greatest. 상기 경계에서 픽셀 값의 변화가 가장 작은 방향을 나타내는 접선 벡터(tangent vector)의 수직 방향인 것을 특징으로 하는 이미지 크기 변환 방법.And the change in pixel value at the boundary is a vertical direction of a tangent vector representing the smallest direction. 제1항에 있어서, 상기 수정된 심 카빙 오퍼레이터는 The method of claim 1, wherein the modified shim carving operator 다음의 수학식 1을 통해 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 구하는 것을 특징으로 하는 이미지 크기 변환 방법.And a rate of change between pixels at a predetermined distance in the determined direction through Equation 1 below. [수학식 1][Equation 1]
Figure 112009080469897-PAT00010
Figure 112009080469897-PAT00010
여기에서,From here, g°(x) : 방향에 따른 변화율 또는 편향치g ° (x): rate of change or deflection along the direction I(x) : 소스 이미지I (x): source image t : 접선 벡터t: tangent vector
제1항에 있어서, 상기 수정된 심 카빙 오퍼레이터는 The method of claim 1, wherein the modified shim carving operator 다음의 수학식 2를 통해 픽셀에서의 수직 방향 변화율을 계산하고 상기 수직 방향 변화율이 가장 작은 픽셀들을 연결한 심을 검출하는 것을 특징으로 하는 이미지 크기 변환 방법.The method of claim 2, wherein the vertical change rate in the pixel is calculated through Equation 2 below, and a seam connecting the pixels having the smallest vertical change rate is detected. [수학식 2][Equation 2]
Figure 112009080469897-PAT00011
Figure 112009080469897-PAT00011
Figure 112009080469897-PAT00012
Figure 112009080469897-PAT00012
Figure 112009080469897-PAT00013
Figure 112009080469897-PAT00013
여기에서,From here, Ev(x) : 특정 픽셀에서의 수직 방향 변화율(또는, 에너지)E v (x): Vertical change rate (or energy) at a specific pixel wv(x) : 구조에 따른 수직 방향 가중치,w v (x): vertical weighting according to the structure, t(x) : 정규화된 접선 벡터 (t(x) = [tx(x), ty(x)])t (x): Normalized tangent vector (t (x) = [t x (x), t y (x)]) ey : y축 방향 단위 벡터e y : y-axis unit vector g°(x) : 방향에 따른 변화율 또는 편향치g ° (x): rate of change or deflection along the direction I(x) : 소스 이미지I (x): source image
제1항에 있어서, 상기 수정된 심 카빙 오퍼레이터는 The method of claim 1, wherein the modified shim carving operator 다음의 수학식 3을 통해 픽셀에서의 수평 방향 변화율을 구하고 상기 수평 방향 변화율이 가장 작은 픽셀들을 연결한 심을 검출하는 것을 특징으로 하는 이미지 크기 변환 방법.An image size converting method according to Equation 3 below, obtaining a horizontal rate of change in pixels and detecting a seam connecting pixels having the smallest horizontal rate of change. [수학식 3]&Quot; (3) "
Figure 112009080469897-PAT00014
Figure 112009080469897-PAT00014
Figure 112009080469897-PAT00015
Figure 112009080469897-PAT00015
Figure 112009080469897-PAT00016
Figure 112009080469897-PAT00016
여기에서,From here, Eh(x) : 특정 픽셀에서의 수평 방향 변화율(또는, 에너지)E h (x): rate of change of horizontal direction (or energy) at a specific pixel wh(x) : 구조에 따른 수평 방향 가중치,w h (x): horizontal weighting according to the structure, t(x) : 정규화된 접선 벡터 (t(x) = [tx(x), ty(x)])t (x): Normalized tangent vector (t (x) = [t x (x), t y (x)]) ex : x축 방향 단위 벡터e x : x-axis unit vector g°(x) : 방향에 따른 변화율 또는 편향치g ° (x): rate of change or deflection along the direction I(x) : 소스 이미지I (x): source image
디스플레이 장치;Display devices; 사용자 인터페이스부;A user interface unit; 소스 이미지를 저장하는 메모리; 및A memory for storing a source image; And 상기 소스 이미지를 변환하는 이미지 변환부를 제어하는 제어부를 포함하며,A control unit for controlling the image conversion unit for converting the source image, 상기 이미지 변환부는The image conversion unit 소스 이미지를 입력받고, 이미지 크롭핑(cropping) 오퍼레이터, 이미지 스케일링(scaling) 오퍼레이터 및/또는 수정된 심 카빙(modified seam carving) 오퍼레이터를 조합하여 상기 입력받은 소스 이미지를 변환하여 적어도 하나의 임시 이미지를 생성하며 -상기 수정된 심 카빙 오퍼레이터는 상기 이미지 내에 포함된 대상들(objects)의 경계에서 픽셀 값의 변화가 가장 큰 방향을 결정하고, 상기 결정된 방향으로 소정의 거리에 있는 픽셀들 간의 변화율을 기초로 심(seam)을 제거 또는 추가하는 오퍼레이터에 상응함-, 상기 적어도 하나의 임시 이미지에서 타깃 이미지를 선택하는 하는 이미지 크기 변환 장치.The source image is input, and a combination of an image cropping operator, an image scaling operator, and / or a modified seam carving operator is used to transform the input source image to produce at least one temporary image. The modified shim carving operator determines the direction in which the change in pixel value is greatest at the boundary of objects included in the image, and based on the rate of change between pixels at a predetermined distance in the determined direction. Corresponding to an operator removing or adding a seam, wherein the target image is selected from the at least one temporary image. 제10항에 있어서, 상기 이미지 변환부는The method of claim 10, wherein the image conversion unit 상기 적어도 하나의 임시 이미지 각각에 대한 평가 정보를 입력받아 상기 적어도 하나의 후보 이미지를 결정하고, 상기 결정된 적어도 하나의 후보 이미지 각각으로부터 이미지 변환 정보를 얻으며 -상기 이미지 변환 정보는 해당 후보 이미지에 수행된 적어도 하나의 오퍼레이터(즉, 이미지 크롭핑 오퍼레이터, 이미지 스케일링 오퍼레이터 및/또는 수정 심 카빙 오퍼레이터)에 관한 정보에 상응함-, 상기 얻은 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하여 상기 타깃 이미지를 결정하는 것을 특징으로 하는 이미지 크기 변환 장치.Receive evaluation information about each of the at least one temporary image, determine the at least one candidate image, obtain image conversion information from each of the determined at least one candidate image, and the image conversion information is performed on the candidate image. Corresponding to information about at least one operator (i.e., image cropping operator, image scaling operator, and / or modified seam carving operator)-reconverting the source image based on the obtained image conversion information to convert the target image. Determining an image size converting apparatus. 제11항에 있어서, 상기 이미지 변환부는The method of claim 11, wherein the image conversion unit 상기 얻은 이미지 변환 정보에 대하여 GA(Genetic Algorithm) 연산을 수행하여 새로운 이미지 변환 정보를 생성하고, 상기 생성된 새로운 이미지 변환 정보를 기초로 상기 소스 이미지를 재변환하는 것을 특징으로 하는 이미지 크기 변환 장치.And generating new image conversion information by performing GA (Genetic Algorithm) operation on the obtained image conversion information, and reconverting the source image based on the generated new image conversion information.
KR1020090131457A 2009-12-28 2009-12-28 Image size converting apparatus KR101134362B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090131457A KR101134362B1 (en) 2009-12-28 2009-12-28 Image size converting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090131457A KR101134362B1 (en) 2009-12-28 2009-12-28 Image size converting apparatus

Publications (2)

Publication Number Publication Date
KR20110075110A true KR20110075110A (en) 2011-07-06
KR101134362B1 KR101134362B1 (en) 2012-04-19

Family

ID=44915156

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090131457A KR101134362B1 (en) 2009-12-28 2009-12-28 Image size converting apparatus

Country Status (1)

Country Link
KR (1) KR101134362B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083524A (en) * 2019-12-27 2021-07-07 주식회사 픽스트리 Method And Apparatus for Retargeting Video

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210083524A (en) * 2019-12-27 2021-07-07 주식회사 픽스트리 Method And Apparatus for Retargeting Video

Also Published As

Publication number Publication date
KR101134362B1 (en) 2012-04-19

Similar Documents

Publication Publication Date Title
US9361725B2 (en) Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium
JP5777311B2 (en) How to generate high-resolution video from low-resolution video
US20080170808A1 (en) Program, apparatus and method for determining interpolation method
US20230005114A1 (en) Image restoration method and apparatus
JP6062207B2 (en) Image processing method and image processing apparatus
JP2020027557A (en) Super-resolution device and program therefor
US20070040805A1 (en) Method of detecting the movement of an entity equipped with an image sensor and device for implementing same
JP5365969B2 (en) Image processing apparatus and program
JPWO2011018878A1 (en) Image processing system, image processing method, and image processing program
KR101134362B1 (en) Image size converting apparatus
CN112396554A (en) Image super-resolution algorithm based on generation countermeasure network
JP5728106B1 (en) Digital watermark embedding device, digital watermark embedding program, digital watermark detection device, and digital watermark detection program
JPWO2007102244A1 (en) Image scaling device
JP6264119B2 (en) Video signal processing apparatus and method
KR102605657B1 (en) Data conversion device and method in deep neural circuit
JP5388779B2 (en) Image processing apparatus, image processing method, and image processing program
JP7525051B2 (en) Information processing device, information processing method, and program
JP2009008945A (en) Image signal processor, image signal processing method and program
JP6278716B2 (en) Image processing apparatus, image processing method, and program
JP5333791B2 (en) Image processing method, image processing apparatus, and image processing program
JP5287581B2 (en) Image processing apparatus and image processing method
JP2007034724A (en) Image processor, image processing method and image processing program
JP6915685B2 (en) Learning device, super-resolution device, learning method, super-resolution method and program
JP5287509B2 (en) Frame interpolation apparatus, frame interpolation method, and frame interpolation program
JP2009064193A (en) Resolution converter and method

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170327

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee