[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20200072238A - Apparatus of character area extraction in video - Google Patents

Apparatus of character area extraction in video Download PDF

Info

Publication number
KR20200072238A
KR20200072238A KR1020180160194A KR20180160194A KR20200072238A KR 20200072238 A KR20200072238 A KR 20200072238A KR 1020180160194 A KR1020180160194 A KR 1020180160194A KR 20180160194 A KR20180160194 A KR 20180160194A KR 20200072238 A KR20200072238 A KR 20200072238A
Authority
KR
South Korea
Prior art keywords
character
area size
graph
video
person area
Prior art date
Application number
KR1020180160194A
Other languages
Korean (ko)
Other versions
KR102179591B1 (en
Inventor
박승보
유은순
강수환
김영훈
Original Assignee
인하대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인하대학교 산학협력단 filed Critical 인하대학교 산학협력단
Priority to KR1020180160194A priority Critical patent/KR102179591B1/en
Publication of KR20200072238A publication Critical patent/KR20200072238A/en
Application granted granted Critical
Publication of KR102179591B1 publication Critical patent/KR102179591B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a device for extracting a character area in a video. The device for providing a character area size graph as information for determining a character with importance in a video comprises: a character area size calculation unit calculating a character area size of a character appearing in a video; and a character area size graph generation unit generating the person region size for each character extracted by the character area size calculation unit as a character area size graph for shots of the video. Accordingly, the device may quickly and accurately analyze a video such as a movie or drama since an area occupied by the character appearing in the movie is extracted as a character area and the extracted character area is generated as a graph to automatically determine the importance of a character in the video.

Description

동영상 내 인물 영역 추출 장치{APPARATUS OF CHARACTER AREA EXTRACTION IN VIDEO}Apparatus for extracting the area of people in a video{APPARATUS OF CHARACTER AREA EXTRACTION IN VIDEO}

본 발명은 동영상 내 인물 영역 추출 장치에 관한 것으로, 좀더 자세하게는 영화 또는 드라마와 같은 동영상에 출연하는 등장인물이 차지하는 영상 내 면적을 추출하는 장치에 관한 것이다.The present invention relates to a device for extracting a person area in a video, and more particularly, to a device for extracting an area in an image occupied by a character appearing in a video such as a movie or a drama.

영화나 드라마와 같이 다수의 등장인물이 출연하는 동영상 미디어에서 등장인물을 자동으로 추출하고, 주연 등장인물 또는 조연 등장인물을 구분하는 기술이 연구 및 개발되고 있다.Techniques for automatically extracting a character from a video media in which a number of characters appear, such as a movie or a drama, and distinguishing a main character or a supporting character are researched and developed.

그러나, 단순히 인물의 등장횟수 등을 이용하여 등장인물로 판단하고 주연 또는 조연 등장인물 등으로 추출하는 것은, 동영상 내에서 등장인물이 차지하는 면적의 크기와 관계없이 수행되고 있어, 실질적으로 등장인물이 동영상 내 차지하는 중요도를 판단하는 데 직접적인 요소인 인물 영역을 이용하여 동영상 내에서 등장인물을 추출하는 방법의 개발이 필요한 실정이다.However, simply judging as a character using the number of appearances of a character and extracting it as a main character or a supporting character is performed regardless of the size of the area occupied by the character in the video, so the character is actually a video There is a need to develop a method of extracting characters from a video using a person's area, which is a direct factor in determining the importance of my own.

대한민국 등록특허공보 제10-1658413(동영상에서의 인물 정보 추출방법 및 그 장치)Republic of Korea Registered Patent Publication No. 10-1658413 (Personal information extraction method from video and its device)

본 발명이 이루고자 하는 기술적 과제는 동영상 내 등장인물이 갖는 크기를 인물 영역으로 추출하고, 이를 각 등장인물별로 구분하여 등장인물들의 중요도 등을 자동으로 판단함으로써 동영상의 처리 효율 및 정확성을 향상하기 위한 것이다.The technical problem to be achieved by the present invention is to improve the processing efficiency and accuracy of the video by extracting the size of the characters in the video as a person's area, and classifying each character for each character to automatically determine the importance of the characters, etc. .

본 발명의 일 실시예에 따른 동영상 내 인물 영역 추출 장치는 동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부, 그리고, 상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부를 포함하여, 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공한다.The apparatus for extracting a person area in a video according to an embodiment of the present invention includes a person area size calculator for extracting a person area size of a character appearing in a video, and a person area size for each character extracted by the person area size calculator Includes a person area size graph generator that generates a person area size graph for shots of a video, and provides the person area size graph as information for determining a significant character in the video.

상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 누적하며, 상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 누적 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 한다.The person area size calculating unit calculates and accumulates the person area size of the characters appearing in the video for the frames included in the video shot, and the person area size graph generation unit accumulates the person area size of the characters for the shot It is characterized by generating the value as a graph of the size of a person's area.

상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 프레임 수로 평균내며, 상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 평균 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 한다.The person area size calculating unit calculates the person area size of the characters appearing in the video for the frames included in the video shot, and averages it by the number of frames, and the person area size graph generating unit is the person area of the characters for the shot It is characterized in that the size average value is generated as a graph of the size of a person's area.

상기 인물 영역 크기 그래프 생성부가 적어도 두 등장인물에 대해 생성한 인물 영역 크기 그래프 중 하나의 그래프에서 다른 하나의 그래프를 차감하여 인물 영역 크기 비교 그래프로서 생성하는 인물 영역 크기 그래프 비교부를 더 포함하는 것을 특징으로 한다.The character area size graph generator further includes a person area size graph comparator that subtracts another graph from one of the person area size graphs generated by at least two characters and generates the person area size comparison graph. Is done.

상기 인물 영역 크기 그래프 비교부는 하기의 식으로부터 상기 인물 영역 크기 비교 그래프를 생성하는 것을 특징으로 한다.The person area size graph comparison unit may generate the person area size comparison graph from the following equation.

[식][expression]

Figure pat00001
Figure pat00001

(Gi(n)은 i번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프임.)(G i (n) is the i-th character C i is a graph of the size change of the character area according to scene n, G j (n) is the j-th character C i is a graph of the size of the character region change according to the scene n, G '(n) is the difference graph of the size of the character area of the i-th character and the j-th character in the nth scene.)

상기 인물 영역 크기 그래프 비교부에서 생성한 인물 영역 크기 비교 그래프에서 인물 영역 크기의 차이 값이 0이 되는 장면을 등장인물의 중요도가 전환되는 것으로 판단하는 인물 영역 크기 그래프 판단부를 더 포함하는 것을 특징으로 한다.In the character area size comparison graph generated by the character area size graph comparison unit, further comprising a character area size graph determination unit for determining that the importance of the character is switched to a scene in which the difference value of the character area size is 0. do.

상기 인물 영역 크기 그래프 판단부는 상기 인물 영역 크기 그래프 생성부에서 생성한 인물 영역 크기 그래프로부터 인물 영역이 큰 등장인물을 동영상에서 비중 있는 등장인물로 판단하는 것을 특징으로 한다.The character area size graph determination unit is characterized in that the character area size graph generated by the person area size graph generation unit determines a character having a large character area as a weighted character in a video.

상기 동영상을 프레임, 적어도 하나의 상기 프레임이 모인 샷, 적어도 하나의 상기 샷이 모인 장면으로 각각 추출하는 영상 전처리부를 더 포함하고, 상기 인물 영역 크기 산출부에 상기 영상 전처리부로부터 상기 프레임을 전달받아 등장인물의 인물 영역 크기를 추출하는 것을 특징으로 한다.Further comprising an image pre-processing unit for extracting the video into a frame, a shot in which at least one of the frames is collected, and a scene in which at least one of the shots is collected, and receiving the frame from the image pre-processing unit in the person area size calculation unit Characterized by extracting the character area size of the characters.

이러한 특징에 따르면, 본원 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치는 동영상에 등장하는 인물이 동영상에서 차지하는 면적을 인물 영역으로서 추출하고, 이를 그래프로 생성하여 동영상 내 등장인물의 중요도를 자동으로 판단할 수 있게 되어, 영화 또는 드라마와 같은 동영상을 신속 정확하게 분석할 수 있는 효과가 있다.According to these features, the apparatus for extracting a person's area in a video according to an embodiment of the present invention extracts an area occupied by a person appearing in a video as a person's area, and generates it as a graph to automatically generate the importance of the characters in the video. As it can be judged, it has the effect of quickly and accurately analyzing a movie such as a movie or a drama.

도 1은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치의 개략적인 구조를 나타낸 블록도이다.
도 2는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 프레임의 등장 인물에 대한 인물 영역을 추출하는 예시를 나타낸 도면이다.
도 3은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 등장인물별 인물 영역 크기를 장면별 숏에 대해 생성한 그래프이다.
도 4는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 장면별 등장인물별 인물 영역 크기를 하나의 그래프 상에 나타낸 도면이다.
도 5는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 생성하는 두 등장인물간 인물 영역 크기 비교 그래프이다. 1 is a block diagram showing a schematic structure of a device for extracting a person region in a video according to an embodiment of the present invention.
2 is a diagram illustrating an example in which a person area extracting device in a video extracts a person area for a character in a frame according to an embodiment of the present invention.
FIG. 3 is a graph in which a person area extraction device in a video according to an embodiment of the present invention generates a size of a person area for each character for each scene.
FIG. 4 is a diagram illustrating a size of a person area for each character in a scene on a graph by a person area extraction device in a video according to an embodiment of the present invention.
5 is a graph showing a comparison of a person area size between two characters generated by the device for extracting a person area in a video according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present invention pertains can easily practice. However, the present invention can be implemented in many different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present invention in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.

도 1은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치의 개략적인 구조를 나타낸 블록도이고, 도 2는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 프레임의 등장 인물에 대한 인물 영역을 추출하는 예시를 나타낸 도면이고, 도 3은 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 등장인물별 인물 영역 크기를 장면별 숏에 대해 생성한 그래프이고, 도 4는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 장면별 등장인물별 인물 영역 크기를 하나의 그래프 상에 나타낸 도면이고, 도 5는 본 발명의 한 실시예에 따른 동영상 내 인물 영역 추출 장치가 생성하는 두 등장인물간 인물 영역 크기 비교 그래프이다. 1 is a block diagram showing a schematic structure of a device for extracting a person area in a video according to an embodiment of the present invention, and FIG. 2 is a device for extracting a person area in a video according to an embodiment of the present invention. 3 is a graph illustrating an example of extracting a character area for a person, and FIG. 3 is a graph in which a person area extraction device in a video according to an embodiment of the present invention generates a size of a person area for each character for a shot by scene, and FIG. A device for extracting a person area in a video according to an embodiment of the present invention is a diagram showing a person area size for each character on a single graph, and FIG. 5 is a device for extracting a person area in a video according to an embodiment of the present invention Is a graph comparing the size of a person's area between two characters.

본 실시예에서, 동영상 내 인물 영역 추출 장치(S)는 영상 전처리부(100), 인물 영역 처리부(200) 및 인물 영역 크기 그래프 처리부(300)를 포함하는 처리장치로서, 컴퓨터에 장착될 수 있는 프로세서 형태로 구현될 수 있다.In this embodiment, the person area extraction device S in the video is a processing device including an image preprocessing unit 100, a person area processing unit 200, and a person area size graph processing unit 300, which may be mounted on a computer. It can be implemented in the form of a processor.

영상 전처리부(100)는 동영상을 프레임, 샷, 장면 단위의 영상으로 추출하는 부분으로서, 외부로부터 동영상을 처리 대상 동영상으로서 입력받을 수 있다. The image pre-processing unit 100 is a part that extracts a video as a frame, shot, or scene-based video, and may receive a video as an object to be processed from the outside.

프레임 추출부(110)는 처리 대상 동영상을 프레임 단위로 추출하여 이미지를 생성한다. 한 예에서, 영상 전처리부(100)에 입력된 처리 대상 동영상이 60프레임의 동영상인 경우, 프레임 추출부(110)는 처리 대상 동영상의 1초 구간을 60개의 프레임으로 각각 추출하도록 처리한다.The frame extracting unit 110 extracts a video to be processed in units of frames to generate an image. In one example, when the processing target video input to the image pre-processing unit 100 is a video of 60 frames, the frame extracting unit 110 processes to extract 1 second section of the processing target video into 60 frames, respectively.

샷 추출부(120)는 처리 대상 동영상에서 샷(Shot)을 추출하는데, 이때, 프레임 추출부(110)에서 추출된 연속하는 프레임들로부터 페이드 인/페이드 아웃과 같이 구분되는 부분을 통해 샷이 구분된다. The shot extracting unit 120 extracts a shot from a video to be processed. At this time, the shot is divided through a portion that is separated from the consecutive frames extracted by the frame extracting unit 110, such as fade in/fade out. do.

예로써, 1초 내지 10분의 동영상에서 3분 시점에서 페이드 인/페이드 아웃을 통한 샷 전환이 있을 때, 샷 추출부(120)는 프레임 추출부(110)에서 3분 시점에 형성된 복수 개의 프레임을 참고하여 해당 시점에 샷 전환이 발생한 것을 감지하여, 3분 이전과 3분 이후를 서로 다른 샷으로 추출한다.For example, when there is a shot transition through fade in/fade out at a 3 minute viewpoint in a video from 1 second to 10 minutes, the shot extraction unit 120 may include a plurality of frames formed at the 3 minute viewpoint in the frame extraction unit 110 With reference to, it detects that a shot transition has occurred at that time, and extracts 3 minutes before and 3 minutes after into different shots.

이때, 샷 추출부(120)는 추출된 샷들에 일련번호를 부여할 수 있다.At this time, the shot extraction unit 120 may assign a serial number to the extracted shots.

장면 추출부(130)는 샷 추출부(120)에서 추출한 일련의 샷들을 바탕으로, 서로 다른 장면(Scene)을 추출한다. 한 예에서, 한 샷에서 제1 등장인물이 출연하고, 연속하는 다른 샷에서 제2 등장인물이 출연하나 두 샷에서 나타나는 배경은 동일한 경우, 장면 추출부(130)는 해당 두 샷을 하나의 장면으로 추출한다.The scene extracting unit 130 extracts different scenes based on a series of shots extracted by the shot extracting unit 120. In one example, if the first character appears in one shot, and the second character appears in another successive shot, but the backgrounds appearing in the two shots are the same, the scene extraction unit 130 displays the two shots in one scene. To extract.

장면 추출부(130)는 연속하는 샷 간의 배경 유사도를 판단하여 장면을 추출할 수 있고, 추출된 장면들에 일련번호를 부여할 수 있다.The scene extracting unit 130 may extract a scene by determining the background similarity between successive shots, and assign a serial number to the extracted scenes.

한 예에서, 장면 추출부(130)는 샷들 간 장면으로 구분되는 지점을 선택신호 또는 입력신호로서 입력받을 수 있고, 선택신호 또는 입력신호의 구분지점을 기준으로 장면을 추출하여 일련번호를 부여할 수 있다.In one example, the scene extraction unit 130 may receive a point divided into scenes between shots as a selection signal or an input signal, and extract a scene based on a selection point of the selection signal or the input signal to give a serial number. Can be.

인물 영역 처리부(200)는 인물 추출부(210)와 인물 영역 크기 산출부(220)를 포함하는데, 인물 추출부(210)는 처리 대상 동영상에서 인물을 추출한다. 이때, 인물 추출부(210)는 영상 전처리부(100)에서 장면, 샷 및 프레임으로 추출된 영상에서 인물을 추출하며, 이미지에서 인물을 자동으로 감지 및 추출하는 내용은 공지기술이므로 본 명세서에서는 이를 자세하게 설명하지 않으며, 당업자의 수준에서 이해되어야 할 것이다.The person area processing unit 200 includes a person extraction unit 210 and a person area size calculation unit 220, and the person extraction unit 210 extracts a person from a video to be processed. At this time, the person extracting unit 210 extracts a person from an image extracted as a scene, a shot, and a frame from the video pre-processing unit 100, and the content for automatically detecting and extracting a person from an image is a known technology, so this specification It is not described in detail, and should be understood at the level of those skilled in the art.

이때, 인물추출부(210)는 추출된 인물들을 구분하고, 구분된 인물들에 대해 일련번호를 부여할 수 있다.In this case, the person extracting unit 210 may classify the extracted persons and assign a serial number to the separated persons.

인물 영역 크기 산출부(220)는 인물 추출부(210)에서 인물이 추출된 프레임에서 인물 영역 크기를 산출한다. 인물 영역 크기 산출부(220)는 도 2의 (a)에 도시한 것처럼, 하나의 프레임에 등장한 인물의 영역을 등장인물의 얼굴 윤곽선을 따라 추출하거나 또는 등장인물의 눈, 코, 입, 눈썹을 포함하는 사각형태로 추출할 수 있다.The person area size calculating unit 220 calculates a person area size from a frame in which the person is extracted by the person extraction unit 210. The person area size calculating unit 220 extracts the area of the person appearing in one frame along the facial contour of the person, or extracts the eyes, nose, mouth, and eyebrows of the person, as shown in FIG. 2(a). It can be extracted in a rectangular shape.

인물 영역 크기 산출부(220)는 도 2의 (b)에 도시한 것처럼, 하나의 프레임에 등장한 복수의 인물의 영역을 각각 추출한다.As illustrated in FIG. 2B, the person area size calculator 220 extracts areas of a plurality of persons appearing in one frame, respectively.

인물 영역 크기 산출부(220)는 도 2와 같이 추출된 인물 영역의 크기를 산출하는 부분으로서, 다음의 식 1을 이용하여 시간, 즉, 프레임에 대한 인물 영역의 크기를 산출한다.The person area size calculating unit 220 calculates the size of the extracted person area as shown in FIG. 2, and calculates the time, that is, the size of the person area for the frame, using Equation 1 below.

[식 1][Equation 1]

Figure pat00002
Figure pat00002

위의 식 1에서, Ci는 i번째 등장인물, t는 시간(프레임)이고, Area()는 크기를 산출하는 함수로서, Area(Ci, t)는 t번째 시간(프레임)에서 Ci 등장인물의 인물 영역 크기이다.In Equation 1 above, C i is the i-th character, t is the time (frame), and, Area () is a function for calculating the size, Area (C i, t) is C i in the t-th time (frame) It is the size of the character's character area.

인물 영역 크기 산출부(220)는 다음의 식 2를 이용하여 샷에 대한 인물 영역의 크기를 산출하는데, 이때, 한 샷에 포함되는 프레임들에서 각각 산출되는 인물 영역 크기를 참조하여 샷에 대한 인물 영역 크기를 산출한다.The person area size calculating unit 220 calculates the size of the person area for the shot using Equation 2 below, wherein the person for the shot is referred to by referring to the person area size calculated in frames included in one shot. Calculate area size.

한 예에서, 인물 영역 크기 산출부(220)는 샷에 포함된 프레임에서 산출된 인물 영역 크기를 누적, 즉, 합산하여 샷에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In one example, the person area size calculator 220 accumulates, that is, sums, the person area sizes calculated in the frame included in the shot to calculate the person area size for a specific character included in the shot.

다른 한 예에서, 인물 영역 크기 산출부(220)는 샷에 포함된 프레임에서 산출된 인물 영역 크기를 샷을 구성하는 프레임 수로 나누어, 즉, 평균내여 샷에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In another example, the person area size calculating unit 220 divides the person area size calculated from the frame included in the shot by the number of frames constituting the shot, that is, the person area size for a specific character included in the average overshot Calculate

[식 2] [Equation 2]

Figure pat00003
Figure pat00003

위의 식 2에서, SHj는 j번째 샷이고, Area(Ci, SHj)는 j번째 샷에서 Ci 등장인물의 인물 영역 크기의 누적값 또는 평균값이다.In Equation 2 above, SH j is the j-th shot, and Area(C i , SH j ) is the cumulative or average value of the character area size of the character C i in the j-th shot.

인물 영역 크기 산출부(220)는 다음의 식 3을 이용하여 장면에 대한 인물 영역의 크기를 산출하는데, 이때, 한 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 참조하여 장면에 대한 인물 영역 크기를 산출한다.The person area size calculating unit 220 calculates the size of the person area for the scene using Equation 3 below, wherein the person area size is calculated with reference to the person area size calculated from at least one shot included in one scene. Calculate person area size.

한 예에서, 인물 영역 크기 산출부(220)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 누적, 즉, 합산하여 장면에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In one example, the person area size calculator 220 accumulates, that is, sums, the person area sizes calculated from at least one shot included in the scene to calculate a person area size for a specific character included in the scene.

다른 한 예에서, 인물 영역 크기 산출부(220)는 장면에 포함되는 적어도 하나의 샷에서 산출된 인물 영역 크기를 장면을 구성하는 샷 수로 나누어, 즉, 평균내여 장면에 포함된 특정 등장인물에 대한 인물 영역 크기를 산출한다.In another example, the person area size calculating unit 220 divides the person area size calculated from at least one shot included in the scene by the number of shots constituting the scene, that is, averages a specific character included in the scene. Calculate person area size.

[식 3][Equation 3]

Figure pat00004
Figure pat00004

위의 식 3에서, SCk는 k번째 장면이고, Area(Ci, SCk)는 k번째 장면에서 Ci 등장인물의 인물 영역 크기의 누적값 또는 평균값이다.In Equation 3 above, SCk is the k-th scene, and Area(C i , SCk) is the cumulative or average value of the character area size of the C i characters in the k-th scene.

이처럼, 인물 영역 크기 산출부(220)가 등장인물의 인물 영역 크기를 프레임, 샷, 장면 단위로 산출하므로, 프레임, 샷, 장면에서 등장인물의 인물 영역 크기를 비교하여 등장인물의 중요도를 판단하는 데 이를 이용할 수 있다. As described above, since the person area size calculating unit 220 calculates the person area size of the characters in units of frames, shots, and scenes, the importance of the characters is determined by comparing the person area sizes of the characters in the frames, shots, and scenes. You can use it.

인물 영역 크기 그래프 처리부(300)는 인물 영역 크기 그래프 생성부(310), 인물 영역 크기 그래프 비교부(320) 및 인물 영역 크기 그래프 판단부(330)를 포함하여 구성되는데, 인물 영역 크기 그래프 생성부(310)는 인물 영역 처리부(200)의 인물 영역 크기 산출부(220)에서 샷 단위로 생성한 인물 영역 크기를 각 등장인물에 대해 도 3과 같이 그래프로 도시한다.The person area size graph processing unit 300 includes a person area size graph generation unit 310, a person area size graph comparison unit 320, and a person area size graph determination unit 330. 310 shows the size of the person area generated in units of shots by the person area size calculating unit 220 of the person area processing unit 200 in a graph as shown in FIG. 3 for each character.

인물 영역 크기 그래프 생성부(310)는 도 3의 (a)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 영역 누적 크기의 그래프를 생성한다.The person area size graph generation unit 310 generates a graph of the person area cumulative size according to the shot serial number, for the characters George and Lionel, as shown in FIG. 3A.

이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 영역 크기를 누적한 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 프레임에서 얼굴 영역 크기가 작게 등장하지만 복수의 프레임에 자주 등장하는 경우 해당 등장인물이 영화 또는 드라마 내에서 높은 중요도를 갖는 것을 그래프 상에 도시할 수 있고, 그래프 결과를 참조하여 등장인물의 중요도 판단에 해석할 수 있는 효과가 있다.At this time, as the data of graph generation using the accumulated value of the person's area extracted from the frames included in the shot serial number is used as a data for graph generation, the size of the face area in the frame appears small, but frequently appears in multiple frames. In this case, it can be shown on the graph that the character has a high importance in a movie or a drama, and there is an effect that can be interpreted in determining the importance of the character by referring to the graph result.

또는, 인물 영역 크기 그래프 생성부(310)는 도 3의 (b)에 도시한 것처럼, 등장인물 조지와 라이오넬에 대해, 샷 일련번호에 따른 인물 영역 평균 크기의 그래프를 생성한다.Alternatively, the person area size graph generating unit 310 generates a graph of the person area average size according to the shot serial number for the characters George and Lionel, as shown in FIG. 3B.

이때, 샷 일련번호에 포함된 프레임들에서 추출된 인물 영역 크기를 프레임 개수로 평균낸 값을 그래프 생성의 데이터로 사용함에 따라, 특정 등장인물이 단 1회의 샷 또는 프레임에서 큰 얼굴 영역 크기를 갖도록 등장하였지만 다른 프레임 또는 샷에서는 전혀 등장하지 않는 1회성 등장인 등장인물인 경우, 인물 영역 크기를 프레임 수로 나누어 해당 등장인물의 인물 영역 크기가 극중 중요도와는 다르게 크게 나타날 수 있는 노이즈를 상쇄할 수 있는 효과가 있다.At this time, as the data of the graph generation is used as the value of the average number of frames extracted from the frames included in the shot serial number as the data of the graph generation, a specific character has a large face area size in only one shot or frame. In the case of a one-time character that appears but does not appear at all in other frames or shots, the character area size is divided by the number of frames to compensate for the noise that the character area size of the character may appear different from the importance of the play. It works.

그리고 이때, 인물 영역 크기 그래프 생성부(310)는 여러 등장인물들의 인물 영역 크기를 도 4에 도시한 것처럼 하나의 장면에 따른 인물 영역 크기 그래프로 도시하고, 샷 평균 또는 샷 누적 인물 영역 크기일 수 있으며 이를 한정하지는 않는다.In this case, the person area size graph generation unit 310 shows the person area size of several characters as a person area size graph according to one scene, as shown in FIG. 4, and may be a shot average or a cumulative person area size shot And does not limit it.

도 4의 그래프에서, G(n)은 Area(Ci,n)으로, 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이다.In the graph of FIG. 4, G(n) is Area(C i ,n), and the character C i is a graph of the change in the size of the character area according to scene n.

인물 영역 크기 그래프 생성부(310)가 도 4에 도시한 것처럼 여러 등장인물들의 장면별 인물 영역 크기를 하나의 그래프에 도시함에 따라, 등장인물들 중 동영상에서 중요도를 갖는 등장인물을 용이하게 구분할 수 있는 효과가 있다.As the person area size graph generation unit 310 shows the size of the person area for each scene of several characters in one graph, as shown in FIG. 4, among the characters, characters having importance in a video can be easily distinguished. It has an effect.

인물 영역 크기 그래프 비교부(320)는 인물 영역 크기 그래프 생성부(310)에서 생성한 적어도 두 등장인물에 대한 인물 영역 크기 그래프 중, 하나의 등장인물에 대한 인물 영역 크기 그래프에서 다른 하나의 등장인물에 대한 인물 영역 크기 그래프를 차감하여 도 5와 같이 두 등장인물간 인물 영역 크기 비교 그래프로서 생성한다.The character area size graph comparison unit 320 is one of the character area size graphs for at least two characters generated by the character area size graph generation unit 310, and the other character in the character area size graph for one character. By subtracting the person area size graph for, as shown in FIG. 5, a person area size comparison graph between two characters is generated.

이때, 도 5에서, G'(n)은 두 개의 G(n)을 차감하여 생성한 그래프로서, 다음의 식 4로 표현될 수 있다.At this time, in FIG. 5, G'(n) is a graph generated by subtracting two G(n), and may be expressed by the following Equation 4.

[식 4][Equation 4]

Figure pat00005
Figure pat00005

위의 식 4에서, Gi(n)은 i번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프이다.In Equation 4 above, G i (n) is the i-th character C i is a graph of the size change of the character area according to scene n, and G j (n) is the j-th character C i is the size of the character region according to scene n As a change graph, G'(n) is a difference graph of the size of the character area of the i-th character and the j-th character in the n-th scene.

인물 영역 크기 그래프 비교부(320)가 도 5와 같이 등장인물들의 인물 영역 크기 그래프의 차 그래프를 생성함에 따라, 해당 그래프를 참조하여 장면의 흐름에 따라 어떤 등장인물의 인물 영역 크기가 큰지 직관적으로 확인할 수 있는 효과 있다. As the character area size graph comparator 320 generates a difference graph of the character area size graph of the characters as shown in FIG. 5, referring to the graph, it is intuitive to determine which character area size is large according to the flow of the scene. There is an effect that can be confirmed.

인물 영역 크기 그래프 판단부(330)는 인물 영역 크기 그래프 비교부(320)에서 생성한 도 4의 그래프로부터, 동영상에서 출연하는 등장인물을 높은 비중을 갖는 순서대로 판단할 수 있고, 도 5의 그래프에서 두 등장인물의 인물 영역 크기 차이 값이 0이 되는 지점을 극중 흐름이 어느 한 등장인물에서 다른 등장인물로 전환되는 것으로 판단한다.The person area size graph determining unit 330 may determine the characters appearing in the video in the order having the highest specific gravity from the graph of FIG. 4 generated by the person area size graph comparison unit 320, and the graph of FIG. 5 It is judged that the flow in the play is switched from one character to another character at the point where the difference in the size of the character area of the two characters becomes 0.

한 예에서, 도 5의 그래프의 장면 초반에서는 등장인물 C1이 등장인물 C2가 갖는 인물 영역 크기보다 작은 값을 가지므로 면적 값의 차이가 음의 값을 가지지만, 장면 중반에서는 그 값이 0이 되고, 그 이후에는 등장인물 C1이 등장인물 C2가 갖는 인물 영역 크기보다 큰 값을 가지므로 면적 값이 양의 값을 갖는다. 이에 따라, 인물 영역 크기 그래프 판단부(330)는 도 5의 그래프로부터 장면 초반에는 등장인물 C2가 극중 중요도가 높으나 중반부터는 등장인물 C1의 중요도가 높아지는 것으로 판단한다.In one example, even in the beginning scene of the 5 graph, because the characters C 1 a character C 2 is of a value less than the character area size having only the difference between the area values have a negative value, in the middle of the scene that value It becomes 0, and after that, the character C 1 has a value larger than the size of the character area of the character C 2 , and thus the area value has a positive value. Accordingly, from the graph of FIG. 5, the character area size graph determining unit 330 determines that the character C 2 has a high importance in the play at the beginning of the scene, but from the middle, the importance of the character C 1 increases.

또는, 인물 영역 크기 그래프 판단부(330)는 인물 영역 크기 그래프 생성부(310)에서 생성한 도 4의 그래프로부터 큰 면적 값을 갖는 등장인물을 동영상에서 비중이 큰 것으로 판단한다.Alternatively, the person area size graph determining unit 330 determines that the character having a large area value is large in the video from the graph of FIG. 4 generated by the person area size graph generating unit 310.

이와 같이, 영화 또는 드라마와 같은 동영상에서 등장인물의 인물 영역 크기를 판단함으로부터 동영상의 등장인물의 중요도를 자동으로 판단할 수 있어, 동영상의 등장인물 상세정보를 신속하고 정확하게 자동 수집할 수 있는 효과가 있다.In this way, the importance of the character of the video can be automatically determined by determining the size of the character area of the character in a movie such as a movie or a drama, so that the detailed information of the character of the video can be automatically and quickly collected. There is.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

S : 동영상 내 인물 영역 추출 장치 100 : 영상 전처리부
110 : 프레임 추출부 120 : 샷 추출부
130 : 장면 추출부 200 : 인물 영역 처리부
210 : 인물 추출부 220 : 인물 영역 크기 산출부
300 : 인물 영역 크기 그래프 처리부
310 : 인물 영역 크기 그래프 생성부
320 : 인물 영역 크기 그래프 비교부
330 : 인물 영역 크기 그래프 판단부S: Person area extraction device in video 100: Image pre-processing unit
110: frame extraction unit 120: shot extraction unit
130: scene extraction unit 200: person area processing unit
210: person extraction unit 220: person area size calculation unit
300: Person area size graph processing unit
310: Person area size graph generation unit
320: Character area size graph comparison unit
330: Person area size graph judgment unit

Claims (8)

동영상에 출연하는 등장인물의 인물 영역 크기를 추출하는 인물 영역 크기 산출부, 그리고,
상기 인물 영역 크기 산출부에서 추출한 등장인물별 인물 영역 크기를 동영상의 샷들에 대한 인물 영역 크기 그래프로 생성하는 인물 영역 크기 그래프 생성부
를 포함하여, 상기 인물 영역 크기 그래프를 동영상에서 비중 있는 등장인물을 판단하는 정보로 제공하는 동영상 내 인물 영역 추출 장치.
Character area size calculation unit to extract the character area size of the characters appearing in the video, and
A person area size graph generator that generates the person area size for each character extracted from the person area size calculation unit as a person area size graph for shots of a video.
Including, the person area extraction device in the video to provide the person area size graph as information for determining a significant character in the video.
제1항에 있어서,
상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 누적하며,
상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 누적 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
The person area size calculating unit calculates and accumulates the person area size of the characters appearing in the video for frames included in the video shot,
The person area size graph generation unit generates a person area size graph in a video, wherein the person area size cumulative value of a character for a shot is generated as a person area size graph.
제1항에 있어서,
상기 인물 영역 크기 산출부는 동영상의 샷이 포함하는 프레임들에 대해 동영상에 출연하는 등장인물의 인물 영역 크기를 산출하고 이를 프레임 수로 평균내며,
상기 인물 영역 크기 그래프 생성부는 샷에 대한 등장인물의 인물 영역 크기 평균 값을 인물 영역 크기 그래프로 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
The person area size calculating unit calculates the person area size of the characters appearing in the video for the frames included in the video shot, and averages it by the number of frames,
The person area size graph generating unit generates a person area size graph in the video, wherein the person area size average value of the characters for the shot is generated as a person area size graph.
제1항에 있어서,
상기 인물 영역 크기 그래프 생성부가 적어도 두 등장인물에 대해 생성한 인물 영역 크기 그래프 중 하나의 그래프에서 다른 하나의 그래프를 차감하여 인물 영역 크기 비교 그래프로서 생성하는 인물 영역 크기 그래프 비교부를 더 포함하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
The character area size graph generator further includes a person area size graph comparator that subtracts another graph from one of the person area size graphs generated by at least two characters and generates the person area size comparison graph. Person area extraction device in video.
제4항에 있어서,
상기 인물 영역 크기 그래프 비교부는 하기의 식으로부터 상기 인물 영역 크기 비교 그래프를 생성하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
[식]
Figure pat00006

(Gi(n)은 i번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프이고, Gj(n)은 j번째 등장인물 Ci가 장면 n에 따른 인물 영역 크기 변화 그래프로서, G'(n)은 n번째 장면에서 i번째 등장인물과 j번째 등장인물의 인물 영역 크기의 차 그래프임.)
According to claim 4,
The person area size graph comparison unit generates the person area size comparison graph from the following equation.
[expression]
Figure pat00006

(G i (n) is the i-th character C i is a graph of the size change of the character area according to scene n, G j (n) is the j-th character C i is a graph of the size of the character region change according to the scene n, G '(n) is the difference graph of the size of the character area of the i-th character and the j-th character in the nth scene.)
제1항에 있어서,
상기 인물 영역 크기 그래프 비교부에서 생성한 인물 영역 크기 비교 그래프에서 인물 영역 크기의 차이 값이 0이 되는 장면을 등장인물의 중요도가 전환되는 것으로 판단하는 인물 영역 크기 그래프 판단부를 더 포함하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
According to claim 1,
In the character area size comparison graph generated by the character area size graph comparison unit, further comprising a character area size graph determination unit for determining that the importance of the character is switched to a scene in which the difference value of the character area size is 0. A device for extracting a person's area in a video.
제6항에 있어서,
상기 인물 영역 크기 그래프 판단부는 상기 인물 영역 크기 그래프 생성부에서 생성한 인물 영역 크기 그래프로부터 인물 영역이 큰 등장인물을 동영상에서 비중 있는 등장인물로 판단하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.
The method of claim 6,
The character area size graph determining unit determines a character area having a large character area as a weighted character in a video from the person area size graph generated by the person area size graph generating unit.
제1항에 있어서,
상기 동영상을 프레임, 적어도 하나의 상기 프레임이 모인 샷, 적어도 하나의 상기 샷이 모인 장면으로 각각 추출하는 영상 전처리부를 더 포함하고,
상기 인물 영역 크기 산출부에 상기 영상 전처리부로부터 상기 프레임을 전달받아 등장인물의 인물 영역 크기를 추출하는 것을 특징으로 하는 동영상 내 인물 영역 추출 장치.

According to claim 1,
Further comprising an image pre-processing unit for extracting the video into a frame, a shot in which at least one frame is collected, and a scene in which at least one shot is collected, respectively,
A device for extracting a person area in a video, characterized by extracting the size of a person area of a character by receiving the frame from the image preprocessing unit in the person area size calculation unit.

KR1020180160194A 2018-12-12 2018-12-12 Apparatus of character area extraction in video KR102179591B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160194A KR102179591B1 (en) 2018-12-12 2018-12-12 Apparatus of character area extraction in video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160194A KR102179591B1 (en) 2018-12-12 2018-12-12 Apparatus of character area extraction in video

Publications (2)

Publication Number Publication Date
KR20200072238A true KR20200072238A (en) 2020-06-22
KR102179591B1 KR102179591B1 (en) 2020-11-17

Family

ID=71142515

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160194A KR102179591B1 (en) 2018-12-12 2018-12-12 Apparatus of character area extraction in video

Country Status (1)

Country Link
KR (1) KR102179591B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102476815B1 (en) 2022-09-21 2022-12-12 (주)슬레이트미디어 Methods, devices and systems for automatically extracting stock images based on artificial intelligence

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012053889A (en) * 2010-02-10 2012-03-15 Panasonic Corp Image evaluation device, image evaluation method, program and integrated circuit
WO2012111275A1 (en) * 2011-02-17 2012-08-23 パナソニック株式会社 Image evaluation device, image evaluation method, program, integrated circuit
JP2014139734A (en) * 2013-01-21 2014-07-31 Sony Corp Information processing device and method, and program
JP2014187687A (en) * 2013-02-21 2014-10-02 Mitsubishi Electric Corp Device and method for extracting highlight scene of moving image
JP2015172795A (en) * 2014-03-11 2015-10-01 富士フイルム株式会社 Image processing apparatus, important person determination method, image layout method and program, and recording medium
KR20150122510A (en) * 2014-04-23 2015-11-02 엘지전자 주식회사 Image display device and control method thereof
KR20160091672A (en) * 2015-01-26 2016-08-03 한국기술교육대학교 산학협력단 Apparatus for analysising relationship of cast members in drama
KR101658413B1 (en) 2009-09-22 2016-09-22 삼성전자주식회사 Apparatus and method for extracting character information in a motion picture
KR101898648B1 (en) * 2018-01-02 2018-09-13 단국대학교 산학협력단 Apparatus and Method for Detecting Interacting Groups Between Individuals in an Image

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101658413B1 (en) 2009-09-22 2016-09-22 삼성전자주식회사 Apparatus and method for extracting character information in a motion picture
JP2012053889A (en) * 2010-02-10 2012-03-15 Panasonic Corp Image evaluation device, image evaluation method, program and integrated circuit
WO2012111275A1 (en) * 2011-02-17 2012-08-23 パナソニック株式会社 Image evaluation device, image evaluation method, program, integrated circuit
JP2014139734A (en) * 2013-01-21 2014-07-31 Sony Corp Information processing device and method, and program
JP2014187687A (en) * 2013-02-21 2014-10-02 Mitsubishi Electric Corp Device and method for extracting highlight scene of moving image
JP2015172795A (en) * 2014-03-11 2015-10-01 富士フイルム株式会社 Image processing apparatus, important person determination method, image layout method and program, and recording medium
KR20150122510A (en) * 2014-04-23 2015-11-02 엘지전자 주식회사 Image display device and control method thereof
KR20160091672A (en) * 2015-01-26 2016-08-03 한국기술교육대학교 산학협력단 Apparatus for analysising relationship of cast members in drama
KR101898648B1 (en) * 2018-01-02 2018-09-13 단국대학교 산학협력단 Apparatus and Method for Detecting Interacting Groups Between Individuals in an Image

Also Published As

Publication number Publication date
KR102179591B1 (en) 2020-11-17

Similar Documents

Publication Publication Date Title
KR102560308B1 (en) System and method for exterior search
CN105809144B (en) A kind of gesture recognition system and method using movement cutting
Nagrani et al. From benedict cumberbatch to sherlock holmes: Character identification in tv series without a script
JP5675229B2 (en) Image processing apparatus and image processing method
KR100804678B1 (en) Method for classifying scene by personal of video and system thereof
WO2009143279A1 (en) Automatic tracking of people and bodies in video
US20110150328A1 (en) Apparatus and method for blockiing objectionable image on basis of multimodal and multiscale features
JP6557592B2 (en) Video scene division apparatus and video scene division program
KR100695136B1 (en) Face detection method and apparatus in image
JP6351243B2 (en) Image processing apparatus and image processing method
JP5726596B2 (en) Image monitoring device
GB2605723A (en) Video segmentation based on weighted knowledge graph
Khorrami et al. Multiple animal species detection using robust principal component analysis and large displacement optical flow
Han et al. Online adaptive dictionary learning and weighted sparse coding for abnormality detection
Putro et al. Adult image classifiers based on face detection using Viola-Jones method
CN113507630B (en) Method and device for stripping game video
KR102179591B1 (en) Apparatus of character area extraction in video
KR102277929B1 (en) Real time face masking system based on face recognition and real time face masking method using the same
JP2012033054A (en) Device and method for producing face image sample, and program
CN112818728B (en) Age identification method and related products
Tang et al. Fast background subtraction using improved GMM and graph cut
KR102179590B1 (en) Extraction apparatus of character conflict information in video
Zhang et al. You Talkin'to Me? Recognizing Complex Human Interactions in Unconstrained Videos
CN111353353A (en) Cross-posture face recognition method and device
CN111191484A (en) Method and device for recognizing human speaking in video image

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant