[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR20120092644A - 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템 - Google Patents

사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템 Download PDF

Info

Publication number
KR20120092644A
KR20120092644A KR1020127013764A KR20127013764A KR20120092644A KR 20120092644 A KR20120092644 A KR 20120092644A KR 1020127013764 A KR1020127013764 A KR 1020127013764A KR 20127013764 A KR20127013764 A KR 20127013764A KR 20120092644 A KR20120092644 A KR 20120092644A
Authority
KR
South Korea
Prior art keywords
segments
photos
time
event
events
Prior art date
Application number
KR1020127013764A
Other languages
English (en)
Other versions
KR101417548B1 (ko
Inventor
티지스 스탈렌호에프
잔 에릭 솔렘
니콜라지 니홀름
제프 파커
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20120092644A publication Critical patent/KR20120092644A/ko
Application granted granted Critical
Publication of KR101417548B1 publication Critical patent/KR101417548B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40—Data acquisition and logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3204—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium
    • H04N2201/3205—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a user, sender, addressee, machine or electronic recording medium of identification information, e.g. name or ID code
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3214—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a date
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3215—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of a time or duration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Hardware Design (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 사진들을 이벤트별로 자동으로 정리하기(organize) 위한 방법에 관한 것이다. 이벤트는 같은 장소에서, 같은 시간-스팬(time-span) 이내에 찍히는 하나의 사진 세트로서 정의되며, 현실의 사건을 나타낸다. 이 방법은, 사진에서 알 수 있는 날짜, 시간, EXIF 데이터를 이용하여 사진들의 콜렉션을 세그먼팅하는 단계 또는 객체 인식을 수행하는 단계를 포함한다. 유사한 날짜, 시간 또는 GPS 정보를 갖거나 얼굴 또는 객체 인식 또는 소셜 그래프(social graph)에 기초하여 세그먼트들을 상관시킨다. 이벤트들을 라벨링하고 태그하는데 도움이 되는 메타데이터를 제공한다.

Description

사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템{METHOD AND SYSTEM FOR GENERATING AND LABELING EVENTS IN PHOTO COLLECTIONS}
이하에, 본 발명의 배경 기술의 설명 및 문제 영역에 관한 것이 이어진다.
EXIF : 교환가능 이미지 파일 포맷
이것은 특정 메타데이터 태그를 JPEG 및 TIFF와 같은 기존의 파일 포맷에 추가하기 위한 업계 표준이다. 이 포맷은 캡처시에, 이미지 파일에 관련 메타 데이터를 기입하기 위해 포토 카메라 제작자에 의해 광범위하게 사용된다.
사용되는 메타 데이터 태그는 많고 다양하나, 캡처 날짜 및 시간, 셔터스피드와 같은 카메라 세팅, 구경(aperture), ISO 속도, 촛점거리, 미터링 모드, (만약 있다면) 플래시의 사용, 이미지의 방향, GPS 좌표, 미리 보기(rapid viewing)를 위한 이미지의 썸네일, 저작권 정보 및 많은 다른 것들을 포함하는 경향이 경향이 있다.
EXIF 표준의 최신 버전은 2.21이고, http://www.cipa.jp/exifprint/index_e.html로부터 입수 가능하다.
GPS : 글로벌 포지셔닝 시스템
위성 기술에 근거하는 지리적 위치를 결정하는 방법이 제공된다. 이러한 기술이 내장됨으로써 지원된(built-in support) 전용의 포토 카메라가 이용 가능하며, 카메라가 내장되어 있는 많은 스마트폰들도 또한 GPS 기능을 특징으로 한다. 이들의 경우, 사진 촬영시에, 현재 GPS 검색된 위치인 카메라의 위도 및 경도가 최종 파일의 EXIF 메타 데이터에 기입된다.
소셜 그래프
소셜 그래프는 개개인과 이 개개인이 속한 집단에서의 상호의존도에 근거하는 사회구조의 표현이다. 그래프의 노드는 개개인을 대표하고, 노드들 간의 커넥션(connection)은 임의의 종류의 비지니스 관계를 비롯한, 우호 관계, 친척 관계, 파트너쉽(partnership) 또는 임의의 다른 종류의 관계 등의 상호의존도의 유형을 정의한다. 상호의존도의 성질을 더 특정하는 것에 관련된 임의의 수의 부가적 속성이 추가되어, 그래프를 더욱 풍요롭게 할 수 있다.
어떠한 (일반적으로 온라인) 서비스의 사용자들 간의 관계라도 소셜 그래프로 표현할 수 있다. 소셜 네트워크 서비스들과 같은 사용자들 간의 상호작용에 촛점을 맞춘 서비스들의 소셜 그래프에 특히 흥미가 있다. 특히, 소셜 그래프의 사용자들, 사용자들의 사진 및 이들 사진들에 액세스 하는자에 대한 허가 여부(permission)가 소셜 그래프가 본 발명을 위한 관련 그래프이다.
종종 그 특정의 서비스의 어플리케이션 프로그래밍 인터페이스(이용할 수 있다면)를 이용하는 것을 통해, 이러한 서비스들로부터 도출되는 소셜 그래프가 상세해지고, 최신으로 되며, 정보 집약적으로 되는 경향이 있다.
네트워크와 그래프 이론에 근거하는 수학적인 기술을 사용하여 소셜 그래프 또는 네트워크가 분석될 수 있다. 사용자 타깃 서비스(user targeted services) 제공에서부터 행동의 예측, 광고와 시장 분석뿐만이 아니라 컨텐츠의 커뮤니케이션과 공유 촉진에 이르기까지 그 사용이 가능하다.
객체 인식 및 컴퓨터 비전
컨텐츠-기반의 이미지 검색(CBIR)은, 질의 이미지와 유사한 컨텐츠를 갖는 이미지 검색 분야에 해당한다. 이 문맥에 있어서의 「컨텐츠」라고 하는 용어는 색, 형태, 재질감 또는 이미지 그 자체로부터 도출될 수 있는 임의의 다른 정보를 가리키는 경우가 있다 (cf. 최근 견해에 대해서는 [1] 참조). 컴퓨터 비전 및 이미지 분석을 이용한 이미지의 콜렉션 내의 유사한 객체, 배경 또는 장면들을 찾아내는 자동 처리인 객체 인식은 본 발명과 가장 관련되어 있는 CBIR 내의 하위 분야에 해당한다.
연간 PASCAL 챌린지[2]에서는, 과제가 되는 증가하고 있는 데이터 세트에 대한 알고리즘의 평가를 수행한다. 현재의 가장 최신의 객체 인식은, 로컬 디스크립터(local descriptors), 종종, 검출된 관심 포인트에 적용되고, 사진 전반에 대해 고밀도로 샘플링되거나, 사진 자체에 글로벌하게 적용되는 수 개의 서로 다른 유형의 조합을 사용한다. 특징 디스크립터의 예로는, SIFT 관심점 검출기와 디스크립터[3], HOG 디스크립터[5](이들 모두 사진의 국소적인 부분으로 그 방향의 기울어짐이 발생하는 것(occurrences of gradient orientation in localized portions of the photo)을 포함함) 및 다른 로컬 검출기와 디스크립터[4])가 있다. 이들과 다른 특징 디스크립터는, 글로벌 사진 레벨에 대해서도 적용될 수 있다. 객체 인식은, 다른 유형의 데이터와 결합될 가능성이 있는 이들 디스크립터들의 비교 및 분석을 토대로 한다.
본 발명은 특징 디스크립터(로컬 또는 글로벌)의 어떠한 특정한 선택에도 제한되거나 의존되지 않는 것이며, 위에서 언급한 사항들은 어떤 특정한 선택이라기 보다는 디스크립터의 유형을 나타내는 참고사항이라고 생각되어야 한다
본 발명은 위에서 언급한 데이터 소스를 이용하여 사진들을 이벤트별로 자동으로 정리하는(organize) 방법 및 시스템을 기술하는 것이다.
환언하면, 이미지 내의 객체, 배경, 장면 및 메타데이터의 인식을, 관심 이벤트를 자동으로 검출하기 위한 소셜 그래프 데이터와 조합하는 방법 및 시스템이 제공된다.
이벤트
이벤트는 같은 장소에서, 같은 시간-스팬(time-span) 이내에 찍히는 하나의 사진 세트로서 정의되며, 현실의 사건(real world occurrence)을 나타낸다. 이 사건은, 사교 모임 또는 파티에서 뉴스-이벤트 또는 관광 명소에의 방문에 이르기까지 어떤 것이라도 될 수 있다. 특히, 이벤트는 결혼식에 온 많은 하객과 같은 임의의 명수의 개인이 찍는 사진으로 이루어질 수 있는데, 이 하객들 각각은 임의의 수의 이미징 장치를 사용해 자신들만의 사진 세트를 찍는다.
이벤트는 사용자에게는 자연스러운 방식으로 사진의 콜렉션을 세그먼팅(segment)한다. 동시에 사용자들은 자연스럽게 다른 이들과 함께 속한 사진들을 같이 묶을 것이지만, 이러한 사진들은 서로 다른 파일 포맷의 이미지로 이루어졌을 뿐만 아니라, 서로 다른 사람 및 소스로부터 나온 것일 수 있다.
이벤트들에 대한 필요성
신속하게 모든 가능한 온라인 방법들을 이용하여 사용자의 소셜 관계들 모두에 의해 공유되는 모든 사진들이 추가되어 거대한 양의 콘텐츠로 된다. 대부분의 이러한 콘텐츠는 정리되지 않는 경향이 있는데, 그 이유는 사용자들이 용이한 검색 및 해당 사진들과 관련이 있는 개인들과의 공유를 촉진시키는 방식으로 이들 사진들을 라벨링하는데 시간을 들이지 않기 때문이다. 그러므로, 대부분의 온라인 사진들은 결국 보여지지 않으며 이용되지 않게 된다.
이벤트들은, 이들 사진들의 대규모의 콜렉션들을 이해하는데 도움이 되는 조직적인 구조를 이용(consume)하기 위한 용이성을 제공한다. 이벤트들에 의해 정리되는 사진들의 전체 소셜 그래프에 있어서, 사용자는 이용가능한 모든 콘텐츠의 개관(overview)을 보다 용이하게 얻을 수 있다.
포토그래퍼(photographer)에 의해 세그먼팅되기 보다는 "현실의" 사건들에 따라 논리적으로 정리되기 때문에, 검색이 보다 자연스러워진다. 모든 전후관계상(contextually) 관련 사진들은 함께 제시되므로, 관련된 콘텐츠를 명확하게 보게 되기 위해서 여러 곳을 들여다보는 것은 더 이상 필요하지 않다.
이벤트들은 그 고유의 메타 데이터 세트를 갖는데, 이는 날짜 및 시간 범위, 지리적 위치, 기술 명칭이나 라벨, 임의의 종류의 조직적 태그들, 및 이벤트에 포함되는 사진들에 나타나는 사람들에 관한 신원(identity) 정보를 포함하지만, 엄격하게 포함한다거나 이에 제한되지는 않는다.
이벤트들의 생성
이벤트들은 사람들이, 몇몇 기존의 온라인 서비스나 툴을 이용하여 수동으로 직접 정리함으로써 그리고 자신들의 특정 현실의 사건의 사진들을 어딘가의 공통의 "앨범"에 수동으로 부가함으로써 생성될 수 있지만, 이는 실제로 좀처럼 발생하지 않는다. (선행 섹션에서 기술된 바와 같은) 유용성은 명백하지만, 이러한 접근법에 대한 수개의 명백한 문제점들이 존재한다:
1. 개념에 대한 비친숙성. 온라인 사진들은 여전히 비교적 새로운 현상이며, 대부분의 사용자들은 여전히 단지 하나의 장소와 시간에서의 1명의 사람의 사진들을 보유하는 물리적 포토 앨범과 유사한 맥락으로 생각한다.
2. 툴들의 결여. 실질적으로, 이러한 목적을 위해 특수하게 만들어진 툴들이 온라인으로 또는 다른 방식으로 존재하지 않는다. 기존의 툴들이나 서비스들은 이러한 기능을 이행하도록 "용도 변경"되거나 적합화되지만, 이들 툴들이 결코 이를 용이하게 하도록 설계되지 않으므로, 이는 일반적으로 심각한 제한을 갖는다.
3. 기술적 어려움. 하나의 장소에서의 수개의 소스들로부터 사진들을 수집하는 것 및 스스로 구축되거나 용도 변경된 툴들과 서비스들을 이용하여 이 사진들을 정리하는 것은 기술적으로 힘들고, 그에 따라 대부분의 정규 사용자들의 힘이 미치지 않는다.
4. 고됨과 시간 소모성. 기존의 툴들 및 서비스가 사진들의 세트를 보유하고 이들에 대한 액세스를 관련 사람들에게 제공할 수 있지만, 이 사진들을 유용한 관련 전원에게 업로딩하고 정렬하며 다른 방식으로 정리하는 것은 많은 시간과 노력과 사용자들 간의 조정을 요한다. 평균 사용자들보다 더 많은 시간을 소비하기를 원할 가능성이 있다.
본 발명은, 소셜 그래프를 통해 접속된 개인들에 의해 사진들로부터 이벤트들을 자동 생성하는 방법을 도입한다. 소셜 그래프를 이용하여 수집된 정보 이외에, 사진들의 콜렉션을 이벤트들로 세그먼팅하고, 관련 메타 데이터를 각각의 이벤트에 부가하여, 검색 및 관련이 있는 사람과의 이벤트의 공유를 용이하기 위해서, 메타 데이터, EXIF 정보, GPS 좌표들 및 컴퓨터 비전 기술이 이용된다.
데이터 소스들
사진들의 콜렉션을 세그먼팅하고, 이들 세그먼트들과 다른 세그먼트들을 상관시켜, 이벤트들을 형성하며, 메타 데이터를 제공함으로써, 각각의 이벤트가 (브라우징이나 검색을 통해) 용이하게 검색되며 공유될 수 있게 하기 위해서, 다음의 방법들 및 데이터 소스들이 이용될 수 있다. 이들 모두를 함께 이용하는 것은, 온라인 서비스들, 소셜 네트워크들 및 개인들에 걸쳐 사진들을 정리하기 위한 견고한 시스템을 산출한다.
( 세그먼팅을 위한) 날짜 및 시간
날짜 및 시간은 사진들을 세그먼팅하는 강력한 방식이다. 일반적으로, 온라인 시나리오에서의 이것에 2개의 기본적인 타임 스탬프들인 캡처 시간 및 업로드 시간이 이용가능하다.
동일한 시점에 업로딩된 모든 사진들을 클러스터화함으로써, 사진들의 매우 대략적인 제1 세그먼팅이 이루어질 수 있다. 이 때 이루어진 가정은, 한 현실의 사건을 찍은 사진들은 일반적으로 모두 동시에 업로딩된다는 것이다.
캡처 시간을 조사함으로써, 이전의 단계로부터의 세그먼트들을 더 세그먼팅할 수 있다. 이는, 특정의 임계값보다 더 멀지 않은 시간 내에 찍힌 사진들을 그룹화함으로써 수행된다.
(세그먼팅을 위한) EXIF 데이터
또한, 사진들의 세그먼팅은 각각의 사진에 대한 EXIF 데이터를 분석함으로써 수행되거나 또한 미세 튜닝(fine-tuned)될 수 있다.
이는 장면이나 주체에서의 급속한 변화를 검출하는데 이용될 수 있는데, 그에 따라 세그먼트 경계의 제안이 생성되어야 한다. 본 발명은 순차적으로 찍힌 사진들에서 장면이나 주체의 급속한 변화에 대하여 다음의 표시자들을 이용한다:
1. 셔터스피드에서의 상당한 시프트. 동일한 장면/위치 조명 내에서 일반적으로 동일한 경향이 있다. 예를 들어 포토그래퍼가 빌딩의 내부로부터 외부로 또는 그 반대로 위치를 변경하기 때문에, 큰 시프트는 장면/위치가 변화되었음을 나타낸다.
2. 플래시의 이용. 대부분의 카메라들은, 특히 자동 모드로 셋업된 경우에, 광-레벨이 강하할 때 플래시를 이용하여 자동으로 시작하는 경향이 있다. 그러므로, 플래시의 이용은 전술한 바와 같이 장면/위치 변화를 나타내는데 이용될 수 있다. 반대로, 셔터 스피드의 증가에 연관되는(coupled) 경우에, 특히 플래시의 이용의 갑작스러운 중지가 동일한 것을 나타낸다.
3. ISO 스피드에서의 상당한 시프트. 대부분의 카메라들은 광 레벨에서의 변경의 결과로서 자동으로 ISO 스피드를 변경한다. 광 레벨이 더 높을수록 ISO 스피드는 더 낮아지고, 반대로 ISO 스피드가 더 높을수록 광 레벨이 더 낮아진다. 이는 역시 장면/위치 변화를 나타낸다.
4. 화이트 밸런스 변경. 대부분의 카메라들은 씬/위치 변경의 결과로서 자신의 화이트-밸런스를 변경한다. "백열광(incandescent)" 화이트 밸런스는 카메라가 실내 백열광에서 찍히는 것으로 생각하는 샷들에 사용되는 반면에, 야외 샷들은 "일광(day light)" 화이트 밸런스로 찍힌다.
( 세그먼팅을 위한) 객체 인식
사진들은 또한 중첩되는 시각적 외관에 기초하여 세그먼팅될 수 있다. 객체 인식 시스템을 사용하여, 각각의 이미지에 대해 피쳐 디스크립터(feature descriptor)들이 계산되어 잠재적 매칭하는지를 판단하기 위해 비교될 수 있다. 이들 피쳐 디스크립터는 사진 내 영역을 나타내는 로컬 디스크립터들(예를 들면, REF 및 이와 유사한 것), 또는 사진을 전체로 나타내는 글로벌 디스크립터들(예를 들면 REF 및 이와 유사한 것) 중 어느 유형이라도 가능하다.
일례로는 연속적 이미지들 간의 디스크립터들을 매치시켜서 시각적 컨텐츠 내에서 불연속점들을 결정하고, 이에 따라 세그먼트 경계를 생성해야할 것을 제안하는 것이 있겠다. 다른 대안으로는 이미지들의 임의의 쌍 간의 디스크립터들을 매치시키고 시간상 엄격하게 연속적이지 않은 세그먼트들을 결정하는 것이다.
(상관시키기 위한) 소셜 그래프
사용자의 소셜 그래프에 기초하여 우리는 관심 대상이 되기에 충분히 사회적으로 친밀하다고 판단된 이들 개인(친구, 가족, 등)을 선택할 수 있다. 이들 개인 전체로부터의 세그먼팅된 사진들은 최초 사용자로부터의 이들 세그먼트들과 잠재적으로 상관된다. 이하에 설명되는 추가의 상관 방법들을 사용함으로써, 최종 이벤트를 구축하기 위해 상이한 사용자들로부터의 세그먼트들이 서로 매칭될 수 있다.
(상관시키기 위한) 날짜 및 시간
소셜 그래프를 통해 세그먼트들의 콜렉션이 생성된 후에, 이벤트를 형성하기 위해 세그먼트들이 서로 상관되어야 한다. 사용자들 소유의 세그먼트들에 대해 다른 사용자들로부터의 매칭하는 세그먼트들을 발견하기 위한 초기 스텝으로서 타임-프레임들이 중첩하는 세그먼트들을 찾는다.
각 세그먼트는 시작과 종료 타임-스탬프를 갖는다. 시작 타임-스탬프는 세그먼트의 첫번째 사진의 타임-스탬프이고 반대로 종료 타임-스탬프는 세그먼트의 마지막 사진의 타임-스탬프이다.
특정 세그먼트의 시작 타임-스탬프나 종료 타임-스탬프 어느 한 쪽이 다른 세그먼트의 시작 타임-스탬프와 종료 타임-스탬프 사이에 있을 때, 두 세그먼트는 중첩하는 것으로 판정된다.
이 방법에 기초하여 중첩되지 않는 임의의 세그먼트들은 "독립형(stand-alone)" 이벤트(즉, 그 사진들이 모두 동일한 포토그래퍼에 의해 만들어진 이벤트)로 가정된다. 그것들에게 추가의 처리는 행해지지 않는다.
중첩 세그먼트들은 후보 세그먼트 클러스터들이 된다. 클러스터 내 각 세그먼트는 적어도 하나의 다른 세그먼트와 중첩된다. 이 클러스터는 이용가능하다면 GPS 데이터, 또는 얼굴 인식 및 달리 기타 컴퓨터 비전 기술을 사용하여 추가의 매칭을 위해 전송된다.
(상관시키기 위한) GPS 데이터
후보 세그먼트 클러스터 내 둘 이상의 세그먼트들이 GPS 데이터가 내장된 사진들을 포함하거나, 제공된 위치 데이터가 이와는 다르게 제공된 경우, 이들 위치 간의 거리들이 계산될 수 있다. 하나의 세그먼트들로부터의 하나 이상의 사진들이 다른 세그먼트의 사진들로부터 특정한 임계 거리 내 위치를 갖는 경우, 후보 세그먼트들은 이벤트에 조인된다. 클러스터로부터의 추가의 세그먼트 쌍들이 이 이벤트에 조인될 수 있는데, 그들의 위치 또한 마찬가지로 충분히 가까워야 한다.
이는 GPS 또는 다른 위치 데이터를 갖는 모든 세그먼트들에 대해 반복된다.
이벤트를 형성하기 위해 아직 다른 것들과 조인되지 않은, 각 클러스터로부터의 임의의 남아있는 후보 세그먼트들은 추가의 매치를 찾기 위해 얼굴 인식 및 기타 컴퓨터 비전 기술을 사용하여 처리된다.
(상관시키기 위한) 얼굴 인식
얼굴 인식 기술은 클러스터로부터의 후보 세그먼트들을 서로 상관시키고 이들로부터 이벤트를 구축하기 위해 다양한 방식으로 사용될 수 있다. 이들 전부는 모든 세그먼트로부터의 각각의 사진에서 얼굴들을 찾는 것과 예를 들면, 날짜, 시간 또는 GPS 좌표를 사용하여 이전에 생성된 이벤트에 달려 있다. 그런 후에 이름이 붙은 얼굴 또는 이름이 없는 얼굴 중 어느 한 쪽을 사용하여 세그먼트를 매치시킬 수 있다.
이름이 붙은 얼굴을 사용하여 매칭하기
얼굴들은 아래 두가지 방식으로 이름이 붙을 수 있다:
1. 수동으로. 사용자에게 얼굴이 제시되고 그에 대한 이름을 제공해달라고 요청한다. 이 프로세스는 모든 얼굴들에 이름을 붙일 때까지 반복될 수 있다.
2. 자동으로. 이미 이름을 붙인 얼굴들에 기초하여, 얼굴 인식 기술은 이름이 없는 얼굴들이 몇몇 임계값에 기초하여 충분히 유사하게 보일 경우 이들에 자동으로 이름을 붙일 수 있다.
사용자가 일부 얼굴에 이름을 붙이고 시스템이 유사한 추가 얼굴들에 자동으로 전부 이름을 붙이거나 동일한 사람이라고 생각되는 얼굴들의 목록을 사용자에게 제시하여 사용자가 검증하도록 요청함으로써, 두 접근법이 조합될 수 있다.
일단 각 후보 세그먼트 또는 이벤트로부터의 얼굴들의 세트 - 그러나 전체일 필요는 없음 - 에 이름을 붙이면, 매칭이 이루어질 수 있다. 후보 세그먼트 클러스터 또는 이전에 생성된 이벤트들로부터의 둘 이상의 세그먼트들이 그 안에 동일한 사람 또는 사람의 이름을 가진다면, 그 세그먼트들 및/또는 이벤트들이 함께 조인되어 새로운 이벤트를 형성할 수 있다. 이는 동일한 사람이 동시간에 두 장소에 존재할 수는 없다는 원리에 기초한다. 후보 세그먼트 클러스터의 모든 세그먼트들이 시간 상 중첩되고, 한 사람이 몇개의 세그먼트들 또는 이벤트들에 걸친 사진들에 나타나므로, 이들은 거의 확실히 하나의 동일한 현실의 사건에 속하는 세그먼트들임이 틀림없다. 이름을 붙일 때에, 동일한 이름을 가질 수 있는 사람들을 고유하게 정의하기 위해 소셜 그래프가 사용될 수 있다.
이름이 붙지 않은 얼굴들을 매칭하기
상술한 바와 마찬가지로, 후보 클러스터로부터의 세그먼트들을 사용자 개입 없이 순전히 얼굴 인식에만 기초하여 함께 매칭시킬 수 있다.
둘 이상의 세그먼트들로부터의 얼굴들이 얼굴 인식 엔진에 의해 충분히 비슷하다고 판정될 경우, 그 얼굴들은 얼굴-매칭이라고 칭한다. 클러스터 또는 이전에 생성된 이벤트의 임의 개수의 세그먼트들 사이에서 임계 수치보다 많은 개수의 얼굴-매칭이 나타나면, 세그먼트들 및/또는 이벤트들은 새로운 이벤트를 형성하여 조인한다.
(상관시키기 위한) 객체 인식
후보 세그먼트 클러스터 내의 2 이상의 세그먼트들이 매칭하는 특징 디스크립터들을 갖는 사진들을 포함하면, 사진들의 유사도를 나타내는 유사도 스코어가 계산될 수 있다. 이 중 어느 하나에서 사용된 특징 디스크립터에 따라, 이는 유사한 객체들 또는 유사한 일반적인 사진 콘텐츠를 나타낼 것이다. 유사도 스코어가 일부 임계치보다 낮으면(양호한 매치를 나타내는 낮은 스코어이면), 후보 세그먼트들이 이벤트에 조인된다.
나머지 세그먼트 처리
이 시점에서, 다른 것에 자동으로 상관될 수 있는 클러스터 내의 모든 세그먼트들은 결합되어 이벤트들을 형성할 것이다. 남아있는 임의의 세그먼트들은 본래의 권한으로(in their own right) 별도의 "독립형(stand-alone)" 이벤트들, 즉 동일한 포토그래퍼에 의해 모든 사진들이 찍히는 이벤트들로 된다.
이제는 이벤트들에 레이블 및 태그를 붙이는 것을 돕기 위하여 메타데이터가 수집되어, 이벤트들이 보다 쉽게 검색되고 브라우징되게 한다.
(메타데이터를 위한) 객체 인식
객체 인식 기술은 이벤트에 대한 메타데이터를 자동으로 추출하는 데에 사용될 수 있다. 이는 이벤트들에 나타나는 객체 유형들 또는 카테고리별로 이벤트들을 브라우징하게 할 수 있다.
예를 들어, 연간 PASCAL 챌린지 [2]에 개시된 것과 같은 최신의 객체 인식 시스템은 사진들의 콘텐츠를 설명하는 데에 사용될 수 있다. 메타데이터를 추출하기 위하여, 객체 인식은 2가지 상이한 방식들로 이용된다.
● 카테고리화 : 레이블들이 글로벌 레벨로 사진에 할당되어, 사진에 대한 카테고리, 또는 카테고리들의 계층 구조를 나타낸다.
● 객체 로컬리제이션 : 예를 들어, 레이블들을 바운딩 박스(bounding box)들에 할당함으로써, 레이블들이 사진 내의 영역들에 할당되어, 레이블이 그 특정 영역에 적용된다는 것을 나타낸다.
(메타데이터를 위한) 얼굴 인식
이벤트의 사진들에 나타나는 모든 고유한 사람들의 이름들이 이벤트에 대한 메타데이터로서 추가될 수 있다. 이는 이벤트들 내의 사람들에 의한 이벤트들의 브라우징 또는 어떤 사람 또는 사람들의 그룹을 포함하는 이벤트들에 대한 검색을 가능하게 한다.
이들 이름들은 또한 날짜 및 시간과 함께 이벤트에 대한 레이블의 일부가 될 수 있다.
(메타데이터를 위한) 날짜 및 시간
특정 이벤트의 시작 및 종료 시간 스탬프들(이전 섹션 참조)은 이벤트에 대한 메타데이터로서 저장된다. 컴퓨터 비전 기술 기반 또는 수동으로 제공되는 이름 또는 레이블이 부족하다면, 이들은 이벤트를 참조하는 주요 방식이 될 수 있다.
본 발명의 일 실시예에서, 사진들을 자동 그룹핑하기 위한 방법은,
- 임의의 데이터 소스, 또는 소셜 그래프(social graph), 날짜, 시간, EXIF 및 객체 인식의 조합을 이용하여 사진들의 콜렉션을 세그먼팅하는 단계,
- 이들 세그먼트들을 임의의 데이터 소스, 또는 소셜 그래프, 날짜, 시간, GPS, 얼굴 인식 및 객체 인식의 조합을 이용하여 다른 세그먼트들과 더 상관시키는 단계,
- 메타데이터를 제공하여 검색을 가능하게 하는 단계
를 포함한다.
본 발명의 다른 실시예에서, 사진들을 자동 그룹핑하기 위하여 컴퓨터 판독가능 저장 매체에 저장되고 컴퓨터 장치에서 실행되는 컴퓨터 프로그램은,
임의의 데이터 소스, 또는 소셜 그래프(social graph), 날짜, 시간, EXIF 및 객체 인식의 조합을 이용하여 사진들의 콜렉션을 세그먼팅하는 단계,
- 이들 세그먼트들을 임의의 데이터 소스, 또는 소셜 그래프, 날짜, 시간, GPS, 얼굴 인식 및 객체 인식의 조합을 이용하여 다른 세그먼트들과 더 상관시키는 단계,
- 메타데이터를 제공하여 검색을 가능하게 하는 단계
를 포함한다.
본 발명의 또 다른 실시예에서, 사진들을 자동 그룹핑하기 위한 시스템은 상술한 실시예에 따른 컴퓨터 프로그램을 포함한다.
본 발명의 또 다른 실시예에서, 시스템 또는 디바이스는 예를 들어, 웹사이트로부터 사진들을 다운로드하고, 사진들을 분석하고, 사진들의 그룹들의 표현을 저장하고, 이들 그룹들을 검색하거나 보기 위한 수단을 제공함으로써 사진들을 획득하는 데에 사용된다.
본 발명에 사용되는 기본적인 방법을 실시예들의 리스트와 함께 기술하였다.
참고문헌
[1] R. Datta, D. Joshi, J. Li, and J. Wang. Image retrieval: Ideas, influences, and trends of the new age. ACM Comput. Serv. 40, 2 (2008).
[2] Everingham, M. and Van Gool, L. and Williams, C. K. I. and Winn, J. and Zisserman, A., The PASCAL Visual Object Classes Challenge 2009 (VOC2009) Results, "http://www. pascal-network. org/challenges/VOC/voc2009/workshop/index. html
[3] D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2, 2004.
[4] K. Mikolajczyk and C. Schmid, Scale and Affine Invariant Interest Point Detectors, International Journal of Computer Vision, 60, 1, 2004.
[5] Qiang Zhu, Shai Avidan, Mei-Chen Yeh, Kwang-Ting Cheng, Fast Human Detection Using a Cascade of Histograms of Oriented Gradients, TR2006-068 June 2006, Mitsubishi Electric Research Laboratories.

Claims (10)

  1. 하나 이상의 사용자가 가지는 사진들을 자동 그룹핑하는 방법으로서,
    임의의 데이터 소스 또는 소셜 그래프(social graph), 날짜, 시간, EXIF 및 객체 인식의 조합을 이용하여 사진들의 콜렉션(collection)을 세그먼팅하는(segmenting) 단계;
    이들 세그먼트들을 임의의 데이터 소스 또는 소셜 그래프, 날짜, 시간, GPS, 얼굴 인식 및 객체 인식의 조합을 이용하여 다른 세그먼트들과 더 상관시키는 단계; 및
    메타데이터를 제공하여 검색을 가능하게 하는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 콜렉션은 사용자의 포토 앨범 또는 그 일부분인 방법.
  3. 제1항에 있어서,
    상기 세그먼트들은 소셜 네트워크 또는 사진 공유 사이트의 사용자들 간에 상관되는 방법.
  4. 제1항에 있어서,
    상기 메타데이터는 얼굴 인식을 이용하여 산출된 이름들 또는 ID들(identities)인 방법.
  5. 제1항에 있어서,
    상기 세그먼트들의 상관은 임의의 사용자에 의한 사용자 상호작용 또는 임의의 사용자에 의한 사전 라벨링된 얼굴들과 조합한 얼굴 인식을 이용하여 수행되는 방법.
  6. 제1항에 있어서,
    상기 세그먼트들의 상관은 충분히 많은 얼굴 일치가 있을 경우에 그룹핑된 익명의 얼굴들 및 세그먼트들에 대한 얼굴 인식을 이용하여 수행되는 방법.
  7. 제1항에 따라 사진들을 자동 그룹핑하기 위하여, 컴퓨터 판독가능 저장 매체에 저장되고 컴퓨터 장치에서 실행되는 컴퓨터 프로그램.
  8. 제7항의 컴퓨터 프로그램을 포함하는, 사진들을 자동 그룹핑하는 시스템.
  9. 제8항에 있어서,
    상기 콜렉션들은 포토 앨범들인 시스템.
  10. 제8항에 있어서,
    상기 콜렉션들은 소셜 그래프들에 걸쳐 생성되는 시스템.
KR1020127013764A 2009-10-27 2010-10-07 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템 KR101417548B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/606,221 2009-10-27
US12/606,221 US20110099199A1 (en) 2009-10-27 2009-10-27 Method and System of Detecting Events in Image Collections
PCT/EP2010/065007 WO2011051091A1 (en) 2009-10-27 2010-10-07 Method and system for generating and labeling events in photo collections

Publications (2)

Publication Number Publication Date
KR20120092644A true KR20120092644A (ko) 2012-08-21
KR101417548B1 KR101417548B1 (ko) 2014-07-08

Family

ID=43414811

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013764A KR101417548B1 (ko) 2009-10-27 2010-10-07 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템

Country Status (5)

Country Link
US (1) US20110099199A1 (ko)
EP (1) EP2494471A1 (ko)
KR (1) KR101417548B1 (ko)
CN (1) CN102687146B (ko)
WO (1) WO2011051091A1 (ko)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014088204A1 (ko) * 2012-12-03 2014-06-12 (주)카카오 공유 이벤트와 관련된 추천 사진을 표시하는 방법 및 디바이스, 그리고 공유 서버
WO2014088203A1 (ko) * 2012-12-03 2014-06-12 (주)카카오 사진 공유를 추천하는 서버 및 방법, 그리고 사진 공유 인터페이스 영역을 표시하는 디바이스
KR101468294B1 (ko) * 2013-03-18 2014-12-03 조선대학교산학협력단 소셜 정보 기반의 앨범 제작 시스템 및 그 방법
WO2014194020A1 (en) * 2013-05-30 2014-12-04 Facebook, Inc. Tag suggestions for images on online social networks
WO2015034269A1 (ko) * 2013-09-03 2015-03-12 삼성전자 주식회사 영상 처리 방법 및 장치
WO2015037973A1 (en) * 2013-09-12 2015-03-19 Data Calibre Sdn Bhd A face identification method
US9064146B2 (en) 2008-03-20 2015-06-23 Facebook, Inc. Relationship mapping employing multi-dimensional context including facial recognition
US9143573B2 (en) 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
KR20190028574A (ko) * 2016-06-12 2019-03-18 애플 인크. 정황상 관련있는 미디어 콘텐츠를 검색하기 위한 사용자 인터페이스들
US10572132B2 (en) 2015-06-05 2020-02-25 Apple Inc. Formatting content for a reduced-size user interface
US10732790B2 (en) 2010-01-06 2020-08-04 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US10904426B2 (en) 2006-09-06 2021-01-26 Apple Inc. Portable electronic device for photo management
US11307737B2 (en) 2019-05-06 2022-04-19 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11782575B2 (en) 2018-05-07 2023-10-10 Apple Inc. User interfaces for sharing contextually relevant media content
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US12184969B2 (en) 2016-09-23 2024-12-31 Apple Inc. Avatar creation and editing

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8634662B2 (en) * 2010-08-25 2014-01-21 Apple Inc. Detecting recurring events in consumer image collections
US8626835B1 (en) * 2010-10-21 2014-01-07 Google Inc. Social identity clustering
US20120158850A1 (en) * 2010-12-21 2012-06-21 Harrison Edward R Method and apparatus for automatically creating an experiential narrative
US20120213404A1 (en) 2011-02-18 2012-08-23 Google Inc. Automatic event recognition and cross-user photo clustering
US8914483B1 (en) 2011-03-17 2014-12-16 Google Inc. System and method for event management and information sharing
US9223893B2 (en) * 2011-10-14 2015-12-29 Digimarc Corporation Updating social graph data using physical objects identified from images captured by smartphone
CN103907120B (zh) 2011-12-16 2018-01-02 英派尔科技开发有限公司 用于图像共享网络的自动隐私管理
CN103294712B (zh) * 2012-02-29 2016-09-21 三星电子（中国）研发中心 实时热点区域推荐系统和方法
US10913003B2 (en) 2012-03-13 2021-02-09 Sony Interactive Entertainment LLC Mini-games accessed through a sharing interface
US9345966B2 (en) 2012-03-13 2016-05-24 Sony Interactive Entertainment America Llc Sharing recorded gameplay to a social graph
US11406906B2 (en) 2012-03-13 2022-08-09 Sony Interactive Entertainment LLC Network connected controller for direct to cloud gaming
EP3614277B1 (en) * 2012-05-24 2022-08-03 Nant Holdings IP LLC Event archiving, systems and methods
US9483556B1 (en) 2012-05-25 2016-11-01 Google Inc. Aggregating photos captured at an event
US9251395B1 (en) 2012-06-05 2016-02-02 Google Inc. Providing resources to users in a social network system
US9665773B2 (en) * 2012-06-25 2017-05-30 Google Inc. Searching for events by attendants
US9391792B2 (en) 2012-06-27 2016-07-12 Google Inc. System and method for event content stream
US9092455B2 (en) * 2012-07-17 2015-07-28 Microsoft Technology Licensing, Llc Image curation
US9361626B2 (en) * 2012-10-16 2016-06-07 Google Inc. Social gathering-based group sharing
US9418370B2 (en) 2012-10-23 2016-08-16 Google Inc. Obtaining event reviews
EP2915132A4 (en) * 2012-10-31 2016-06-29 Google Inc COMPARISON OF IMAGES PROCESS
WO2014070906A1 (en) * 2012-11-01 2014-05-08 Google Inc. Image comparison process
US9352226B2 (en) 2012-12-21 2016-05-31 Sony Interactive Entertainment America Llc Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
EP2745893B1 (en) * 2012-12-21 2019-03-20 Sony Computer Entertainment America LLC Automatic generation of suggested mini-games for cloud-gaming based on recorded gameplay
US9582546B2 (en) 2013-02-27 2017-02-28 Here Global B.V. Specificity for naming based on location
US9411831B2 (en) * 2013-03-01 2016-08-09 Facebook, Inc. Photo clustering into moments
US9648129B2 (en) 2013-03-13 2017-05-09 Facebook, Inc. Image filtering based on social context
US9471200B2 (en) * 2013-03-15 2016-10-18 Apple Inc. Device, method, and graphical user interface for organizing and presenting a collection of media items
CN104063395A (zh) * 2013-03-21 2014-09-24 蒋亮 一种生成电子照片关系链的方法和系统
US9202143B2 (en) 2013-04-29 2015-12-01 Microsoft Technology Licensing, Llc Automatic photo grouping by events
US9760803B2 (en) 2013-05-15 2017-09-12 Google Inc. Associating classifications with images
US9674650B2 (en) * 2013-07-26 2017-06-06 Here Global B.V. Familiarity measure to group objects
CN104349169B (zh) * 2013-08-09 2018-11-09 联想(北京)有限公司 一种图像处理方法及电子设备
CN104427227B (zh) * 2013-08-22 2018-03-23 北大方正集团有限公司 成组照方法和装置
JP6081323B2 (ja) * 2013-09-05 2017-02-15 富士フイルム株式会社 イベントの撮像画像配置装置ならびにその制御方法およびその制御プログラム
JP6018029B2 (ja) 2013-09-26 2016-11-02 富士フイルム株式会社 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム
TWI493491B (zh) * 2013-12-04 2015-07-21 Mitake Information Corp 辨識社群網站相片真偽之系統、裝置與方法
CN104767782A (zh) * 2014-01-08 2015-07-08 腾讯科技（深圳）有限公司 一种关联照片事件的方法和装置
CN104951459A (zh) * 2014-03-26 2015-09-30 腾讯科技（深圳）有限公司 照片集的显示方法和装置
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US9787576B2 (en) 2014-07-31 2017-10-10 Microsoft Technology Licensing, Llc Propagating routing awareness for autonomous networks
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US9836464B2 (en) 2014-07-31 2017-12-05 Microsoft Technology Licensing, Llc Curating media from social connections
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10140517B2 (en) 2014-08-06 2018-11-27 Dropbox, Inc. Event-based image classification and scoring
US9414417B2 (en) 2014-08-07 2016-08-09 Microsoft Technology Licensing, Llc Propagating communication awareness over a cellular network
US10290019B2 (en) 2014-10-24 2019-05-14 Dropbox, Inc. User re-engagement with online photo management service
US10210182B2 (en) 2014-12-16 2019-02-19 International Business Machines Corporation Image search with historical user activity metadata
US9881094B2 (en) 2015-05-05 2018-01-30 Snap Inc. Systems and methods for automated local story generation and curation
CN105046426B (zh) * 2015-07-08 2018-08-31 安徽立卓智能电网科技有限公司 一种基于数据库多张历史数据表的工况信息断面重现方法
CN108027827B (zh) * 2015-07-16 2022-06-10 彭冯有限公司 基于图像分析的协调通信和/或存储
CN105138553A (zh) * 2015-07-17 2015-12-09 小米科技有限责任公司 终端间信息共享的方法及装置
CN105049333A (zh) * 2015-07-30 2015-11-11 柏昆珠宝（上海）有限公司 一种基于社交化媒体的交流通信方法、系统及终端
KR102479495B1 (ko) * 2015-09-07 2022-12-21 엘지전자 주식회사 이동단말기 및 그의 동작 방법
CN107710197B (zh) 2015-09-28 2021-08-17 谷歌有限责任公司 在通信网络上共享图像和图像相册
CN105472239B (zh) * 2015-11-17 2019-08-16 小米科技有限责任公司 照片处理方法及装置
CN105574167B (zh) * 2015-12-17 2020-01-14 惠州Tcl移动通信有限公司 一种基于移动终端的照片自动命名处理方法及系统
CN105740379A (zh) * 2016-01-27 2016-07-06 北京汇图科技有限责任公司 一种照片分类管理方法和装置
US9785699B2 (en) * 2016-02-04 2017-10-10 Adobe Systems Incorporated Photograph organization based on facial recognition
CN105847334A (zh) * 2016-03-17 2016-08-10 北京百纳威尔科技有限公司 图片分享方法及装置
US10277662B2 (en) 2016-05-12 2019-04-30 International Business Machines Corporation Photo request using a location identifier
US20170357644A1 (en) 2016-06-12 2017-12-14 Apple Inc. Notable moments in a collection of digital assets
CN106201247A (zh) * 2016-06-28 2016-12-07 乐视控股（北京）有限公司 一种相册中的图片加载方法及系统
CN106230691B (zh) * 2016-07-28 2019-08-20 东南大学 浏览并标记近距离范围内经过的陌生人照片的系统及方法
WO2018023626A1 (zh) * 2016-08-04 2018-02-08 汤隆初 人脸匹配照片存储技术的数据收集方法和手机拍照系统
WO2018023627A1 (zh) * 2016-08-04 2018-02-08 汤隆初 根据人脸识别搜索照片的方法以及手机拍照系统
WO2018023625A1 (zh) * 2016-08-04 2018-02-08 汤隆初 人脸识别匹配照片时的信息推送方法以及手机拍照系统
WO2018212815A1 (en) 2017-05-17 2018-11-22 Google Llc Automatic image sharing with designated users over a communication network
CN107330075A (zh) * 2017-06-30 2017-11-07 北京金山安全软件有限公司 一种多媒体数据处理方法及其装置、服务器、存储介质
WO2019090614A1 (zh) * 2017-11-09 2019-05-16 深圳传音通讯有限公司 一种基于智能终端的相册生成方法及相册生成系统
US11093839B2 (en) * 2018-04-13 2021-08-17 Fujifilm Business Innovation Corp. Media object grouping and classification for predictive enhancement
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
CN109104570B (zh) * 2018-08-28 2021-06-25 广东小天才科技有限公司 一种基于可穿戴设备的拍摄方法及可穿戴设备
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11244162B2 (en) 2018-10-31 2022-02-08 International Business Machines Corporation Automatic identification of relationships between a center of attention and other individuals/objects present in an image or video
JP7246894B2 (ja) * 2018-11-07 2023-03-28 キヤノン株式会社 撮像装置およびその制御方法
US11184551B2 (en) * 2018-11-07 2021-11-23 Canon Kabushiki Kaisha Imaging apparatus and control method thereof
CN109726178B (zh) * 2018-12-25 2021-03-30 中国南方电网有限责任公司 非结构化文件的交互应用方法、装置、计算机设备和存储介质
CN110413794A (zh) * 2019-06-19 2019-11-05 重庆市重报大数据研究院 一种文化图谱生成方法
US11138477B2 (en) * 2019-08-15 2021-10-05 Collibra Nv Classification of data using aggregated information from multiple classification modules
US20230074640A1 (en) * 2021-09-07 2023-03-09 International Business Machines Corporation Duplicate scene detection and processing for artificial intelligence workloads

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606411B1 (en) * 1998-09-30 2003-08-12 Eastman Kodak Company Method for automatically classifying images into events
US6396963B2 (en) * 1998-12-29 2002-05-28 Eastman Kodak Company Photocollage generation and modification
US6965770B2 (en) * 2001-09-13 2005-11-15 Nokia Corporation Dynamic content delivery responsive to user requests
AU2003281390A1 (en) * 2002-07-09 2004-01-23 Koninklijke Philips Electronics N.V. Method and apparatus for classification of a data object in a database
US7386357B2 (en) * 2002-09-30 2008-06-10 Hewlett-Packard Development Company, L.P. System and method for generating an audio thumbnail of an audio track
US6865297B2 (en) * 2003-04-15 2005-03-08 Eastman Kodak Company Method for automatically classifying images into events in a multimedia authoring application
US20060015494A1 (en) * 2003-11-26 2006-01-19 Keating Brett M Use of image similarity in selecting a representative visual image for a group of visual images
EP1844411A2 (en) * 2005-01-28 2007-10-17 Koninklijke Philips Electronics N.V. Dynamic photo collage
US8903949B2 (en) * 2005-04-27 2014-12-02 International Business Machines Corporation Systems and methods of specifying service level criteria
US7809722B2 (en) * 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US7783135B2 (en) * 2005-05-09 2010-08-24 Like.Com System and method for providing objectified image renderings using recognition information from images
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
WO2008075745A1 (ja) * 2006-12-21 2008-06-26 Panasonic Corporation 現像サーバ、現像クライアント、現像システム、および現像方法
US8189880B2 (en) * 2007-05-29 2012-05-29 Microsoft Corporation Interactive photo annotation based on face clustering
KR101400619B1 (ko) * 2007-11-07 2014-05-26 엘지전자 주식회사 사진 관리 방법 및 장치
US8150098B2 (en) * 2007-12-20 2012-04-03 Eastman Kodak Company Grouping images by location
US20100179874A1 (en) * 2009-01-13 2010-07-15 Yahoo! Inc. Media object metadata engine configured to determine relationships between persons and brands
US8320617B2 (en) * 2009-03-27 2012-11-27 Utc Fire & Security Americas Corporation, Inc. System, method and program product for camera-based discovery of social networks
US20110016398A1 (en) * 2009-07-16 2011-01-20 Hanes David H Slide Show
US8670597B2 (en) * 2009-08-07 2014-03-11 Google Inc. Facial recognition with social network aiding

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11601584B2 (en) 2006-09-06 2023-03-07 Apple Inc. Portable electronic device for photo management
US10904426B2 (en) 2006-09-06 2021-01-26 Apple Inc. Portable electronic device for photo management
US9275272B2 (en) 2008-03-20 2016-03-01 Facebook, Inc. Tag suggestions for images on online social networks
US10423656B2 (en) 2008-03-20 2019-09-24 Facebook, Inc. Tag suggestions for images on online social networks
US9984098B2 (en) 2008-03-20 2018-05-29 Facebook, Inc. Relationship mapping employing multi-dimensional context including facial recognition
US9665765B2 (en) 2008-03-20 2017-05-30 Facebook, Inc. Tag suggestions for images on online social networks
US9064146B2 (en) 2008-03-20 2015-06-23 Facebook, Inc. Relationship mapping employing multi-dimensional context including facial recognition
US9143573B2 (en) 2008-03-20 2015-09-22 Facebook, Inc. Tag suggestions for images on online social networks
US10732790B2 (en) 2010-01-06 2020-08-04 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US11099712B2 (en) 2010-01-06 2021-08-24 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US12197695B2 (en) 2010-01-06 2025-01-14 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US11592959B2 (en) 2010-01-06 2023-02-28 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
WO2014088203A1 (ko) * 2012-12-03 2014-06-12 (주)카카오 사진 공유를 추천하는 서버 및 방법, 그리고 사진 공유 인터페이스 영역을 표시하는 디바이스
WO2014088204A1 (ko) * 2012-12-03 2014-06-12 (주)카카오 공유 이벤트와 관련된 추천 사진을 표시하는 방법 및 디바이스, 그리고 공유 서버
KR101468294B1 (ko) * 2013-03-18 2014-12-03 조선대학교산학협력단 소셜 정보 기반의 앨범 제작 시스템 및 그 방법
WO2014194020A1 (en) * 2013-05-30 2014-12-04 Facebook, Inc. Tag suggestions for images on online social networks
WO2015034269A1 (ko) * 2013-09-03 2015-03-12 삼성전자 주식회사 영상 처리 방법 및 장치
WO2015037973A1 (en) * 2013-09-12 2015-03-19 Data Calibre Sdn Bhd A face identification method
US10572132B2 (en) 2015-06-05 2020-02-25 Apple Inc. Formatting content for a reduced-size user interface
US11334209B2 (en) 2016-06-12 2022-05-17 Apple Inc. User interfaces for retrieving contextually relevant media content
US11941223B2 (en) 2016-06-12 2024-03-26 Apple Inc. User interfaces for retrieving contextually relevant media content
US10891013B2 (en) 2016-06-12 2021-01-12 Apple Inc. User interfaces for retrieving contextually relevant media content
KR20200090876A (ko) * 2016-06-12 2020-07-29 애플 인크. 정황상 관련있는 미디어 콘텐츠를 검색하기 위한 사용자 인터페이스들
KR20200022541A (ko) * 2016-06-12 2020-03-03 애플 인크. 정황상 관련있는 미디어 콘텐츠를 검색하기 위한 사용자 인터페이스들
KR20190028574A (ko) * 2016-06-12 2019-03-18 애플 인크. 정황상 관련있는 미디어 콘텐츠를 검색하기 위한 사용자 인터페이스들
US11681408B2 (en) 2016-06-12 2023-06-20 Apple Inc. User interfaces for retrieving contextually relevant media content
US12184969B2 (en) 2016-09-23 2024-12-31 Apple Inc. Avatar creation and editing
US11782575B2 (en) 2018-05-07 2023-10-10 Apple Inc. User interfaces for sharing contextually relevant media content
US11854539B2 (en) 2018-05-07 2023-12-26 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11900923B2 (en) 2018-05-07 2024-02-13 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US11307737B2 (en) 2019-05-06 2022-04-19 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11947778B2 (en) 2019-05-06 2024-04-02 Apple Inc. Media browsing user interface with intelligently selected representative media items
US11625153B2 (en) 2019-05-06 2023-04-11 Apple Inc. Media browsing user interface with intelligently selected representative media items

Also Published As

Publication number Publication date
EP2494471A1 (en) 2012-09-05
CN102687146B (zh) 2016-05-04
WO2011051091A1 (en) 2011-05-05
US20110099199A1 (en) 2011-04-28
KR101417548B1 (ko) 2014-07-08
CN102687146A (zh) 2012-09-19

Similar Documents

Publication Publication Date Title
KR101417548B1 (ko) 사진 콜렉션에서 이벤트들을 생성하고 라벨링하는 방법 및 시스템
JP5318115B2 (ja) 場所別画像分類
US8380039B2 (en) Method for aligning different photo streams
US8805165B2 (en) Aligning and summarizing different photo streams
US8194940B1 (en) Automatic media sharing via shutter click
US9008438B2 (en) Image processing device that associates photographed images that contain a specified object with the specified object
US20120114307A1 (en) Aligning and annotating different photo streams
US20160179846A1 (en) Method, system, and computer readable medium for grouping and providing collected image content
JP2009543197A (ja) 画像集団を探索するための背景の使用
US8320609B2 (en) Device and method for attaching additional information
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
JP2014182650A (ja) 画像共有装置、画像共有装置の制御方法、およびプログラム
KR101563238B1 (ko) 사진 기반 인물 친밀도 구축 장치 및 방법, 그리고 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체
WO2015185479A1 (en) Method of and system for determining and selecting media representing event diversity
Lee et al. A scalable service for photo annotation, sharing, and search
Kuo et al. MPEG-7 based dozen dimensional digital content architecture for semantic image retrieval services
JP2006350550A (ja) アルバムコンテンツ自動作成方法及びシステム
Proß et al. iPiccer: Automatically retrieving and inferring tagged location information from web repositories
EID et al. Image Retrieval based on Reverse Geocoding
Sandhaus Geospatial Web Image Mining

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20120525

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130716

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20140522

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20140630

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20140630

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20170601

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20180529

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20180529

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20190530

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20200528

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20210527

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20220517

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20230518

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20240522

Start annual number: 11

End annual number: 11