KR101503761B1

KR101503761B1 - 오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체

Info

Publication number: KR101503761B1
Application number: KR1020130006977A
Authority: KR
Inventors: 가즈노리 기타
Original assignee: 가시오게산키 가부시키가이샤
Priority date: 2012-01-30
Filing date: 2013-01-22
Publication date: 2015-03-18
Also published as: CN103312957A; KR20130088059A; JP2013157795A; JP5477399B2; US20130194421A1

Abstract

정보 처리 장치는, 실제 공간 내의 임의의 영역을 임의의 타이밍에서 지정하는 지정부, 상기 실제 공간 내에 존재하는 오브젝트에 관한 정보를 취득하는 취득부, 상기 실제 공간 내에 존재하는 복수의 오브젝트 중, 상기 지정부에 의해 지정된 타이밍에서 상기 지정부에 의해 지정된 영역 내에 존재하는 오브젝트를 검출하는 검출부, 및 상기 취득부에 의해 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시하는 선택 표시부를 포함하는 것을 특징으로 한다.

Description

오브젝트의 정보를 표시하는 정보 처리 장치, 정보 처리 방법 및 기록 매체 {INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND RECORDING MEDIUM, FOR DISPLAYING INFORMATION OF OBJECT}

　본 발명은 복수의 오브젝트(object) 중에서 미리 정해진(소정) 오브젝트의 정보를 알 수 있는 정보 처리 장치, 정보 처리 방법 및 기록 매체에 관한 것이다.

스포츠 클럽이나 단체경기 등의 매니저, 코치, 감독 등은 선수, 학생, 아동 등 다수의 사람을 관리하에 두고 트레이닝하거나 지도하거나 한다. 그리고, 이하, 매니저, 코치, 감독 등의 관리하는 측의 사람을 "관리자"라고 한다. 또한, 선수, 학생, 아동 등의 관리되는 측의 사람을 "관리 대상자"라고 한다.

관리자는 관리 대상자의 각종 상태, 예를 들면, 건강이나 몸 상태, 체력이나 운동 능력의 상태, 스포츠 기능의 진보 상태 등을 관찰하여 평가한다.

관리자는, 관리 대상자의 상태가 비정상(이상, 異常)인 경우에는, 관리 대상자의 감시나 보호 구조 등도 행한다. 그러므로, 관리자는 관리 대상자의 상태의 이상을 재빨리 발견하여, 적절한 대처를 할 필요가 있다. 그러나, 종래, 관리자는 복수의 관리 대상자의 상태를 육안으로 각각 판단하고 있었기 때문에, 관리 대상자의 상태의 이상을 발견하는 것은 곤란했었다. 더 설명하면, 스포츠를 하고 있는 도중의 관리 대상자는 항상 일정한 장소에 머물러 있는 것이 아니기 때문에, 관리자는 관리 대상자를 특정하는 것조차 곤란한 경우도 있다.

그래서, 먼저는, 육안에 의하지 않는 관리 대상자의 자동적인 특정이 요구되고 있고, 이 요구에 따르는 것이 가능한 기술로서, 특허문헌 1(일본 특허공개공보 제2008-160879호)에 기재된 기술이 존재한다. 즉, 관리자가 촬영한 피사체에 관한 정보를 추출하여 표시한다는 기술이 있다.

이 특허 문헌 1에 기재된 기술을 이용함으로써, 관리 대상자를 카메라로 촬영하여, 관리 대상자가 유지하는 기기와 교신함으로써, 기기로부터의 교신 결과로부터, 관리 대상자를 검출할 수 있게 된다. 그 결과, 관리자는 특정한 관리 대상자의 상태를 육안으로 확인하여, 관리 대상자의 상태를 안다.

그러나, 전술한 특허 문헌 1에 기재된 기술에서는, 관리 대상자의 특정은 가능하지만, 관리 대상자의 상태 등의 정보를 간단하게 아는 것이 어려웠다.

또한, 상기와 같은 스포츠를 행하는 인물 이외를 관리 대상으로 하는 경우 등에 있어서도, 복수의 오브젝트 중에서 소정의 오브젝트의 정보를 간단하게 아는 것이 어려웠다.

본 발명의 일 측면(aspect)은,

실제 공간 내의 임의의 영역을 임의의 타이밍에서 지정하는 지정부,

상기 실제 공간 내에 존재하는 오브젝트에 관한 정보를 취득하는 취득부,

상기 실제 공간 내에 존재하는 복수의 오브젝트 중, 상기 지정부에 의해 지정된 타이밍에서 상기 지정부에 의해 지정된 영역 내에 존재하는 오브젝트를 검출하는 검출부, 및

상기 취득부에 의해 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시하는 선택 표시부

를 포함하는 정보 처리 장치이다.

또한, 본 발명의 다른 측면은,

실제 공간 내의 임의의 영역을 임의의 타이밍에서 지정하는 지정 단계,

상기 실제 공간 내에 존재하는 오브젝트에 관한 정보를 취득하는 취득 단계,

상기 실제 공간 내에 존재하는 복수의 오브젝트 중, 상기 지정 단계에 의해 지정된 타이밍에서 상기 지정 단계에 의해 지정된 영역 내에 존재하는 오브젝트를 검출하는 검출 단계, 및

상기 취득 단계에 의해 취득 가능한 복수의 정보 중, 상기 검출 단계에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시하는 선택 표시 단계

를 포함하는 정보 처리 방법이다.

또한, 본 발명의 다른 측면은,

컴퓨터를,

로서 기능하게 하는 프로그램을 저장한 비일시적인(non-transitory) 기록 매체이다.

도 1은 본 발명의 정보 처리 시스템의 일 실시예로서의 상태 제시 시스템의 개략적인 구성을 나타낸 도면이다.
도 2는, 도 1의 상태 제시 시스템의 촬상 장치의 표시부에 표시되는 화상의 일례를 나타낸 도면이다.
도 3은 본 발명의 정보 처리 시스템의 일 실시예로서의 상태 제시 시스템의 개략적인 구성의 다른 예를 나타낸 도면이다.
도 4는, 도 3의 상태 제시 시스템의 촬상 장치의 표시부에 표시되는 화상의 일례를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 촬상 장치의 하드웨어의 구성을 나타낸 블록도이다.
도 6은, 도 5의 촬상 장치의 기능적 구성 중, 상태 제시 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.
도 7은, 도 6의 기능적 구성을 가지는 도 5의 촬상 장치가 실행하는 상태 제시 처리의 흐름을 설명하는 흐름도이다.
도 8은 제2 실시예에서의 상태 제시 시스템의 촬상 장치의 표시부에 표시되는 화상을 나타낸 도면이다.
도 9는 제2 실시예에서의 촬상 장치가 실행하는 상태 제시 처리의 흐름을 설명하는 흐름도이다.
도 10은 제3 실시예에서의 정보 처리 시스템의 일 실시예로서의 상태 제시 시스템의 개략적인 구성을 나타낸 도면이다.
도 11은, 도 10의 상태 제시 시스템의 촬상 장치의 표시부에 표시되는 화상의 일례를 나타낸 도면이다.
도 12는 제3 실시예에서의 촬상 장치가 실행하는 상태 제시 처리의 흐름을 설명하는 흐름도이다.
도 13은 제3 실시예에서의 센서 기기가 실행하는 상태 제시 처리의 흐름을 설명하는 흐름도이다.

이하, 본 발명의 실시예로서, 제1 실시예 내지 제3 실시예에 대하여, 도면을 참조하여 그 차례대로 개별적으로 설명한다.

[제1 실시예]

도 1은 본 발명의 정보 처리 시스템의 일 실시예로서의 상태 제시 시스템의 개략적인 구성을 나타낸 도면이다.

도 1에 나타낸 바와 같이, 상태 제시 시스템은 스포츠 클럽이나 단체 경기 등의 연습이나 시합이 행해지는 장소에 구축되고, 관리자(도시하지 않음)가 보유하는 촬상 장치(1)와, n명(n는 1 이상의 임의의 정수값)의 관리 대상자(OB1∼OBn) 각각이 보유하는 센서 기기(2-1∼2-n)를 구비하고 있다.

촬상 장치(1)는, 피사체를 촬상하는 촬상 기능 외에, 센서 기기(2-1∼2-n) 각각과 통신하는 통신 기능과, 통신 결과를 적절히 사용하여 각종 정보 처리를 실행하는 정보 처리 기능과, 촬상 화상이나 정보 처리의 결과를 나타내는 화상을 표시하는 표시 기능을 적어도 가지고 있다.

구체적으로는, 촬상 장치(1)는, 통신 기능에 의해, 센서 기기(2-1∼2-n)의 각 검출 결과를 수신하고, 정보 처리 기능에 의해, 각 검출 결과에 기초하여 관리 대상자(OB1∼OBn)의 각종 상태를 추정 또는 특정하고, 표시 기능에 의해, 각종 상태를 나타내는 화상을 표시한다.

촬상 장치(1)는 각종 상태를 나타낸 화상을 렌즈 경통이 배치된 면(이하 "표면"이라고 함)과 대향하는 면(1a)(이하 "배면(1a)"이라고 함)에 설치된 표시부(후술하는 도 5의 출력부(18)의 일 구성요소)에 표시하게 한다.

촬상 장치(1)는, 추정 또는 특정한 각종 상태를 모두 표시부에 표시하게 할 수도 있지만, 그 중의 일부를 선택적으로 표시부에 표시하게 할 수도 있다. 예를 들면, 촬상 장치(1)는, 관리 대상자(OB1∼OBn) 중에서 선택된 1명의 상태만을 표시부에 표시하게 할 수도 있다.

이 경우, 상태를 표시하게 하는 관리 대상자(OBk)(k는 1∼n 중 임의의 정수 값)의 선택 방법은, 특히 한정되지 않지만, 본 실시예에서는, 관리 대상자(OB1∼OBn) 중 촬상 화상에 피사체로서 포함된 사람을, 상태를 표시하게 하는 관리 대상자(OBk)로 선택하는 방법이 채용되고 있다.

즉, 도시하지 않은 관리자는, 관리 대상자(OB1∼OBn) 중 상태의 표시를 원하는 사람이 화각(畵角) 내에 들어가도록, 촬상 장치(1)를 이동시켜, 촬상 기능에 의해 그 사람을 피사체로서 촬상하게 한다. 이로써, 그 사람이 피사체로서 포함되는 촬상 화상의 데이터가 얻어지므로, 촬상 장치(1)는 정보 처리 기능에 의해, 그 촬상 화상의 데이터로부터 피사체로서 포함되는 사람을 특정하여, 상태를 표시하게 하는 관리 대상자(OBk)로 선택한다.

그러면, 촬상 장치(1)는, 정보 처리 기능에 의해, 관리 대상자(OBk)가 보유하는 센서 기기(2k)의 검출 결과에 기초하여, 관리 대상자(OBk)의 상태를 추정 또는 특정한다.

그리고, 촬상 장치(1)는, 표시 기능에 의해, 관리 대상자(OBk)의 상태를 나타내는 화상을 표시부에 표시하게 한다. 이 경우, 촬상 장치(1)는, 그 관리 대상자(OBk)의 상태를 나타내는 화상을, 관리 대상자(OBk)를 피사체에 포함하는 촬상 화상(라이브 뷰(live view) 화상이라도 됨)에 중첩하여 표시부에 표시하게 해도 된다. 그리고, 여기서, "라이브 뷰 화상"이란 메모리에 일시적으로 기록된 각 촬상 화상의 데이터를 순차적으로 판독하여, 그 촬상 화상을, 표시부에 순차적으로 표시되고 있는 촬상 화상이며 렌즈를 통한 화상(through-the-lens image)이라고도 한다.

구체적으로는, 도 1의 예에서는, 관리 대상자(OB1∼OBn) 각각은 마라톤 경기 중의 주자(runner)이며, 센서 기기(2-1∼2-n) 각각을 팔 등에 장착하고 있다.

센서 기기(2-1∼2-n) 각각은, 관리 대상자(OB1∼OBn) 각각의 콘텍스트(context) 자체 또는, 콘텍스트를 추정 또는 특정 가능한 물리량을 검출하고, 그 검출 결과를 나타내는 정보, 즉 콘텍스트에 관한 정보(이하, "콘텍스트 정보"라고 함)를 무선 통신에 의해 촬상 장치(1)에 송신한다.

그리고, 본 명세서에 있어서는, 콘텍스트(context)란, 관리 대상자의 내적 상태 및 외적 상태 모두를 가리킨다. 관리 대상자의 내적 상태란, 관리 대상자의 컨디션(condition)(신체 상태)이나, 정서(기분이나 심리 상태) 등을 가리킨다. 또한, 관리 대상자의 외적 상태란, 관리 대상자의 공간적 또는 시간적 존재 위치(시간적 존재 위치란, 예를 들면, 현재 시각을 가리킴) 외에, 관리 대상자의 주위의 공간 방향 또는 시간 방향으로 분포하는(또는, 양쪽 방향으로 분포하는) 소정의 상태도 가리킨다.

여기서, 이하, 센서 기기(2-1∼2n)를 개별적으로 구별할 필요가 없는 경우, 이들을 함께 "센서 기기(2)"라고 간단히 부른다. 또한, 센서 기기(2)라고 부르는 경우에는, 그 구성 요소의 부호에 대해서도 1∼n를 생략하여 설명한다.

또한, 센서 기기(2)란, 1개의 콘텍스트 등을 검출하는 센서뿐만 아니라, 2 이상의 콘텍스트 등을 검출하는 1개의 센서나, 2개 이상의 센서(검출 가능한 콘텍스트의 종류나 수는 한정되지 않음)로 이루어지는 센서군도 가리킨다.

구체적으로는, 예를 들면, 외적인 콘텍스트를 검출하는 센서로서는, 관리 대상자의 현재 위치 정보를 검출하는 GPS(Global Possitioning System), 현재 시각을 계측(검출)하는 시계, 관리 대상자의 주변에 위치하는 사람이나 물체를 검출하는 무선 통신 기기 등이 채용 가능하다. 또한, 예를 들면, 내적인 콘텍스트로서는, 맥박, 호흡수, 발한, 동공의 열림, 피로도, 운동량 등을 검출하는 센서가 채용 가능하다.

도 1의 예에서는, 촬상 장치(1)는, 2점 쇄선으로 나타낸 영역 내를 센서 기기(2)로부터의 콘텍스트 정보의 수신 범위로 하여, 그 수신 범위 내에 존재하는 센서 기기(2-1, 2-2, 2-3) 각각으로부터 콘텍스트 정보를 수신하고 있다.

단, 촬상 장치(1)는, 쇄선으로 나타낸 실제 공간을 화각의 범위 내(촬상 범위 내)로 하여 촬상하고, 그 결과 얻어지는 촬상 화상의 데이터로부터, 주요 피사체인 관리 대상자(OB1)를 인식하고, 콘텍스트의 표시 대상자로 선택한다.

그리고, 촬상 장치(1)는 관리 대상자(OB1)의 콘텍스트를 나타내는 화상(이하, "콘텍스트 화상"이라고 함)을 표시부에 표시하게 한다.

도 2는 이렇게 하여 표시부에 표시되는 콘텍스트 화상의 일례를 나타내고 있다.

도 2에 나타낸 바와 같이, 관리 대상자(OB1)에 대한 콘텍스트 화상은, 그 관리 대상자(OB1)가 찍히는 촬상 화상(라이브 뷰 화상라도 된다)에 중첩되어 표시된다.

관리 대상자(OB1)의 콘텍스트 화상에는, 관리 대상자(OB1)를 특정하는 정보로서, 이름을 나타내는 "A씨"가 포함되어 있고, 관리 대상자(OB1)의 콘텍스트로서, 맥박 "98(bpm)", 혈압 "121(mmHg)", 체온 "36.8℃", 및 속도 "15km/h"가 포함된다.

관리자는, 촬상 장치(1)의 표시부에 표시된, 도 2에 나타낸 바와 같은 콘텍스트 화상을 시각적으로 인식함으로써, 관리 대상자(OB1)가 찍히는 촬상 화상과, 관리 대상자(OB1)의 콘텍스트를 나타낸 문자 정보를 시각적으로 인식할 수 있고, 그 시각적 인식의 결과로부터, 관리 대상자(OB1)의 콘텍스트를 적절히 파악할 수 있다.

도 3은 본 발명의 정보 처리 시스템의 일 실시예로서의 상태 제시 시스템의 개략적인 구성의 다른 예를 나타낸 도면이다.

구체적으로는, 도 3의 예에서는, 도 1의 예와 마찬가지로, 센서 기기(2-1∼2-n) 각각은 콘텍스트 정보를 무선 통신에 의해 촬상 장치(1)에 송신한다.

촬상 장치(1)는 촬상한 결과 얻어지는 촬상 화상의 데이터로부터 주요 피사체인 관리 대상자(OB1)를 인식하고, 콘텍스트의 표시 대상자로 선택한다.

이때, 촬상 장치(1)는, 촬상 화상의 데이터로부터 인식된 주요 피사체인 관리 대상자(OB1) 외에, 비정상적인 콘텍스트의 관리 대상자(OB)를 인식하여, 콘텍스트의 표시 대상자로서 선택한다.

그리고, 촬상 장치(1)는 관리 대상자(OB1)의 콘텍스트 화상을 표시부에 표시하게 한다.

도 4는 이렇게 하여 표시부에 표시되는 콘텍스트 화상의 일례를 나타내고 있다.

도 4에 나타낸 바와 같이, 관리 대상자(OB1)에 대한 콘텍스트 화상은, 관리 대상자(OB1)가 찍히는 촬상 화상(라이브 뷰 화상이라도 됨)에 중첩되어 표시된다.

관리 대상자(OB1)의 콘텍스트 화상에는, 비정상적인 관리 대상자(OB2)를 특정하는 정보로서, 이름을 나타내는 "B씨"가 포함되어 있고, 비정상적인 관리 대상자(OB2)의 콘텍스트로서, 체온 "38℃"가 포함되고, 또한 주의를 환기하는 메시지를 나타내는 "!열사병 알람!"이 포함되어 있다.

관리자는, 촬상 장치(1)의 표시부에 표시된, 도 4에 나타낸 바와 같은 콘텍스트 화상을 시각적으로 인식함으로써, 관리 대상자(OB1)가 찍히는 촬상 화상과, 비정상적인 관리 대상자(OB2)의 콘텍스트를 나타낸 문자 정보를 시각적으로 인식할 수 있고, 그 시각적으로 인식한 결과로부터, 비정상적인 관리 대상자(OB2)를 적절히 파악할 수 있다.

이상과 같은 개념으로 구성되는 상태 제시 시스템은, 복수의 관리 대상자 중에서 소정의 관리 대상자의 상태를 간단하게 파악할 수 있는 기능을 가진다.

상기 기능을 가지는 상태 제시 시스템은, 촬상 장치(1)와 복수의 센서 기기(2-1∼2-n)를 구비한다.

촬상 장치(1)는 복수의 센서 기기(2-1∼2-n)로부터의 콘텍스트 정보를 수신한다.

그리고, 촬상 장치(1)는, 수신한 센서 기기(2-1∼2-n)로부터의 콘텍스트 정보 중에서 촬상 범위 내에 찍힌 관리 대상자(OB)의 콘텍스트 정보를, 표시부 등에 의해 사용자에게 제시하는 기능을 가진다.

한편, 센서 기기(2)는 상태를 파악하고 싶은 관리 대상자(OB)에 장착시켜 오브젝트의 상태를 콘텍스트 정보로서 검출하는 기기이며, 검출한 콘텍스트 정보를 촬상 장치(1)에 송신하는 기능을 가진다.

도 5는 본 발명의 일 실시예에 따른 촬상 장치(1)의 하드웨어의 구성을 나타낸 블록도이다.

촬상 장치(1)는, 예를 들면, 디지털 카메라로서 구성된다.

촬상 장치(1)는 CPU(Central Processing Unit)(11), ROM(Read Only Memory)(12), RAM(Random Access Memory)(13), 버스(14), 입출력 인터페이스(15), 촬상부(16), 입력부(17), 출력부(18), 기억부(19), 통신부(20), 및 드라이브(21)를 구비하고 있다.

CPU(11)는 ROM(12)에 기록되어 있는 프로그램, 또는 기억부(19)로부터 RAM(13)에 로딩된(loaded) 프로그램에 따라 각종 처리를 실행한다.

RAM(13)에는, CPU(11)가 각종 처리를 실행하는 데 있어 필요한 데이터 등도 적절히 기억된다.

CPU(11), ROM(12) 및 RAM(13)은 버스(14)를 통하여 서로 접속되어 있다. 이 버스(14)에는 또한, 입출력 인터페이스(15)도 접속되어 있다. 입출력 인터페이스(15)에는, 촬상부(16), 입력부(17), 출력부(18), 기억부(19), 통신부(20) 및 드라이브(21)가 접속되어 있다.

촬상부(16)는, 도시하지 않지만, 광학 렌즈부와 이미지 센서를 구비하고 있다.

광학 렌즈부는, 피사체를 촬영하기 위해, 광을 집광하는 렌즈, 예를 들면, 포커스 렌즈나 줌 렌즈 등으로 구성된다.

포커스 렌즈는 이미지 센서의 수광면에 피사체상을 결상시키는 렌즈이다. 줌 렌즈는 초점 거리를 일정한 범위에서 자유 자재로 변화시키는 렌즈이다.

광학 렌즈부에는 또한, 필요에 따라, 초점, 노출, 화이트 밸런스 등의 설정 파라미터를 조정하는 주변 회로가 설치된다.

이미지 센서는 광전 변환 소자나, AFE(Analog Front End) 등으로 구성된다.

광전 변환 소자는, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor)형의 광전 변환 소자 등으로 구성된다. 광전 변환 소자에는, 광학 렌즈부로부터 피사체 상이 입사된다. 그래서, 광전 변환 소자는, 피사체 상을 광전 변환(촬상)하여 화상 신호를 일정 시간 축적하고, 축적된 화상 신호를 아날로그 신호로서 AFE에 순차적으로 공급한다.

AFE는 이 아날로그의 화상 신호에 대하여, A/D(Analog/Digital) 변환 처리 등의 각종 신호 처리를 실행한다. 각종 신호 처리에 의해, 디지털 신호가 생성되고, 촬상부(16)의 출력 신호로서 출력된다.

이와 같은 촬상부(16)의 출력 신호를, 이하, "촬상 화상의 데이터"라고 한다. 촬상 화상의 데이터는 CPU(11) 등에 적절히 공급된다.

입력부(17)는 각종 버튼 등으로 구성되며, 사용자의 지시 조작에 따라 각종 정보를 입력한다.

출력부(18)는 표시부나 음성 출력부 등으로 구성되며, 화상이나 음성을 출력한다.

기억부(19)는 하드디스크 또는 DRAM(Dynamic Random Access Memory) 등으로 구성되며, 각종 화상의 데이터를 기억한다.

통신부(20)는 무선 LAN(Local Area Network)이나 인터넷을 포함하는 네트워크를 통하여 다른 장치(도시하지 않음)와의 사이에서 행하는 통신을 제어한다.

드라이브(21)에는, 자기 디스크, 광디스크, 광자기 디스크, 또는 반도체 메모리 등으로 이루어지는, 탈착 가능한 매체(removable medium)(31)가 적절히 장착된다. 드라이브(21)에 의해 탈착 가능한 매체(31)로부터 판독된 프로그램은, 필요에 따라 기억부(19)에 설치(install)된다. 또한, 탈착 가능한 매체(31)는 기억부(19)에 기억되어 있는 화상의 데이터 등의 각종 데이터도, 기억부(19)와 마찬가지로 기억할 수 있다.

도 6은 이와 같은 촬상 장치(1)의 기능적 구성 중, 상태 제시 처리를 실행하기 위한 기능적 구성을 나타낸 기능 블록도이다.

상태 제시 처리란, 복수의 센서 기기(2-n)로부터 취득한 콘텍스트 정보 중에서, 촬상 화상 내에서 검출된 오브젝트인 관리 대상자(OB)에 대응하는 콘텍스트 정보를, 상태 제시를 위해 표시 출력하는 일련의 처리를 말한다.

촬상 장치(1)가 상태 제시 처리를 실행하는 경우에는, 도 6에 나타낸 바와 같이, 주제어부(41), 촬상 제어부(42), 화상 취득부(43), 오브젝트 검출부(44), 콘텍스트 정보 취득부(45), 콘텍스트 화상 생성부(46), 출력 제어부(47), 및 기억 제어부(48)가 기능한다.

기억부(19)의 한 영역으로서, 센서 기기 정보 기억부(61), 특징 정보 기억부(62), 콘텍스트 정보 기억부(63), 및 화상 기억부(64)가 설치되어 있다. 그리고, 센서 기기 정보 기억부(61) 내지 화상 기억부(64)가 기억부(19)의 한 영역으로서 설치되어 있도록 구성하였지만, 그 외에 예를 들면, 탈착 가능한 매체(31)의 한 영역으로서 설치되도록 해도 된다.

센서 기기 정보 기억부(61)는 센서 기기 정보를 기억한다. 센서 기기 정보는 센서 기기(2-n)로부터 송신된 콘텍스트 정보로부터 센서 기기를 특정 가능한 정보 및 센서 기기가 장착된 관리 대상자의 정보(구체적으로는, 관리 대상자의 이름 정보)이다.

특징 정보 기억부(62)는 특징 정보를 기억한다. 특징 정보란, 촬상 화상의 데이터에 포함되는 관리 대상자(OB)를 특정할 수 있는 특징적인 정보를 말한다. 구체적으로는 본 실시예에서는, 관리 대상자의 제킨(zeichen) 번호를 나타내는 정보나, 관리 대상자의 얼굴의 정보(얼굴 화상의 데이터)가 특징 정보로서 채용된다. 즉, 특징 정보 기억부(62)에 기억되는 특징 정보는, 각 센서 기기(2-n)에 대응한 관리 대상자(OB)의 제킨 번호나 얼굴 화상의 데이터이다.

콘텍스트 정보 기억부(63)는 센서 기기(2)로부터 취득한 콘텍스트 정보를 기억하고, 취득한 콘텍스트 정보로부터 관리 대상자의 스테이터스(status) 상태를 판정하기 위한 콘텍스트 정보의 비교 대상이 되는 정보(스테이터스의 판정을 행하기 위한 임계값)를 기억한다.

화상 기억부(64)는 촬상 화상의 데이터나 촬상 화상과 콘텍스트 정보가 합성된 콘텍스트 화상 등의 각종 화상의 데이터를 기억한다.

주제어부(41)는 각종 범용적인 기능을 실현하는 처리를 포함하는 각종 처리를 실행한다.

촬상 제어부(42)는 사용자로부터의 입력부(17)에의 입력 조작을 받아, 촬상부(16)의 촬상 동작을 제어한다.

화상 취득부(43)는 촬상부(16)에 의해 촬상된 촬상 화상의 데이터를 취득한다.

오브젝트 검출부(44)는 취득된 촬상 화상을 해석하여 특징 정보를 검출한다. 즉, 오브젝트 검출부(44)는 촬상 화상 내에 찍혀있는 피사체로부터, 사람의 얼굴이나 제킨 번호 등의 특징 정보가 되는 정보를 검출한다.

그리고, 오브젝트 검출부(44)는, 검출한 정보가 특징 정보 기억부(62)에 기억되어 있는 특징 정보와 일치하는지의 여부를 판정한다.

최종적으로, 오브젝트 검출부(44)는 일치하는 특징 정보 기억부(62)에 기억되어 있는 특징 정보를 가지고 오브젝트로서 관리 대상자(OB)를 검출한다.

콘텍스트 정보 취득부(45)는 센서 기기(2)로부터 송신되는 콘텍스트 정보를 수신 취득한다. 또한, 콘텍스트 정보 취득부(45)는 수신한 콘텍스트 정보를 콘텍스트 정보 기억부(63)에 기억시킨다.

또한, 콘텍스트 정보 취득부(45)는 오브젝트 검출부(44)에 의해, 특징 정보 기억부(62)에 기억되어 있는 특징 정보에 대응하는 센서 기기(2)의 콘텍스트 정보를 선택적으로 취득한다.

또한, 콘텍스트 정보 취득부(45)는 취득한 콘텍스트 정보의 값의 판정을 행한다. 즉, 취득한 콘텍스트 정보의 상태를 판정한다. 판정할 때, 콘텍스트 정보 취득부(45)는 각 콘텍스트 정보의 상한값, 하한값, 통상 범위, 비정상 범위, 경고 범위 등의 기준값과 비교한다.

콘텍스트 화상 생성부(46)는, 콘텍스트 정보 및 대응하는 센서 기기(2)의 정보에 기초하여, 취득한 콘텍스트 정보를 촬상 화상의 데이터에 투과 표시 가능한 콘텍스트 화상의 데이터를 생성하거나, 촬상 화상에 콘텍스트 정보에 중첩하여 합성한 콘텍스트 화상의 데이터를 생성하거나 한다.

출력 제어부(47)는 생성된 콘텍스트 화상의 데이터를 출력부(18)에 표시 출력하는 제어를 실행한다.

기억 제어부(48)는 생성된 콘텍스트 화상의 데이터를 화상 기억부(64)에 기억시키는 제어를 실행한다.

이에 대하여, 센서 기기(2)는 적어도 이를 장착한 관리 대상자(OB)의 상태를 감지하여 콘텍스트 정보를 검출할 수 있는 기능을 가지고, 검출한 콘텍스트 정보를 촬상 장치(1)에 송신할 수 있는 기능을 가진다.

이와 같은 센서 기기(2)는 센서부(111), 통신부(112), 긴급 통보 정보 생성부(113), 촬상부(114), 및 처리부(115)를 구비한다.

또한, 센서 기기(2)는, 관리 대상자(OB)가 휴대하거나 장착하거나 할 수 있는 착용 가능한(wearable) 기기로서 구성하거나, 제킨, 배지, 모자 등의 복식품에 첨부 가능한 기기로서 구성된다.

센서부(111)는 기기 자체의 위치를 측위 가능한 GPS 위치 센서, 심박·체온·피로도·운동량 등을 측정 가능한 생체 센서, 속도나 이동 방향을 계측 가능한 3축 가속도 센서·각속도 센서(자이로(gyro) 센서), 보수(步數) 센서, 진동 센서, 도플러 속도 센서 등의 운동 상태 센서 등의 각종 센서에 의해 구성되어 있다.

통신부(112)는 무선 LAN이나 인터넷을 포함하는 네트워크를 통하여 촬상 장치(1)와의 사이에서 행하는 통신을 제어한다. 통신부(112)로부터는, 간헐적 또는 정기적으로 검출된 콘텍스트 정보가 송신된다.

긴급 통보 정보 생성부(113)는 검출한 콘텍스트 정보의 내용이 비정상적인 경우에 그 취지를 긴급 통보로서 통보하기 위한 정보를 생성한다. 그리고, 긴급 통보 정보 생성부(113)에 대해서는, [제2 실시예]에서 상세하게 설명한다.

촬상부(114)는 천주(天周) 전체(파노라마)의 동영상을 촬상 가능하게 구성된다. 촬상부(114)에 대해서는 [제3 실시예]에서 상세하게 설명한다.

처리부(115)는 화상 보정 등의 화상 처리를 행하거나, 센서 기기(2)의 각종 범용적인 기능을 실현하는 처리를 포함하는 각종 처리를 실행하거나 한다. 처리부(115)에 대해서는, [제3 실시예]에서 상세하게 설명한다.

다음에, 이상과 같이 구성되는 촬상 장치(1)가 실행하는 상태 제시 처리의 흐름을 설명한다. 도 7은 도 6의 기능적 구성을 가지는 도 5의 촬상 장치(1)가 실행하는 상태 제시 처리의 흐름을 설명하는 흐름도이다.

상태 제시 처리는, 사용자에 의한 입력부(17)에의 상태 제시 처리 개시의 조작을 계기로 개시된다.

단계 S1에서, 주제어부(41)는 관리 대상이 되는 센서 기기(2-n)를 등록한다. 상세하게는, 주제어부(41)는 사용자에 의한 입력부(17)에의 센서 기기(2-n)의 등록 조작에 따라, 등록하는 센서 기기(2-n)의 정보를 센서 기기 정보 기억부(61)에 기억시키는 제어를 실행한다.

단계 S2에서, 주제어부(41)는 각 센서 기기(2-n)를 유지하는 선수(관리 대상자)의 정보를 등록한다. 상세하게는, 주제어부(41)는 사용자에 의한 입력부(17)에의 선수(관리 대상자)의 정보의 등록 조작에 따라, 등록하는 선수(관리 대상자)의 정보를 특징 정보 기억부(62)에 기억시키는 제어를 실행한다.

선수(관리 대상자)의 정보는, 구체적으로는, 화상 상에서 선수(관리 대상자)를 식별 가능한 특징 정보인 선수(관리 대상자)의 얼굴의 화상 데이터나 선수(관리 대상자)의 제킨 번호의 데이터를 사용한다.

단계 S3에서, 오브젝트 검출부(44)는 각 센서 기기(2-n)에 등록된 특징 정보를 촬영 화각 내에서 검출한다. 구체적으로는, 오브젝트 검출부(44)는 촬상 화상으로부터 특징 정보가 되는 사람의 얼굴이나 제킨 번호를 검출한다.

단계 S4에서, 오브젝트 검출부(44)는 해당하는 특징 정보가 있는지의 여부를 판정한다. 구체적으로는, 오브젝트 검출부(44)는, 취득한 특징 정보가 되는 정보와, 특징 정보 기억부(62)에 기억된 특징 정보를 비교하여, 해당하는 특징 정보가 있는지의 여부를 판정한다.

해당하는 특징 정보가 없는 경우에는, 단계 S4에서 NO로 판정되고, 처리는 단계 S8로 진행한다. 단계 S8 이후의 처리에 대해서는 후술한다.

해당하는 특징 정보가 있는 경우에는, 단계 S4에서 YES로 판정되고, 처리는 단계 S5로 진행한다.

단계 S5에서, 오브젝트 검출부(44)는 해당하는 특징 정보에 대응하는 센서 기기(2)를 특정한다. 구체적으로는, 오브젝트 검출부(44)는 판정된 특징 정보에 기초하여, 센서 기기 정보 기억부(61)에 기억되어 있는 센서 기기 정보로부터 센서 기기(2)를 특정한다.

단계 S6에서, 콘텍스트 정보 취득부(45)는 해당하는 센서 기기(2)로부터의 각종 콘텍스트 정보를 수신한다. 구체적으로는, 콘텍스트 정보 취득부(45)는 센서 기기(2)로부터 송신되고 있는 해당하는 센서 기기로부터의 콘텍스트 정보를 선택적으로 수신한다.

단계 S7에서, 출력부(18)는 수신한 각종 콘텍스트 정보를, 대응하는 선수 정보와 함께 화면에 투과 표시한다. 상세하게는, 출력부(18)는 출력 제어부(47)에 의해, 수신한 각종 콘텍스트 정보로부터 생성된 콘텍스트 화상을 투과시켜, 촬상 화상에 표시하도록 제어된다.

그때, 투과시키는 각종 콘텍스트 화상의 데이터는, 콘텍스트 화상 생성부(46)에 의해, 콘텍스트 정보 기억부(63)에 기억되어 있는 콘텍스트 정보에 기초하여 생성된다.

결과적으로, 출력부(18)에는, 예를 들면, 도 2와 같은 촬상 화상에 콘텍스트 화상이 투과한 듯한 화상이 표시 출력된다.

단계 S8에서, 콘텍스트 정보 취득부(45)는 수신한 각종 콘텍스트 정보로부터, 각 선수(각 관리 대상자)의 컨디션의 악화 유무를 판정한다. 구체적으로는, 콘텍스트 정보 취득부(45)는 수신한 각종 콘텍스트 정보로부터, 컨디션의 악화로 판단되는 비정상적인 값이 추출된 경우에는, 각 선수(각 관리 대상자)에 있어 컨디션의 악화가 있음(有)으로 판정한다.

단계 S9에서, 콘텍스트 정보 취득부(45)는, 컨디션이 악화된 선수가 있는지의 여부를 판단한다. 상세하게는, 콘텍스트 정보 취득부(45)는, 단계 S8에서 컨디션의 악화로 판단되는 비정상적인 값이 추출된 경우에는, 컨디션이 악화된 선수 있음으로 판단한다.

컨디션이 악화된 선수 없음으로 판단된 경우에는, 단계 S9에서 NO로 판단되어, 처리는 단계 S11로 진행한다. 단계 S11 이후의 처리에 대해서는 후술한다.

컨디션이 악화된 선수 있음으로 판단된 경우에는, 단계 S9에서 YES로 판단되어, 처리는 단계 S10으로 진행한다.

단계 S10에서, 출력부(18)는, 컨디션이 악화된 선수의 선수 정보와, 각종 콘텍스트 정보를 화면에 투과 표시한다. 상세하게는, 출력부(18)는 출력 제어부(47)에 의해, 컨디션이 악화된 선수의 선수 정보와 각종 콘텍스트 정보를 투과시켜 촬상 화상에 표시하도록 제어된다.

결과적으로, 출력부(18)에는, 예를 들면, 도 4와 같은 화상 데이터가 표시 출력된다.

단계 S11에서, 주제어부(41)는, 촬영 지시가 있었는지의 여부를 판단한다.

상세하게는, 주제어부(41)는 촬영 지시로서 사용자에 의한 촬영 지시 조작이 행해졌는지의 여부를 판단한다.

촬영 지시가 없는 경우에는, 단계 S11에서 NO로 판단되어, 처리는 단계 S3으로 돌아온다.

촬영 지시가 있었을 경우에는, 단계 S11에서 YES로 판단되어, 처리는 단계 S12로 진행한다.

단계 S12에서, 기억 제어부(48)는, 선수 및 각종 콘텍스트 정보를 촬상 화상에 합성하여 기록한다. 상세하게는, 기억 제어부(48)는 선수 및 각종 콘텍스트 정보가 합성된 촬상 화상 데이터를 화상 기억부(64)에 기억시키는 제어를 실행한다. 그때, 콘텍스트 화상 생성부(46)는 선수 및 각종 콘텍스트 정보를 촬상 화상 데이터에 합성하여 콘텍스트 화상 데이터를 생성한다. 결과적으로, 기억 제어부(48)는, 콘텍스트 화상 생성부(46)에 의해 생성된 콘텍스트 화상 데이터를 화상 기억부(64)에 기억시키는 제어를 실행한다.

단계 S13에서, 주제어부(41)는 종료하였는지의 여부를 판단한다. 상세하게는, 주제어부(41)는 사용자에 의한 종료 조작이 있었는지의 여부를 판단한다.

종료되어 있지 않은, 즉 종료 조작이 없는 경우에는, 단계 S13에서 NO로 판단되어, 처리는 단계 S3으로 돌아온다.

종료한, 즉 종료 조작이 있었을 경우에는, 단계 S13에서 YES로 판단되어, 상태 제시 처리는 종료한다.

[제2 실시예]

콘텍스트 화상은, 제1 실시예에서는 주로 내적 상태를 표시 출력하였으나, 특히 제1 실시예의 예에 한정되지 않고, 임의의 표시 형태의 표시 출력이 가능하다.

그래서, 제2 실시예에서는, 콘텍스트 화상은, 외적 상태, 특히, 관리 대상자의 공간적 존재 위치의 외적 상태를 표시한다.

촬상 장치(1)는 수신한 콘텍스트 정보 중, GPS의 위치 정보를 사용하여, 지도상에 관리 대상자를 배치한 화상을 콘텍스트 화상으로서 생성하고, 표시 출력한다.

도 8은, 도 1의 상태 제시 시스템의 촬상 장치의 표시부에 표시되는 화상의 다른 예를 나타낸 도면이다.

도 8의 예에서는, 콘텍스트 화상은, 수신한 콘텍스트 정보에 대응하여, 소정의 지도상에 관리 대상자(OB1 내지 OB3)가 배치된 화상으로서 구성되어 있다. 이 콘텍스트 화상은, 수신된 콘텍스트 정보에 기초하여, 순차 갱신되어 최신의 위치를 나타낸 화상으로서 표시 출력된다. 즉, 관리 대상자(OB)가 이동함으로써, 표시하는 콘텍스트 화상의 표시가 변경된다.

그리고, 도 8의 예에서는, 촬상 장치(1)는, 2점 쇄선으로 나타낸 영역 내를 센서 기기(2)로부터의 콘텍스트 정보의 수신 범위로 하여, 그 수신 범위 내에 존재하는 센서 기기(2-1, 2-2, 2-3) 각각으로부터 콘텍스트 정보를 수신하고 있는 것을 표시하고 있다. 또한, 도 8의 예에서는, 촬상 범위 내의 관리 대상자(OB1)는 해칭되어 있는 동그라미로 표시하고, 촬상 범위 밖의 관리 대상자(OB2, OB3)는 실선의 동그라미로 표시하고 있다. 편의상, 콘텍스트 정보를 수신하고 있지 않은 관리 대상자(OBn)를 파선의 동그라미로 표시하였다.

구체적으로는, 촬상 장치(1)에서는, 주제어부(41)에 의해, 지도 화상 정보 및 기기 자체의 위치 정보를 취득한다.

또한, 센서 기기(2)에서는, 센서부(111)에 의해 취득한 GPS 값을 포함하는 콘텍스트 정보를 취득하여, 통신부(112)에 의해 송신한다.

콘텍스트 정보를 수신한 촬상 장치(1)는, 기기 자체의 위치에 기초하여, 촬상 범위 내인지의 여부 등의 표시 종별(種別)을 부가한 콘텍스트 정보를 지도 화상 정보 상에 배치한 콘텍스트 화상의 데이터를 생성하여, 그 후 표시 출력한다. 그 결과, 촬상 장치(1)에서는, 도 8에 나타낸 바와 같은 콘텍스트 화상이 표시되게 된다.

또한, 제1 실시예에서는, 촬상 장치(1)는 수신한 콘텍스트 정보를 판정하여, 촬상 범위 밖의 컨디션이 악화된 선수(관리 대상자)를 표시 출력하였으나, 제2 실시예에서는, 검출한 콘텍스트를 판정하고, 비정상적인 콘텍스트가 검출된 경우에는, 센서 기기(2)로부터 긴급 통보를 촬상 장치(1)에 송신한다.

구체적으로는, 센서 기기(2)는, 도 6에 나타낸 바와 같이, 긴급 통보 정보 생성부(113)를 더 구비한다.

긴급 통보 정보 생성부(113)는, 센서부(111)에 의해 취득된 콘텍스트 정보를 판정하여, 비정상적인 콘텍스트 정보인 것으로 판정한 경우에는, 긴급한 취지, 콘텍스트 정보 및 대응하는 관리 대상자(OB)의 이름 등의 정보를 포함한 긴급 통보 정보를 생성한다. 긴급 통보 정보 생성부(113)에 의해 생성된 긴급 통보 정보는 통신부(112)에 의해 촬상 장치(1)에 송신된다.

긴급 통보 정보를 수신한 촬상 장치(1)는, 기기 자체의 위치 및 지도 정보를 취득하여 콘텍스트 정보를 대응하는 관리 대상자(OB)의 이름과 함께 표시 출력한다.

도 9는, 도 6의 기능적 구성을 가지는 도 5의 촬상 장치가 실행하는 상태 제시 처리의 흐름의 다른 예를 설명하는 흐름도이다.

단계 S31에서, 주제어부(41)는, 관리 대상이 되는 센서 기기(2-n)를 등록한다. 상세하게는, 주제어부(41)는, 사용자에 의한 입력부(17)에의 센서 기기(2-n)의 등록 조작에 따라, 등록하는 센서 기기 정보를 센서 기기 정보 기억부(61)에 기억시키는 제어를 실행한다.

단계 S32에서, 주제어부(41)는 기기 자체의 현재 위치 및 촬영 방향을 취득한다.

단계 S33에서, 콘텍스트 정보 취득부(45)는, 각 센서 기기(2-n)로부터 관리 대상자(OB)의 이름이 되는 선수(관리 대상자) 정보 및 위치 정보를 취득한다. 상세하게는, 콘텍스트 정보 취득부(45)는 각 센서 기기(2-n)의 센서부(111)에 의해 취득된 GPS 값을 포함하는 콘텍스트 정보를 수신한다.

단계 S34에서, 오브젝트 검출부(44)는, 기기 자체의 현재 위치 및 촬영 방향으로부터 촬영 방향에 존재하는 센서 기기(2)를 특정한다.

단계 S35에서, 오브젝트 검출부(44)는 해당하는 센서 기기(2)가 있는지의 여부를 판정한다. 상세하게는, 오브젝트 검출부(44)는 촬영 방향에 존재하는 센서 기기(2)가 있는지의 여부를 판정한다.

해당하는 센서 기기(2)가 없는 경우에는, 단계 S35에서 NO이며, 처리는 단계 S38로 진행한다. 단계 S38 이후의 처리는 후술한다.

해당하는 센서 기기(2)가 있는 경우에는, 단계 S35에서 YES이며, 처리는 단계 S36으로 진행한다.

단계 S36에서, 콘텍스트 정보 취득부(45)는 해당하는 센서 기기(2)로부터의 각종 콘텍스트 정보를 수신한다. 구체적으로는, 콘텍스트 정보 취득부(45)는 송신되고 있는 센서 기기로부터, 해당하는 센서 기기(2)로부터의 콘텍스트 정보를 선택적으로 수신한다.

단계 S37에서, 출력부(18)는 수신한 각종 콘텍스트 정보를, 대응하는 선수 정보와 함께 화면에 투과 표시한다. 상세하게는, 출력부(18)는, 출력 제어부(47)에 의해, 수신한 각종 콘텍스트 정보로부터 생성된 콘텍스트 화상을 투과시켜, 촬상 화상에 표시하도록 제어된다. 결과적으로, 출력부(18)에는, 예를 들면, 도 2와 같은 화상 데이터가 표시 출력된다.

단계 S38에서, 주제어부(41)는, "선수 위치 표시 화면"으로의 전환 지시가 있었는지의 여부를 판단한다. 상세하게는, 주제어부(41)는, 사용자에 의해 입력부(17)에 대하여, "선수 위치 표시 화면"의 전환 조작이 있었는지의 여부를 판단한다. "선수 위치 표시 화면"이란, 도 8에 나타낸 바와 같은, 선수(관리 대상자)의 위치를 지도상에 모식적으로 배치한 표시한 화면이다.

"선수 위치 표시 화면"으로의 전환 지시가 없었던 경우에는, 단계 S38에서 NO로 판단되고, 처리는 단계 S41로 진행한다. 그리고, 단계 S41 이후의 처리는 후술한다.

"선수 위치 표시 화면"으로의 전환 지시가 있었을 경우에는, 단계 S38에서 YES로 판단되고, 처리는 단계 S39로 진행한다.

단계 S39에서, 주제어부(41)는 수신한 모든 센서 기기(2-n)의 현재 위치를 포함하는 지도 화상을 취득한다.

단계 S40에서, 출력부(18)는 취득한 지도 화상 상에 각 센서 기기(2-n)의 현재 위치를 식별하여 표시한다. 상세하게는, 출력부(18)는, 출력 제어부(47)에 의해, 지도 화상 상의 대응하는 위치에 각 센서 기기(2)의 현재 위치를 플롯팅하여(plot) 표시 출력하도록 제어된다. 그 결과, 출력부(18)에서는, 도 8에 나타낸 바와 같은 화상이 표시 출력된다.

이때, 촬영 방향에 위치하는 선수(관리 대상자)는, 강조 표시 등의 다른 선수와 식별 가능한 표시를 행한다. 그리고, 도 9의 예에서는, 해칭을 한 동그라미로 표시되어 있다.

단계 S41에서, 콘텍스트 정보 취득부(45)는, 어느 센서 기기(2)로부터 긴급 통보가 있었는지의 여부를 판단한다. 상세하게는, 콘텍스트 정보 취득부(45)는, 수신한 콘텍스트 정보 중에, 긴급 통보 정보가 포함되어 있었는지의 여부를 판단한다.

어떤 센서 기기(2)로부터도 긴급 통보가 없었던 경우에는, 단계 S41에서 NO이며, 처리는 단계 S43으로 진행한다. 그리고, 단계 S43 이후의 처리는 후술한다.

센서 기기(2)로부터 긴급 통보가 있었을 경우에는, 단계 S41에서 YES이며, 처리는 단계 S42로 진행한다.

단계 S42에서, 출력부(18)는, 수신한 긴급 통보를 대응하는 선수(관리 대상자) 정보와 함께 화면에 투과 표시한다. 상세하게는, 출력부(18)는, 출력 제어부(47)에 의해, 수신한 긴급 통보 정보를 포함하는 콘텍스트 정보로부터 생성된 콘텍스트 화상을 투과시켜, 촬상 화상에 표시하도록 제어된다.

단계 S43에서, 주제어부(41)는 촬영 지시가 있었는지의 여부를 판단한다.

촬영 지시가 없는 경우에는, 단계 S43에서 NO로 판단되어, 처리는 단계 S32로 돌아온다.

촬영 지시가 있었을 경우에는, 단계 S43에서 YES로 판단되어, 처리는 단계 S44로 진행한다.

단계 S44에서, 기억 제어부(48)는, 선수 및 각종 콘텍스트 정보를 촬상 화상에 합성하여 기록한다. 상세하게는, 기억 제어부(48)는, 선수 및 각종 콘텍스트 정보가 합성된 촬상 화상 데이터를 화상 기억부(64)에 기억시키는 제어를 실행한다. 그때, 콘텍스트 화상 생성부(46)는 선수 및 각종 콘텍스트 정보를 촬상 화상 데이터에 합성하여, 콘텍스트 화상의 데이터를 생성한다. 결과적으로, 기억 제어부(48)는 콘텍스트 화상 생성부(46)에 의해 생성된 콘텍스트 화상의 데이터를 화상 기억부(64)에 기억시키는 제어를 실행한다.

단계 S45에서, 주제어부(41)는, 종료하였는지의 여부를 판단한다. 상세하게는, 주제어부(41)는 사용자에 의한 종료 조작이 있었는지의 여부를 판단한다.

종료되지 않은, 즉 종료 조작이 없는 경우에는, 단계 S45에서 NO로 판단되어, 처리는 단계 S32로 돌아온다.

종료한, 즉 종료 조작이 있었을 경우에는, 단계 S45에서 YES로 판단되어, 상태 제시 처리는 종료한다.

[제3 실시예]

콘텍스트 화상은, 제1 실시예에서는 주로 내적 상태를 표시 출력하였으나, 특히 제1 실시예의 예에 한정되지 않고, 임의의 표시 형태로 표시 출력이 가능하다.

그래서, 제3 실시예에서는, 콘텍스트 화상은, 외적 상태, 특히, 관리 대상자의 주위의 상태의 외적 상태를 표시한다. 즉, 제3 실시예의 콘텍스트 화상은, 관리 대상자의 주위의 상태로서, 주위의 영상을 표시한다.

도 10은 본 발명의 정보 처리 시스템의 일 실시예로서의 상태 제시 시스템의 개략적인 구성의 다른 예를 나타낸 도면이다.

도 10의 예에서는, 관리 대상자는, 팔에 장착한 센서부(111)에 더하여, 머리에 장착한 촬상부(114)에 의해, 관리 대상자의 주위의 상태를 촬영한 영상의 데이터를 생성한다.

구체적으로는, 영상의 데이터의 생성은, 센서 기기(2)에서, 도 6에 나타낸 바와 같이, 촬상부(114)와 처리부(115)가 기능함으로써 행해진다.

촬상부(114)는, 파노라마(천주 전체) 동영상을 촬영 가능하게 구성되며, 관리 대상자의 헤드부에 장착된다.

처리부(115)는, 본 예에서는, 관리 대상자가 달리고 있고, 촬영된 데이터는 달리기(running)의 상태에 맞추어 보정할 필요가 있으므로, 화각의 변화로부터 관리 대상자의 동작에 대응하는 동작의 성분만을 제거(cancle)하는 화상(카메라) 흔들림 보정을 행한다.

또한, 처리부(115)는, 전술한 화상 흔들림에 의해 제거하는 주기를 특정하기 위해, 센서부(111)에 의해 검출된 가속도를 사용하여, 가속도의 주기부터 관리 대상자의 동작의 주기를 특정한다.

센서부(111)는 가속도를 검출하고, 또한 생성한 화상 흔들림 보정이 된 동영상으로부터, 관리 대상자의 시선 상태를 표시하기 위해 관리 대상자의 시선 방향을 검출한다.

이상과 같이 구성되는 센서 기기(2)는, 촬상부(114)에 의해 촬상된 동영상의 데이터를 화상 흔들림 보정하여, 관리 대상자의 시선 방향의 정보와 함께 통신부(112)를 통하여 촬상 장치(1)에 송신한다.

그 결과, 촬상 장치(1)는 수신한 동영상의 데이터를 표시 출력하고, 또한 임의의 시점으로서, 관리 대상자의 시선으로부터의 동영상의 데이터도 표시 출력한다.

그리고, 촬상 장치(1)는 관리 대상자(OB1)의 촬상 화상을 포함한 콘텍스트 화상을 표시부에 표시하게 한다.

도 11은, 도 10의 상태 제시 시스템의 촬상 장치(1)의 표시부에 표시되는 화상의 예를 나타낸 도면이다.

도 11의 예로 나타낸 바와 같이, 촬상 장치(1)에서는, 관리 대상자의 전방의 촬상 화상을 표시한다.

도 12는, 도 6의 기능적 구성을 가지는 센서 기기(2)가 실행하는 상태 제시 처리(센서 기기 측의 상태 제시 처리)의 흐름의 다른 예를 설명하는 흐름도이다.

단계 S61에서, 센서부(111)는 가속도에 관한 콘텍스트 정보를 취득하여 순차 기록·송신한다. 상세하게는, 센서부(111)는, 가속도의 정보가 순차 취득되어, 촬상부(114)에 송신된다.

단계 S62에서, 촬상부(114)는 취득된 가속도의 주기부터 선수(관리 대상자)의 달리기(동작)에 의해 생기는 영상 흔들림의 주기를 특정한다.

단계 S63에서, 촬상부(114)는 파노라마(천주 전체) 동영상 촬영에 의해 동영상을 취득한다.

단계 S64에서, 처리부(115)는 취득한 영상의 화각 변화를 검출한다.

단계 S65에서, 처리부(115)는 검출된 화각 변화의 동작의 성분 중, 선수(관리 대상자)의 달리기(동작)의 주기에 대응하는 동작의 성분만을 제거하도록 화상 흔들림 보정을 행한다.

단계 S66에서, 통신부(112)는 화상 흔들림 보정 후의 파노라마(천주 전체) 동영상을 순차 기록·송신한다.

단계 S67에서, 통신부(112)는 센서부(111)에 의해 검출된 선수(관리 대상자)의 시선 방향을 순차 기록·송신한다.

단계 S68에서, 처리부(115)는 종료하였는지의 여부를 판단한다. 상세하게는, 주제어부(41)는 사용자에 의한 종료 조작이 있었는지의 여부를 판단한다.

종료되지 않은, 즉 종료 조작이 없는 경우에는, 단계 S68에서 NO로 판단되어, 처리는 단계 S61로 돌아온다.

종료한, 즉 종료 조작이 있었을 경우에는, 단계 S68에서 YES로 판단되어, 센서 기기 측의 상태 제시 처리는 종료한다.

도 13은, 도 6의 기능적 구성을 가지는 도 5의 촬상 장치(1)가 실행하는 상태 제시 처리(촬상 장치 측의 상태 제시 처리)의 흐름의 다른 예를 설명하는 흐름도이다.

단계 S81에서, 주제어부(41)는, 표시 대상이 되는 센서 기기(2)를 선택한다. 상세하게는, 주제어부(41)는 사용자의 입력부(17)에의 선택 조작에 의해, 취득한 콘텍스트 정보로부터, 표시 가능한 센서 기기(2)로부터 소정의 센서 기기(2)를 선택한다.

단계 S82에서, 콘텍스트 정보 취득부(45)는 선택한 센서 기기(2)로부터의 콘텍스트 정보를 수신한다. 상세하게는, 콘텍스트 정보 취득부(45)는 선택한 센서 기기(2)로부터 화상 흔들림 보정 후의 동영상의 데이터, 시선 방향의 정보, 그 외에 콘텍스트 정보를 수신한다.

단계 S83에서, 주제어부(41)는 선수 시선인지 임의 시선인지 여부를 선택한다. 상세하게는, 주제어부(41)는 사용자의 선택 조작에 의해 선수 시선인지 임의 시선인지 표시 화상의 선택을 한다.

선수 시선이 선택된 경우에는, 처리는 단계 S84로 진행한다.

단계 S84에서, 주제어부(41)는 수신한 시선 방향을 채용한다. 그 후 처리는, 단계 S86으로 진행한다.

한편, 임의 시선이 선택된 경우에는, 처리는 단계 S85로 진행한다.

단계 S85에서, 주제어부(41)는 임의의 시점 방향을 입력한다. 구체적으로는, 주제어부(41)는 사용자의 입력부(17)에의 시점 방향의 지정 조작에 의해 임의의 시점 방향을 결정한다.

단계 S86에서, 출력부(18)는, 수신한 파노라마(천주 전체) 동영상 내의 해당 시점 방향에 대응하는 영역을 잘라내어 표시 출력한다.

단계 S87에서, 출력부(18)는 잘라낸 동영상 내에 콘텍스트 정보를 투과 표시한다.

단계 S88에서, 주제어부(41)는 종료하였는지의 여부를 판단한다. 상세하게는, 주제어부(41)는 사용자에 의한 종료 조작이 있었는지의 여부를 판단한다.

종료되지 않은, 즉 종료 조작이 없는 경우에는, 단계 S88에서 NO로 판단되어, 처리는 단계 S81로 돌아온다.

종료한, 즉 종료 조작이 있었을 경우에는, 단계 S88에서 YES로 판단되어, 촬상 장치 측의 상태 제시 처리는 종료한다.

따라서, 상태 제시 시스템에서는, 복수의 관리 대상자 중에서 소정의 관리 대상자의 상태를 간단하게 파악할 수 있다.

이상과 같이 구성되는 촬상 장치(1)는 오브젝트 검출부(44), 콘텍스트 정보 취득부(45), 및 출력 제어부(47)를 구비한다.

오브젝트 검출부(44)는 복수의 오브젝트 중 실제 공간 내의 소정의 영역에 진입한 오브젝트를 검출한다.

콘텍스트 정보 취득부(45)는 복수의 오브젝트의 콘텍스트에 관한 콘텍스트 정보를 취득한다.

또한, 출력 제어부(47)는 취득 가능한 복수의 콘텍스트 정보 중, 오브젝트 검출부(44)에 의해 검출된 오브젝트에 대응하는 콘텍스트 정보를 출력 대상으로 하여 선택하여 표시 출력하는 제어를 실행한다.

그러므로, 촬상 장치(1)에서는, 취득된 복수의 콘텍스트 정보 중, 오브젝트 검출부(44)에 의해 검출된 오브젝트에 대응하는 콘텍스트 정보를 출력 대상으로 선택하여, 콘텍스트 정보 취득부(45)에 의해 출력 대상으로 선택된 오브젝트에 대응하는 콘텍스트 정보를 출력한다.

따라서, 복수의 오브젝트(본 실시예에서는, 관리 대상자) 중에서 소정의 오브젝트의 상태를 간단하게 파악할 수 있다.

또한, 콘텍스트 정보 취득부(45)는, 복수의 오브젝트 각각에 장착된 센서로부터 각 오브젝트의 콘텍스트에 관한 콘텍스트 정보를 취득한다.

그러므로, 촬상 장치(1)에서는, 특정한 복수의 오브젝트의 콘텍스트 정보를 취득할 수 있다.

오브젝트 검출부(44)는 상기 실제 공간 내의 소정의 영역에 진입한 인물을 오브젝트로서 검출한다.

콘텍스트 정보 취득부(45)는 복수의 인물의 각각에 장착된 센서로부터 각각의 인물의 내적 상태에 관한 콘텍스트 정보를 취득한다.

그러므로, 촬상 장치(1)에서는, 검출한 인물의 내적 상태에 관한 콘텍스트 정보(예를 들면, 맥박 등)를 취득할 수 있다.

또한, 촬상 장치(1)는 촬상부(16)를 구비한다.

촬상부(16)는 실제 공간 내의 임의의 영역을 촬상한다.

출력부(18)는 촬상부(16)에 의해 촬상된 화상 데이터를 표시 출력한다.

오브젝트 검출부(44)는 촬상부(16)의 촬영 방향에 대응하는 실제 공간 내의 소정의 영역에 진입한 오브젝트를 순차 검출한다.

출력 제어부(47)는 오브젝트 검출부(44)에 의해 순차 검출되는 오브젝트에 대응하는 콘텍스트 정보를 순차 선택하여 출력부(18)에 순차 표시 출력한다.

따라서, 촬상 장치(1)에서는 오브젝트를 촬상하는 것만으로 오브젝트를 선택 대상으로 지정할 수 있기 때문에, 간단하고 직감적으로 복수의 오브젝트(본 실시예에서는, 관리 대상자) 중에서 소정의 오브젝트의 상태를 간단하게 파악할 수 있다.

또한, 출력 제어부(47)는 순차 선택되는 콘텍스트 정보를 촬상되는 화상 데이터와 합성하여 출력부(18)에 순차 표시한다.

따라서 촬상 장치(1)에서는, 오브젝트의 외관 정보와 함께, 콘텍스트 정보를 동시에 확인할 수 있다.

오브젝트 검출부(44)는, 촬상부(16)에 의해 촬상되는 화상 데이터 내에서의 각 오브젝트의 화상 상의 특징에 기초하여, 촬상부(16)의 촬영 화각 내에 진입한 오브젝트를 검출한다.

따라서, 촬상 장치(1)에서는, 예를 들면, 선수의 제킨 등의 특징적인 형태로부터 오브젝트를 검출할 수 있다.

콘텍스트 정보 취득부(45)는, 복수의 오브젝트 각각의 위치 정보를 취득한다.

오브젝트 검출부(44)는 촬상부(16)에 의해 화상 데이터를 촬상했을 때의 촬영 위치 및 촬영 방향을 따라 특정되는 실제 공간 내의 소정의 영역 내에, 콘텍스트 정보 취득부(45)에 의해 취득되는 각 오브젝트의 위치가 포함되어 있거나 여부에 따라, 실제 공간 내의 소정의 영역으로 진입한 오브젝트를 검출한다.

따라서, 촬상 장치(1)에서는, 취득한 위치 정보로부터도 선택적으로 오브젝트의 선택을 행할 수 있으므로, 선택성을 높임과 동시에, 복수의 오브젝트(본 실시예에서는, 관리 대상자) 중에서 소정의 오브젝트의 상태를 간단하게 파악할 수 있다.

또한, 콘텍스트 정보 취득부(45)는 복수의 오브젝트에 관한 콘텍스트 정보 중, 오브젝트 검출부(44)에 의해 검출된 오브젝트에 대응하는 콘텍스트 정보를 선택적으로 취득한다.

따라서, 촬상 장치(1)에서는 선택적으로 필요한 콘텍스트 정보를 취득할 수 있다.

또한, 주제어부(41)는 콘텍스트 정보 취득부(45)에 의해 취득된 콘텍스트 정보에 기초하여, 오브젝트의 상태를 판정한다.

또한, 출력부(18)는 주제어부(41)에 의한 오브젝트의 상태의 판정 결과를 통지한다.

따라서, 촬상 장치(1)에서는, 선택 대상이 되지 않은 오브젝트를 상태에 따라 적극적으로 출력시키도록 구성할 수 있다.

또한, 주제어부(41)는 출력 제어부(47)에 의해 선택하여 표시되어 있는 콘텍스트 정보에 대응하는 오브젝트 이외의 오브젝트의 상태를 판정한다.

출력부(18)는 주제어부(41)에 의해 오브젝트의 상태가 소정의 상태인 것으로 판정한 경우에는, 선택 표시의 유무에 관계없이, 그 오브젝트의 상태에 관한 정보를 표시한다.

따라서, 촬상 장치(1)에서는, 선택 대상이 되지 않은 오브젝트의 상태가 비정상(구체적으로는, 상태가 나쁨) 등의 소정의 상태인 것으로 판정한 경우에는, 적극적으로 출력시키도록 구성시킬 수 있다..

또한, 촬상 장치(1)는 기억부(19)와, 기억 제어부(48)를 구비한다.

기억부(19)는 콘텍스트 정보 및 촬상부(16)에 의해 촬상되는 화상 데이터를 기억한다.

기억 제어부(48)는 콘텍스트 정보 취득부(45)에 의해 취득된 콘텍스트 정보 및 촬상부(16)에 의해 촬상되는 화상 데이터를 기억부(19)에 기억시키는 제어를 실행한다.

따라서, 촬상 장치(1)에서는, 예를 들면, 취득한 콘텍스트 정보 및 촬상부(16)에 의해 촬상되는 화상 데이터를 이력(履歷)으로서 기억시켜 둘 수 있다.

출력 제어부(47)는 콘텍스트 정보 취득부(45)에 의해 취득한 콘텍스트 정보를, 통신부(20) 등을 통하여, 외부 기기에 송신 출력하는 제어를 실행한다.

따라서, 촬상 장치(1)에서는, 취득한 콘텍스트 정보를, 외부 기기에 송신 출력할 수 있으므로, 외부의 기억 장치 등에, 콘텍스트 정보의 이력을 기억시켜 둘 수 있다.

그리고, 본 발명은, 전술한 실시예에 한정되지 않고, 본 발명의 목적을 달성할 수 있는 범위에서의 변형, 개량 등은 본 발명에 포함되는 것이다.

또한, 전술한 실시예에서는, 촬상 장치(1) 또는 센서 기기(2)에서, 콘텍스트 정보를 기억하도록 구성하였지만 이에 한정되지 않는다. 콘텍스트 정보는, 예를 들면, 촬상 장치(1) 또는 센서 기기(2)의 통신 기능을 통하여, 외부 장치에 기억시키도록 구성해도 된다.

촬상 장치(1)의 이용자(코치 등의 관리자) 이외의 사람과 공유 가능한 외부 장치에 기억시켰을 경우에는, 관리 대상자의 ID나 기록일 등과 대응시켜 콘텍스트 정보를 기억하여 이력을 생성함으로써, 관리자 이외의 예를 들면, 의료 스탭, 트레이닝 스탭 등도 이용 가능해져, 그 이력에 기초하여, 지도 계획이나 치료 계획의 작성에 유용하게 쓸 수가 있다.

또한, 전술한 실시예에서는, 콘텍스트 정보는, 주로 문자 정보(수치나 문자 텍스트)로 표시하도록 구성하였지만 이에 한정되지 않고, 예를 들면, 그래프나 아이콘 등에 의해 모식적으로 표시하도록 구성해도 된다.

또한, 전술한 실시예에서는, 경보 정보나 비정상적인 값 검출을 제시할 때는, 경보의 취지를 표시하거나, 통상의 경우와 상이한 표시 형태(예를 들면, 색의 변경이나 점멸 등의 경보 표시, 경보 아이콘의 표시)를 변경하거나 하도록 구성하였지만 이에 한정되지 않는다. 경보 정보나 비정상적인 값 검출의 제시에 관하여는, 예를 들면, 진동 바이브레이션이나 경보음 등의 표시와는 상이한 경보 통지를 행하도록 구성해도 된다.

또한, 전술한 실시예에서는, 관리 대상자로 하였으나 이에 한정되지 않는다. 상태를 파악·관리하는 대상이면 되고, 예를 들면, 차량이나 건축물 등의 인공물이나, 수목 등의 동식물과 같은 사람 이외의 물체이라도 된다. 이때, 차량이면, 예를 들면, 차량 속도, 연비, 타이어의 마모 등의 차체의 상태 외에, 온보드 카메라(on-board camera)와 같은 운전자 시점의 화상 등을 콘텍스트 정보로서 취득하도록 구성할 수 있다. 또한, 건축물의 경우에는, 예를 들면, 건축년수나 자재의 열화 상태를 콘텍스트 정보로서 취득하는 외에, 소정의 창으로부터의 경치의 화상 등을 콘텍스트 정보로서 취득하도록 구성할 수 있다. 또한, 식물의 경우에는, 토양의 수분이나 영양 상태나 주위의 온도 등의 생육 환경, 수명 등을 콘텍스트 정보로서 취득하는 외에, 태양의 위치를 나타낸 화상 등을 콘텍스트 정보로서 취득하도록 구성할 수 있다.

또한, 전술한 실시예에서는, 콘텍스트 정보를, 콘텍스트 정보 취득부(45)에 의해, 선택적으로 취득하도록 구성하였지만 이에 한정되지 않는다. 예를 들면, 콘텍스트 정보를 일단 취득한 후에, 출력 제어부(47)에 의해, 표시할 콘텍스트 정보를 선택하여 표시 출력하도록 구성해도 된다.

또한, 전술한 실시예에서는, 본 발명이 적용되는 촬상 장치(1)는, 디지털 카메라를 예로서 설명하였으나, 특히 이에 한정되지 않는다.

예를 들면, 본 발명은, 상태 제시 처리 기능을 가지는 전자 기기 일반에 적용할 수 있다. 구체적으로는, 예를 들면, 본 발명은, 노트북형의 퍼스널 컴퓨터, 프린터, 텔레비전 수상기, 비디오 카메라, 휴대형 네비게이션 장치, 스마트폰, 휴대 전화기, 휴대용 게임기 등에 적용할 수 있다.

전술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다.

바꾸어 말하면, 도 6의 기능적 구성은 예시에 지나지 않고, 특히 한정되지 않는다. 즉, 전술한 일련의 처리를 전체로서 실행할 수 있는 기능이 촬상 장치(1)에 구비되어 있으면 충분하고, 이 기능을 실현하기 위해 어떠한 기능 블록을 사용하는지는, 특히 도 6의 예에 한정되지 않는다.

또한, 하나의 기능 블록은, 하드웨어 단일체로 구성해도 되고, 소프트웨어 단일체로 구성해도 되고, 이들을 조합하여 구성해도 된다.

일련의 처리를 소프트웨어에 의해 실행시키는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터 등에 네트워크나 기록 매체로부터 설치된다.

컴퓨터는 전용의 하드웨어에 내장되어 있는 컴퓨터라도 된다. 또한, 컴퓨터는 각종 프로그램을 설치함으로써, 각종 기능을 실행할 수 있는 컴퓨터, 예를 들면, 범용의 퍼스널 컴퓨터라도 된다.

이와 같은 프로그램을 포함하는 기록 매체는, 사용자에게 프로그램을 제공하기 위해 장치 본체와는 별도로 배포되는 도 5의 탈착 가능한 매체(31)에 의해 구성될 뿐 아니라, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체 등으로 구성된다. 탈착 가능한 매체(31)는, 예를 들면, 자기 디스크(플로피 디스크를 포함함), 광디스크, 또는 광자기 디스크 등에 의해 구성된다. 광디스크는, 예를 들면, CD-ROM(Compact Disk-Read Only Memory), DVD(Digital Versatile Disk) 등에 의해 구성된다. 광자기 디스크는, MD(Mini-Disk) 등에 의해 구성된다. 또한, 장치 본체에 미리 내장된 상태로 사용자에게 제공되는 기록 매체는, 예를 들면, 프로그램이 기록되어 있는 도 5의 ROM(12)이나, 도 1의 기억부(19)에 포함되는 하드디스크 등으로 구성된다.

그리고, 본 명세서에서, 기록 매체에 기록되는 프로그램을 기술하는 단계는, 그 순서에 따라 시계열적으로 행해지는 처리는 물론, 반드시 시계열적으로 처리되지 않아도, 병렬적 또는 개별적으로 실행되는 처리도 포함하는 것이다.

또한, 본 명세서에서, 시스템의 용어는 복수의 장치나 복수의 수단 등으로 구성되는 전체적인 장치를 의미하는 것으로 한다.

이상, 본 발명의 몇몇 실시예에 대하여 설명하였으나, 이들 실시예는 예시에 지나지 않으며, 본 발명의 기술적 범위를 한정하는 것은 아니다. 본 발명은 그 외의 다양한 실시예를 취할 수 있고, 또한 본 발명의 요지를 벗어나지 않는 범위에서 생략이나 치환 등 각종 변경을 행할 수 있다. 이들 실시예나 그 변형은, 본 명세서 등에 기재된 발명의 범위나 요지에 포함되는 동시에, 특허청구범위에 기재된 발명과 그 균등 범위에 포함된다.

Claims

실제 공간 내의 임의의 영역을 임의의 타이밍에서 지정하는 지정부,
상기 실제 공간 내에 존재하는 오브젝트에 관한 정보를 취득하는 취득부,
상기 실제 공간 내에 존재하는 복수의 오브젝트 중, 상기 지정부에 의해 임의의 영역이 지정된 타이밍에서, 상기 지정된 영역 내에 존재하는 오브젝트를 검출하는 검출부,
상기 취득부에 의해 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시부에 표시하도록 하는 출력 제어부, 및
상기 실제 공간 내의 임의의 영역을 임의의 타이밍에서 촬상하는 촬상부
를 포함하고,
상기 지정부는, 상기 촬상부에 의해 촬상이 행해지는 각 타이밍에서, 상기 촬상부의 촬영 방향에 대응하는 실제 공간 내의 영역을 변화시키면서 순차적으로 지정을 행하고,
상기 취득부는, 상기 각 타이밍에서 상기 지정부에 의해 지정되는 영역의 밖에 존재하는 오브젝트를 포함하여 상기 실제 공간 내에 존재하는 복수의 오브젝트에 관한 정보를 취득 가능하며,
상기 검출부는, 상기 촬상부에 의해 촬상되는 화상 데이터 내에 있어서의 각 오브젝트의 화상 상의 특징에 기초하여, 상기 촬상부의 촬상 화각 내에 존재하는 오브젝트를 검출하고,
상기 출력 제어부는, 상기 각 타이밍에서 상기 취득부에 의해 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시부에 표시하도록 하는, 정보 처리 장치.
삭제
제1항에 있어서,
상기 취득부는, 상기 복수의 오브젝트 각각에 장착된 센서로부터, 상기 지정부에 의해 지정되는 영역의 밖에 존재하는 오브젝트를 포함하여, 상기 실제 공간 내에 존재하는 복수의 오브젝트에 관한 정보를 동시에 취득 가능하며,
상기 출력 제어부는, 상기 복수의 센서로부터 동시에 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 장착된 센서로부터 취득되는 정보를 선택하여 표시부에 표시하도록 하는, 정보 처리 장치.
제3항에 있어서,
상기 오브젝트는 인물이며,
상기 취득부는, 상기 실제 공간 내에 존재하는 복수의 인물 각각에 장착된 센서로부터 각 인물의 내적 상태에 관한 정보를 취득 가능하며,
상기 검출부는, 상기 실제 공간 내에 존재하는 복수의 인물 중, 상기 지정부에 의해 지정된 타이밍에서 상기 지정부에 의해 지정된 영역 내에 존재하는 인물을 검출하는, 정보 처리 장치.
삭제
제1항에 있어서,
상기 표시부는, 상기 촬상부에 의해 촬상되는 화상 데이터를 표시하고,
상기 출력 제어부는, 상기 선택한 정보를 상기 촬상부에 의해 촬상되는 화상 데이터와 합성하여 상기 표시부에 표시하도록 하는, 정보 처리 장치.
제6항에 있어서,
상기 촬상부는, 촬영 방향을 변화시키면서, 이 촬영 방향에 대응하는 촬영 영역을 순차 촬상하고,
상기 표시부는, 상기 촬상부에 의해 순차 촬상되는 화상 데이터를 순차 표시하고,
상기 검출부는, 상기 촬상부의 촬영 방향에 대응하는 실제 공간 내의 소정 영역에 존재하는 오브젝트를 순차 검출하고,
상기 출력 제어부는, 상기 검출부에 의해 순차 검출되는 오브젝트에 관한 정보를 상기 촬상부에 의해 순차 촬상되는 화상 데이터와 합성하여 상기 표시부에 순차 표시하도록 하는, 정보 처리 장치.
삭제
제1항에 있어서,
상기 복수의 오브젝트 각각의 위치 정보를 취득하는 위치 정보 취득부를 포함하고,
상기 검출부는, 상기 촬상부에 의해 화상 데이터를 촬상했을 때의 촬영 위치 및 촬영 방향에 기초하여 특정되는 상기 실제 공간 내의 소정의 영역 내에, 상기 위치 정보 취득부에 의해 취득되는 각 오브젝트의 위치가 포함되어 있는지의 여부에 따라, 상기 촬상부의 촬영 방향에 대응하는 실제 공간 내의 지정 영역에 존재하는 오브젝트를 검출하는, 정보 처리 장치.
제1항에 있어서,
상기 출력 제어부는, 상기 취득부가 취득한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 상기 표시부에 표시하든지, 또는 상기 실제 공간 내에 존재하는 복수의 오브젝트에 관한 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 상기 취득부에 선택적으로 취득하게 하여, 이 취득부가 취득한 정보를 상기 표시부에 표시하는, 정보 처리 장치.
제3항에 있어서,
상기 취득부는, 각각의 오브젝트에 장착된 센서로부터, 각 오브젝트의 내적 상태 또는 외적 상태를 나타내는 콘텍스트에 관한 콘텍스트 정보를 취득 가능한, 정보 처리 장치.
제4항에 있어서,
상기 취득부는, 각각의 인물에 장착된 센서로부터, 각각의 인물의 컨디션(신체 상태) 또는 정서(기분이나 심리 상태)를 포함하는 내적 상태를 나타내는 콘텍스트에 관한 콘텍스트 정보를 취득 가능한, 정보 처리 장치.
제12항에 있어서,
상기 인물의 내적 상태를 나타내는 콘텍스트는, 인물의 맥박, 호흡 수, 발한, 동공의 열림, 피로도, 운동량 중 적어도 하나를 포함하는, 정보 처리 장치.
제1항에 있어서,
상기 취득부에 의해 취득된 정보에 기초하여, 상기 오브젝트의 상태를 판정하는 상태 판정부, 및
상기 상태 판정부에 의한 상기 오브젝트의 상태의 판정 결과를 통지하는 통지부
를 포함하는 정보 처리 장치.
제14항에 있어서,
상기 상태 판정부는, 상기 검출부에 의해 검출된 오브젝트 이외의 오브젝트의 상태를 판정하고,
상기 통지부는, 상기 상태 판정부에 의해 상기 오브젝트의 상태가 소정의 상태인 것으로 판정한 경우에는, 상기 출력 제어부에 의한 선택 표시의 유무와 관계없이, 상기 오브젝트의 상태에 관한 정보를 표시하는, 정보 처리 장치.
제15항에 있어서,
상기 통지부는, 상기 상태 판정부에 의해 상기 오브젝트의 상태가 비정상인 것으로 판정한 경우에는, 경고를 통지하는, 정보 처리 장치.
제1항에 있어서,
상기 취득부에 의해 취득된 복수의 정보를 기억하는 제1 기억부, 및
사용자의 조작에 따라, 상기 취득부에 의해 취득된 정보를 상기 제1 기억부에 추가하여 기억시키는 제어를 실행하는 제1 기억 제어부
를 포함하는 정보 처리 장치.
제4항에 있어서,
상기 촬상부에 의해 촬상되는 화상 데이터를 기억하는 제2 기억부, 및
사용자의 조작에 따라, 상기 촬상부에 의해 촬상되는 화상 데이터와 상기 취득부에 의해 취득되는 정보를 대응시켜 상기 제2 기억부에 기억시키는 제어를 실행하는 제2 기억 제어부
를 포함하는 정보 처리 장치.
실제 공간 내의 임의의 영역을 임의의 타이밍에서 지정하는 지정 단계,
상기 실제 공간 내에 존재하는 오브젝트에 관한 정보를 취득하는 취득 단계,
상기 실제 공간 내에 존재하는 복수의 오브젝트 중, 상기 지정 단계에 의해 임의의 영역이 지정된 타이밍에서, 상기 지정된 영역 내에 존재하는 오브젝트를 검출하는 검출 단계,
상기 취득 단계에 의해 취득 가능한 복수의 정보 중, 상기 검출 단계에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시부에 표시하도록 하는 선택 표시 단계, 및
상기 실제 공간 내의 임의의 영역을 임의의 타이밍에서 촬상하는 촬상 단계
를 포함하고,
상기 지정 단계는, 상기 촬상 단계에 의해 촬상이 행해지는 각 타이밍에서, 상기 촬상 단계의 촬영 방향에 대응하는 실제 공간 내의 영역을 변화시키면서 순차적으로 지정을 행하고,
상기 취득 단계는, 상기 각 타이밍에서 상기 지정 단계에 의해 지정되는 영역의 밖에 존재하는 오브젝트를 포함하여 상기 실제 공간 내에 존재하는 복수의 오브젝트에 관한 정보를 취득 가능하며,
상기 검출 단계는, 상기 촬상 단계에 의해 촬상되는 화상 데이터 내에 있어서의 각 오브젝트의 화상 상의 특징에 기초하여, 상기 촬상 단계의 촬상 화각 내에 존재하는 오브젝트를 검출하고,
상기 선택 표시 단계는, 상기 각 타이밍에서 상기 취득 단계에 의해 취득 가능한 복수의 정보 중, 상기 검출 단계에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시부에 표시하도록 하는, 정보 처리 방법.
컴퓨터를,
실제 공간 내의 임의의 영역을 임의의 타이밍에서 지정하는 지정부,
상기 실제 공간 내에 존재하는 오브젝트에 관한 정보를 취득하는 취득부,
상기 실제 공간 내에 존재하는 복수의 오브젝트 중, 상기 지정부에 의해 임의의 영역이 지정된 타이밍에서, 상기 지정된 영역 내에 존재하는 오브젝트를 검출하는 검출부,
상기 취득부에 의해 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시부에 표시하도록 하는 출력 제어부, 및
상기 실제 공간 내의 임의의 영역을 임의의 타이밍에서 촬상하는 촬상부
로서 기능하게 하는 프로그램을 저장하고,
상기 지정부는, 상기 촬상부에 의해 촬상이 행해지는 각 타이밍에서, 상기 촬상부의 촬영 방향에 대응하는 실제 공간 내의 영역을 변화시키면서 순차적으로 지정을 행하고,
상기 취득부는, 상기 각 타이밍에서 상기 지정부에 의해 지정되는 영역의 밖에 존재하는 오브젝트를 포함하여 상기 실제 공간 내에 존재하는 복수의 오브젝트에 관한 정보를 취득 가능하며,
상기 검출부는, 상기 촬상부에 의해 촬상되는 화상 데이터 내에 있어서의 각 오브젝트의 화상 상의 특징에 기초하여, 상기 촬상부의 촬상 화각 내에 존재하는 오브젝트를 검출하고,
상기 출력 제어부는, 상기 각 타이밍에서 상기 취득부에 의해 취득 가능한 복수의 정보 중, 상기 검출부에 의해 검출된 오브젝트에 대응하는 정보를 선택하여 표시부에 표시하도록 하는, 비일시적인(non-transitory) 기록 매체.