[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

CN110169045A - 信息处理设备、信息处理方法以及信息处理系统 - Google Patents

信息处理设备、信息处理方法以及信息处理系统 Download PDF

Info

Publication number
CN110169045A
CN110169045A CN201780083243.8A CN201780083243A CN110169045A CN 110169045 A CN110169045 A CN 110169045A CN 201780083243 A CN201780083243 A CN 201780083243A CN 110169045 A CN110169045 A CN 110169045A
Authority
CN
China
Prior art keywords
target
information processing
information
sensor
processing equipment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780083243.8A
Other languages
English (en)
Inventor
池田广志
稻叶靖二郎
池田伸穗
中尾优太
佐藤秀幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110169045A publication Critical patent/CN110169045A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供了一种信息处理器，装配有：处理单元，其基于由图像捕获装置捕获的捕获图像以及通过来自用于感测对象的传感器的通信而获取的传感器信息来跟踪对象。

Description

信息处理设备、信息处理方法以及信息处理系统
技术领域
本公开涉及信息处理设备、信息处理方法以及信息处理系统。
背景技术
已经开发了一种技术，其中将设定的跟踪目标的位置叠加并显示在通过对体育竞赛的竞赛区域进行成像而获得的竞赛区域图像上。上述技术的示例是以下专利文献1中描述的技术。
引用列表
专利文献
专利文献1：日本专利申请公开No.10-276351
发明内容
本发明要解决的问题
例如，已经由成像装置捕获的捕获图像(运动图像或静止图像)用于各种目的，诸如体育比赛的分析和犯罪预防。使用捕获图像的示例包括专利文献1中描述的示例，其中跟踪目标位置被叠加并显示在通过对竞赛区域进行成像而获得的竞赛区域图像上。
以体育为例，在使用捕获图像的情况下，能够基于捕获图像检测和跟踪要跟踪的目标(下文中简称为“目标”)，诸如球员或球。然而，例如，在基于捕获图像简单地跟踪目标的情况下，由于跟踪目标的集中(诸如球员的集中或球的集中)，可能发生对目标的错误检测或错误跟踪。因此，仅通过基于捕获图像跟踪目标，并不总是能够精确地跟踪目标。
本公开提出了一种能够提高基于捕获图像跟踪目标的精度的新颖且改进的信息处理设备、信息处理方法和信息处理系统。
问题的解决方案
根据本公开，提供了一种信息处理设备，包括：处理单元，该处理单元基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来跟踪目标。
此外，根据本公开，提供了一种信息处理设备，包括：处理单元，该处理单元基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来识别目标。
此外，根据本公开，提供了一种由信息处理设备执行的信息处理方法，该方法包括基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来跟踪目标的步骤。
此外，根据本公开，提供了一种由信息处理设备执行的信息处理方法，该方法包括基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来识别目标的步骤。
此外，根据本公开，提供了一种信息处理系统，包括：信息处理设备，包括：成像装置；感测目标的传感器；以及处理单元，该处理单元基于已经由成像装置捕获的捕获图像以及通过来自传感器的通信而获得的传感器信息来跟踪目标。
发明效果
根据本公开，能够提高基于捕获图像跟踪目标的精度。
注意，上述效果不一定受限，并且还能够表现出本说明书中所示的任意一种效果连同上述效果或代替上述效果，或者可以表现出从本说明书中假设的其他效果。
附图说明
图1是示出仅通过基于捕获图像跟踪目标不能精确地跟踪目标的示例性情况的说明图。
图2是示出仅通过基于捕获图像跟踪目标不能精确地跟踪目标的示例性情况的说明图。
图3是示出根据本实施例的信息处理方法跟踪目标的处理的第一示例的说明图。
图4是示出根据本实施例的信息处理方法跟踪目标的处理的第二示例的说明图。
图5是示出根据本实施例的信息处理方法跟踪目标的处理的第二示例的说明图。
图6是示出根据本实施例的信息处理方法识别目标的处理的示例的说明图。
图7是示出根据应用了根据本实施例的信息处理方法的本实施例的信息处理系统的示例的说明图。
图8是示出根据本实施例的信息处理设备的配置的示例的框图。
图9是示出根据本实施例的信息处理设备的硬件配置的说明图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例。注意，相同的附图标记被分配给具有基本相同的功能配置的组成元件，并且在本说明书和附图中省略了多余的描述。
此外，将以下面指示的顺序给出描述。
1.根据本实施例的信息处理方法
2.根据本实施例的信息处理系统
3.根据本实施例的程序
(根据本实施例的信息处理方法)
首先，将描述根据本实施例的信息处理方法。在下文中，将通过使用根据本实施例的信息处理设备执行处理的示例性情况来描述根据本实施例的信息处理方法的处理。
如上所述，仅通过基于捕获图像跟踪目标，并不总是能够精确地跟踪目标。
图1和图2是示出仅通过基于捕获图像跟踪目标不能精确地跟踪目标的示例性情况的说明图。图1示出了包括足球比赛(体育的示例)的图像的捕获图像的示例。此外，图2的A示出了目标O1和目标O2中的每一个的轨迹的示例，并且图2的B示出了目标O1和目标O2中的每一个的轨迹的另一示例。
例如，如图1所示，在球员(目标的示例，下文中，将同样应用)集中的情况下，即，在捕获图像中目标相互重叠的情况下，检测目标在某些情况下是不可能的。如上所述的不可能检测到目标的情况将导致目标跟踪精度的降低，诸如跟踪目标的失败或错误跟踪的发生。
此外，例如，在相同团队的球员彼此交叉的情况下，仅通过处理捕获图像，不总是能够唯一地区分状态是图2中的状态A还是图2中的状态B。因此，例如，相同团队的球员彼此的交叉将导致对目标的错误检测的发生，并且这可能导致目标跟踪精度的降低，诸如错误跟踪的发生。
此外，例如，在不能在捕获图像中检测到用于确定目标的区域(诸如球员的面部或制服号码)，或者捕获图像的分辨率不足(捕获图像的分辨率不够高，以至于无法确定目标)的情况下，目标的识别将是不可能的。如上所述的不可能识别目标的情况可能导致目标跟踪精度的降低，诸如错误跟踪的发生。
如上所述，仅使用捕获图像作为基础来跟踪目标的情况将不总是能够精确地跟踪目标。
此外，作为用于跟踪目标的另一种方法，可以想到应用使用惯性传感器的检测结果的方法。惯性传感器的示例包括一个或两个或更多个传感器，包括加速度传感器、角速度传感器和地磁传感器。
在使用惯性传感器的检测结果的情况下，能够估计目标的移动量和目标的位置，而不受可能影响基于捕获图像的目标跟踪的因素(诸如遮挡以及目标之间的距离)的影响。例如，能够通过将从惯性传感器获得的加速度两次积分来估计目标的移动量，或者可以使用从惯性传感器获得的加速度来估计目标的步数，从而估计目标的移动量。此外，通过估计目标的移动量，能够估计被识别为存在于特定位置的目标的位置。
然而，在使用惯性传感器的检测结果的情况下，不可能获得目标的绝对位置，而且，估计的移动量和位置与实际的移动量和位置之间的误差随着时间的流逝而增加。
因此，仅通过使用惯性传感器的检测结果，不总是能够精确地跟踪目标。
为了克服这一点，根据本实施例的信息处理设备执行以下所示的处理(1)至(3)中的任意一个，以提高基于捕获图像跟踪目标的情况下的跟踪精度。
(1)根据第一信息处理方法的处理：目标跟踪处理
根据本实施例的信息处理设备基于已经由成像装置捕获的捕获图像和通过来自感测目标的传感器的通信获得的传感器信息来跟踪目标。
根据本实施例的成像装置可以是在根据本实施例的信息处理设备外部的成像装置，或者可以是包括在根据本实施例的信息处理设备中的成像装置。在根据本实施例的成像装置是外部成像装置的情况下，根据本实施例的信息处理设备与成像装置通信，从而获得在成像装置中生成的捕获图像。
例如，成像装置对包括目标的可成像范围的区域(诸如“球场或地面(目的是体育比赛分析的示例性情况)”或“进行犯罪预防措施的空间(犯罪预防目的的示例)”)进行成像。
根据本实施例的传感器的示例包括能够感测目标的移动和位置中的一个或两个的任意传感器，诸如惯性传感器和位置传感器中的一个或两个。位置传感器的示例包括“检测绝对位置的传感器，如全球导航卫星系统(GNSS)装置”或“通过使用某种通信方案估计位置的装置，诸如通过使用无线通信方案(诸如“超宽带(UWB)”)来估计位置的装置”。
例如，根据本实施例的传感器被设置在佩戴在诸如球员的目标人物上的物体(例如，鞋子、衣服、诸如手表的配件或任意可穿戴装置)上或者设置在诸如球的目标物体中。注意，例如，根据本实施例的传感器可以通过能够感测目标的任意方法(诸如嵌入目标物体(包括活体)中)提供。
例如，通过附加识别信息来执行根据本实施例的目标识别。例如，根据本实施例的识别信息的示例是能够识别目标的特定格式的数据，诸如ID。
根据本实施例的信息处理设备例如检测附加有识别信息的目标的移动的轨迹(下文中称为“目标的轨迹”)，从而跟踪目标。例如，根据本实施例的信息处理设备从捕获图像中检测附加有识别信息的目标，然后获得检测到的目标的移动轨迹，从而获得目标的轨迹。注意，检测目标的轨迹的方法不限于上述示例。根据本实施例的信息处理设备可以使用能够获得轨迹的任意方法来检测目标的轨迹。
这里，例如，通过稍后将描述的处理(2)来执行目标的识别。注意，例如，可以通过诸如由根据本实施例的信息处理设备的用户附加识别信息的操作的预定操作来执行目标的识别。
更具体地，根据本实施例的信息处理设备基于捕获图像来跟踪目标。
根据本实施例的信息处理设备从捕获图像中检测目标，从而跟踪目标。根据本实施例的信息处理设备例如执行能够从捕获图像检测目标的某些处理，诸如从捕获图像中检测目标中的预定区域(诸如面部或制服号码)、或者从捕获图像中检测特定颜色的图案(例如，制服等)、或这些的组合，从而检测目标。
如上所述，仅通过基于捕获图像跟踪目标，并不总是能够精确地跟踪目标。
因此，在不能基于捕获图像执行跟踪的情况下，根据本实施例的信息处理设备基于传感器信息来跟踪目标。注意，根据本实施例的信息处理设备可以基于捕获图像和传感器信息来跟踪目标。
这里，不能基于捕获图像执行跟踪的情况的示例包括处于非检测状态的情况和处于非确定状态的情况。
根据本实施例的非检测状态是不能检测到基于捕获图像识别的目标的状态。例如，在基于捕获图像识别的目标不能被检测到的状态大于设定时段的情况下，根据本实施例的信息处理设备判断处于非检测状态。
此外，根据本实施例的非确定状态是不能基于捕获图像确定附加给目标的识别信息的状态。例如，如图2所示，非确定状态的示例是“已经检测到目标，但是不能唯一地确定检测到的目标的状态”。
例如，根据本实施例的信息处理设备基于附加有识别信息的目标与另一目标之间的距离来判断是否处于非确定状态。例如，在附加有识别信息的目标与另一目标之间的距离是设定阈值或更小的情况下，或者在所述距离小于阈值的情况下，根据本实施例的信息处理设备判断处于非确定状态。
这里，用于确定非确定状态的阈值可以是预先设置的固定值，或者可以是可以通过根据本实施例的信息处理设备的用户的操作改变的可变值等。
根据本实施例的信息处理设备例如通过执行下面描述的处理(1-1)和处理(1-2)中的一个或两者来基于捕获图像和传感器信息执行目标的跟踪。
(1-1)跟踪目标的处理的第一示例：在目标被判断为处于非检测状态的情况下的处理
在处于非检测状态的情况下，根据本实施例的信息处理设备基于传感器信息对目标的轨迹进行内插，从而跟踪目标。也就是说，根据本实施例的信息处理设备基于传感器信息对目标的移动进行内插，从而取消非检测状态。
图3是示出根据本实施例的信息处理方法中跟踪目标的处理的第一示例的说明图。图3的A示出了包括被判断为处于非检测状态的时段的特定时段中的目标的轨迹的示例。图3的B示出了在被判断为处于非检测状态的时段中基于传感器信息估计的目标的轨迹的示例。此外，图3的C示出了使用图3的B中所示的基于传感器信息估计的目标轨迹对图3的A中所示的被判断为处于非检测状态的时段中的目标轨迹进行内插的结果的示例。
例如，如图3所示，通过基于传感器信息估计的目标轨迹对“被判断为处于非检测状态的时段中的目标的轨迹”，即“作为处理捕获图像的结果丢失目标的时段中的目标的轨迹”进行内插。根据本实施例的信息处理设备例如参考捕获图像的时间戳和传感器信息的时间戳中的每一个，从而通过基于传感器信息估计的目标的轨迹对被判断为处于非检测状态的时段中的目标的轨迹进行内插。
例如，根据本实施例的信息处理设备将图3的A中所示的基于捕获图像的目标的轨迹与图3的B中所示的基于传感器信息估计的目标的轨迹进行组合，从而对目标的轨迹进行内插。根据本实施例的信息处理设备例如对基于传感器信息估计的目标的轨迹应用仿射变换、卡尔曼滤波器等，从而将图3的A中所示的基于捕获图像的目标的轨迹与图3的B中所示的基于传感器信息估计的目标的轨迹进行组合。
(1-2)跟踪目标的处理的第二示例：目标进入非确定状态之后的处理
在目标进入非确定状态之后，根据本实施例的信息处理设备基于传感器信息向目标重新附加识别信息，从而跟踪识别的物体。向目标重新附加识别信息使得能够将目标变为可识别状态。也就是说，根据本实施例的信息处理设备通过基于传感器信息确定目标来取消非确定状态。
如上所述，在附加有识别信息的目标与另一个目标之间的距离是设定阈值或更小的情况下或者在所述距离小于阈值的情况下，根据本实施例的信息处理设备判断为处于非确定状态。判断为非确定状态后的状态对应于目标变为非判断状态后的状态。
此外，例如，在“在判断为非确定状态之后，已经附加有识别信息的目标与另一个目标之间的距离大于阈值”或“在判断为非确定状态之后，已经附加有识别信息的目标与另一个目标之间的距离是阈值或更大”的情况下，根据本实施例的信息处理设备基于传感器信息向目标重新附加识别信息，然后确定目标。
图4是示出根据本实施例的信息处理方法中跟踪目标的处理的第二示例的说明图。图4的A示出了包括被判断为处于非确定状态的时段的特定时段中的目标的轨迹的示例。图4的B示出了所述特定时段中基于传感器信息估计的目标的轨迹的示例。此外，图4的C示出了通过基于传感器信息确定目标来取消非确定状态的状态的示例。
例如，使用图4的B中所示的基于传感器信息估计的目标的轨迹将使得能够确定目标在非确定状态下的移动。因此，根据本实施例的信息处理设备可以取消非确定状态。
图5是示出在根据本实施例的信息处理方法中跟踪目标的处理的第二示例的说明图，更具体地，示出图4所示的用于取消非确定状态的处理的示例。类似于图4的A，图5的A示出了包括被判断为处于非确定状态的时段的特定时段中的目标的轨迹的示例。类似于图4的B，图5的B示出了在所述特定时段中基于传感器信息估计的目标的轨迹的示例。此外，类似于图4的C，图5的C示出了通过基于传感器信息确定目标来取消非确定状态的状态的示例。
如图5的A所示，根据本实施例的信息处理设备将pi1(xi1，yi1)和pi2(xi2，yi2)设置为从捕获图像获得的每个目标的二维位置。
此外，如图5的C所示，在判断为非确定状态之后，已经附加有识别信息的目标与另一个目标之间的距离大于阈值(或在判断为非确定状态之后，已经附加有识别信息的目标与另一个目标之间的距离是阈值或更大)的情况下，根据本实施例的信息处理设备利用图5的B中所示的基于传感器信息估计的目标的轨迹对图5的A中所示的基于捕获图像的目标的轨迹进行内插。如图5的C所示，根据本实施例的信息处理设备将在内插之后的每个目标的二维位置设置为ps1(xs1，ys1)和ps2(xs2，ys2)。
随后，根据本实施例的信息处理设备获得pi1和pi2之间的距离和ps1和ps2之间距离的组合中的具有最小距离的组合，然后，将由所获得的组合指示的二维位置设置为每个目标的位置。根据本实施例的信息处理设备例如使用匈牙利方法(Hungarian method)等，并获得使上述距离最小化的组合。
根据本实施例的信息处理设备例如执行(1-1)的处理和(1-2)的处理中的一个或两者，从而基于捕获图像和传感器信息来跟踪目标。
这里，例如，执行上述(1-1)的处理取消了如图3的C所示的非检测状态，并且执行上述(1-2)的处理取消了如图4的C中所示的非确定状态。
因此，根据本实施例的信息处理设备执行根据第一信息处理方法的处理(跟踪目标的处理)，使得能够提高基于捕获图像跟踪目标的精度。
此外，利用提高的基于捕获图像跟踪目标的精度，能够进一步降低在目标跟踪中需要手动校正的情况的发生概率。因此，根据本实施例的信息处理设备执行根据第一信息处理方法的处理(跟踪目标的处理)，使得能够提高基于捕获图像跟踪目标的便利性。
(2)根据第二信息处理方法的处理：目标识别处理
根据本实施例的信息处理设备基于捕获图像和传感器信息识别目标。
更具体地，根据本实施例的信息处理设备将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联，从而识别目标。根据本实施例的信息处理设备例如参考捕获图像的时间戳和传感器信息的时间戳中的每一个，并且将在相同时间点(或者可以被视为可以被视为相同时间点的预设时段。这同样适用于以下描述)发生的事件相互关联。
根据本实施例的事件的示例包括“已经执行了在体育中设置的比赛动作，诸如踢球、击球、进行摆动等”(例如，在根据本实施例的信息处理方法应用于体育比赛的分析的情况下的示例性事件)、“已经执行了设定的预定动作，诸如从步行状态改变到跑步状态、经常环顾周围环境”(例如，在根据本实施例的信息处理方法应用于犯罪预防的情况下的示例性事件)等。注意，根据本实施例的事件的示例当然不限于上述示例。
图6是示出根据本实施例的信息处理方法中识别目标的处理的示例的说明图。图6的A示出了基于捕获图像检测到的事件的示例。图6的B示出了基于传感器信息检测到的事件的示例。此外，图6的C示出了将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联的结果的示例。在图6中，示出了网球的摆动作为检测到的事件的示例。
例如，在相同时间点发生相同类型的事件(诸如图6的A中所示的基于捕获图像检测到的“摆动(正手)”以及对应于人物A(目标的示例)的基于传感器信息检测到的“摆动(正手)”)的情况下，根据本实施例的信息处理设备将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联，如图6的C所示。例如，根据本实施例的信息处理设备将指示将事件相关联的结果的信息保持在诸如存储单元(稍后描述)的记录介质中，从而将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联。
此外，在存在与检测到的事件相关联的多条信息的情况下，根据本实施例的信息处理设备可以基于与事件相关联的多条信息将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联。
在事件是网球的摆动的示例性情况下，根据本实施例的与事件相关联的信息的示例包括摆动类型(例如，正手或反手)、摆动强度(例如，通过球拍的加速度变化获得的强度等)、球的初始速度等。注意，根据本实施例的与事件相关联的信息的示例当然不限于上述示例。
例如，根据本实施例的信息处理设备使用“由与基于捕获图像检测到的事件相关联的信息指示的多个特征量”和“由与基于传感器信息检测到的事件相关联的信息指示的多个特征量”，从而将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联。
例如，根据本实施例的信息处理设备计算特征量之间的距离的加权平方误差等，作为事件之间的距离。随后，在所计算的事件之间的距离小于设定阈值的情况下或者在事件之间的距离是阈值或更小的情况下，根据本实施例的信息处理设备将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联。
此外，在基于与多个目标相对应的传感器信息检测到由相同时间点的多个目标执行的事件的情况下，根据本实施例的信息处理设备针对与多个目标对应的多条传感器信息中的每条传感器信息计算事件之间的距离。接下来，根据本实施例的信息处理设备获得基于捕获图像检测到的事件和基于传感器信息检测到的事件的、具有事件之间的最小距离的组合，从而将基于捕获图像检测到的事件与基于传感器信息检测到的事件相关联。根据本实施例的信息处理设备例如使用匈牙利方法，并获得使事件之间的距离最小化的组合。
根据本实施例的信息处理设备例如执行上述处理，从而基于捕获图像和传感器信息识别目标。
这里，例如，即使在非确定状态发生的情况下，上述处理也可以识别目标，从而取消非确定状态。
因此，根据本实施例的信息处理设备执行根据第二信息处理方法的处理(识别目标的处理)，使得能够提高基于捕获图像跟踪目标的精度。
此外，利用提高的基于捕获图像跟踪目标的精度，能够进一步降低在目标跟踪中需要手动校正的情况的发生概率。因此，根据本实施例的信息处理设备执行根据第二信息处理方法的处理(识别目标的处理)，从而使得能够提高基于捕获图像跟踪目标的便利性。
此外，由于通过根据第二信息处理方法的处理(识别目标的处理)识别目标，因此实现自动目标识别。换句话说，例如，在执行根据第二信息处理方法的处理的情况下，根据本实施例的信息处理设备的用户不需要执行用于识别目标的预定操作，诸如附加识别信息的操作。因此，根据本实施例的信息处理设备执行根据第二信息处理方法的处理，从而使得能够提高基于捕获图像跟踪目标的便利性。
(3)根据第三信息处理方法的处理：目标跟踪处理和目标识别处理的组合
根据本实施例的信息处理设备可以执行上述(1)(目标跟踪处理)的处理和(2)(目标识别处理)的处理两者。
当执行上述(1)(目标跟踪处理)的处理和(2)(目标识别处理)的处理两者时，能够表现出上述(1)(目标跟踪处理)的处理和(2)(目标识别处理)的处理中的每个处理实现的效果。
作为根据本实施例的信息处理方法的处理，根据本实施例的信息处理设备执行例如上述(1)(目标跟踪处理)的处理和(2)(目标识别处理)的处理以及(3)(目标跟踪处理和目标识别处理的组合)的处理中的任意处理，从而提高基于捕获图像跟踪目标的精度。
注意，为方便起见，(1)(目标跟踪处理)的处理、(2)(目标识别处理)的处理以及(3)(目标跟踪处理和目标识别处理的组合)的处理中的每一个是划分根据本实施例的信息处理方法的处理的结果。因此，例如，取决于特定划分方法，根据本实施例的信息处理方法的各个处理也可以被视为两种或更多种类型的处理。
(根据本实施例的信息处理系统)
接下来，以下是应用了上述根据本实施例的信息处理方法的根据本实施例的信息处理系统的示例。
图7是示出应用了根据本实施例的信息处理方法的根据本实施例的信息处理系统1000的示例的说明图。
例如，信息处理系统1000包括信息处理设备100、成像装置200(一个或多个)、......以及传感器300。
注意，尽管图7示出了一个成像装置200，但是根据本实施例的信息处理系统可以具有多个成像装置200。在根据本实施例的信息处理系统包括多个成像装置200的情况下，多个成像装置200中的一些可以是包括在信息处理设备100中的成像装置。
此外，尽管图7示出了一个传感器300，但是根据本实施例的信息处理系统可以具有多个传感器300。例如，在根据本实施例的信息处理系统具有多个传感器的情况下，每个传感器感测与每个传感器对应的每个目标。此外，在根据本实施例的信息处理系统具有多个传感器的情况下，多个传感器300可以对应于一个目标。
在下文中，将以图7所示的信息处理系统1000为例描述构成信息处理系统1000的设备。
信息处理设备100、成像装置200和传感器300例如经由网络400通过无线或有线互连。网络400的示例包括诸如局域网(LAN)或广域网(WAN)的有线网络、诸如无线局域网(WLAN)的无线网络、使用诸如传输控制协议/网际协议(TCP/IP)的通信协议的因特网等。注意，根据本实施例的信息处理系统使得能够在信息处理设备100、成像装置200和传感器300之间进行直接通信，而不是经由网络400。
[1]成像装置200
例如，成像装置200对包括目标的可成像范围的区域(诸如“球场或地面(目的是体育比赛分析的示例性情况)”或“进行犯罪预防措施的空间(犯罪预防目的的示例)”)进行成像。成像装置200的位置和姿态中的一个或两者可以是固定的或可以是可变的。
例如，成像装置200包括透镜/成像元件和信号处理电路。例如，透镜/成像元件包括：光学系统的透镜；以及使用诸如互补金属氧化物半导体(CMOS)的多个成像元件的图像传感器。信号处理电路包括例如自动增益控制(AGC)电路和模数转换器(ADC)，并将由成像元件生成的模拟信号转换为数字信号(图像数据)。此外，例如，信号处理电路执行与RAW开发相关的各种类型的处理。此外，例如，信号处理电路可以执行各种类型的信号处理，诸如白平衡校正处理、色调校正处理、伽马校正处理、YCbCr转换处理或边缘强调处理。
注意，成像装置200的配置不限于上述示例，并且能够采用根据稍后描述的成像装置200的应用示例的配置。
[2]传感器300
传感器300是用于感测目标的传感器。传感器300的示例可以是如上所述的惯性传感器和位置传感器中的一个、两个等。
此外，例如，如上所述，传感器300设置在佩戴在诸如球员的目标人物上的物体(例如，鞋子、衣服、诸如手表的配件或任意可穿戴装置)上，或者设置在诸如球的目标物体中。
[3]信息处理设备100
信息处理设备100执行根据本实施例的信息处理方法的处理。
图8是示出根据本实施例的信息处理设备100的配置的示例的框图。例如，信息处理设备100包括通信单元102和控制单元104。
此外，信息处理设备100可以包括例如只读存储器(ROM)(未示出)、随机存取存储器(RAM)(未示出)、存储单元(未示出)、由信息处理设备100的用户可操作的操作单元(未示出)、以及在显示屏上显示各种画面的显示单元(未示出)。例如，信息处理设备100经由总线作为数据传输路径连接上述各个组成部分。
ROM(未示出)存储控制单元104使用的控制数据，诸如程序和操作参数。RAM(未示出)临时存储由控制单元104执行的程序等。
例如，存储单元(未示出)是包括在信息处理设备100中的存储装置，并且存储诸如与根据本实施例的信息处理方法有关的数据的各种数据以及各种应用程序。这里，存储单元(未示出)的示例包括诸如硬盘的磁记录介质、诸如闪存的非易失性存储器等。此外，存储单元(未示出)可以从信息处理设备100拆卸。
操作单元(未示出)的示例是稍后描述的操作输入装置。此外，显示单元(未示出)的示例可以是稍后描述的显示装置。
[信息处理设备100的硬件配置示例]
图9是示出根据本实施例的信息处理设备100的硬件配置的说明图。例如，信息处理设备100包括MPU 150、ROM 152、RAM 154、记录介质156、输入/输出接口158、操作输入装置160、显示装置162和通信接口164。此外，例如，信息处理设备100经由总线166作为数据传输路径连接各个组成部分。此外，例如，信息处理设备100由从诸如信息处理设备100中设置的电池的内部电源供应的电力、从连接到设备的外部电源供应的电力等驱动。
例如，MPU 150包括具有诸如微处理单元(MPU)的、各种处理电路等的运算电路的一个或两个或更多个处理器，并且用作执行信息处理设备100的整体控制的控制单元104。此外，例如，在信息处理设备100中，MPU 150还起稍后描述的处理单元110的作用。注意，处理单元110可以包括专用(或通用)电路(例如，与MPU 150分开的处理器等)。
ROM 152存储由MPU 150使用的控制数据，诸如程序、操作参数等。例如，RAM 154临时存储由MPU 150执行的程序等。
例如，记录介质156起存储单元(未示出)的作用，并且存储诸如与根据本实施例的信息处理方法有关的数据的各种数据以及各种应用程序。这里，记录介质156的示例包括诸如硬盘的磁记录介质和诸如闪存的非易失性存储器。此外，记录介质156可以从信息处理设备100拆卸。
例如，输入/输出接口158连接到操作输入装置160和显示装置162。操作输入装置160起操作单元(未示出)的作用。显示装置162起显示单元(未示出)的作用。这里，输入/输出接口158的示例包括通用串行总线(USB)端子、数字视频接口(DVI)端子、高清晰度多媒体接口(HDMI)(注册商标)端子、各种处理电路等。
此外，操作输入装置160例如设置在信息处理设备100上，并且连接到信息处理设备100内部的输入/输出接口158。操作输入装置160的示例包括按钮、方向键、诸如微动拨盘的旋转选择器、这些装置的组合等。
此外，显示装置162例如设置在信息处理设备100上，并且连接到信息处理设备100内部的输入/输出接口158。显示装置162的示例包括液晶显示器和有机电致发光(EL)显示器(也称为有机发光二极管(OLED)显示器)。
注意，输入/输出接口158当然可以连接到外部装置，诸如信息处理设备100外部的操作输入装置(例如，键盘、鼠标等)或外部显示装置。此外，例如，显示装置162可以是能够显示和用户操作的装置，诸如触摸板。
通信接口164是在信息处理设备100中设置的通信装置，并且起用于经由网络400(或直接)与诸如成像装置200或传感器300的外部装置、诸如服务器的外部设备等执行无线或有线通信的通信单元102的作用。这里，通信接口164的示例包括：通信天线和射频(RF)电路(无线通信)；IEEE 802.15.1端口和发送/接收电路(无线通信)；IEEE 802.11端口和发送/接收电路(无线通信)；局域网(LAN)端子和发送/接收电路(有线通信)；等等。此外，通信接口164可以具有与网络400兼容的任意配置。
例如，信息处理设备100利用图9所示的配置执行根据本实施例的信息处理方法的处理。注意，根据本实施例的信息处理设备100的硬件配置不限于图9中所示的配置。
例如，在经由连接到设备的外部通信装置与外部设备等进行通信的情况下，信息处理设备100可以省略通信接口164。此外，通信接口164可以具有能够通过多种通信方案与一个或两个或更多个外部设备等进行通信的配置。
此外，例如，信息处理设备100还可以包括起信息处理系统1000中的成像装置200的作用的成像装置。在信息处理设备100包括成像装置的情况下，成像装置起通过成像生成捕获图像(运动图像或静止图像)的成像单元(未示出)的作用。
此外，例如，可以在没有记录介质156、操作输入装置160或显示装置162的情况下配置信息处理设备100。
此外，例如，信息处理设备100可以具有与稍后将描述的信息处理设备100的应用示例相对应的配置。
此外，例如，图9中所示的配置(或根据修改的配置)的一部分或全部可以由一个或不止一个集成电路(IC)实现。
将参考图8再次描述信息处理设备100的配置的示例。通信单元102是在信息处理设备100中设置的通信装置，并且经由网络400(或直接)与诸如成像装置200和传感器300的外部设备执行无线或有线通信。此外，例如，通过控制单元104控制由通信单元102执行的通信。
这里，通信单元102的示例包括：通信天线和RF电路；LAN端子和发送/接收电路；等等。然而，通信单元102的配置不限于上述。例如，通信单元102可以采用与能够与USB端子、发送/接收电路等进行通信的任意标准兼容的配置，或者能够经由网络400与外部设备进行通信的任意配置。此外，通信单元102可以具有能够通过多种通信方案与一个或两个或更多个外部设备等进行通信的配置。
控制单元104例如包括MPU等，并且执行信息处理设备100的整体控制。此外，控制单元104例如包括处理单元110，并且在执行根据本实施例的信息处理方法的处理中起主导作用。
例如，处理单元110执行上述(1)(目标跟踪处理)的处理、(2)(目标识别处理)的处理以及(3)(目标跟踪处理和目标识别处理的组合)的处理中的任意处理，作为根据本实施例的信息处理方法的处理。
在执行(1)(目标跟踪处理)的处理的情况下，处理单元110跟踪基于捕获图像和传感器信息而识别的目标。
此外，在执行(2)(目标识别处理)的处理的情况下，处理单元110基于捕获图像和传感器信息识别目标。
此外，在执行(3)(目标跟踪处理和目标识别处理的组合)的处理的情况下，处理单元110跟踪基于捕获图像和传感器信息而识别的目标，并跟踪基于捕获图像和传感器信息识别的目标。
控制单元104例如包括处理单元110，因此在执行根据本实施例的信息处理方法的处理中起主导作用。
注意，控制单元104的配置不限于图8所示的示例。例如，控制单元104可以根据划分根据本实施例的信息处理方法的处理的方法来配置。
利用图8所示的配置，例如，信息处理设备100执行根据本实施例的信息处理方法的处理(例如，(1)(目标跟踪处理)的处理、(2)(目标识别处理)的处理、以及(3)(目标跟踪处理和目标识别处理的组合)的处理中的任意处理)。因此，利用图8所示的配置，例如，信息处理设备100可以提高基于捕获图像跟踪目标的精度。
此外，例如，利用图8所示的配置，信息处理设备100可以实现通过执行如上所述的根据本实施例的信息处理方法的处理而获得的效果。
注意，根据本实施例的信息处理设备的配置不限于图8中所示的配置。
例如，在根据本实施例的信息处理设备中，图8所示的处理单元110可以与控制单元104分开设置(例如，由另一个处理电路实现)。
此外，用于实现根据本实施例的信息处理方法的处理的配置不限于图8所示的配置。能够采用与划分根据本实施例的信息处理方法的处理的方法相对应的配置。
此外，例如，在经由具有与通信单元102类似的功能和配置的外部通信装置与外部设备进行通信的情况下，根据本实施例的信息处理设备可以省略通信单元102。
[4]构成根据本实施例的信息处理系统的各个设备的应用示例
如上所述，虽然已经将信息处理设备描述为根据本实施例的信息处理系统的组成部分，但是本实施例不限于该模式。本实施例可以应用于能够执行根据本实施例的信息处理方法的处理的各种装置，例如，应用于诸如个人计算机(PC)或服务器的计算机、“平板型装置”、“比赛装置”、“诸如数码相机或数码摄像机的相机”等。此外，例如，本实施例也可以应用于可以包含在上述装置中的处理IC。
此外，例如，根据本实施例的信息处理设备可以应用于基于连接到网络(或装置之间的通信)的前提的处理系统，诸如云计算。例如，执行根据本实施例的信息处理方法的处理的处理系统的示例是“包括在处理系统中的一个设备执行根据本实施例的信息处理方法的处理的一部分，同时包括在处理系统中的另一设备执行除了所述根据本实施例的信息处理方法的处理的一部分之外的处理”。
此外，虽然已经将成像装置描述为根据本实施例的信息处理系统的组成部分，但是本实施例不限于该模式。本实施例可应用于具有成像功能的任意装置，例如，“诸如数码相机或数码摄像机的相机”、“能够利用智能手机、蜂窝电话等进行成像的通信装置”、“能够进行成像的平板装置”、“能够进行成像的游戏机”等。此外，如上所述，在根据本实施例的信息处理系统中，根据本实施例的信息处理设备可以用作成像装置。
此外，尽管已经将传感器描述为根据本实施例的信息处理系统的组成部分，但是本实施例不限于该模式。例如，本实施例可应用于具有感测目标的功能的任意装置，诸如“佩戴在用户身体上的各种可穿戴装置，诸如头戴式显示器、眼镜型装置、时钟型装置、手镯型装置”、“在使用中附着到物体上的装置，诸如标签”和“在使用中嵌入活体中的设备”。
(根据本实施例的程序)
通过计算机系统上的处理器等执行用于使计算机系统起根据本实施例的信息处理设备的作用的程序(例如，能够执行根据本实施例的信息处理方法的处理(诸如以下任意一种处理：上述(1)中的处理(目标跟踪处理)；上述(2)中的处理(目标识别处理)；以及上述(3)中的处理(目标跟踪处理和目标识别处理的组合)的程序)将能够提高基于捕获图像跟踪目标的精度。这里，根据本实施例的计算机系统可以是单个计算机或多个计算机。根据本实施例的计算机系统执行根据本实施例的信息处理方法的一系列处理。
此外，通过由计算机系统中的处理器等执行用于使计算机系统起根据本实施例的信息处理设备的作用的程序，能够实现通过根据本实施例的信息处理方法的处理实现的效果。
在上文中，已经参考附图在上面描述了本公开的优选实施例，而本公开的技术范围不限于上述示例。本公开的技术领域的技术人员可以发现在所附权利要求的技术范围内进行各种改变和修改是可理解的，并且应该理解，它们将自然地落入本公开的技术范围内。
例如，以上包括用于使计算机系统起根据本实施例的信息处理设备的作用的程序(计算机程序)的描述。本实施例还提供了存储上述程序的记录介质。
上述配置仅是本实施例的示例，并且自然落入本公开的技术范围内。
另外，本说明书中描述的效果仅是说明性或示例性的，而不是限制性的。也就是说，根据本公开的技术可以展示从本说明书的描述对于本领域技术人员显然的其他效果连同上述效果或代替上述效果。
注意，以下配置也应在本公开的技术范围内。
(1)一种信息处理设备，包括：处理单元，所述处理单元基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来跟踪目标。
(2)根据(1)所述的信息处理设备，其中，所述处理单元检测附加有识别信息的目标的轨迹，以跟踪所述目标。
(3)根据(1)或(2)所述的信息处理设备，
其中，所述处理单元：
基于所述捕获图像跟踪所述目标，以及
在不能基于所述捕获图像执行跟踪的情况下，基于所述传感器信息跟踪所述目标。
(4)根据(3)所述的信息处理设备，其中，在所述目标进入不能基于所述捕获图像确定附加给所述目标的识别信息的非确定状态之后，所述处理单元基于所述传感器信息向所述目标重新附加识别信息，并跟踪所述目标。
(5)根据(4)所述的信息处理设备，其中，在附加有识别信息的所述目标与另一个目标之间的距离是设定阈值或更小的情况下，或者在所述距离小于阈值的情况下，所述处理单元判断为处于非确定状态。
(6)根据(5)所述的信息处理设备，其中，在被判断为处于非确定状态之后所述距离大于所述阈值的情况下，或者在被判断为处于非确定状态之后所述距离是所述阈值或者更大的情况下，所述处理单元基于所述传感器信息向所述目标重新附加识别信息。
(7)根据(3)至(6)中任一项所述的信息处理设备，其中，在处于不能基于所述捕获图像检测到所述目标的非检测状态的情况下，所述处理单元基于所述传感器信息对所述目标的轨迹进行内插，以跟踪所述目标。
(8)根据(1)至(7)中任一项所述的信息处理设备，其中，所述处理单元基于所述捕获图像和所述传感器信息来识别所述目标。
(9)根据(8)所述的信息处理设备，其中，所述处理单元将基于所述捕获图像检测到的事件与基于所述传感器信息检测到的事件相关联，以识别所述目标。
(10)根据(1)至(9)中任一项所述的信息处理设备，其中，所述传感器是感测所述目标的位置或所述目标的移动的传感器。
(11)根据(10)所述的信息处理设备，其中，所述传感器是位置传感器或惯性传感器。
(12)一种信息处理设备，包括：处理单元，所述处理单元基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来识别所述目标。
(13)一种由信息处理设备执行的信息处理方法，所述方法包括基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来跟踪所述目标的步骤。
(14)根据(13)所述的信息处理方法，
其中，在跟踪步骤中：
基于所述捕获图像跟踪所述目标，以及
在不能基于所述捕获图像执行跟踪的情况下，基于所述传感器信息跟踪所述目标。
(15)一种由信息处理设备执行的信息处理方法，所述方法包括基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来识别所述目标的步骤。
(16)根据(15)所述的信息处理方法，其中，在识别步骤中，将基于所述捕获图像检测到的事件与基于所述传感器信息检测到的事件相关联，以识别所述目标。
(17)一种信息处理系统，包括：
成像装置；
感测目标的传感器；以及
信息处理设备，包括处理单元，所述处理单元基于已经由成像装置捕获的捕获图像和通过来自传感器的通信获得的传感器信息来跟踪所述目标。
附图标记列表
100 信息处理设备
102 通信单元
104 控制单元
110 处理单元
200 成像装置
300 传感器
400 网络
1000 信息处理系统

Claims (17)

1.一种信息处理设备，包括：处理单元，所述处理单元基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来跟踪目标。
2.根据权利要求1所述的信息处理设备，其中，所述处理单元检测附加有识别信息的目标的轨迹，以跟踪所述目标。
3.根据权利要求1所述的信息处理设备，
其中，所述处理单元：
基于所述捕获图像跟踪所述目标，以及
在不能基于所述捕获图像执行跟踪的情况下，基于所述传感器信息跟踪所述目标。
4.根据权利要求3所述的信息处理设备，其中，在所述目标进入不能基于所述捕获图像确定附加给所述目标的识别信息的非确定状态之后，所述处理单元基于所述传感器信息向所述目标重新附加识别信息，并跟踪所述目标。
5.根据权利要求4所述的信息处理设备，其中，在附加有识别信息的所述目标与另一个目标之间的距离是设定阈值或更小的情况下，或者在所述距离小于阈值的情况下，所述处理单元判断为处于非确定状态。
6.根据权利要求5所述的信息处理设备，其中，在被判断为处于非确定状态之后所述距离大于所述阈值的情况下，或者在被判断为处于非确定状态之后所述距离是所述阈值或者更大的情况下，所述处理单元基于所述传感器信息向所述目标重新附加识别信息。
7.根据权利要求3所述的信息处理设备，其中，在处于不能基于所述捕获图像检测到所述目标的非检测状态的情况下，所述处理单元基于所述传感器信息对所述目标的轨迹进行内插，以跟踪所述目标。
8.根据权利要求1所述的信息处理设备，其中，所述处理单元基于所述捕获图像和所述传感器信息来识别所述目标。
9.根据权利要求8所述的信息处理设备，其中，所述处理单元将基于所述捕获图像检测到的事件与基于所述传感器信息检测到的事件相关联，以识别所述目标。
10.根据权利要求1所述的信息处理设备，其中，所述传感器是感测所述目标的位置或所述目标的移动的传感器。
11.根据权利要求10所述的信息处理设备，其中，所述传感器是位置传感器或惯性传感器。
12.一种信息处理设备，包括：处理单元，所述处理单元基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来识别所述目标。
13.一种由信息处理设备执行的信息处理方法，所述方法包括基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来跟踪所述目标的步骤。
14.根据权利要求13所述的信息处理方法，
其中，在跟踪步骤中：
基于所述捕获图像跟踪所述目标，以及
在不能基于所述捕获图像执行跟踪的情况下，基于所述传感器信息跟踪所述目标。
15.一种由信息处理设备执行的信息处理方法，所述方法包括基于已经由成像装置捕获的捕获图像以及通过来自感测目标的传感器的通信而获得的传感器信息来识别所述目标的步骤。
16.根据权利要求15所述的信息处理方法，其中，在识别步骤中，将基于所述捕获图像检测到的事件与基于所述传感器信息检测到的事件相关联，以识别所述目标。
17.一种信息处理系统，包括：
成像装置；
感测目标的传感器；以及
信息处理设备，包括处理单元，所述处理单元基于已经由成像装置捕获的捕获图像和通过来自传感器的通信获得的传感器信息来跟踪所述目标。
CN201780083243.8A 2017-01-20 2017-11-07 信息处理设备、信息处理方法以及信息处理系统 Pending CN110169045A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-008081 2017-01-20
JP2017008081 2017-01-20
PCT/JP2017/040054 WO2018135095A1 (ja) 2017-01-20 2017-11-07 情報処理装置、情報処理方法、および情報処理システム

Publications (1)

Publication Number Publication Date
CN110169045A true CN110169045A (zh) 2019-08-23

Family

ID=62908342

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780083243.8A Pending CN110169045A (zh) 2017-01-20 2017-11-07 信息处理设备、信息处理方法以及信息处理系统

Country Status (5)

Country Link
US (1) US11721026B2 (zh)
EP (1) EP3573326A4 (zh)
JP (1) JP7036036B2 (zh)
CN (1) CN110169045A (zh)
WO (1) WO2018135095A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7183920B2 (ja) * 2019-04-01 2022-12-06 株式会社Ｊｖｃケンウッド 自動追尾カメラの制御装置、自動追尾カメラ、自動追尾カメラの制御方法。
JP7560015B2 (ja) 2020-12-11 2024-10-02 エヌ・ティ・ティ・コミュニケーションズ株式会社 物体認識装置、物体認識方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681549A (zh) * 2008-03-11 2010-03-24 松下电器产业株式会社 标签传感器系统、传感器装置、物体位置推测装置及物体位置推测方法
US20110135149A1 (en) * 2009-12-09 2011-06-09 Pvi Virtual Media Services, Llc Systems and Methods for Tracking Objects Under Occlusion
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
CN106054174A (zh) * 2015-04-06 2016-10-26 通用汽车环球科技运作有限责任公司 使用雷达和摄像机用于横越交通应用的融合方法
JP2016186740A (ja) * 2015-03-27 2016-10-27 Kddi株式会社 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10276351A (ja) 1997-03-31 1998-10-13 Mitsubishi Electric Corp スポーツ競技表示装置
US8660368B2 (en) * 2011-03-16 2014-02-25 International Business Machines Corporation Anomalous pattern discovery
US9188676B2 (en) * 2012-08-15 2015-11-17 Digital Signal Corporation System and method for detecting a face contour using a three-dimensional measurement system
US20150120543A1 (en) * 2014-05-30 2015-04-30 Kenneth Carnesi, SR. EyeWatch ATM and Wire Transfer Fraud Prevention System
WO2016104831A1 (ko) * 2014-12-24 2016-06-30 전자부품연구원 저사양 영상 기기에서의 실시간 영상 인식 방법
JP6755713B2 (ja) * 2016-05-25 2020-09-16 キヤノン株式会社 追尾装置、追尾方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681549A (zh) * 2008-03-11 2010-03-24 松下电器产业株式会社 标签传感器系统、传感器装置、物体位置推测装置及物体位置推测方法
US20110135149A1 (en) * 2009-12-09 2011-06-09 Pvi Virtual Media Services, Llc Systems and Methods for Tracking Objects Under Occlusion
CN102508246A (zh) * 2011-10-13 2012-06-20 吉林大学 车辆前方障碍物检测跟踪方法
JP2016186740A (ja) * 2015-03-27 2016-10-27 Kddi株式会社 動線の部分削除処理を利用して物体を識別する物体追跡装置、プログラム及び方法
CN106054174A (zh) * 2015-04-06 2016-10-26 通用汽车环球科技运作有限责任公司 使用雷达和摄像机用于横越交通应用的融合方法

Also Published As

Publication number Publication date
JPWO2018135095A1 (ja) 2019-11-07
EP3573326A1 (en) 2019-11-27
US20190340769A1 (en) 2019-11-07
WO2018135095A1 (ja) 2018-07-26
EP3573326A4 (en) 2019-11-27
US11721026B2 (en) 2023-08-08
JP7036036B2 (ja) 2022-03-15

Similar Documents

Publication Publication Date Title
US11348255B2 (en) Techniques for object tracking
RU2629551C2 (ru) Определение скорости многомерного перемещения в глобальной системе координат
US11113515B2 (en) Information processing device and information processing method
AU2018304949B2 (en) Event detection in sports
CN109829933A (zh) 影像目标追踪方法及装置
CN108370412B (zh) 控制装置、控制方法和记录介质
CN107273857B (zh) 运动动作的识别方法及装置、电子设备
US20200279503A1 (en) Advancing Predicted Feedback for Improved Motor Control
CN111097155B (zh) 用于测定球的旋转的方法、系统及存储介质
US11460912B2 (en) System and method related to data fusing
CN110169045A (zh) 信息处理设备、信息处理方法以及信息处理系统
CN111093781A (zh) 将传感器数据与视频对齐
JP7118253B2 (ja) スポーツ試合における試合シナリオを決定するためのシステム
WO2017056356A1 (en) Information processing apparatus, information processing method, and program
JP6772593B2 (ja) 移動体識別装置、移動体識別システム、移動体識別方法及びプログラム
CN110226324B (zh) 信息处理设备和信息处理方法
TWI737068B (zh) 動作追蹤系統和方法
SE543581C2 (en) System for analyzing movement in sport
CN113029190A (zh) 运动跟踪系统和方法
CN114745010A (zh) 相关于运动跟踪的系统和方法
EP2894603A1 (en) Sports system and method
EP3832435A1 (en) Motion tracking system and method
EP4016253A1 (en) System and method related to data fusing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190823

RJ01 Rejection of invention patent application after publication