[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7525990B2 - 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム - Google Patents

主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム Download PDF

Info

Publication number
JP7525990B2
JP7525990B2 JP2019196616A JP2019196616A JP7525990B2 JP 7525990 B2 JP7525990 B2 JP 7525990B2 JP 2019196616 A JP2019196616 A JP 2019196616A JP 2019196616 A JP2019196616 A JP 2019196616A JP 7525990 B2 JP7525990 B2 JP 7525990B2
Authority
JP
Japan
Prior art keywords
main subject
subjects
image
subject
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019196616A
Other languages
English (en)
Other versions
JP2021071794A (ja
JP2021071794A5 (ja
Inventor
知宏 西山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019196616A priority Critical patent/JP7525990B2/ja
Priority to US17/080,445 priority patent/US11394870B2/en
Publication of JP2021071794A publication Critical patent/JP2021071794A/ja
Priority to US17/846,710 priority patent/US20220321792A1/en
Publication of JP2021071794A5 publication Critical patent/JP2021071794A5/ja
Application granted granted Critical
Publication of JP7525990B2 publication Critical patent/JP7525990B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/675—Focus control based on electronic image sensor signals comprising setting of focusing regions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Description

本発明は、主被写体判定装置、撮像装置、主被写体判定方法、及びプログラムに関する。
従来から、デジタルカメラ等の撮像装置において、画像から被写体を検出しＡｕｔｏ Ｆｏｃｕｓ（ＡＦ）などの撮像制御を行う様々な技術が提案されている。被写体検出に基づくＡＦ機能は、測距領域の選択を自動化することで、ユーザの撮影をサポートすることができる。
特許文献１には、人物の顔をパターンマッチングにより検出し、ピント位置を合わせながら追尾する技術が開示されている。また、複数の人物を対象とした動作認識技術として、特許文献２には、移動距離などの人物軌跡の特徴量が特定の条件を満たす被写体を検出して追尾する技術が開示されている。
特開２０１２－７０２２２号公報 特開２０１１－１００１７５号公報
しかしながら、従来の技術では、複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を判定することができない。
本発明はこのような状況に鑑みてなされたものであり、複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を判定する技術を提供することを目的とする。
上記課題を解決するために、本発明は、第１の画像から複数の被写体を検出する被写体検出手段と、前記複数の被写体それぞれの複数の関節の位置を取得することによって、各被写体の姿勢情報を取得する取得手段と、前記複数の被写体それぞれについて、前記被写体の前記姿勢情報に基づいて前記被写体が前記第１の画像の主被写体である可能性の度合いに対応する信頼度を算出する算出手段と、前記複数の被写体について算出された複数の前記信頼度に基づいて、前記複数の被写体の中から前記第１の画像の主被写体を判定する判定手段と、を備え、前記算出手段は、事前に行われた機械学習の結果に基づいて前記信頼度を算出することを特徴とする主被写体判定装置を提供する。
本発明によれば、複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を判定することが可能となる。
なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
主被写体判定装置を含む撮像装置１００の構成を示すブロック図。 第１の実施形態に係る画像処理部１５２の詳細な構成の一部を示すブロック図。 第１の実施形態に係る主被写体判定処理のフローチャート。 姿勢取得部２０３及び物体検出部２０４が取得する情報の概念図。 ニューラルネットワークの構造の一例を示す図。 第２の実施形態に係る画像処理部１５２の詳細な構成の一部を示すブロック図。 第２の実施形態に係る、図３のＳ３０６の処理の詳細を示すフローチャート。 第３の実施形態に係る主被写体判定処理のフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
［第１の実施形態］
＜＜撮像装置１００の全体構成＞＞
図１は、主被写体判定装置を含む撮像装置１００の構成を示すブロック図である。撮像装置１００は、被写体を撮影して、動画や静止画のデータをテープや固体メモリ、光ディスクや磁気ディスクなどの各種メディアに記録するデジタルスチルカメラやビデオカメラなどであるが、これらに限定されるものではない。以下では、被写体が人物である場合を例に説明を行う。また、主被写体は、ユーザが意図した撮像制御の対象となる被写体を表すものとする。なお、図１に示した構成は、撮像装置１００の構成の一例に過ぎない。
撮像装置１００内の各ユニットは、バス１６０を介して接続されている。また各ユニットは、主制御部１５１により制御される。
レンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、及び、フォーカスレンズ１３１を備える。絞り制御部１０５は、主制御部１５１の指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定する。加えてフォーカス制御部１３３は、フォーカスモータ１３２（ＦＭ）を介してフォーカスレンズ１３１を駆動することにより、焦点調節状態を制御する。フォーカス制御部１３３及びフォーカスモータ１３２によるフォーカスレンズ１３１の移動制御により、ＡＦ制御が実現される。フォーカスレンズ１３１は、焦点調節用レンズであり、図１には単レンズで簡略的に示されているが、通常複数のレンズで構成される。
レンズユニット１０１を介して撮像素子１４１上に結像する被写体像は、撮像素子１４１により電気信号に変換される。撮像素子１４１は、被写体像（光学像）を電気信号に光電変換する光電変換素子である。撮像素子１４１には、横方向にｍ画素、縦方向にｎ画素の受光素子が配置されている。撮像素子１４１上に結像されて光電変換された画像は、撮像信号処理部１４２により画像信号（画像データ）として整えられる。これにより、撮像面の画像を取得することができる。
撮像信号処理部１４２から出力される画像データは、撮像制御部１４３に送られ、一時的にＲＡＭ１５４（ランダムアクセスメモリ）に蓄積される。ＲＡＭ１５４に蓄積された画像データは、画像圧縮解凍部１５３にて圧縮された後、画像記録媒体１５７に記録される。これと並行して、ＲＡＭ１５４に蓄積された画像データは、画像処理部１５２に送られる。
画像処理部１５２は、ＲＡＭ１５４に蓄積された画像データに対して予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理には、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理といった所謂現像処理のほか、信号形式変換処理、スケーリング処理などがあるが、これらに限定されない。また、画像処理部１５２は、被写体の姿勢情報（例えば、関節位置）やシーンに固有の物体（以下、固有物体と呼ぶ）の位置情報をもとに主被写体を判定する。画像処理部１５２は、判定処理の結果を他の画像処理（例えばホワイトバランス調整処理）に利用してもよい。画像処理部１５２は、処理した画像データ、各被写体の姿勢情報、固有物体の位置及び大きさの情報、主被写体の重心、顔、及び瞳の位置情報などをＲＡＭ１５４に保存する。
操作スイッチ１５６は、タッチパネルやボタンなどを含む入力インタフェースであり、表示部１５０に表示される種々の機能アイコンに対してユーザが選択操作を行うことなどにより、撮像装置１００に対する様々な操作が行える。
主制御部１５１は、例えばＣＰＵやＭＰＵなどのプログラマブルプロセッサを１つ以上有する。そして、主制御部１５１は、例えばフラッシュメモリ１５５に記憶されたプログラムをＲＡＭ１５４に読み込んで実行することにより撮像装置１００の各部を制御し、撮像装置１００の機能を実現する。主制御部１５１はまた、被写体輝度の情報に基づいて露出条件（シャッタースピード又は蓄積時間、絞り値、及び感度）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は、例えば画像処理部１５２から取得することができる。主制御部１５１は、例えば人物の顔など、特定被写体の領域を基準として露出条件を決定することもできる。
フォーカス制御部１３３は、ＲＡＭ１５４に保存された主被写体の位置に対するＡＦ制御を行う。絞り制御部１０５は、特定の被写体領域の輝度値を用いた露出制御を行う。
表示部１５０は、画像や主被写体の検出結果などを表示する。バッテリ１５９は、電源管理部１５８により適切に管理され、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５には、撮像装置１００の動作に必要な制御プログラムや、各部の動作に用いるパラメータ等が記録されている。ユーザの操作により撮像装置１００が起動すると（電源ＯＦＦ状態から電源ＯＮ状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラム及びパラメータがＲＡＭ１５４の一部に読み込まれる。主制御部１５１は、ＲＡＭ１５４にロードされた制御プログラム及び定数に従って撮像装置１００の動作を制御する。
＜＜主被写体判定処理＞＞
図２及び図３を参照して、画像処理部１５２が実行する主被写体判定処理について説明する。図２は、画像処理部１５２の詳細な構成の一部を示すブロック図である。図３は、主被写体判定処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、画像処理部１５２の各部が主制御部１５１の制御下で動作することにより実現される。以下では、複数人がプレーする球技を主被写体判定処理の対象の撮影シーンとして説明を行うが、本実施形態を適用可能な撮影シーンはこれに限らない。
Ｓ３０１で、画像取得部２０１は、撮像制御部１４３から、着目する時刻に撮像された画像を取得する。Ｓ３０２で、物体検出部２０４は、画像取得部２０１が取得した画像において固有物体（所定の種類の物体）を検出し、固有物体の画像中における２次元座標や大きさを取得する。検出すべき固有物体の種類は、画像の撮影シーンに基づいて決定される。ここでは、撮影シーンが球技であるので、物体検出部２０４は、固有物体としてボールを検出するものとする。
Ｓ３０３で、被写体検出部２０２は、画像取得部２０１が取得した画像において被写体（人物）を検出する。Ｓ３０４で、姿勢取得部２０３は、被写体検出部２０２で検出された複数の被写体それぞれに対して姿勢推定を行い、姿勢情報を取得する。取得すべき姿勢情報の内容については、被写体の種類に応じて決定される。ここでは、被写体が人物であるので、姿勢取得部２０３は、被写体として人物の複数の関節の位置を取得するものとする。
なお、物体検出及び姿勢推定の方法には、如何なる方法を用いてもよく、例えばそれぞれ以下の文献１及び２に記載の方法を用いることができる。
（文献１）
Redmon, Joseph, et al., "You only look once: Unified, real-time object detection.", Proceedings of the IEEE conference on computer vision and pattern recognition, 2016.
（文献２）
Cao, Zhe, et al., "Realtime multi-person 2d pose estimation using part affinity fields.", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2017.
図４は、姿勢取得部２０３及び物体検出部２０４が取得する情報の概念図である。図４（ａ）は、処理対象の画像を表しており、被写体４０１は、ボール４０３を蹴ろうとしている。被写体４０１は、撮影シーン中の重要な被写体である。本実施形態では、被写体の姿勢情報、及び固有物体の情報を用いることで、ユーザが撮像制御の対象として意図している可能性が高い主被写体を判定する。一方、被写体４０２は非主被写体である。ここで、非主被写体とは、主被写体以外の被写体を表すものとする。
図４（ｂ）は、被写体４０１及び４０２の姿勢情報、並びにボール４０３の位置及び大きさの例を表す図である。関節４１１は、被写体４０１の各関節を表しており、関節４１２は、被写体４０２の各関節を表している。図４（ｂ）では、関節として、頭頂部、首、肩、肘、手首、腰、膝、足首の位置を取得する例を示しているが、関節位置はこれらの一部でもよいし、別の位置を取得してもよい。また、関節位置だけではなく、関節同士を結ぶ軸などの情報を用いてもよく、被写体の姿勢を表す情報であれば、任意の情報を姿勢情報として用いることができる。以下では、姿勢情報として、関節位置を取得する場合について説明する。
姿勢取得部２０３は、関節４１１及び関節４１２の画像中における２次元座標（ｘ，ｙ）を取得する。ここで、（ｘ，ｙ）の単位はピクセルである。重心位置４１３は、ボール４０３の重心位置を表し、矢印４１４は、ボール４０３の画像中での大きさを表している。物体検出部２０４は、ボール４０３の重心位置の画像中における２次元座標（ｘ，ｙ）、及び、画像中におけるボール４０３の幅を示すピクセル数を取得する。
図３の説明に戻る。Ｓ３０５で、確率算出部２０５は、姿勢取得部２０３が推定した関節の座標、並びに、物体検出部２０４が取得した固有物体の座標及び大きさの少なくとも一方に基づき、各被写体に対して主被写体らしさを表す信頼度（確率）を算出する。確率の算出方法については後述する。本実施形態では、主被写体らしさを表す信頼度（被写体が処理対象画像の主被写体である可能性の度合いに対応する信頼度）として、被写体が処理対象画像の主被写体である確率を採用する場合について説明するが、確率以外の値を用いてもよい。例えば、信頼度として、被写体の重心位置と固有物体の重心位置との間の距離の逆数を用いることができる。
Ｓ３０６で、主被写体判定部２０６は、被写体検出部２０２が検出した被写体（人物）の中で、確率が最大の被写体を主被写体と判定する。そして、主被写体判定部２０６は、主被写体の関節の座標や、主被写体を表す代表的な座標（重心位置や、顔の位置など）をＲＡＭ１５４に格納する。これにより、主被写体判定処理が完了する。
上の説明では、単一フレームの姿勢情報を用いて主被写体を判定する場合について説明を行った。しかしながら、連続するフレームや動画を読み込み、時系列の姿勢情報を用いて確率を算出して主被写体を判定する構成を採用してもよい。時系列の姿勢情報を用いる場合は、各時刻における関節位置情報を用いてもよいし、ある時刻の関節位置情報と、関節や被写体の動きベクトルの情報とを組み合わせて用いてもよい。その他にも、時系列情報を表すものであれば、任意の情報を用いることができる。
＜＜確率の算出方法＞＞
確率算出部２０５において、各関節の座標、並びに固有物体の座標及び大きさに基づいて主被写体らしさを表す確率を算出する方法について説明する。以下では、機械学習の一手法であるニューラルネットワークを用いる場合について説明する。
図５は、ニューラルネットワークの構造の一例を示す図である。図５において、５０１は入力層、５０２は中間層、５０３は出力層、５０４はニューロン、５０５はニューロン５０４同士の接続関係を表す。ここでは、図示の都合上、代表的なニューロンと接続線にのみ番号を付与している。入力層５０１のニューロン５０４の数は、入力するデータの次元に等しく、出力層５０３のニューロンの数は２であるとする。これは、主被写体か否かを判定する２クラス分類の問題であることに対応している。
入力層５０１のｉ番目のニューロン５０４と、中間層５０２のｊ番目のニューロン５０４とを接続する線５０５には、重みｗｉｊが与えられており、中間層５０２におけるｊ番目のニューロン５０４が出力する値ｚｊは、以下の式で与えられる。
Figure 0007525990000001
式（１）において、ｘｉは入力層５０１のｉ番目のニューロン５０４に入力される値を表す。和は、ｊ番目のニューロンと接続されている、入力層５０１の全てのニューロン５０４に対してとるものとする。ｂｊはバイアスと呼ばれ、j番目のニューロン５０４の発火のしやすさをコントロールするパラメータである。また、式（２）で定義される関数ｈは、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔ）と呼ばれる活性化関数である。活性化関数としては、シグモイド関数など別の関数を用いることも可能である。
また、出力層５０３のｋ番目のニューロン５０４が出力する値ｙｋは、以下の式で与えられる。
Figure 0007525990000002
式（３）において、ｚｊは中間層５０２のｊ番目のニューロン５０４が出力する値を表し、ｉ,ｋ＝０,１である。０は非主被写体、１は主被写体に対応する。和は、ｋ番目のニューロンと接続されている、中間層５０２の全てのニューロンに対してとるものとする。また、式（４）で定義される関数ｆは、ソフトマックス関数と呼ばれ、ｋ番目のクラスに属する確率値を出力する。本実施形態では、ｆ（ｙ１）を主被写体らしさを表す確率として用いる。
学習時は、被写体の関節の座標と固有物体の座標及び大きさとを入力する。そして、出力される確率と正解ラベルとを用いる損失関数を最小化するように、全ての重みとバイアスの最適化を行う。ここで、正解ラベルとは、主被写体の場合には“１”、非主被写体の場合には“０”の２値をとるものとする。損失関数Ｌとしては、下記で表されるような二値クロスエントロピーを用いることができる。
Figure 0007525990000003
式（５）において、添え字のｍは学習対象の被写体のインデックスを表している。ｙｍは出力層５０３におけるｋ＝１のニューロン５０４から出力される確率値であり、ｔｍは正解ラベルである。損失関数は、式（５）の他にも、平均二乗誤差など、正解ラベルとの一致度を測れる関数であれば、何でもよい。式（５）に基づいて最適化することにより、正解ラベルと出力される確率値とが近づくように重みやバイアスを決定することができる。
学習済みの重みやバイアス値は、予めフラッシュメモリ１５５に保存しておき、必要に応じてＲＡＭ１５４に格納する。シーンに応じて複数種類の重みやバイアス値を用意しても構わない。確率算出部２０５は、学習済みの重みやバイアス（事前に行われた機械学習の結果）を用いて、式（１）～式（４）に基づいて確率値ｆ（ｙ１）を出力する。
なお、学習する際には、重要な行動に移る前の状態を主被写体の状態として学習することができる。例えば、ボールを蹴る場合であれば、ボールを蹴ろうとして、足を振り上げた状態を主被写体の状態の１つとして学習することができる。この構成を採用する理由は、実際に主被写体が重要な行動を起こした際に、的確に撮像装置１００の制御が実行されている必要があるためである。例えば、主被写体に対応する信頼度（確率値）が予め設定した閾値を超えた場合に、自動で画像や映像を記録する制御（記録制御）を開始することにより、ユーザは重要な瞬間を逃さず撮影することが可能になる。この際、学習対象の状態から、重要な行動までの典型的な時間の情報を撮像装置１００の制御に使用しても構わない。
以上、ニューラルネットワークを用いた確率の算出方法について説明したが、主被写体か否かのクラス分類ができれば、サポートベクタマシンや決定木など別の機械学習の手法を用いても構わない。また、機械学習に限らず、あるモデルに基づいて信頼度又は確率値を出力する関数を構築してもよい。図３の説明でも述べたように、被写体と固有物体との間の距離が近いほど、主被写体である信頼性が大きいと仮定し、被写体と固有物体との間の距離に対する単調減少関数の値を用いることも可能である。
なお、図３の説明においては、固有物体の情報も用いて主被写体の判定を行ったが、被写体の姿勢情報のみを用いて主被写体の判定を行うことも可能である。その他にも、関節位置や固有物体の位置や大きさに対して、線形変換など、所定の変換を施したデータを入力データとして用いてもよい。
以上説明したように、第１の実施形態によれば、撮像装置１００は、処理対象画像から検出された複数の被写体それぞれの姿勢情報を取得する。そして、撮像装置１００は、複数の被写体それぞれについて、姿勢情報に基づいて被写体が処理対象画像の主被写体である可能性の度合いに対応する信頼度を算出する。そして、撮像装置１００は、複数の被写体について算出された複数の信頼度に基づいて、複数の被写体の中から処理対象画像の主被写体を判定する。これにより、複数の被写体が存在する画像においてユーザの意図に沿う可能性の高い主被写体を判定することが可能となる。
［第２の実施形態］
第１の実施形態において、姿勢情報の取得に誤差がある場合や、欠損値があった場合には、正確に確率値が算出できず、確率値が低くなることが想定される。また、確率の最大値に近い確率を有する被写体が複数存在する場合も考えられる。このような場合に単純に確率が最大の被写体を主被写体と判定すると、判定精度が低下する可能性がある。
そこで、第２の実施形態では、確率値のみでは主被写体の高精度での判定が困難な場合に、別の手法を組み合わせることにより、主被写体の判定精度を向上させる構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。以下、主に第１の実施形態と異なる点について説明する。
図３、図６、及び図７を参照して、第２の実施形態に係る画像処理部１５２が実行する主被写体判定処理について説明する。図６は、第２の実施形態に係る画像処理部１５２の詳細な構成の一部を示すブロック図である。第２の実施形態に係る主被写体判定処理は、図３のＳ３０６の処理を除いて、第１の実施形態と同様である。図７は、第２の実施形態に係る、図３のＳ３０６の処理の詳細を示すフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、画像処理部１５２の各部が主制御部１５１の制御下で動作することにより実現される。
Ｓ７０１で、主被写体判定部２０６は、予め定められた閾値Ｔｈ１を用いて、確率が閾値Ｔｈ１を超える被写体が存在するか否かを判定する。閾値Ｔｈ１としては、例えば０．７を設定することができる。確率が閾値Ｔｈ１を超える被写体が存在する場合、処理はＳ７０２に進み、そうでない場合、処理はＳ７０５に進む。
Ｓ７０２で、主被写体判定部２０６は、確率の最大値を取得し、これをＭとする。Ｓ７０３で、主被写体判定部２０６は、Ｍとの差の絶対値が閾値Ｔｈ２未満（第２の閾値未満）である確率を持つ被写体が２人以上存在するか否かを判定する。閾値Ｔｈ２としては、例えば０．０５を設定することができる。Ｍとの差の絶対値が閾値Ｔｈ２未満になる確率を持つ被写体が２人以上存在する場合（最大値Ｍとの差の絶対値が閾値Ｔｈ２未満である信頼度が複数存在する場合）、処理はＳ７０５に進む。そうでない場合（そのような被写体が１人しか存在しない場合）、処理はＳ７０４に進む。なお、ここでは、信頼度（確率）として最大値Ｍを持つ被写体についても「Ｍとの差の絶対値が閾値Ｔｈ２未満になる確率を持つ被写体」として扱う。
Ｓ７０４で、主被写体判定部２０６は、確率値としてＭを持つ被写体を主被写体として判定する。
Ｓ７０１又はＳ７０３からＳ７０５へ処理が移行した場合について説明する。Ｓ７０５で、位置予測部６０１は、ＲＡＭ１５４から、着目フレーム（処理対象画像）の１フレーム前と２フレーム前の主被写体の位置Ｐ１、Ｐ２を読みこみ、着目フレームにおける主被写体の位置を予測する。ここで、Ｐ１、Ｐ２は画像上の座標ベクトルを表し、関節位置情報から算出した被写体を代表する位置が格納されているものとする。ここでは重心位置を代表位置とするが、他の値を用いてもよい。主被写体が等速運動をしていると仮定した場合、予測位置は下記の式で算出することができる。

Ｐ＝Ｐ１＋（Ｐ１－Ｐ２） ・・・（６）

式（６）を用いる方法以外にも、例えば、複数の過去のフレーム（処理対象画像の前に撮影された複数の画像）の主被写体情報を読みこみ、加速度などを考慮して予測する方法を用いてもよい。
Ｓ７０６で、主被写体判定部２０６は、位置予測部６０１が算出した主被写体の予測位置に基づいて、主被写体を判定する。例えば、主被写体判定部２０６は、着目フレームにおいて位置予測部６０１が算出した予測位置に重心位置が最も近い被写体を主被写体として判定する。
なお、閾値Ｔｈ１、Ｔｈ２の値を、撮像装置１００に設定されている撮影モードの種類に応じて切り替えてもよい。これにより、より安定して同一被写体を追尾したいか、主被写体の可能性が少しでも高い被写体に切り替えて追尾したいかに関する、ユーザの意思を反映することが可能である。例えば、閾値Ｔｈ１又はＴｈ２の値を大きくすることで、式（６）による予測位置に基づいて主被写体が選択されやすくなるため、同一被写体を追尾する傾向が強くなる。一方で、閾値Ｔｈ１及びＴｈ２の値を小さくすることにより、確率が最大の被写体が選択されやすくなるため、主被写体の確率が少しでも高い被写体に切り替えて追尾する傾向が強くなる。
また、図７の例では、Ｓ７０６において予測位置を用いて主被写体を判定する構成について説明したが、画面中央（処理対象画像の中心）に最も近い被写体を選択するなど、別の判定基準を用いてもよい。また、被写体の服の色など別の情報を用いて判定を行っても構わない。
以上説明したように、第２の実施形態によれば、撮像装置１００は、信頼度が閾値Ｔｈ１を超える被写体が存在しない場合、又は、最大の信頼度との差の絶対値が閾値Ｔｈ２未満である信頼度が複数存在する場合には、処理対象画像における主被写体の予測位置に基づいて、主被写体を判定する。これにより、主被写体の判定精度を向上させることが可能となる。
［第３の実施形態］
第３の実施形態では、処理の高速化のため、処理の対象領域を限定して主被写体を判定する構成について説明する。第３の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である（図１参照）。また、画像処理部１５２の基本的な構成については、第１の実施形態と同様であってもよいし、第２の実施形態と同様であってもよい（図２及び図６参照）。以下、主に第１及び第２の実施形態と異なる点について説明する。
図８は、第３の実施形態に係る主被写体判定処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、画像処理部１５２の各部が主制御部１５１の制御下で動作することにより実現される。
Ｓ８０１で、画像処理部１５２は、物体検出部２０４が検出した固有物体の位置に基づいて、処理の対象領域（主被写体の判定対象領域）を設定（限定）する。判定対象領域としては、例えば固有物体の位置を中心とした正方形領域をとることができる。正方形の大きさは、画像上で数人の被写体を含む大きさであれば、どのように決めてもよい。
Ｓ３０３以降の処理は、第１の実施形態又は第２の実施形態と同様であるが、画像全体ではなく判定対象領域として設定された領域に含まれる被写体に対して処理が行われる。これにより、主被写体判定処理の処理負荷が軽減される。
なお、判定対象領域外の被写体に対してＳ３０３以降の処理の一部を行う構成が本実施形態から除外される訳ではない。換言すると、本実施形態では、少なくとも判定対象領域に含まれる「複数の被写体」がＳ３０３以降の処理対象として扱われ、最終的に判定対象領域に含まれる「複数の被写体」の中から主被写体が判定される。そして、判定対象領域外の被写体に対する追加的な処理については特に制限されない。例えば、Ｓ３０３では画像全体から被写体を検出する処理を行い、検出された全ての被写体のうちの判定対象領域に含まれる複数の被写体をＳ３０４以降の処理の対象とする構成を採用してもよい。この場合であっても、主被写体判定処理の処理負荷はある程度軽減される。
また、本実施形態では、Ｓ８０１の処理の代わりに、主被写体の予測位置に基づいて判定対象領域を設定する構成を採用してもよい。主被写体の予測位置の判定方法としては、第２の実施形態において図７のＳ７０５を参照して説明した方法を用いることができる。
以上説明したように、第３の実施形態によれば、撮像装置１００は、固有物体の位置又は主被写体の予測位置に基づいて主被写体の判定対象領域を設定する。これにより、主被写体判定処理の処理負荷を軽減することができる。
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
１００…撮像装置、１４１…撮像素子、１５１…主制御部、１５２…画像処理部、２０１…画像取得部、２０２…被写体検出部、２０３…姿勢取得部、２０４…物体検出部、２０５…確率算出部、２０６…主被写体判定部

Claims (19)

  1. 第１の画像から複数の被写体を検出する被写体検出手段と、
    前記複数の被写体それぞれの複数の関節の位置を取得することによって、各被写体の姿勢情報を取得する取得手段と、
    前記複数の被写体それぞれについて、前記被写体の前記姿勢情報に基づいて前記被写体が前記第１の画像の主被写体である可能性の度合いに対応する信頼度を算出する算出手段と、
    前記複数の被写体について算出された複数の前記信頼度に基づいて、前記複数の被写体の中から前記第１の画像の主被写体を判定する判定手段と、
    を備え、
    前記算出手段は、事前に行われた機械学習の結果に基づいて前記信頼度を算出する
    ことを特徴とする主被写体判定装置。
  2. 前記被写体検出手段は、前記複数の被写体として複数の人物を検出し、
    前記取得手段は、前記複数の被写体それぞれの前記姿勢情報として、前記人物の複数の関節の位置を取得する
    ことを特徴とする請求項１に記載の主被写体判定装置。
  3. 前記第１の画像から、前記複数の被写体とは異なる所定の種類の物体を検出する物体検出手段を更に備え、
    前記算出手段は、前記複数の被写体それぞれについて、前記被写体の前記姿勢情報と前記物体の位置及び大きさの少なくとも一方とに基づいて前記信頼度を算出する
    ことを特徴とする請求項１又は２に記載の主被写体判定装置。
  4. 前記物体検出手段は、前記所定の種類の物体として、前記第１の画像の撮影シーンに基づいて決定される種類の物体を検出する
    ことを特徴とする請求項３に記載の主被写体判定装置。
  5. 前記物体の位置に基づいて、前記第１の画像における主被写体の判定対象領域を設定する設定手段を更に備え、
    前記複数の被写体は、前記判定対象領域に含まれる被写体である
    ことを特徴とする請求項３又は４に記載の主被写体判定装置。
  6. 前記第１の画像より時系列が前の複数の画像の主被写体の位置に基づいて、前記第１の画像における主被写体の位置を予測する予測手段と、
    前記予測された位置に基づいて、前記第１の画像における主被写体の判定対象領域を設定する設定手段と、
    を更に備え、
    前記複数の被写体は、前記判定対象領域に含まれる被写体である
    ことを特徴とする請求項１乃至４のいずれか１項に記載の主被写体判定装置。
  7. 前記第１の画像より時系列が前の複数の画像における主被写体の位置に基づいて、前記第１の画像における主被写体の位置を予測する予測手段を更に備え、
    前記判定手段は、前記複数の被写体の中に第１の閾値を超える信頼度を持つ被写体が存在するか否かを判定し、
    前記複数の被写体の中に前記第１の閾値を超える信頼度を持つ被写体が存在しない場合、前記判定手段は、前記予測された位置に基づいて前記第１の画像の主被写体を判定する
    ことを特徴とする請求項１乃至５のいずれか１項に記載の主被写体判定装置。
  8. 前記判定手段は、前記第１の画像の主被写体の情報を利用する撮像装置に設定されている撮影モードの種類に応じて、前記第１の閾値を変更する
    ことを特徴とする請求項７に記載の主被写体判定装置。
  9. 前記第１の画像より時系列が前の複数の画像における主被写体の位置に基づいて、前記第１の画像における主被写体の位置を予測する予測手段を更に備え、
    前記判定手段は、前記複数の前記信頼度の最大値を取得し、前記複数の前記信頼度の中に前記最大値との差の絶対値が第２の閾値未満である信頼度が複数存在するか否かを判定し、
    前記複数の前記信頼度の中に前記最大値との差の絶対値が前記第２の閾値未満である信頼度が複数存在する場合、前記判定手段は、前記予測された位置に基づいて前記第１の画像の主被写体を判定する
    ことを特徴とする請求項１乃至５のいずれか１項に記載の主被写体判定装置。
  10. 前記判定手段は、前記複数の前記信頼度の最大値を取得し、前記複数の前記信頼度の中に前記最大値との差の絶対値が第２の閾値未満である信頼度が複数存在するか否かを判定し、
    前記複数の前記信頼度の中に前記最大値との差の絶対値が前記第２の閾値未満である信頼度が複数存在する場合、前記判定手段は、前記最大値との差の絶対値が前記第２の閾値未満である信頼度を持つ被写体のうち、前記複数の被写体のうち前記第１の画像の中心に最も近い被写体を、前記第１の画像の主被写体として判定する
    ことを特徴とする請求項１乃至５のいずれか１項に記載の主被写体判定装置。
  11. 前記判定手段は、前記第１の画像の主被写体の情報を利用する撮像装置に設定されている撮影モードの種類に応じて、前記第２の閾値を変更する
    ことを特徴とする請求項９又は１０に記載の主被写体判定装置。
  12. 前記信頼度は、前記被写体が前記第１の画像の主被写体である確率を示す
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の主被写体判定装置。
  13. 前記判定手段は、前記複数の前記信頼度に基づいて、前記複数の被写体のうち前記第１の画像の主被写体である可能性が最も高い被写体を前記第１の画像の主被写体として判定する
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の主被写体判定装置。
  14. 第１の画像から複数の被写体を検出する被写体検出手段と、
    前記複数の被写体それぞれの複数の関節の位置を取得することによって、各被写体の姿勢情報を取得する取得手段と、
    前記取得手段にて取得された前記複数の被写体それぞれの前記姿勢情報に基づいて、前記複数の被写体の中から前記第１の画像の主被写体を判定する判定手段と、
    前記第１の画像より時系列が前の複数の画像の主被写体の位置に基づいて、前記第１の画像における主被写体の位置を予測する予測手段と、
    前記予測された位置に基づいて、前記第１の画像における主被写体の判定対象領域を設定する設定手段と、
    を備え、
    前記複数の被写体は、前記判定対象領域に含まれる被写体である
    ことを特徴とする主被写体判定装置。
  15. 請求項１乃至１４のいずれか１項に記載の主被写体判定装置と、
    撮像手段と、
    を備え、
    前記第１の画像は、前記撮像手段により撮像された画像である
    ことを特徴とする撮像装置。
  16. 前記判定手段により判定された前記第１の画像の主被写体の情報に基づいて撮像制御を行う撮像制御手段を更に備える
    ことを特徴とする請求項１５に記載の撮像装置。
  17. 主被写体判定装置が実行する主被写体判定方法であって、
    第１の画像から複数の被写体を検出する被写体検出工程と、
    前記複数の被写体それぞれの複数の関節の位置を取得することによって、各被写体の姿勢情報を取得する取得工程と、
    前記複数の被写体それぞれについて、前記被写体の前記姿勢情報に基づいて前記被写体が前記第１の画像の主被写体である可能性の度合いに対応する信頼度を算出する算出工程と、
    前記複数の被写体について算出された複数の前記信頼度に基づいて、前記複数の被写体の中から前記第１の画像の主被写体を判定する判定工程と、
    を備え、
    前記算出工程では、事前に行われた機械学習の結果に基づいて前記信頼度を算出する
    ことを特徴とする主被写体判定方法。
  18. 主被写体判定装置が実行する主被写体判定方法であって、
    第１の画像から複数の被写体を検出する被写体検出工程と、
    前記複数の被写体それぞれの複数の関節の位置を取得することによって、各被写体の姿勢情報を取得する取得工程と、
    前記取得工程にて取得された前記複数の被写体それぞれの前記姿勢情報に基づいて、前記複数の被写体の中から前記第１の画像の主被写体を判定する判定工程と、
    前記第１の画像より時系列が前の複数の画像の主被写体の位置に基づいて、前記第１の画像における主被写体の位置を予測する予測工程と、
    前記予測された位置に基づいて、前記第１の画像における主被写体の判定対象領域を設定する設定工程と、
    を備え、
    前記複数の被写体は、前記判定対象領域に含まれる被写体である
    ことを特徴とする主被写体判定方法。
  19. コンピュータを、請求項１乃至１４のいずれか１項に記載の主被写体判定装置の各手段として機能させるためのプログラム。
JP2019196616A 2019-10-29 2019-10-29 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム Active JP7525990B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019196616A JP7525990B2 (ja) 2019-10-29 2019-10-29 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
US17/080,445 US11394870B2 (en) 2019-10-29 2020-10-26 Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium
US17/846,710 US20220321792A1 (en) 2019-10-29 2022-06-22 Main subject determining apparatus, image capturing apparatus, main subject determining method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019196616A JP7525990B2 (ja) 2019-10-29 2019-10-29 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム

Publications (3)

Publication Number Publication Date
JP2021071794A JP2021071794A (ja) 2021-05-06
JP2021071794A5 JP2021071794A5 (ja) 2022-11-08
JP7525990B2 true JP7525990B2 (ja) 2024-07-31

Family

ID=75586505

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019196616A Active JP7525990B2 (ja) 2019-10-29 2019-10-29 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム

Country Status (2)

Country Link
US (2) US11394870B2 (ja)
JP (1) JP7525990B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7444604B2 (ja) * 2019-12-26 2024-03-06 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
EP4096209B1 (en) * 2020-01-24 2024-09-18 Sony Group Corporation Information processing device, information processing method, and information processing program
JP7566586B2 (ja) * 2020-10-30 2024-10-15 株式会社東芝 推定装置、推定システム、推定方法及びプログラム
US11394865B1 (en) * 2021-06-28 2022-07-19 Western Digital Technologies, Inc. Low-power, fast-response machine learning autofocus enhancements
JP2023084461A (ja) * 2021-12-07 2023-06-19 キヤノン株式会社 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076149A (ja) 1999-09-06 2001-03-23 Fuji Photo Film Co Ltd 主要被写体抽出方法および装置
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
JP2016046642A (ja) 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
WO2019012817A1 (ja) 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
JP2019106631A (ja) 2017-12-12 2019-06-27 セコム株式会社 画像監視装置
WO2020178876A1 (en) 2019-03-01 2020-09-10 Nec Corporation Image forming apparatus, determination apparatus, image forming method, and non-transitory computer readable medium storing image forming program

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7130454B1 (en) * 1998-07-20 2006-10-31 Viisage Technology, Inc. Real-time facial recognition and verification system
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
JP4665780B2 (ja) * 2006-01-30 2011-04-06 ソニー株式会社 顔重要度判定装置、方法、および撮像装置
US8073190B2 (en) * 2007-11-16 2011-12-06 Sportvision, Inc. 3D textured objects for virtual viewpoint animations
US8085982B1 (en) * 2008-06-20 2011-12-27 Google Inc. Object tracking in video with visual constraints
JP5285575B2 (ja) 2009-11-04 2013-09-11 日本放送協会 人物行動判定装置及びそのプログラム
JP5757063B2 (ja) * 2010-03-29 2015-07-29 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP2012070222A (ja) 2010-09-24 2012-04-05 Nec Casio Mobile Communications Ltd 撮像装置、撮像方法、及び撮像プログラム
JP6032921B2 (ja) * 2012-03-30 2016-11-30 キヤノン株式会社 物体検出装置及びその方法、プログラム
WO2014104360A1 (ja) * 2012-12-28 2014-07-03 株式会社東芝 動作情報処理装置及び方法
US9323991B2 (en) * 2013-11-26 2016-04-26 Xerox Corporation Method and system for video-based vehicle tracking adaptable to traffic conditions
CA2973126A1 (en) * 2014-01-07 2015-07-16 Arb Labs Inc. Systems and methods of monitoring activities at a gaming venue
WO2017015947A1 (en) * 2015-07-30 2017-02-02 Xiaogang Wang A system and a method for object tracking
US9940544B2 (en) * 2016-06-08 2018-04-10 Adobe Systems Incorporated Event image curation
CN107239728B (zh) * 2017-01-04 2021-02-02 赛灵思电子科技(北京)有限公司 基于深度学习姿态估计的无人机交互装置与方法
US10713794B1 (en) * 2017-03-16 2020-07-14 Facebook, Inc. Method and system for using machine-learning for object instance segmentation
US10929829B1 (en) * 2017-05-04 2021-02-23 Amazon Technologies, Inc. User identification and account access using gait analysis
US10748376B2 (en) * 2017-09-21 2020-08-18 NEX Team Inc. Real-time game tracking with a mobile device using artificial intelligence
US10628961B2 (en) * 2017-10-13 2020-04-21 Qualcomm Incorporated Object tracking for neural network systems
CN108224691B (zh) * 2017-12-22 2019-08-16 银河水滴科技（北京）有限公司 一种空调系统控制方法和装置
US11074711B1 (en) * 2018-06-15 2021-07-27 Bertec Corporation System for estimating a pose of one or more persons in a scene
US11238612B2 (en) * 2018-08-28 2022-02-01 Beijing Jingdong Shangke Information Technology Co., Ltd. Device and method of tracking poses of multiple objects based on single-object pose estimator
WO2020069634A1 (en) * 2018-10-02 2020-04-09 Intel Corporation Method and system for game status determination
US10666858B2 (en) * 2018-10-30 2020-05-26 Sony Corporation Deep-learning-based system to assist camera autofocus
US11281896B2 (en) * 2018-11-15 2022-03-22 Smith & Nephew, Inc. Physical activity quantification and monitoring
US10937169B2 (en) * 2018-12-18 2021-03-02 Qualcomm Incorporated Motion-assisted image segmentation and object detection
US11288835B2 (en) * 2019-09-20 2022-03-29 Beijing Jingdong Shangke Information Technology Co., Ltd. Lighttrack: system and method for online top-down human pose tracking
US11144766B2 (en) * 2019-09-25 2021-10-12 Sony Group Corporation Method for fast visual data annotation

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001076149A (ja) 1999-09-06 2001-03-23 Fuji Photo Film Co Ltd 主要被写体抽出方法および装置
JP2013206273A (ja) 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法、および情報処理システム
JP2016046642A (ja) 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム
WO2019012817A1 (ja) 2017-07-14 2019-01-17 ソニー株式会社 画像処理装置、画像処理装置の画像処理方法、プログラム
JP2019106631A (ja) 2017-12-12 2019-06-27 セコム株式会社 画像監視装置
WO2020178876A1 (en) 2019-03-01 2020-09-10 Nec Corporation Image forming apparatus, determination apparatus, image forming method, and non-transitory computer readable medium storing image forming program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Kranthi Kiran GV ET AL，Real-Time Aerial Suspicious Analysis (ASANA) System for the Identification and Re-Identification of Suspicious Individuals using the Bayesian ScatterNet Hybrid (BSH) Network，2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW)，米国，IEEE，2019年10月28日，p73-81，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9022217，DOI: 10.1109/ICCVW.2019.00015

Also Published As

Publication number Publication date
US20210127068A1 (en) 2021-04-29
US20220321792A1 (en) 2022-10-06
US11394870B2 (en) 2022-07-19
JP2021071794A (ja) 2021-05-06

Similar Documents

Publication Publication Date Title
JP7525990B2 (ja) 主被写体判定装置、撮像装置、主被写体判定方法、及びプログラム
US8314854B2 (en) Apparatus and method for image recognition of facial areas in photographic images from a digital camera
US7889886B2 (en) Image capturing apparatus and image capturing method
JP4497236B2 (ja) 検出用情報登録装置、電子機器、検出用情報登録装置の制御方法、電子機器の制御方法、検出用情報登録装置制御プログラム、電子機器の制御プログラム
US8831282B2 (en) Imaging device including a face detector
JP6049448B2 (ja) 被写体領域追跡装置、その制御方法及びプログラム
CN102542254B (zh) 图像处理装置及图像处理方法
US10013632B2 (en) Object tracking apparatus, control method therefor and storage medium
US20200412982A1 (en) Laminated image pickup device, image pickup apparatus, image pickup method, and recording medium recorded with image pickup program
JPWO2021095085A1 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
US12002279B2 (en) Image processing apparatus and method, and image capturing apparatus
JP6555940B2 (ja) 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法
JP2019134204A (ja) 撮像装置
JP2013179614A (ja) 撮像装置
JP7566471B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
US20230177860A1 (en) Main object determination apparatus, image capturing apparatus, and method for controlling main object determination apparatus
JP2022099120A (ja) 被写体追尾装置およびその制御方法
WO2023106103A1 (ja) 画像処理装置およびその制御方法
US20230276117A1 (en) Main object determination apparatus, imaging apparatus, and control method for controlling main object determination apparatus
JPH10255058A (ja) 動作検出装置および動作検出方法
US20240078830A1 (en) Image processing apparatus and image processing method
US20230140436A1 (en) Action determination apparatus, image capturing apparatus, action determination method, and storage medium
JP2023086274A (ja) 画像処理装置およびその制御方法
JP2024056441A (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
TW202411949A (zh) 臉部屬性的串級偵測

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221028

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240322

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240719

R150 Certificate of patent or registration of utility model

Ref document number: 7525990

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150