[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JP7560207B2 - オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体 - Google Patents

オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体 Download PDF

Info

Publication number
JP7560207B2
JP7560207B2 JP2022522321A JP2022522321A JP7560207B2 JP 7560207 B2 JP7560207 B2 JP 7560207B2 JP 2022522321 A JP2022522321 A JP 2022522321A JP 2022522321 A JP2022522321 A JP 2022522321A JP 7560207 B2 JP7560207 B2 JP 7560207B2
Authority
JP
Japan
Prior art keywords
target object
shape
point
tracking point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022522321A
Other languages
English (en)
Other versions
JP2022551671A (ja
Inventor
▲紹▼▲輝▼ ▲呂▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2022551671A publication Critical patent/JP2022551671A/ja
Application granted granted Critical
Publication of JP7560207B2 publication Critical patent/JP7560207B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

関連特許出願の相互参照
本願は、2019年10月14日に中国特許庁に出願した、出願番号が201910974919.3であり、発明の名称が「オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体」である中国特許出願の優先権を主張し、その全ての内容が参照により本願に援用される。
本発明は、画像処理の技術分野に関し、特にオブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体に関するものである。
コンピュータネットワークの発展及びスマートフォンの普及に伴い、一般ユーザは、単調な画像や文字のみで自分の情感を表すことに満足しなくなっている。動画は、より豊かな内容及び形式を具現して、ユーザに直観感を与えることができるので、ユーザの好感を受けてだんだん流行し、一般ユーザが独創的な動画を作成する趨勢となっている。しかし、独創的な自撮り類動画は、その表現方式が無味乾燥であり、動画特殊効果が映画作品により多く適用され、その内容の表現形式も多様であり、動画特殊効果の成功的な映画作品に対するサポート及び保障が分かる。
しかし、現在の動画特殊効果の制作は、動画を撮影した後、ポストプロダクションによって完成されるので、表示される特殊効果は固定的であり、終了されるまで予め設定された時相論理(Temporal Logic)に従ってプレイするしかない。また、ポストプロダクションの要求が高いので、一般ユーザは、特殊効果や複雑な特殊効果を迅速に生成又は作成することはできない。従って、如何にして動画効果を簡単かつ迅速に生成するかは、早急に解決すべき技術的問題である。
下記の発明の概要は、簡単な形式で本発明の思想を説明するためのものであり、これらの思想は、後述する実施の形態で詳細に説明される。この発明の概要は、保護しようとする技術的構成の肝要な特徴や必要な特徴を特定するためのものではなく、保護しようとする技術的構成の保護範囲を限定するためのものでもない。
第1の形態では、本開示の実施例に係るオブジェクトの表示方法は、
動画画像を受信するステップと、
前記動画画像における目標オブジェクトを識別するステップと、
識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するステップと、
識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するステップと、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状は、前記第1の形状と前記第2の形状との組合せによって形成されるステップと、を含む。
第2の形態では、本開示の実施例に係るオブジェクトの表示装置は、
動画画像を受信するための画像受信手段と、
前記動画画像における目標オブジェクトを識別するための目標オブジェクト識別手段と、
識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するための第1のオブジェクト表示手段と、
識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するための第2のオブジェクト表示手段と、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状が、前記第1の形状と前記第2の形状との組合せによって形成される結合手段と、を備える。
第3の形態では、本開示の実施例に係る電子機器置は、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続され、前記少なくとも1つのプロセッサによって実行される指令が記憶されているメモリと、を備え、
前記指令が前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサが上記の第1形態におけるオブジェクトの表示方法を実行する。
第4の形態では、本開示の実施例に係る非一時的なコンピュータ可読型記憶媒体は、
コンピュータに上記の第1形態におけるオブジェクトの表示方法を実行させるためのコンピュータ指令を記憶する。
本出願は、オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体を開示する。このオブジェクトの表示方法は、動画画像を受信するステップと、前記動画画像における目標オブジェクトを識別するステップと、識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するステップと、識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するステップと、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状は、前記第1の形状と前記第2の形状との組合せによって形成されるステップと、を含む。上記の方法により、従来技術において動画効果を簡単かつ迅速に生成することができなかった技術的問題を解決する。
以上、本発明の技術的構成の概要を説明してきた。以下、本発明の技術的構成をより詳細に理解し、この明細書の内容により本発明を充分に実施し、かつ本発明の上述した及びその以外の目的、特徴及び発明の効果をより容易に理解してもらうために、好適な実施例と図面により本発明を詳細に説明する。
図面及び下記の実施の形態により、本開示の各実施例の上述した及びその以外の目的、特徴及び発明の効果は明らかになる。図面の全般において、同一または類似の符号は、同一又は類似の構成要素を表す。なお、図面は、模式的なものであり、本物や構成要素を必ずしも比例に従って作成したものではない。
本開示に係るオブジェクトの表示方法の実施例のフローチャートである。 本開示に係るオブジェクトの表示方法の実施例におけるステップS103の具体的実施例のフローチャートである。 本開示に係るオブジェクトの表示方法の実施例のさらなる実施例のフローチャートである。 本開示に係るオブジェクトの表示方法の実施例におけるオブジェクト状態変化の実施例のフローチャートである。 本開示の実施例に係るオブジェクトの表示装置の実施例の構造を示す図である。 本開示の実施例に係る電子機器の構造を示す図である。
以下、図面及び実施例を参照しながら本開示を説明する。図面には、本開示の一部の実施例を示しているが、本開示は、いろいろな形式によって実現することができ、説明される実施例に限定されるものではなく、逆にこれらの実施例は、本開示を適切かつ完全に理解するためのものである。なお、本開示の図面及び実施例は、例示的なものであり、本開示の保護範囲を限定するためのものではない。
なお、本開示の方法において、実施の形態に記載の各ステップは、異なる順序に従って、及び/又は、並行に実行されてもよい。また、方法の実施の形態は、あるステップを付加的に実行する、及び/又は、あるステップの実行を省略することができる。本開示は、これらに限定されるものではない。
本開示で使用される用語「含む」及びその変形は、開放的な「含む」であり、すなわち「含むがこれらに限定しない」を意味する。用語「基づく」は、「少なくとも部分的に基づく」を意味する。用語「一実施例」は、「少なくとも1つの実施例」を意味する。用語「別の実施例」は、「少なくとも1つの別の実施例」を意味する。他の用語の関連定義は、以下で説明する。
なお、本開示における「第一」、「第二」という用語は、異なる装置、モジュールやユニットを区別するためのものであり、それらの装置、モジュールやユニットが実施するステップの順番または依存関係を限定するものではない。
なお、本開示における「1個」、「複数個」という用語は、事項の数量の例示にしか過ぎないものであり、事項の数量を限定するものでない。特別な説明がない場合、当業者は本開示における「1個」、「複数個」という用語を「1個または複数個」に理解することができる。
本開示の実施の形態において、複数個の装置がインタラクトする情報または情報の名称は、本開示を説明するためのものであり、その情報または情報の範囲を限定するものでない。
図1は、本開示の実施例に係るオブジェクトの表示方法の実施例のフローチャートであり、本開示の実施例に係るオブジェクトの表示方法は、オブジェクトの表示装置によって実施され、このオブジェクトの表示装置は、ソフトウェアによって、または、ソフトウェアとハードウェアとの組合せによって具現されることができ、このオブジェクトの表示装置は、オブジェクトの表示システムにおけるある装置(例えば、オブジェクトの表示サーバまたはオブジェクトの表示端末装置)に集積されて設けられることができる。図1に示したように、この方法は、以下のステップS101~S105を含む。
ステップS101では、動画画像を受信する。
選択的に、このステップにおいて、受信される動画画像は、イメージセンサから受信される動画画像である。前記イメージセンサは、画像をキャプチャする各種の装置であり、代表的なイメージセンサとしては、撮影機、カメラ、撮像機などがある。この実施例において、前記イメージセンサは、端末装置におけるカメラ(例えば、スマートフォンにおけるフロントカメラまたは背面カメラ)であることができ、カメラがキャプチャした画像は、スマートフォンの表示画面に表示することができる。このステップでは、イメージセンサが撮影した動画画像を受信してオブジェクトの表示背景画像とする。
選択的に、このステップにおいて、受信される動画画像は、記憶装置から受信される動画画像ファイルである。前記動画画像ファイルは、事前に撮影して前記記憶装置に保存しておく動画である。選択的に、前記記憶装置は、ローカルストレージまたはネットワークストレージである。このステップでは、記憶装置から送信された動画画像ファイルを受信してこれをオブジェクトの表示背景画像として装置における表示装置に表示する。
このステップにおいて、動画画像には、人の顔が含まれることができ、選択的に、前記動画画像における複数の画像フレームのうちの少なくとも1つのフレームに人の顔が含まれる。代表的に、ユーザが携帯端末装置のカメラを作動させて自分の動画を自撮りし、カメラが取得した動画画像には、ユーザの顔が含まれている。または、前記動画画像ファイルには、人の顔の画像が撮影されている。
ステップS102では、前記動画画像における目標オブジェクトを識別する。
前記目標オブジェクトは、いずれかの予め設定された、前記動画画像から識別する必要があるオブジェクトであり、代表的な目標オブジェクトとしては、人の顔であることができる。
動画画像の目標オブジェクトを識別するには、いずれかの目標識別アルゴリズムを使用することができる。代表的には、例えば深層学習(deep learning)に基づくものであり、前記目標オブジェクトが人の顔である場合、人の顔がある画像を使用してニューラルネットワークに学習させ、学習されたニューラルネットワークによって前記動画画像における各画像フレームに対して分類し、前記画像フレームに人の顔が含まれているか否かを判定し、前記画像フレームに人の顔が含まれている場合、顔検出アルゴリズムによって顔のキーポイントを検出して顔の位置を確定することができる。または、人の顔の外接枠が標記されている画像を使用してニューラルネットワークに学習させ、学習されたニューラルネットワークによって前記動画画像における各画像フレームに対して外接枠の回帰(regression)を行って、人の顔の範囲を縮小させ、その後、顔検出アルゴリズムによって顔のキーポイントを検出して顔の位置を確定することができる。または、人の顔のキーポイントが標記されている画像を使用してニューラルネットワークに学習させ、学習されたニューラルネットワークによって前記動画画像における各画像フレームに対して人の顔のキーポイントの回帰を行って、画像フレームに人の顔が含まれているか否か及び人の顔のキーポイントの位置を確定することができる。
なお、上述した人の顔及び識別方法は例示にすぎず、本開示を限定するのではなく、実際上、実現しようとする効果及びシーンに基づいて、目標オブジェクト及びその目標オブジェクトに適合する識別アルゴリズムを予め選択することができる。
ステップS103では、識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示する。
前記オブジェクトは、実際の動画画像に表示するための仮想的要素であり、代表的な仮想的要素は、マッピングであることができ、前記マッピングは、静的なマッピングやシーケンスフレームのマッピングであることができる。
このステップにおいて、前記動画画像において第1の目標オブジェクトが識別された場合、前記第1の目標オブジェクトに対応する第1のオブジェクトを取得し、この第1のオブジェクトを前記動画画像の第1の位置に表示させ、前記第1のオブジェクトは、第1の形状を有する。選択的に、目標オブジェクトとオブジェクトとの対応関係を予め設定し、動画画像に目標オブジェクトが出現した場合、前記対応関係から目標オブジェクトに対応するオブジェクトを取得し、前記対応関係は、プロファイルに保存されることができ、プロファイルによって、識別しようとする目標オブジェクト、オブジェクトの類型及び目標オブジェクトとオブジェクトとの対応関係を配置することができる。
図2に示したように、このステップにおいて、上記の識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に前記第1のオブジェクトを表示するステップは、以下のステップS201~S203を含む。
ステップS201では、識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得する。
ステップS202では、前記第1の目標オブジェクトの追跡点に基づいて、前記第1の位置を算出する。
ステップS203では、前記第1の位置に前記第1のオブジェクトを表示する。
上記したステップにおいて、第1の目標オブジェクトが識別されると、第1の目標オブジェクトのキーポイントも検出され、具体的なことはステップS102における説明を参照されたい。前記キーポイントのうちの1つ又は複数は、予め第1の目標オブジェクトの追跡点として設定される、または、前記キーポイントのうちの1つ又は複数に基づいて前記追跡点を確定し、前記追跡点は、前記第1のオブジェクトの表示位置を確定するために用いられる。ステップS202において、前記第1の目標オブジェクトの追跡点に基づいて、前記第1の位置を算出する。選択的に、前記第1の目標オブジェクトは、人の顔である。選択的に、前記追跡点は、人の顔の鼻端キーポイントとエッジキーポイントとの連結線の延長線上の点であり、人の顔の領域の外部に位置する。延長する割合は予め設定され、この割合によって、エッジ点から外部に向かって延長する長さを算出して前記追跡点を得る。ステップS203において、第1のオブジェクトの特定点を前記追跡点に重ね合わせ、前記第1のオブジェクトを前記第1の位置に表示させる。選択的に、前記第1のオブジェクトの特定点は、前記第1のオブジェクトの中心点であり、この中心点の位置を前記追跡点の位置に設定して、前記第1のオブジェクトを前記第1の位置に表示させる。これにより、第1の目標オブジェクトの異なる画像フレームでの位置が変化された場合、前記第1のオブジェクトも変化されるため、第1のオブジェクトが前記目標オブジェクトに追従して移動する効果を達成する。
選択的に、上記の識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得するステップは、識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの前記動画画像における位置を決定するステップと、前記第1の目標オブジェクトの前記動画画像における位置に基づいて、前記第1の目標オブジェクトの追跡点を取得するステップと、を含む。この実施例において、前記第1の目標オブジェクトが識別された場合、まず前記第1の目標オブジェクトの前記動画画像における位置を決定し、選択的に、前記第1の目標オブジェクトが前記動画画像において左側又は右側に位置するかを決定し、前記第1の目標オブジェクトの前記動画画像における位置に基づいて、前記第1の目標オブジェクトの追跡点を取得する。選択的に、前記第1の目標オブジェクトが人の顔であり、前記第1の目標オブジェクトが前記動画画像の左側に位置すると決定された場合、動画画像において人の顔の右側のエッジキーポイントと人顔の鼻端キーポイントとを取得して、前記追跡点が前記人の顔の右側(観測視角に対して)に位置するようにする。同様に、前記第1の目標オブジェクトが前記動画画像の右側に位置すると決定された場合、動画画像において人の顔の左側のエッジキーポイントと人の顔の鼻端キーポイントとを取得して、前記追跡点が前記人の顔の左側に位置するようにする。
本開示において、前記第1のオブジェクトは、第1の形状を有する。選択的に、前記第1の形状は、円形の一部、ハート形の一部や矩形の一部などのような1つの完全な形状の一部であることができ、雲の一部や山の一部などのような不規則的な形状の一部であることもできる。
なお、上記した目標オブジェクト及びキーポイントの選択と追跡点の算出は、いずれも例示にすぎず、本開示を限定するものではなく、実際上、いずれかの目標オブジェクト、キーポイント及び追跡点の算出方法は、本開示の技術的構成に適用されることができる。
ステップS104では、識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示する。
選択的に、上記の識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2のオブジェクトを表示するステップは、識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するステップと、前記第2の目標オブジェクトの追跡点に基づいて、前記第2の位置を算出するステップと、前記第2の位置に前記第2のオブジェクトを表示するステップと、を含む。
選択的に、上記の識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するステップは、識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの前記動画画像における位置を決定するステップと、前記第2の目標オブジェクトの前記動画画像における位置に基づいて、前記第2の目標オブジェクトの追跡点を取得するステップと、を含む。
選択的に、前記第2の形状は、前記第1の形状と相補する形状である。例えば、前記第1の形状が半分のハート形である場合、前記第2の形状は、残り半分のハート形である。
上記の選択的なステップの具体的な実施の形態は、前記ステップS103における第1の目標オブジェクト及び第1のオブジェクトの選択的なステップと同じであるので、その説明は省略する。
ステップS105では、前記第1の目標オブジェクトと第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成する。
選択的に、前記第1の目標オブジェクトと第2の目標オブジェクトとの間の距離が第1の閾値より小さいことは、第1の目標オブジェクトの第1のアンカー(anchor)を取得することと、第2の目標オブジェクトの第2のアンカーを取得することと、前記第1のアンカーと第2のアンカーとの第1の距離を算出することと、前記第1の距離が第1の閾値より小さい場合、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さいと判定することと、を含む。選択的に、前記アンカーは、前記目標オブジェクトのキーポイントである、または、前記目標オブジェクトのキーポイントによって算出される点であることができ、代表的には、前記アンカーは、人の顔の鼻端キーポイントであり、または、前記アンカーは、人の顔における眼キーポイントと鼻端キーポイントによって形成される三角形の中心点である。アンカーを取得した後にアンカーの座標を得ると、第1のアンカーの座標と第2のアンカーの座標とに基づいて前記第1の距離を算出し、前記第1の距離は、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離を表し、前記第1の距離が予め設定された第1の閾値より小さい場合、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい。
選択的に、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成するようにすることは、前記第1のオブジェクトの第1の形状と前記第2のオブジェクトの第2の形状とを、相補する位置に沿って結合させて第3の形状を形成することを含む。代表的には、前記第1の形状と前記第2の形状とは、相補する半分のハート形であることができ、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さいと判定した場合、2つの相補する半分のハート形を、これらの相補する位置に沿って結合させて、1つの完全なハート形を形成する。
上記したステップで説明した技術的構成によれば、画像における2つの目標オブジェクト間の距離を算出して両オブジェクトを結合させることにより、事前に動画を撮影することなく動画に特殊効果を作成し、これをいずれかの動画にリアルタイムにレンダリングすることができる。
さらに、図3に示したように、前記ステップS105の後に、以下のステップS301~S302を含む。
ステップS301では、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第2の閾値より小さい場合、第1のオブジェクトと第2のオブジェクトとを消失させる。
ステップS302では、第3の形状を有する第3のオブジェクトを含む第1のシーケンスフレームを表示する。
ステップS301において、ステップS105の方法に基づいて、継続して第1のアンカーと第2のアンカーとの間の第1の距離を算出し、前記第1の距離が第2の閾値より小さい場合、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第2の閾値より小さいと判定し、前記第1のオブジェクト及び第2のオブジェクトが消失するように制御し、前記消失は、前記第1のオブジェクト及び第2のオブジェクトをレンダリングしなくてもよく、前記第1のオブジェクト及び第2のオブジェクトの透明度を1と設定することにより、それらを透明にして不可視とすることができる。
ステップS302において、第1のシーケンスフレームを取得し、この第1のシーケンスフレームを第1のオブジェクト及び第2のオブジェクトを消失させた位置に表示する。第1のシーケンスフレームには、第1の形状を有する第3のオブジェクトが含まれ、具体的には、前記第1のシーケンスフレームに第3のオブジェクトが含まれ、第1シーケンスフレームにおける各フレームは、第3のオブジェクトの状態変化を表し、代表的に、前記第3のオブジェクトが1つの仮想的なハート形であり、前記第1のシーケンスフレームは、例えば小から大に、白色から赤色になるなどの前記仮想的なハート形の動的変化を表す。つまり、前記第1シーケンスフレームは、前記第1のオブジェクトと前記第2のオブジェクトが結合してなる第3のオブジェクトの変化状態を表す。
さらに、図4に示したように、前記ステップS104の後に、以下のステップS401~S403を含む。
ステップS401では、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離を算出する。
ステップS402では、前記距離に基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの変化パラメータを取得する。
ステップS403では、前記変化パラメータに基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの表示状態を変更する。
ステップS401において、同様に、ステップS105で説明した方法を使用して第1の目標オブジェクトと第2の目標オブジェクトとの間の距離を算出することができるので、その説明は省略する。
ステップS402において、前記距離と関連する変化パラメータを取得し、前記変化パラメータは、予め設定された対応関係であることができ、例えば、前記距離の第1の値が第1のカラー値に対応し、第2の値が第2のカラー値に対応することにより、前記距離によって前記オブジェクトのカラー変化などを制御することができる。
ステップS403において、前記変化パラメータに基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの表示状態を変更する。代表的に、前記変化パラメータが前記第1のオブジェクト及び前記第2のオブジェクトのカラーを確定し、前記変化パラメータによって前記第1のオブジェクト及び前記第2のオブジェクトのカラーを変更する。
上記したステップは、2つの目標オブジェクト間の距離によってオブジェクトの表示状態を変更する。代表的に、前記第1の目標オブジェクト及び前記第2の目標オブジェクトは、人の顔であり、前記第1のオブジェクト及び前記第2のオブジェクトは、それぞれ相補する2つの半分のハート形であり、2つの人の顔が近接する場合、前記距離によって対応するオブジェクトのカラーを取得する。例えば、距離が近いほど、淡紅色から深紅色へのようにカラーが濃くなり、このようにカラーと人の顔の間の距離とが対応し、画像に対してリアルタイムにレンダリングして、フレーム画像におけるオブジェクトのそれぞれに対してポストプロダクションして異なる形態にする必要がない。
本開示は、オブジェクトの表示方法、装置、電子機器及びコンピュータ可読記憶媒体を開示する。前記オブジェクトの表示方法は、複数の画像フレームを含む動画画像を受信するステップと、識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するステップと、識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するステップと、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成するステップと、を含む。上記の方法により、従来技術において動画効果を簡単かつ迅速に生成することができなかった技術的問題を解決する。
全文において、上記した順に従って上記方法の実施例における各ステップを説明したが、当業者であれば、本開示の実施例におけるステップを上記した順に従って行わなくてもよく、すなわち逆順、並行、交差などの他の順に行ってもよい。そして、上記したステップに基づいて、当業者が他のステップを追加することもでき、これらの変更や均等置換の方式も本開示の保護範囲に属するため、その説明を省略する。
図5は、本開示の実施例に係るオブジェクトの表示装置の実施例の構造を示す図である。図5に示したように、この装置500は、画像受信手段501と、目標オブジェクト識別手段502と、第1のオブジェクト表示手段503と、第2のオブジェクト表示手段504と、結合手段505と、を備える。
画像受信手段501は、動画画像を受信する。
目標オブジェクト識別手段502は、前記動画画像における目標オブジェクトを識別する。
第1のオブジェクト表示手段503は、識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示する。
第2のオブジェクト表示手段504は、識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示する。
結合手段505は、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状は、前記第1の形状と前記第2の形状との組合せによって形成される。
さらに、前記オブジェクトの表示装置500は、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第2の閾値より小さい場合、第1のオブジェクト及びオブジェクトを消失させるための消失制御手段と、
第3の形状を有する第3のオブジェクトを含む第1のシーケンスフレームを表示するためのシーケンスフレーム表示手段と、
をさらに備える。
さらに、前記第1のオブジェクト表示手段503は、
識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得するための第1の追跡点取得ユニットと、
前記第1の目標オブジェクトの追跡点に基づいて、前記第1の位置を算出するための第1の位置算出ユニットと、
前記第1の位置に前記第1のオブジェクトを表示するための第1のオブジェクト表示ユニットと、
をさらに備える。
さらに、前記第1の追跡点取得ユニットは、
識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの前記動画画像における位置を決定するための第1の目標オブジェクト位置決定部と、
前記第1の目標オブジェクトの前記動画画像における位置に基づいて、前記第1の目標オブジェクトの追跡点を取得するための第1の追跡点取得部と、
をさらに備える。
さらに、前記第2のオブジェクト表示手段504は、
識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するための第2の追跡点取得ユニットと、
前記第2の目標オブジェクトの追跡点に基づいて、前記第2の位置を算出するための第2の位置算出ユニットと、
前記第2の位置に前記第2のオブジェクトを表示するための第2のオブジェクト表示ユニットと、
をさらに備える。
さらに、前記第2の追跡点取得ユニットは、
識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの前記動画画像における位置を決定するための第2の目標オブジェクト位置決定部と、
前記第2の目標オブジェクトの前記動画画像における位置に基づいて、前記第2の目標オブジェクトの追跡点を取得するための第2の追跡点取得部と、
をさらに備える。
さらに、前記オブジェクトの表示装置500は、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの距離を算出するための距離算出手段と、
前記距離に基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの変化パラメータを取得するための変化パラメータ取得手段と、
前記変化パラメータに基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの表示状態を変更するための表示状態変更手段と、
をさらに備える。
図5に示す装置は、図1~図4に示す実施例の方法を実行することができ、本実施例において詳細に説明しない部分は、図1~図4に示す実施例に係る説明を参照することができる。この技術的構成の実行過程や技術的効果は、図1~図4に示す実施例における説明を参照することができるので、その説明は省略する。
図6は、本開示の実施例に適用される電子機器の構造を示す図である。本開示の実施例における端末装置は、携帯電話、ノートパソコン、デジタル放送受信機、パーソナルデジタルアシスタント(PDA)、タブレット型コンピュータ(PAD)、携帯型メディアプレーヤー(PMP)、車載端末(例えば、車載ナビゲーション端末)などのような携帯端末や、デジタルテレビ、デスクトップ型コンピュータなどのような固定端末を含むことができるが、これらに限定されない。図6に示す電子機器は、例示にすぎず、本開示に係る実施例の機能及び使用される範囲を限定するものではない。
図6に示したように、電子機器600は、リードオンリーメモリ(ROM)602に記憶されているプログラムや記憶装置608からランダムアクセスメモリ(RAM)603にアップロードしたプログラムに基づいて、各種の適切な動作や処理を行う処理装置(例えば、CPU、GPUなど)601を備えることができる。RAM603には、電子機器600の動作に必要な各種のプログラム及びデータも記憶されている。処理装置601とROM602とRAM603とは、バス604を介して互いに接続される。入出力(I/O)インターフェース605もバス604に接続される。
通常、I/Oインターフェース605には、例えばタッチスクリーン、タッチパネル、キーボード、マウス、カメラ、マイク、アクセラメーター、ジャイロスコープなどのような入力装置606、例えば液晶表示装置、スピーカー、バイブレータなどのような出力装置607、例えばテープ、ハードディスクなどのような記憶装置608、及び通信装置609が接続されることができる。通信装置609は、電子機器600と他の機器との無線や有線によるデータ交換を可能にすることができる。図6では、各種の装置を有する電子機器600を示しているが、これらの全ての装置を備えることを要求するものではない。その代わりに、より多い装置またはより少ない装置を備えることもできる。
特に、本開示の実施例によれば、以上でフローチャートを参照しながら説明した過程は、ソフトウェアプログラムによって実現することができる。例えば、本開示の実施例に係るソフトウェアプログラム製品は、非一時的なコンピュータ可読型記憶媒体に記憶されているソフトウェアプログラムを含み、このソフトウェアプログラムは、フローチャートに示す方法を実行するプログラムコードを含む。このような実施例では、このソフトウェアプログラムは、通信装置609を介してインターネットからダウンロードしてインストールされるか、または、記憶装置608からインストールされるか、または、ROM602からインストールされることができる。このソフトウェアプログラムが処理装置601によって実行されるときに、本開示の実施例に係る方法で限定された上記機能を実行する。
なお、本開示におけるコンピュータ可読型媒体は、コンピュータ可読型信号媒体、コンピュータ可読型記憶媒体又はこれらの組み合わせであることができる。コンピュータ可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されることではない。コンピュータ可読型記憶媒体のより具体的な例としては、1つ又は複数の導線によって電気接続される、携帯式コンピューター磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができるが、これらに限定されることではない。本開示において、コンピュータ可読型記憶媒体は、プログラムを含むまたは記憶する有形的表現媒体であることができ、このプログラムは、指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるものであることができる。本開示において、コンピュータ可読型信号媒体は、ベースバンドで又は搬送波の一部として伝播するデータ信号であることができ、このデータ信号は、コンピュータ可読型プログラムコードを持ち運んでいる。このようなデータ信号は、電磁気信号、光学信号又は上記の任意の適切な組み合わせのような各種の形式を採用することができるが、これらに限定されることではない。コンピュータ可読型信号媒体は、コンピュータ可読型記憶媒体以外のいずれのコンピュータ可読型媒体であることもでき、指令によって実行されるシステム、装置やデバイスに使用されるか、又はこれらの組み合わせに使用されるプログラムを発送、伝播又は伝送することができる。コンピュータ可読型媒体に含まれるプログラムコードは、いずれの適切な媒体(例えば、電線、光ケーブル、RF(ラジオ周波数)など、または、上記のいずれかの適切な組み合わせ)によって伝送することができる。
ある実施の形態において、クライアント、サーバは、HTTP(Hypertext Transfer Protocol、ハイパーテキストトランスファープロトコル)のようないずれかの既知の又は将来開発されるネットワークプロトコルによって通信を行うと共に、任意の形式又は媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続されることができる。通信ネットワークとしては、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、エクストラネット(例えば、インターネット)、エンドツーエンドネットワーク(例えば、ad Hocエンドツーエンドネットワーク)、及びいずれかの既知の又は将来開発されるネットワークが挙げられる。
上記のコンピュータ可読型媒体は、上記の電子機器に備えることができ、また、この電子機器に装着せずに単独的に存在することができる。
コンピュータ可読型媒体には、1つ又は複数のプログラムが記憶されており、1つ又は複数のプログラムがこの電子機器によって実行されるとき、この電子機器は、動画画像を受信し、前記動画画像における目標オブジェクトを識別し、識別された第1の目標オブジェクトに応じて前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示し、識別された第2の目標オブジェクトに応じて前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示し、前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状は、前記第1の形状と前記第2の形状との組合せによって形成される。
1種又は複数種のプログラミング言語又はその組み合わせによって本開示の操作を実行するためのコンピュータプログラムコードを編集することができ、前記プログラミング言語は、Java、Smalltalk、C++のようなオブジェクト指向プログラミング言語、C言語又はそれに類似するプログラミング言語のような常用の手続き型プログラミング言語を含むことができるが、これらに限定されることではない。プログラムコードは、ユーザコンピュータで完全に実行されるか、又は、ユーザコンピュータで部分的に実行されるか、又は、1つのソフトウェアパッケージとして実行されるか、又は、一部がユーザコンピュータで実行され、一部がリモートコンピュータで実行されるか、又は、リモートコンピュータ又はサーバで完全に実行されることができる。リモートコンピュータに関する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)やワイドエリアネットワーク(WAN)のような任意種類のネットワークによって、ユーザコンピュータに接続されるか、または、外部コンピュータに接続されることができる(例えば、インターネットサービスプロバイダを利用して、インターネットによって接続される)。
図面におけるフローチャート及びブロック図には、本開示に係る各実施例のシステム、方法及びソフトウェアプログラム製品の、実現可能なシステムアーキテクチャ、機能及び操作が示される。この点において、フローチャートやブロック図における各ブロックは、1つのモジュール、プログラムセグメント又はコードの一部を代表することができ、このモジュール、プログラムセグメント又はコードの一部は、1つ又は複数の所定のロジック機能を実現するための実行可能な指令を含む。もちろん、ある実施例において、ブロックに記載の機能は、図面に記載の順と異なる順に実現されることもできる。例えば、2つの接続されるブロックは、実際上基本的に並行に実行されることができ、逆の順に実行されることもでき、これらは実現される機能によって決められる。なお、ブロック図及び/又はフローチャートにおける各ブロック、および、ブロック図及び/又はフローチャートにおけるブロックの組み合わせは、所定の機能や操作を実行する専用のハードウェアによるシステムによって実現するか、または、専用のハードウェアとコンピュータ指令との組合せによって実現することができる。
本開示の実施例に記述されるユニットは、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ユニットの名称は、ある場合はこのユニット自身を限定するものではない。
本開示に記述される機能の少なくとも一部は、1つ又は複数のハードウェアロジックコンポーネントによって実行されることができる。例えば、限定的ではないが、使用可能なハードウェアロジックコンポーネントは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックスプログラマブルロジックデバイス(CPLD)などを含む。
本開示の全般において、機械可読型媒体は、有形の表現媒体であることができ、指令によって実行されるシステム、装置やデバイスに使用されるか、又は指令によって実行されるシステム、装置やデバイスと組み合わせて使用されるプログラムを含むまたは記憶することができる。機械可読型媒体は、機械可読型信号媒体又は機械可読型記憶媒体であることができる。機械可読型記憶媒体は、電気、磁気、光学、電磁気、赤外線、又は半導体のシステム、装置やデバイス、又はこれらの組み合わせであることができるが、これらに限定されることではない。機械可読型記憶媒体のより具体的な例としては、1つ又は複数の線によって電気接続される、携帯式コンピューター磁気ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能なリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバー、コンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶デバイス、磁気記憶デバイス、又はこれらの組み合わせを含むことができる。
本開示の1つまたは複数の実施例に係るオブジェクトの表示方法は、
動画画像を受信するステップと、
前記動画画像における目標オブジェクトを識別するステップと、
識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するステップと、
識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するステップと、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状は、前記第1の形状と前記第2の形状との組合せによって形成されるステップと、
を含む。
さらに、前記方法は、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第2の閾値より小さい場合、第1のオブジェクトと第2のオブジェクトとを消失させるステップと、
第3の形状を有する第3のオブジェクトを含む第1のシーケンスフレームを表示するステップと、
をさらに含む。
さらに、上記の識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するステップは、
識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得するステップと、
前記第1の目標オブジェクトの追跡点に基づいて、前記第1の位置を算出するステップと、
前記第1の位置に前記第1のオブジェクトを表示するステップと、
をさらに含む。
さらに、上記の識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得するステップは、
識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの前記動画画像における位置を決定するステップと、
前記第1の目標オブジェクトの前記動画画像における位置に基づいて、前記第1の目標オブジェクトの追跡点を取得するステップと、
をさらに含む。
さらに、上記の識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2のオブジェクトを表示するステップは、
識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するステップと、
前記第2の目標オブジェクトの追跡点に基づいて、前記第2の位置を算出するステップと、
前記第2の位置に前記第2のオブジェクトを表示するステップと、
をさらに含む。
さらに、上記の識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するステップは、
識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの前記動画画像における位置を決定するステップと、
前記第2の目標オブジェクトの前記動画画像における位置に基づいて、前記第2の目標オブジェクトの追跡点を取得するステップと、
をさらに含む。
さらに、上記の識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するステップの後に、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離を算出するステップと、
前記距離に基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの変化パラメータを取得するステップと、
前記変化パラメータに基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの表示状態を変更するステップと、
をさらに含む。
本開示の1つ又は複数の実施例に係るオブジェクトの表示装置は、
動画画像を受信するための画像受信手段と、
前記動画画像における目標オブジェクトを識別するための目標オブジェクト識別手段と、
識別された第1の目標オブジェクトに応じて、前記動画画像の第1の位置に第1の形状を有する第1のオブジェクトを表示するための第1のオブジェクト表示手段と、
識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するための第2のオブジェクト表示手段と、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状が、前記第1の形状と前記第2の形状との組合せによって形成される結合手段と、
を備える。
さらに、前記オブジェクトの表示装置は、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第2の閾値より小さい場合、第1のオブジェクト及びオブジェクトを消失させるための消失制御手段と、
第3の形状を有する第3のオブジェクトを含む第1のシーケンスフレームを表示するためのシーケンスフレーム表示手段と、
をさらに備える。
さらに、前記第1のオブジェクト表示手段は、
識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得するための第1の追跡点取得ユニットと、
前記第1の目標オブジェクトの追跡点に基づいて、前記第1の位置を算出するための第1の位置算出ユニットと、
前記第1の位置に前記第1のオブジェクトを表示するための第1のオブジェクト表示ユニットと、
をさらに備える。
さらに、前記第1の追跡点取得ユニットは、
識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの前記動画画像における位置を決定するための第1の目標オブジェクト位置決定部と、
前記第1の目標オブジェクトの前記動画画像における位置に基づいて、前記第1の目標オブジェクトの追跡点を取得するための第1の追跡点取得部と、
をさらに備える。
さらに、前記第2のオブジェクト表示手段は、
識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するための第2の追跡点取得ユニットと、
前記第2の目標オブジェクトの追跡点に基づいて、前記第2の位置を算出するための第2の位置算出ユニットと、
前記第2の位置に前記第2のオブジェクトを表示するための第2のオブジェクト表示ユニットと、
をさらに備える。
さらに、前記第2の追跡点取得ユニットは、
識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの前記動画画像における位置を決定するための第2の目標オブジェクト位置決定部と、
前記第2の目標オブジェクトの前記動画画像における位置に基づいて、前記第2の目標オブジェクトの追跡点を取得するための第2の追跡点取得部と、
をさらに備える。
さらに、前記オブジェクトの表示装置は、
前記第1の目標オブジェクトと前記第2の目標オブジェクトとの距離を算出するための距離算出手段と、
前記距離に基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの変化パラメータを取得するための変化パラメータ取得手段と、
前記変化パラメータに基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの表示状態を変更するための表示状態変更手段と、
をさらに備える。
本開示の1つまたは複数の実施例に係るオブジェクトの電子機器は、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサと通信接続され、前記少なくとも1つのプロセッサによって実行される指令が記憶されているメモリと、を備え、
前記指令が前記少なくとも1つのプロセッサによって実行されることにより、前記少なくとも1つのプロセッサが上記のしたいずれか1つの前記オブジェクトの表示方法を実行する。
本開示の1つ又は複数の実施例に係る非一時的なコンピュータ可読型記憶媒体は、
コンピュータに上記したいずれか1つの前記オブジェクトの表示方法を実行させるためのコンピュータ指令を記憶する。
以上、本発明の実施例とそれらに用いられる技術的構成を説明してきた。当業者が理解するように、本発明が開示する範囲は、前記技術的特徴の組合せによって構成される技術的構成のみに限定されるものでなく、本開示の要旨を逸脱しない範囲において前記技術的特徴または類似の技術的特徴の組合せにより形成される他の技術的構成を更に含むこともできる。例えば、前記技術的特徴と本開示の実施例に係る類似の技術的特徴(それのみに限定されるものでない)により形成される技術的構成を更に含むこともできる。

Claims (8)

  1. 動画画像を受信するステップと、
    前記動画画像における目標オブジェクトを識別するステップであり、前記目標オブジェクトは、第1の目標オブジェクト及び第2の目標オブジェクトを含む、ステップと、
    識別された前記第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得し、前記第1の目標オブジェクトの前記追跡点に基づいて第1の位置を算出し、前記動画画像の前記第1の位置に第1の形状を有する第1のオブジェクトを表示するステップであり、前記第1の目標オブジェクトの前記追跡点は、前記第1の目標オブジェクトのキーポイントとエッジ上のキーポイントとの連結線の延長線上の点であり、前記第1の目標オブジェクトの前記追跡点は、前記第1の目標オブジェクトの領域の外部に位置し、前記第1の目標オブジェクトの前記キーポイントは、前記第1の目標オブジェクトの前記領域の内部に位置する、ステップと、
    識別された前記第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得し、前記第2の目標オブジェクトの前記追跡点に基づいて第2の位置を算出し、前記動画画像の前記第2の位置に第2の形状を有する第2のオブジェクトを表示するステップであり、前記第2の形状が前記第1の形状と相補する形状であり、前記第2の目標オブジェクトの前記追跡点は、前記第2の目標オブジェクトのキーポイントとエッジ上のキーポイントとの連結線の延長線上の点であり、前記第2の目標オブジェクトの前記追跡点は、前記第2の目標オブジェクトの領域の外部に位置し、前記第2の目標オブジェクトの前記キーポイントは、前記第2の目標オブジェクトの前記領域の内部に位置する、ステップと、
    前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状は、前記第1の形状と前記第2の形状との組合せによって形成されるステップと、を含ことを特徴とするオブジェクトの表示方法。
  2. 前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第2の閾値より小さい場合、第1のオブジェクトと第2のオブジェクトとを消失させるステップと、
    第3の形状を有する第3のオブジェクトを含む第1のシーケンスフレームを表示するステップと、をさらに含むことを特徴とする請求項1に記載のオブジェクトの表示方法。
  3. 上記の識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得するステップは、
    識別された第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの前記動画画像における位置を決定するステップと、
    前記第1の目標オブジェクトの前記動画画像における位置に基づいて、前記第1の目標オブジェクトの追跡点を取得するステップと、をさらに含むことを特徴とする請求項1に記載のオブジェクトの表示方法。
  4. 上記の識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得するステップは、
    識別された第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの前記動画画像における位置を決定するステップと、
    前記第2の目標オブジェクトの前記動画画像における位置に基づいて、前記第2の目標オブジェクトの追跡点を取得するステップと、をさらに含むことを特徴とする請求項1に記載のオブジェクトの表示方法。
  5. 上記の識別された第2の目標オブジェクトに応じて、前記動画画像の第2の位置に第2の形状を有する第2のオブジェクトを表示するステップの後に、
    前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離を算出するステップと、
    前記距離に基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの変化パラメータを取得するステップと、
    前記変化パラメータに基づいて、前記第1のオブジェクト及び前記第2のオブジェクトの表示状態を変更するステップと、をさらに含むことを特徴とする請求項1に記載のオブジェクトの表示方法。
  6. 動画画像を受信するための画像受信手段と、
    前記動画画像における目標オブジェクトを識別するための目標オブジェクト識別手段であり、前記目標オブジェクトは、第1の目標オブジェクト及び第2の目標オブジェクトを含む、目標オブジェクト識別手段と、
    識別された前記第1の目標オブジェクトに応じて、前記第1の目標オブジェクトの追跡点を取得し、前記第1の目標オブジェクトの前記追跡点に基づいて第1の位置を算出し、前記動画画像の前記第1の位置に第1の形状を有する第1のオブジェクトを表示するための第1のオブジェクト表示手段であり、前記第1の目標オブジェクトの前記追跡点は、前記第1の目標オブジェクトのキーポイントとエッジ上のキーポイントとの連結線の延長線上の点であり、前記第1の目標オブジェクトの前記追跡点は、前記第1の目標オブジェクトの領域の外部に位置し、前記第1の目標オブジェクトの前記キーポイントは、前記第1の目標オブジェクトの前記領域の内部に位置する、第1のオブジェクト表示手段と、
    識別された前記第2の目標オブジェクトに応じて、前記第2の目標オブジェクトの追跡点を取得し、前記第2の目標オブジェクトの前記追跡点に基づいて第2の位置を算出し、前記動画画像の前記第2の位置に第2の形状を有する第2のオブジェクトを表示するための第2のオブジェクト表示手段であり、前記第2の形状が前記第1の形状と相補する形状であり、前記第2の目標オブジェクトの前記追跡点は、前記第2の目標オブジェクトのキーポイントとエッジ上のキーポイントとの連結線の延長線上の点であり、前記第2の目標オブジェクトの前記追跡点は、前記第2の目標オブジェクトの領域の外部に位置し、前記第2の目標オブジェクトの前記キーポイントは、前記第2の目標オブジェクトの前記領域の内部に位置する、第2のオブジェクト表示手段と、
    前記第1の目標オブジェクトと前記第2の目標オブジェクトとの間の距離が第1の閾値より小さい場合、前記第1のオブジェクトと第2のオブジェクトとを結合させて、前記第1のオブジェクトと前記第2のオブジェクトとが第3の形状を形成し、前記第3の形状が、前記第1の形状と前記第2の形状との組合せによって形成される結合手段と、を備えることを特徴とするオブジェクトの表示装置。
  7. コンピュータ可読指令を記憶するためのメモリと、
    前記コンピュータ可読指令を実行するためのプロセッサと、を備え、
    前記プロセッサが動作するときに、請求項1~5のいずれか1項に記載のオブジェクトの表示方法を実現することを特徴とする電子機器。
  8. コンピュータ可読指令を記憶した非一時的なコンピュータ可読型記憶媒体であって、
    前記コンピュータ可読指令がコンピュータによって実行されるときに、前記コンピュータが請求項1~5のいずれか1項に記載のオブジェクトの表示方法を実行することを特徴とする非一時的なコンピュータ可読型記憶媒体。
JP2022522321A 2019-10-14 2020-08-04 オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体 Active JP7560207B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910974919.3 2019-10-14
CN201910974919.3A CN110807728B (zh) 2019-10-14 2019-10-14 对象的显示方法、装置、电子设备及计算机可读存储介质
PCT/CN2020/106818 WO2021073204A1 (zh) 2019-10-14 2020-08-04 对象的显示方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
JP2022551671A JP2022551671A (ja) 2022-12-12
JP7560207B2 true JP7560207B2 (ja) 2024-10-02

Family

ID=69488395

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022522321A Active JP7560207B2 (ja) 2019-10-14 2020-08-04 オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体

Country Status (4)

Country Link
US (1) US11810336B2 (ja)
JP (1) JP7560207B2 (ja)
CN (1) CN110807728B (ja)
WO (1) WO2021073204A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807728B (zh) * 2019-10-14 2022-12-13 北京字节跳动网络技术有限公司 对象的显示方法、装置、电子设备及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107848A (ja) 2003-09-30 2005-04-21 Lic Corporation:Kk 子供画像生成装置
JP2006048415A (ja) 2004-08-05 2006-02-16 Advanced Telecommunication Research Institute International 画像合成装置
JP2012034242A (ja) 2010-07-30 2012-02-16 Namco Bandai Games Inc 撮影装置、プログラム、情報記憶媒体及び撮影方法
JP2012039410A (ja) 2010-08-06 2012-02-23 Furyu Kk 画像作成装置および方法、並びにプログラム
JP2013247457A (ja) 2012-05-24 2013-12-09 Olympus Imaging Corp 撮影機器及び動画像データの記録方法
JP2014074914A (ja) 2013-11-11 2014-04-24 Furyu Kk 画像編集装置および方法、並びにプログラム
WO2017013936A1 (ja) 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2465791A (en) * 2008-11-28 2010-06-02 Sony Corp Rendering shadows in augmented reality scenes
CN101477690B (zh) * 2008-12-30 2011-04-27 清华大学 一种视频帧序列中物体轮廓跟踪的方法和装置
JP5024465B2 (ja) * 2010-03-26 2012-09-12 株式会社ニコン 画像処理装置、電子カメラ、画像処理プログラム
US8527445B2 (en) * 2010-12-02 2013-09-03 Pukoa Scientific, Llc Apparatus, system, and method for object detection and identification
JP5962547B2 (ja) * 2013-03-08 2016-08-03 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9947139B2 (en) * 2014-06-20 2018-04-17 Sony Interactive Entertainment America Llc Method and apparatus for providing hybrid reality environment
US20160012594A1 (en) * 2014-07-10 2016-01-14 Ditto Labs, Inc. Systems, Methods, And Devices For Image Matching And Object Recognition In Images Using Textures
US10007996B2 (en) * 2015-03-02 2018-06-26 Lawrence Livermore National Security, Llc System for detecting objects in streaming 3D images formed from data acquired with a medium penetrating sensor
CN105335064B (zh) * 2015-09-29 2017-08-15 腾讯科技(深圳)有限公司 一种信息处理方法和终端
US10152630B2 (en) * 2016-08-09 2018-12-11 Qualcomm Incorporated Methods and systems of performing blob filtering in video analytics
US20180254065A1 (en) * 2017-03-03 2018-09-06 Qualcomm Incorporated Methods and systems for splitting non-rigid objects for video analytics
CN109391792B (zh) * 2017-08-03 2021-10-29 腾讯科技(深圳)有限公司 视频通信的方法、装置、终端及计算机可读存储介质
CN107633526B (zh) * 2017-09-04 2022-10-14 腾讯科技(深圳)有限公司 一种图像跟踪点获取方法及设备、存储介质
CN107993191B (zh) * 2017-11-30 2023-03-21 腾讯科技(深圳)有限公司 一种图像处理方法和装置
CN108289180B (zh) * 2018-01-30 2020-08-21 广州市百果园信息技术有限公司 根据肢体动作处理视频的方法、介质和终端装置
CN109068053B (zh) * 2018-07-27 2020-12-04 香港乐蜜有限公司 图像特效展示方法、装置和电子设备
CN108958610A (zh) * 2018-07-27 2018-12-07 北京微播视界科技有限公司 基于人脸的特效生成方法、装置和电子设备
CN110058685B (zh) * 2019-03-20 2021-07-09 北京字节跳动网络技术有限公司 虚拟对象的显示方法、装置、电子设备和计算机可读存储介质
CN110062176B (zh) * 2019-04-12 2020-10-30 北京字节跳动网络技术有限公司 生成视频的方法、装置、电子设备和计算机可读存储介质
CN110213638B (zh) * 2019-06-05 2021-10-08 北京达佳互联信息技术有限公司 动画显示方法、装置、终端及存储介质
CN110321865A (zh) * 2019-07-09 2019-10-11 北京字节跳动网络技术有限公司 头部特效处理方法及装置、存储介质
CN110807728B (zh) * 2019-10-14 2022-12-13 北京字节跳动网络技术有限公司 对象的显示方法、装置、电子设备及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005107848A (ja) 2003-09-30 2005-04-21 Lic Corporation:Kk 子供画像生成装置
JP2006048415A (ja) 2004-08-05 2006-02-16 Advanced Telecommunication Research Institute International 画像合成装置
JP2012034242A (ja) 2010-07-30 2012-02-16 Namco Bandai Games Inc 撮影装置、プログラム、情報記憶媒体及び撮影方法
JP2012039410A (ja) 2010-08-06 2012-02-23 Furyu Kk 画像作成装置および方法、並びにプログラム
JP2013247457A (ja) 2012-05-24 2013-12-09 Olympus Imaging Corp 撮影機器及び動画像データの記録方法
JP2014074914A (ja) 2013-11-11 2014-04-24 Furyu Kk 画像編集装置および方法、並びにプログラム
WO2017013936A1 (ja) 2015-07-21 2017-01-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム

Also Published As

Publication number Publication date
CN110807728A (zh) 2020-02-18
US20220245920A1 (en) 2022-08-04
WO2021073204A1 (zh) 2021-04-22
US11810336B2 (en) 2023-11-07
JP2022551671A (ja) 2022-12-12
CN110807728B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
KR102646977B1 (ko) 증강 현실에 기반한 디스플레이 방법 및 장치, 및 저장 매체
JP7181375B2 (ja) 目標対象の動作認識方法、装置及び電子機器
CN111833461B (zh) 一种图像特效的实现方法、装置、电子设备及存储介质
CN110796664B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111414225A (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
AU2021339341B2 (en) Augmented reality-based display method, device, and storage medium
CN112965780B (zh) 图像显示方法、装置、设备及介质
US20220159197A1 (en) Image special effect processing method and apparatus, and electronic device and computer readable storage medium
US20240005625A1 (en) Image processing method and apparatus, electronic device and storage medium
CN115002359B (zh) 视频处理方法、装置、电子设备及存储介质
WO2023138559A1 (zh) 虚拟现实交互方法、装置、设备和存储介质
CN114598823B (zh) 特效视频生成方法、装置、电子设备及存储介质
CN112105983A (zh) 增强的视觉能力
US11880919B2 (en) Sticker processing method and apparatus
JP7560207B2 (ja) オブジェクトの表示方法、装置、電子機器及びコンピュータ可読型記憶媒体
CN108874141B (zh) 一种体感浏览方法和装置
CN113703704B (zh) 界面显示方法、头戴式显示设备和计算机可读介质
CN116193216A (zh) 特效视频帧的生成方法、装置、电子设备及存储介质
US12022162B2 (en) Voice processing method and apparatus, electronic device, and computer readable storage medium
US20240269553A1 (en) Method, apparatus, electronic device and storage medium for extending reality display
US20240078734A1 (en) Information interaction method and apparatus, electronic device and storage medium
CN117631810A (zh) 基于虚拟现实空间的操作处理方法、装置、设备及介质
CN117994403A (zh) 场景加载方法、装置、电子设备和存储介质
CN117762280A (zh) 人机交互方法、装置、设备
WO2023244880A1 (en) Thermal management of an electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240611

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240820

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240913

R150 Certificate of patent or registration of utility model

Ref document number: 7560207

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150