[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

JPWO2014049989A1 - 映像出力装置 - Google Patents

映像出力装置 Download PDF

Info

Publication number
JPWO2014049989A1
JPWO2014049989A1 JP2014538135A JP2014538135A JPWO2014049989A1 JP WO2014049989 A1 JPWO2014049989 A1 JP WO2014049989A1 JP 2014538135 A JP2014538135 A JP 2014538135A JP 2014538135 A JP2014538135 A JP 2014538135A JP WO2014049989 A1 JPWO2014049989 A1 JP WO2014049989A1
Authority
JP
Japan
Prior art keywords
frame
video
unit
video output
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014538135A
Other languages
English (en)
Inventor
木村　雅之
雅之 木村
武田　英俊
英俊 武田
純幸 沖本
純幸 沖本
孝好 古山
孝好 古山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2014049989A1 publication Critical patent/JPWO2014049989A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

本開示における映像出力装置は、複数の映像を合成して表示する映像出力装置である。撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部（１１）と、画像処理部（１１）で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部（１２）とを備えている。

Description

本開示は、複数の映像を合成し、同一画面上に表示するための映像出力装置に関する。
複数の映像を同時に再生しそれぞれの比較を行うことは広く行われており、例えばスポーツのトレーニングでは手本となる動作と自身の動作を比較する、あるいは好調時と現状の動作を比較するなどの用法が考えられる。
特許文献１において、複数の映像信号を記録するとともに、再生時に着目すべき特定の現象を検出し、現象が発生した瞬間の時刻情報を併せて記録を行い、再生時にはこの現象が略同時に表示されるよう再生タイミングを制御することを特徴とする映像記録再生装置が開示されている。特許文献１に記載の装置を用いることで、例えばゴルフのスイングフォームを比較する際に、各映像におけるインパクトの瞬間がほぼ同時に表示されるよう映像を再生することができる。
特開平６−１６２７３６号公報
本開示における映像出力装置は、複数の映像を合成して表示する映像出力装置である。撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部とを備えている。
図１は本開示の一実施の形態における映像出力装置の構成を示すブロック図である。 図２は本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。 図３は対応フレームを抽出する処理の流れを示すフローチャートである。 図４はゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。 図５はスイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。 図６は映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。 図７は映像がフレーム単位で離散化されている様子を模式的に表した説明図である。 図８は１フレームにあたる時間が長い場合を模式的に表した説明図である。
以下、本開示の一実施の形態による映像出力装置について、図１〜図８を用いて説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
［１−１．構成］
図１は、本開示の一実施の形態における映像出力装置の構成を示すブロック図である。
図１に示すように、映像出力装置１には、映像を撮影するためのビデオカメラなどの撮影部２と、利用者が映像出力装置１の動作を指示するためのコントローラ３と、映像出力装置１から出力される映像情報を表示するための外部モニタなどの表示部４が、データ伝送が可能な手段により接続されている。これにより、映像出力装置１は、撮影部２により撮影した複数の映像を合成して表示部４に表示する動作を行う。コントローラ３は、例えば再生する複数の映像を選択する動作、再生する映像の中から基準映像を選択する動作などの指示を与えるもので、キーボードやマウスなどの入力装置によって構成されている。
また、映像出力装置１は、画像処理部１１と、出力部１２と、記録媒体１３と、内部メモリ１４と、ＣＰＵからなる制御部１５とを有し、それぞれの各部は、バスラインを介してデータの伝送が可能なように構成されている。
画像処理部１１は、撮影部２で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部１１ａと、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部１１ｂとを有している。これにより、画像処理部１１は、映像からフレームを抽出する動作と、フレーム間の類似性を判定する動作と、基準フレームと基準フレームのそれぞれについて抽出された対応フレームとを同一画面上に配置した合成フレームを生成する動作を含む、種々の画像処理を行う。画像処理部１１は、デジタル・シグナル・プロセッサ（ＤＳＰ）やマイクロコンピュータなどの信号処理装置、または信号処理装置とソフトウェアの組み合わせによって構成される。
また、出力部１２は、画像処理部１１で生成される基準フレームと対応フレームとを合成した合成フレームを出力するためのものである。記録媒体１３は、再生したい映像データを予め記録する、あるいは出力部１２によって生成された合成フレームを静止画、あるいは映像データとして記録するために用いるもので、ハードディスクなどによって構成される。内部メモリ１４は、画像処理部１１、および出力部１２のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。制御部１５は映像出力装置１の全体の動作を制御する手段である。
［１−２．動作］
以上のように構成された本実施の形態による映像出力装置について、図２を用いて、その動作を説明する。図２は、本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。
図２に示すように、まず初めに、利用者はコントローラ３を通して再生すべき複数の映像を選択する（ステップＳ１０１）。次いで、ステップＳ１０１で選択された複数の映像の中から１本の基準映像を決定する（ステップＳ１０２）。基準映像はコントローラ３を通して利用者が指定する他、ステップＳ１０１で選択された複数の映像から任意の１つの映像を基準映像としてもよい。
次いで、画像処理部１１は、指定された基準映像から基準フレームを抽出する（ステップＳ１０３）。基準フレームを抽出する方法としては、基準映像から所定の時間間隔で基準フレームを抽出する方法、あるいは基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出する方法などを用いることにより実現することができる。
次に、基準映像以外の映像から、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出する（ステップＳ１０４）。対応フレームを抽出する具体的な手順については後述する。
対応フレームが抽出されたら、画像処理部１１によって基準フレームと対応フレームを合成して出力用の合成フレームを生成する（ステップＳ１０５）。
最後に、いずれかの映像が終端に達したかを判定する（ステップＳ１０６）。いずれの映像も終端に達していない場合は、ステップＳ１０３以降の処理を繰り返す。
＜対応フレームを抽出する具体的な手順＞
以下、対応フレームを抽出する手順について、図３を参照しながら説明する。図３は対応フレームを抽出する処理の流れを示すフローチャートである。
図３に示すように、まず、初期化処理として、類似度算出の対象となる探索フレームの位置を、直前に抽出された対応フレームの位置に指定するとともに、最大類似度Ｒｍａｘを０に初期化する（ステップＳ２０１）。
次に、図２のステップＳ１０３で抽出された基準フレームと、探索フレームとの間の類似度Ｒを算出する（ステップＳ２０２）。類似度を算出する方法としては、フレームの画素値の差分に基づいて基準フレームとの類似度を算出する方法を用いてもよい。例えば、各画素値のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、基準フレームの動きベクトルと探索フレームの動きベクトルの差分、または画像の自己相関係数など、画像の類似度を算出するための一般的な手法を用いることができる。
なお、類似度Ｒを算出する方法として、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などのように、画像が類似していない程、値が大きくなるような指標を用いる場合は、算出された値の逆数を求めるか、（−１）を乗じるなどの処理を行い、画像が類似している程、値が大きくなるように変更するのが望ましい。
また、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出する際には、基準フレームの動きベクトルは、「直前に抽出された基準フレームと最新の基準フレームとの間の動きベクトル」を、探索フレームの動きベクトルは、「直前に抽出された対応フレームと最新の探索フレームとの間の動きベクトル」を、それぞれ用いることが望ましい。
このようにして算出した類似度Ｒは、これまでの最大類似度Ｒｍａｘと比較する（ステップＳ２０３）。類似度Ｒが最大類似度Ｒｍａｘより大きい場合は、最大類似度Ｒｍａｘの値を類似度Ｒに置き換え、この時の探索フレームの位置を記憶する（ステップＳ２０４）。
次いで、現在の探索フレームの位置が、予め定められた探索範囲の終端に達したかを判定する（ステップＳ２０５）。終端に達していない場合は、探索フレームの位置を１フレーム進める処理を行う（ステップＳ２０６）。探索フレームの位置を１フレーム進めた後、再びステップＳ２０２により、類似度Ｒを算出する処理を行う。終端に達したと判定された場合は、最大類似度Ｒｍａｘに対応する位置のフレームを対応フレームとして抽出する（ステップＳ２０７）。
以上の処理フローにより、対応フレームを抽出することができる。
なお、探索範囲は、所定のフレーム数だけ探索する、所定の時間に相当するフレーム数だけ探索する、などで定める。更に好ましくは、コントローラ３を通して利用者がこれらを指定することができるのが望ましい。
＜対応フレームを抽出する手順の変形例＞
上記実施の形態の例では、類似度Ｒが最大となる１フレームを対応フレームとして抽出する例について説明した。変形例としては、基準フレームとの類似度Ｒが最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するように構成してもよい。特に、基準フレームが複数のフレームを平均したものである場合は、単一の探索フレームとの間で比較を行うよりも類似度Ｒを高めることが可能となる。
［１−３．効果等］
本開示における実施の形態の効果について、特定の動作として、ゴルフのスイングの動作を撮影した映像を処理して出力する場合を例にとって説明する。
図４は、ゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。なお、図中では、スイング動作の代表的な部分のみを表記している。ｔ＝０から２つの映像を同時に再生する場合、動作のどの地点もタイミングは一致していない。
一方、図５は、スイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。再生開始位置のみを調整しているため、図４に比較すると、Ｓ２の映像が全体的に左に寄っているが、タイミングが合っているのは動作の開始のみで、それ以外のタイミングは依然合っていないままである。
図６は、映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。図７は、映像がフレーム単位で離散化されている様子を模式的に表した説明図である。図８は、１フレームにあたる時間が長い場合を模式的に表した説明図である。
図６に示すように、映像全体でタイミングを合わせて再生するためには、Ｓ２の映像全体を時間方向に伸縮させ、Ｓ１の映像の各ポイントに対して、Ｓ２の映像において、対応するポイントのタイミングを一致させればよい。
なお、実際にこのような画像処理を行う際には、撮影フレームレートの制約を受ける。一般的な動画像の各フレームは、時間軸上で離散化されているため、時間軸上での伸縮の分解能は、図７に示すように、１フレームの時間の分解能に等しくなる。また、図８に示すように、１フレームの時間が長い、すなわちフレームレートが低い映像の場合、タイミングのずれ量が１フレームの時間より短くなり、フレーム単位の伸縮では調整が困難になる。従って、撮影部で撮影する映像は、出力部から出力されるフレームレートよりも高いフレームレートで撮影を行い、時間軸上での伸縮の分解能を高めることが望ましい。
本開示における映像出力装置は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部を備えている。
これにより、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができる。
また、動作のスピードが異なる映像を比較する場合や映像のフレーム間で差分をとって異なる箇所を明確にする場合など、特定の瞬間だけでなく動作全体のタイミングを合わせた方がよい場合がある。この際、動作の各段階でスピードの違いが一定ではなく、スピードの違いに時間的なゆらぎがあることが考えられる。本開示による映像出力装置は、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部を有しているため、動作に時間的なゆらぎがある複数の映像を、ゆらぎを自動的に吸収して略同時に表示することができる。
以上のように、本開示による映像出力装置は、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができ、映像による動作の比較を行う際の利便性を向上させることができる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
上記実施の形態では２つの映像を利用する例について説明したが、３つ以上の映像を扱うようにしてもよい。この場合は、１つの基準映像に対して残りの映像からそれぞれ対応フレームを抽出する。これによって、より多数の映像を同時に表示することができる。
また、基準映像は１つだけでなく、複数の基準映像が存在するようにしてもよい。これによって、例えばある特定のペア間でのみタイミングを合わせるということができる。さらに、ある映像がどの基準映像と対応付けられるかを利用者がコントローラ３を通して指定することができることが好ましい。
また、実施の形態におけるフレーム間の類似度を算出し、類似度が最大となる１フレームを対応フレームとするという処理の流れに対して、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などの画像が類似していないほど値が大きくなるような指標を、そのまま非類似度として用い、非類似度が最小となるフレームを対応フレームとしてもよい。これによって非類似度を類似度に変換する必要がなくなる。
また、上記実施の形態で説明した映像出力装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部、または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施の形態の各処理は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示の技術によれば、複数の映像を合成し、同一画面上に表示する映像出力装置に適用可能である。具体的には、ビデオサーバーなどに本開示の技術は適用可能である。
１ 映像出力装置
２ 撮影部
３ コントローラ
４ 表示部
１１ 画像処理部
１１ａ 基準フレーム抽出部
１１ｂ 対応フレーム抽出部
１２ 出力部
１３ 記録媒体
１４ 内部メモリ
１５ 制御部
本開示は、複数の映像を合成し、同一画面上に表示するための映像出力装置に関する。
複数の映像を同時に再生しそれぞれの比較を行うことは広く行われており、例えばスポーツのトレーニングでは手本となる動作と自身の動作を比較する、あるいは好調時と現状の動作を比較するなどの用法が考えられる。
特許文献１において、複数の映像信号を記録するとともに、再生時に着目すべき特定の現象を検出し、現象が発生した瞬間の時刻情報を併せて記録を行い、再生時にはこの現象が略同時に表示されるよう再生タイミングを制御することを特徴とする映像記録再生装置が開示されている。特許文献１に記載の装置を用いることで、例えばゴルフのスイングフォームを比較する際に、各映像におけるインパクトの瞬間がほぼ同時に表示されるよう映像を再生することができる。
特開平６−１６２７３６号公報
本開示における映像出力装置は、複数の映像を合成して表示する映像出力装置である。撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部とを備えている。
図１は本開示の一実施の形態における映像出力装置の構成を示すブロック図である。 図２は本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。 図３は対応フレームを抽出する処理の流れを示すフローチャートである。 図４はゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。 図５はスイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。 図６は映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。 図７は映像がフレーム単位で離散化されている様子を模式的に表した説明図である。 図８は１フレームにあたる時間が長い場合を模式的に表した説明図である。
以下、本開示の一実施の形態による映像出力装置について、図１〜図８を用いて説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
［１−１．構成］
図１は、本開示の一実施の形態における映像出力装置の構成を示すブロック図である。
図１に示すように、映像出力装置１には、映像を撮影するためのビデオカメラなどの撮影部２と、利用者が映像出力装置１の動作を指示するためのコントローラ３と、映像出力装置１から出力される映像情報を表示するための外部モニタなどの表示部４が、データ伝送が可能な手段により接続されている。これにより、映像出力装置１は、撮影部２により撮影した複数の映像を合成して表示部４に表示する動作を行う。コントローラ３は、例えば再生する複数の映像を選択する動作、再生する映像の中から基準映像を選択する動作などの指示を与えるもので、キーボードやマウスなどの入力装置によって構成されている。
また、映像出力装置１は、画像処理部１１と、出力部１２と、記録媒体１３と、内部メモリ１４と、ＣＰＵからなる制御部１５とを有し、それぞれの各部は、バスラインを介してデータの伝送が可能なように構成されている。
画像処理部１１は、撮影部２で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部１１ａと、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部１１ｂとを有している。これにより、画像処理部１１は、映像からフレームを抽出する動作と、フレーム間の類似性を判定する動作と、基準フレームと基準フレームのそれぞれについて抽出された対応フレームとを同一画面上に配置した合成フレームを生成する動作を含む、種々の画像処理を行う。画像処理部１１は、デジタル・シグナル・プロセッサ（ＤＳＰ）やマイクロコンピュータなどの信号処理装置、または信号処理装置とソフトウェアの組み合わせによって構成される。
また、出力部１２は、画像処理部１１で生成される基準フレームと対応フレームとを合成した合成フレームを出力するためのものである。記録媒体１３は、再生したい映像データを予め記録する、あるいは出力部１２によって生成された合成フレームを静止画、あるいは映像データとして記録するために用いるもので、ハードディスクなどによって構成される。内部メモリ１４は、画像処理部１１、および出力部１２のワークメモリとして用いるもので、ＤＲＡＭなどによって構成される。制御部１５は映像出力装置１の全体の動作を制御する手段である。
［１−２．動作］
以上のように構成された本実施の形態による映像出力装置について、図２を用いて、その動作を説明する。図２は、本実施の形態による映像出力装置における映像出力処理の流れを示すフローチャートである。
図２に示すように、まず初めに、利用者はコントローラ３を通して再生すべき複数の映像を選択する（ステップＳ１０１）。次いで、ステップＳ１０１で選択された複数の映像の中から１本の基準映像を決定する（ステップＳ１０２）。基準映像はコントローラ３を通して利用者が指定する他、ステップＳ１０１で選択された複数の映像から任意の１つの映像を基準映像としてもよい。
次いで、画像処理部１１は、指定された基準映像から基準フレームを抽出する（ステップＳ１０３）。基準フレームを抽出する方法としては、基準映像から所定の時間間隔で基準フレームを抽出する方法、あるいは基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出する方法などを用いることにより実現することができる。
次に、基準映像以外の映像から、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出する（ステップＳ１０４）。対応フレームを抽出する具体的な手順については後述する。
対応フレームが抽出されたら、画像処理部１１によって基準フレームと対応フレームを合成して出力用の合成フレームを生成する（ステップＳ１０５）。
最後に、いずれかの映像が終端に達したかを判定する（ステップＳ１０６）。いずれの映像も終端に達していない場合は、ステップＳ１０３以降の処理を繰り返す。
＜対応フレームを抽出する具体的な手順＞
以下、対応フレームを抽出する手順について、図３を参照しながら説明する。図３は対応フレームを抽出する処理の流れを示すフローチャートである。
図３に示すように、まず、初期化処理として、類似度算出の対象となる探索フレームの位置を、直前に抽出された対応フレームの位置に指定するとともに、最大類似度Ｒｍａｘを０に初期化する（ステップＳ２０１）。
次に、図２のステップＳ１０３で抽出された基準フレームと、探索フレームとの間の類似度Ｒを算出する（ステップＳ２０２）。類似度を算出する方法としては、フレームの画素値の差分に基づいて基準フレームとの類似度を算出する方法を用いてもよい。例えば、各画素値のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）やＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、基準フレームの動きベクトルと探索フレームの動きベクトルの差分、または画像の自己相関係数など、画像の類似度を算出するための一般的な手法を用いることができる。
なお、類似度Ｒを算出する方法として、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などのように、画像が類似していない程、値が大きくなるような指標を用いる場合は、算出された値の逆数を求めるか、（−１）を乗じるなどの処理を行い、画像が類似している程、値が大きくなるように変更するのが望ましい。
また、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出する際には、基準フレームの動きベクトルは、「直前に抽出された基準フレームと最新の基準フレームとの間の動きベクトル」を、探索フレームの動きベクトルは、「直前に抽出された対応フレームと最新の探索フレームとの間の動きベクトル」を、それぞれ用いることが望ましい。
このようにして算出した類似度Ｒは、これまでの最大類似度Ｒｍａｘと比較する（ステップＳ２０３）。類似度Ｒが最大類似度Ｒｍａｘより大きい場合は、最大類似度Ｒｍａｘの値を類似度Ｒに置き換え、この時の探索フレームの位置を記憶する（ステップＳ２０４）。
次いで、現在の探索フレームの位置が、予め定められた探索範囲の終端に達したかを判定する（ステップＳ２０５）。終端に達していない場合は、探索フレームの位置を１フレーム進める処理を行う（ステップＳ２０６）。探索フレームの位置を１フレーム進めた後、再びステップＳ２０２により、類似度Ｒを算出する処理を行う。終端に達したと判定された場合は、最大類似度Ｒｍａｘに対応する位置のフレームを対応フレームとして抽出する（ステップＳ２０７）。
以上の処理フローにより、対応フレームを抽出することができる。
なお、探索範囲は、所定のフレーム数だけ探索する、所定の時間に相当するフレーム数だけ探索する、などで定める。更に好ましくは、コントローラ３を通して利用者がこれらを指定することができるのが望ましい。
＜対応フレームを抽出する手順の変形例＞
上記実施の形態の例では、類似度Ｒが最大となる１フレームを対応フレームとして抽出する例について説明した。変形例としては、基準フレームとの類似度Ｒが最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するように構成してもよい。特に、基準フレームが複数のフレームを平均したものである場合は、単一の探索フレームとの間で比較を行うよりも類似度Ｒを高めることが可能となる。
［１−３．効果等］
本開示における実施の形態の効果について、特定の動作として、ゴルフのスイングの動作を撮影した映像を処理して出力する場合を例にとって説明する。
図４は、ゴルフのスイングを撮影した２つの映像Ｓ１、Ｓ２を同一の時間軸上に並べた様子を模式的に表した説明図である。なお、図中では、スイング動作の代表的な部分のみを表記している。ｔ＝０から２つの映像を同時に再生する場合、動作のどの地点もタイミングは一致していない。
一方、図５は、スイング動作の開始タイミングが一致するように、再生開始位置を調整した様子を模式的に表す説明図である。再生開始位置のみを調整しているため、図４に比較すると、Ｓ２の映像が全体的に左に寄っているが、タイミングが合っているのは動作の開始のみで、それ以外のタイミングは依然合っていないままである。
図６は、映像を時間軸上で伸縮させてタイミングを合わせる様子を模式的に表した説明図である。図７は、映像がフレーム単位で離散化されている様子を模式的に表した説明図である。図８は、１フレームにあたる時間が長い場合を模式的に表した説明図である。
図６に示すように、映像全体でタイミングを合わせて再生するためには、Ｓ２の映像全体を時間方向に伸縮させ、Ｓ１の映像の各ポイントに対して、Ｓ２の映像において、対応するポイントのタイミングを一致させればよい。
なお、実際にこのような画像処理を行う際には、撮影フレームレートの制約を受ける。一般的な動画像の各フレームは、時間軸上で離散化されているため、時間軸上での伸縮の分解能は、図７に示すように、１フレームの時間の分解能に等しくなる。また、図８に示すように、１フレームの時間が長い、すなわちフレームレートが低い映像の場合、タイミングのずれ量が１フレームの時間より短くなり、フレーム単位の伸縮では調整が困難になる。従って、撮影部で撮影する映像は、出力部から出力されるフレームレートよりも高いフレームレートで撮影を行い、時間軸上での伸縮の分解能を高めることが望ましい。
本開示における映像出力装置は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部を備えている。
これにより、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができる。
また、動作のスピードが異なる映像を比較する場合や映像のフレーム間で差分をとって異なる箇所を明確にする場合など、特定の瞬間だけでなく動作全体のタイミングを合わせた方がよい場合がある。この際、動作の各段階でスピードの違いが一定ではなく、スピードの違いに時間的なゆらぎがあることが考えられる。本開示による映像出力装置は、任意の１つの基準映像から複数の基準フレームを抽出し、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部を有しているため、動作に時間的なゆらぎがある複数の映像を、ゆらぎを自動的に吸収して略同時に表示することができる。
以上のように、本開示による映像出力装置は、撮影部で撮影された複数の映像について、特定の基準映像に対し、その他の映像から類似する映像を抽出して、映像全体でタイミングを合わせて再生することができ、映像による動作の比較を行う際の利便性を向上させることができる。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、他の実施の形態を例示する。
上記実施の形態では２つの映像を利用する例について説明したが、３つ以上の映像を扱うようにしてもよい。この場合は、１つの基準映像に対して残りの映像からそれぞれ対応フレームを抽出する。これによって、より多数の映像を同時に表示することができる。
また、基準映像は１つだけでなく、複数の基準映像が存在するようにしてもよい。これによって、例えばある特定のペア間でのみタイミングを合わせるということができる。さらに、ある映像がどの基準映像と対応付けられるかを利用者がコントローラ３を通して指定することができることが好ましい。
また、実施の形態におけるフレーム間の類似度を算出し、類似度が最大となる１フレームを対応フレームとするという処理の流れに対して、画素値のＳＡＤやＳＳＤ、動きベクトルの差分などの画像が類似していないほど値が大きくなるような指標を、そのまま非類似度として用い、非類似度が最小となるフレームを対応フレームとしてもよい。これによって非類似度を類似度に変換する必要がなくなる。
また、上記実施の形態で説明した映像出力装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されてもよいし、一部、または全部を含むように１チップ化されてもよい。なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
また、上記実施の形態の各処理は、ハードウェアにより実現してもよいし、ソフトウェアにより実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現してもよい。なお、上記実施形態に係るデジタルカメラをハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施の形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示の技術によれば、複数の映像を合成し、同一画面上に表示する映像出力装置に適用可能である。具体的には、ビデオサーバーなどに本開示の技術は適用可能である。
１ 映像出力装置
２ 撮影部
３ コントローラ
４ 表示部
１１ 画像処理部
１１ａ 基準フレーム抽出部
１１ｂ 対応フレーム抽出部
１２ 出力部
１３ 記録媒体
１４ 内部メモリ
１５ 制御部

Claims (9)

  1. 複数の映像を合成して表示する映像出力装置であって、
    撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出し、前記基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する画像処理部と、
    前記画像処理部で生成された基準フレームと対応フレームとを合成した合成フレームを出力する出力部と、
    を備えたことを特徴とする映像出力装置。
  2. 前記画像処理部は、撮影部で撮影された複数の映像のうち、任意の１つの基準映像から複数の基準フレームを抽出する基準フレーム抽出部と、基準映像以外の各映像について、各基準フレームと最も類似した対応フレームをそれぞれ抽出する対応フレーム抽出部とを有することを特徴とする請求項１に記載の映像出力装置。
  3. 前記撮影部で撮影される映像は、出力部が出力するフレームレートよりも高いフレームレートで撮影されていることを特徴とする請求項１に記載の映像出力装置。
  4. 前記画像処理部の基準フレーム抽出部は、基準映像から所定の時間間隔で基準フレームを抽出するものであることを特徴とする請求項２に記載の映像出力装置。
  5. 前記画像処理部の基準フレーム抽出部は、基準映像から連続したフレームを所定の数だけ平均したものを基準フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
  6. 前記画像処理部の対応フレーム抽出部は、基準フレームとの類似度が最大となる１フレームを対応フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
  7. 前記画像処理部の対応フレーム抽出部は、基準フレームとの類似度が最大となるように同一の映像に含まれる複数のフレームを平均したものを対応フレームとして抽出するものであることを特徴とする請求項２に記載の映像出力装置。
  8. 前記画像処理部の対応フレーム抽出部は、フレーム間の動きベクトルに基づいて基準フレームとの類似度を算出するものであることを特徴とする請求項２に記載の映像出力装置。
  9. 前記画像処理部の対応フレーム抽出部は、フレームの画素値の差分に基づいて基準フレームとの類似度を算出するものであることを特徴とする請求項２に記載の映像出力装置。
JP2014538135A 2012-09-28 2013-09-11 映像出力装置 Pending JPWO2014049989A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012215897 2012-09-28
JP2012215897 2012-09-28
PCT/JP2013/005371 WO2014049989A1 (ja) 2012-09-28 2013-09-11 映像出力装置

Publications (1)

Publication Number Publication Date
JPWO2014049989A1 true JPWO2014049989A1 (ja) 2016-08-22

Family

ID=50387436

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014538135A Pending JPWO2014049989A1 (ja) 2012-09-28 2013-09-11 映像出力装置

Country Status (3)

Country Link
US (1) US20150201150A1 (ja)
JP (1) JPWO2014049989A1 (ja)
WO (1) WO2014049989A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10805627B2 (en) 2015-10-15 2020-10-13 Cisco Technology, Inc. Low-complexity method for generating synthetic reference frames in video coding
US11599263B2 (en) 2017-05-18 2023-03-07 Sony Group Corporation Information processing device, method, and program for generating a proxy image from a proxy file representing a moving image
US20220219043A1 (en) * 2019-05-31 2022-07-14 Nippon Telegraph And Telephone Corporation Physical motion feedback apparatus, physical motion feedback method, and program

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3622618C1 (de) * 1986-07-05 1987-05-21 Willy Bogner Verfahren zur gleichzeitigen Darstellung mindestens zweier zeitlich nacheinander ablaufender Ereignisse im TV sowie Vorrichtung zur Durchfuehrung dieses Verfahrens
JPH08106543A (ja) * 1994-10-05 1996-04-23 Hitachi Ltd 動画像の再生方法および動画像の再生システム
US7843510B1 (en) * 1998-01-16 2010-11-30 Ecole Polytechnique Federale De Lausanne Method and system for combining video sequences with spatio-temporal alignment
US6320624B1 (en) * 1998-01-16 2001-11-20 ECOLE POLYTECHNIQUE FéDéRALE Method and system for combining video sequences with spatio-temporal alignment
JP2004500756A (ja) * 1999-11-24 2004-01-08 ダートフィッシュ　エルティーディー． ビデオシーケンスと時空正規化との調整および合成
JP2001186471A (ja) * 1999-12-27 2001-07-06 Hisaya Sato 映像比較装置及び映像比較プログラムを記録した記録媒体
US20020064764A1 (en) * 2000-11-29 2002-05-30 Fishman Lewis R. Multimedia analysis system and method of use therefor
JP3744464B2 (ja) * 2002-05-20 2006-02-08 ソニー株式会社 信号記録再生装置及び方法、信号再生装置及び方法、並びにプログラム及び記録媒体
JP2004260765A (ja) * 2003-02-27 2004-09-16 Nihon Knowledge Kk 実技分析システム及びプログラム
JP2007324663A (ja) * 2006-05-30 2007-12-13 Sharp Corp ビデオカメラ
JP5050445B2 (ja) * 2006-08-11 2012-10-17 カシオ計算機株式会社 動画再生装置及び動画再生方法
JP2010130084A (ja) * 2008-11-25 2010-06-10 Casio Computer Co Ltd 画像処理装置及びプログラム
JP2010206593A (ja) * 2009-03-04 2010-09-16 Sony Corp 画像処理装置、画像処理方法、及びプログラム
JP2011155477A (ja) * 2010-01-27 2011-08-11 Canon Inc 映像処理装置、映像処理方法及びプログラム

Also Published As

Publication number Publication date
WO2014049989A1 (ja) 2014-04-03
US20150201150A1 (en) 2015-07-16

Similar Documents

Publication Publication Date Title
US7856145B2 (en) Image processing system and method therefor, image processing apparatus and method, image capturing apparatus and method, program recording medium, and program
US10734029B2 (en) Signal processing apparatus, signal processing method, and non-transitory computer-readable storage medium
JP2011082917A (ja) 画像処理装置および方法、並びにプログラム
JP2012099876A (ja) 画像処理装置、撮像装置、画像処理方法、プログラム
JP2014096757A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2006094058A (ja) 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法
US10412320B1 (en) Method and system for switching display from first video source to second video source
US10747492B2 (en) Signal processing apparatus, signal processing method, and storage medium
WO2014049989A1 (ja) 映像出力装置
JPWO2013054463A1 (ja) 撮像装置とその集積回路、撮像方法、撮像プログラム、および撮像システム
JP2013165488A (ja) 画像処理装置、撮像装置、およびプログラム
US20150162049A1 (en) Image processing device, image processing method, and program
JP2009130820A (ja) 情報処理装置
US10536685B2 (en) Method and apparatus for generating lens-related metadata
US9741393B2 (en) Method and method for shortening video with event preservation
CN112752086B (zh) 用于环境映射的图像信号处理器、方法和系统
JP2004221955A (ja) 高速撮像信号記録装置
JP2019050463A (ja) 画像処理システム及び画像処理システムの制御方法
JP2010536220A (ja) 入力ビデオから修正ビデオを作成する方法及びデバイス
KR101988157B1 (ko) 소리 파형을 이용한 다수 동영상 간 시간축 동기화 방법 및 장치
JP2021182681A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2014217030A (ja) 映像再生装置及び映像再生プログラム
JP2018155897A (ja) 情報処理方法
JP2020174248A (ja) 映像再生装置および映像再生方法
JP2005039711A (ja) 撮像装置