JP2023160275A - ２次元動画を３次元的に表示するためのシステム、方法、およびプログラム - Google Patents

Abstract

【課題】単眼撮像装置によって撮影された２次元動画であっても、３次元的に表示することを可能にすること【解決手段】本発明の２次元動画を３次元的に表示するためのシステムは、２次元動画を受信する受信手段と、前記２次元動画のそれぞれのフレームから深度情報を取得する深度情報取得手段と、前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成する画像対作成手段と、前記２次元動画のそれぞれのフレームの前記画像対を表示する表示手段とを備える。【選択図】図１

Description

本発明は、２次元動画を３次元的に表示するためのシステム、方法、およびプログラムに関する。

３次元画像を撮影可能な複眼撮像装置が知られている（例えば、特許文献１）。

特開２００９－４８１８１号公報

本発明は、深度情報を有しない２次元動画であっても、３次元的に表示することを可能にすることを目的とする。

本発明は、例えば、深度情報を有しない２次元動画であっても、３次元的に表示することを可能にする２次元動画を３次元的に表示するためのシステムを提供する。

一実施形態において、本発明は、以下の項目を提供する。
（項目１）
２次元動画を３次元的に表示するためのシステムであって、
２次元動画を受信する受信手段と、
前記２次元動画のそれぞれのフレームから深度情報を取得する深度情報取得手段と、
前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成する画像対作成手段と、
前記２次元動画のそれぞれのフレームの前記画像対を表示する表示手段と
を備えるシステム。
（項目２）
前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、
前記深度情報に基づいて、前記フレームの少なくとも１つの画素の変位量を決定することと、
前記フレームの前記少なくとも１つの画素を前記決定された変位量だけずらすことによって、前記フレームに対して視差が付けられた視差付画像を作成することと
によって、前記フレームと前記視差付画像とから構成される画像対を作成する、項目１に記載のシステム。
（項目３）
前記画像対作成手段は、深度が小さいほど前記変位量が大きくなるように、前記変位量を決定する、項目２に記載のシステム。
（項目４）
前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、前記深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定し、
前記少なくとも１つの画素は、前記処理されるべき画素のうちの少なくとも１つの画素である、項目２または項目３に記載のシステム。
（項目５）
前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、
前記深度情報に基づいて、前記フレームの少なくとも１つの領域の拡大率または縮小率を決定することと、
前記フレームの前記少なくとも１つの領域および前記視差付画像の対応する少なくとも１つの領域を前記決定された拡大率または縮小率で拡大／縮小することと
を行う、項目２～４のいずれか一項に記載のシステム。
（項目６）
前記画像対作成手段は、深度が小さい領域ほど前記拡大率が大きくなるように、かつ／または、深度が大きい領域ほど前記縮小率が大きくなるように、前記拡大率および／または前記縮小率を決定する、項目５に記載のシステム。
（項目７）
前記表示手段は、レンチキュラーディスプレイを含む、項目１～６のいずれか一項に記載のシステム。
（項目８）
２次元動画を３次元的に表示するための方法であって、
２次元動画を受信することと、
前記２次元動画のそれぞれのフレームから深度情報を取得することと、
前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成することと、
前記２次元動画のそれぞれのフレームの前記画像対を表示することと
を含む方法。
（項目９）
２次元動画を３次元的に表示するためのプログラムであって、前記プログラムは、プロセッサ部および表示部を備えるコンピュータにおいて実行され、前記プログラムは、
２次元動画を受信することと、
前記２次元動画のそれぞれのフレームから深度情報を取得することと、
前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成することと、
前記２次元動画のそれぞれのフレームの前記画像対を前記表示部に表示することと
を含む処理を前記プロセッサ部に行わせる、プログラム。

本発明によれば、深度情報を有しない２次元画像であっても、３次元的に表示することが可能となる。

本発明のシステムを用いて、２次元動画を３次元的に表示するためのフローの一例を概略的に示す図 ２次元動画を３次元的に表示するためのシステム１００の構成の一例を示す図 画像対作成手段１３０による処理の一例を概略的に示す図 図３Ａに示される画像対に対して、深度に応じた拡大率／縮小率での拡大／縮小処理を行った結果の一例を示す図 ２次元動画を３次元的に表示するためのシステム１００における処理の一例（処理４００）のフローチャート ステップＳ４０３でプロセッサ部が行う処理の一例を示すフローチャート 実施例で作成された画像対を示す図 実施例で作成された画像対を示す図 実施例で作成された画像対を示す図 実施例で作成された画像対を示す図

以下、図面を参照しながら、本発明の実施の形態を説明する。

（１．単眼式内視鏡動画を３次元的に表示するためのシステム）
本発明の発明者は、顕微鏡手術または内視鏡手術における問題点を認識していた。その問題点の１つは、顕微鏡または内視鏡によって撮影された２次元動画が立体的に見えないことである。熟練した術者であれば、２次元動画から立体的な構造を想像することができるかもしれないが、経験未熟な術者はそれができないため、顕微鏡または内視鏡によって取得された動画を見ながら手術をすることは、経験未熟な術者にとって非常に危険である。

この問題点を解決する１つの手段は、複眼式内視鏡を用いることである。複眼式内視鏡は、深度情報を有する２次元動画を取得することができる。複眼式内視鏡を用いることで、得られる動画を３次元的に表示することができるため、経験未熟な術者であっても、立体的な構造を認識して手術を行うことができる。しかしながら、本願発明の発明者は、複眼式内視鏡を用いることには、欠点があると考えた。具体的には、複眼式内視鏡は、単眼式内視鏡に比べて、高倍率に弱く、高倍率ではピントが合わずにぼやけるという欠点があった。また、複眼式内視鏡によって得られた２次元動画を３次元的に表示するためには３Ｄ眼鏡等を装着する必要があり、３Ｄ眼鏡を介して長時間動画を見ることで、いわゆる３Ｄ酔いになりやすいという欠点もあった。さらに、３Ｄ眼鏡等を装着する必要性により、動画を複数人で共有することができず、例えば、医学教育の面でも困難性があった。加えて、複眼式内視鏡は単眼式内視鏡よりもはるかに高価であり、導入コストが非常に大きいという欠点もあった。

本発明の発明者は、鋭意研究の結果、複眼式内視鏡に依拠することなく、単眼式内視鏡から得られる２次元動画を３次元的に表示するためのシステムを開発した。なお、本明細書では、動画を３次元的に表示するとは、見る人によって３次元であると認識されるように動画を表示すること、言い換えると、立体視を可能にするように動画を表示することを意味し、表示される動画は必ずしも３次元動画である必要はない。

図１は、本発明のシステムを用いて、２次元動画を３次元的に表示するためのフローの一例を概略的に示す。

まず、単眼式内視鏡１０を用いて、単眼式内視鏡１０の視野内の身体部位Ｓが撮影される。身体部位Ｓは、構造Ａおよび構造Ｂを備えている。単眼式内視鏡１０によって撮影された動画からは、構造Ａおよび構造Ｂがどのような立体的な構造を有しているかを認識することができない。単眼式内視鏡１０によって取得された動画は２次元であり、かつ、深度情報が欠如しているからである。

ステップＳ１では、単眼式内視鏡１０によって撮影された２次元動画が本発明のシステム１００に入力される。ここでは、動画は、連続する複数の静止画であり、本明細書では、動画を構成する静止画の各々を「フレーム」と称する。２次元動画が本発明のシステム１００に入力されると、本発明のシステム１００は、２次元動画のそれぞれのフレームに対して画像対を作成する。画像対は、相互に視差を有しており、画像対の一方は右眼用のフレームとなり、画像対の他方は左眼用のフレームとなる。

ステップＳ２では、本発明のシステム１００が、動画から作成された画像対を連続的に表示する。見る人は、右眼用のフレームを右眼で見て、左眼用のフレームを左眼で見ることにより、視差を有する画像対に映った被写体を立体的に認識することができる。例えば、見る人には、動画２０が表示されることになる。動画２０では、単眼式内視鏡１０によって撮影された身体部位Ｓが立体的に表示される。これにより、見る人は、構造Ａおよび構造Ｂの立体的な構造を認識することができる。図１に示される例では、動画２０により、構造Ａは周りに対してくぼんだ構造であり、構造Ｂは周りに対して隆起した構造であることが見て取れる。

画像対は、任意の３次元表示方式で表示されることができる。例えば、見る人が３Ｄ表示用の装着器具（例えば、３Ｄ眼鏡等）を装着することで動画２０を見ることができるように、画像対が表示されるようにしてもよいし、見る人が専用の装着器具を装着する必要なく動画２０を見ることができるように、画像対が表示されるようにしてもよい。好ましくは、見る人が専用器具を装着する必要なく動画２０を見ることができるように画像対が表示され得る。これは、例えば、レンチキュラーディスプレイ等の特殊なディスプレイ装置に画像対を表示することによって達成され得る。

このようにして、単眼式内視鏡１０によって撮影された２次元動画であっても、本発明のシステム１００によれば３次元的に表示することができるため、例えば、術者は、立体的な構造を認識して手術を行うことができる。また、単眼式内視鏡１０によって撮影された画像は、複眼式内視鏡に比べて、高倍率に強く、高倍率でもピントが合うため、細かい構造ですら立体的な構造を認識することができる。

また、レンチキュラーディスプレイ等を使用して、専用の装着器具を必要としないように画像対を表示することで、見る人は、いわゆる３Ｄ酔いになりづらい。さらに、動画２０を複数の人で共有して見ることもでき、これは、医学教育に役立つ。さらには、専用の装着器具は付け外し等のために接触が必要であるが、専用の装着器具を必要としないことで、本発明のシステム１００は、非接触ツールとなり、ポストコロナにおいても有用となる。

さらに、高価な複眼式内視鏡を導入する必要がなくなり、低いコストで安全な手術を実施することができるという利点もある。

加えて、本発明のシステム１００は、略リアルタイムで（例えば、２次元動画が入力された時刻に対して約２０～５０ミリ秒以下の遅延で、好ましくは、約３０ミリ秒以下の遅延で、典型的には、約３３ミリ秒以下の遅延で）、画像対を出力することができる。人間の視覚遅延弁別閾は２０～３０ミリ秒とされており、約５０ミリ秒以下の遅延、好ましくは、約３０ミリ秒以下の遅延であれば、人間は、リアルタイムであると感じることができる。本発明のシステムが略リアルタイムで画像対を出力することができることは、手術用途において特に好ましい。手術用途では、動画が撮影された時刻と動画が表示される時刻とのずれが、術者による正確な手術を不可能にするからである。

上述した例では、単眼式内視鏡１０によって撮影された２次元動画を例に説明したが、本発明のシステム１００が３次元的に表示することができるのは、単眼式内視鏡１０によって撮影された２次元動画に限定されない。本発明のシステム１００は、２次元動画が深度情報を有していない限り、他の任意の２次元動画を３次元的に表示することができる。２次元動画は、例えば、既存のアニメーション、映画、ＴＶ番組、ドラマ等であってもよい。これにより、既存のアニメーション、映画、ＴＶ番組、ドラマ等が３次元的に表示されることとなる。これは、新たなユーザ体験を創出し得る。

上述した本発明のシステム１００は、後述する構成を有することができる。

（２．２次元動画を３次元的に表示するためのシステムの構成）
図２は、２次元動画を３次元的に表示するためのシステム１００の構成の一例を示す。

システム１００は、受信手段１１０と、深度情報取得手段１２０と、画像対作成手段１３０と、表示手段１４０とを備える。

受信手段１１０は、２次元動画を受信するように構成されている。

２次元動画は、任意の２次元動画であり得る。２次元動画は、好ましくは、単眼撮像装置（例えば、単眼式内視鏡）によって撮影された動画であり得る。２次元動画は、例えば、既存のアニメーション、映画、ＴＶ番組、ドラマ等であってもよい。

受信手段１１０によって受信された２次元動画は、深度情報取得手段１２０および画像対作成手段１３０に渡される。

深度情報取得手段１２０は、受信手段１１０によって受信された２次元動画のそれぞれのフレームから深度情報を取得するように構成されている。深度情報とは、所定の基準点（例えば、カメラ位置）から被写体までの距離（深度）を表す情報である。深度情報取得手段１２０は、例えば、各画素についての深度情報を取得するようにしてもよいし、複数の画素を含む領域についての深度情報を取得するようにしてもよい。深度情報取得手段１２０が複数の画素を含む領域についての深度情報を取得することで、深度情報を取得する処理の負荷は軽減され得、処理が高速化され得る。深度情報は、例えば、深度マップとして表されてもよいし、各画素とその深度とを記述する行列等の形式で表されてもよい。

深度情報取得手段１２０は、例えば、機械学習モデルを用いて、各フレームの深度情報を取得することができる。機械学習モデルは、画像と、その画像の深度情報との関係を学習したモデルである。そのような機械学習モデルは、画像を入力用教師データとし、その画像の深度情報を出力用教師データとして、複数の画像のそれぞれについて学習することによって構築されることができる。あるいは、そのような機械学習モデルは、画像を入力用教師データとし、その画像の深度マップを出力用教師データとして、複数の画像のそれぞれについて学習することによって構築されることができる。そのような機械学習モデルに画像を入力すると、その画像の深度情報または深度マップが出力されることになる。

学習に用いられる画像は、好ましくは、複眼撮像装置によって撮影された画像であり得る。複眼撮像装置によって撮影された画像であれば、深度情報を容易に取得することができる、あるいは、深度マップを容易に作成することができるからである。複眼撮像装置によって撮影された画像から深度情報を取得する手法、または、深度マップを作成する手法は、当該技術分野において公知の手法であり得る。

深度情報取得手段１２０によって作成された、２次元動画のそれぞれのフレームの各画素の深度情報は、画像対作成手段１３０に渡される。

画像対作成手段１３０は、２次元動画のそれぞれのフレームに対して、深度情報を利用して、視差を有する画像対を作成するように構成されている。画像対は、フレームと、画像対作成手段１３０によって作成された画像との対であってもよいし、画像対作成手段１３０によって作成された第１の画像と第２の画像との対であってもよい。好ましくは、画像対は、フレームと、画像対作成手段１３０によって作成された画像との対であり得る。フレームを画像対の一方として利用することで、画像対作成手段１３０の処理を軽減することができ、処理の高速化につながり得るからである。

フレームおよび作成された画像は、相互に視差を有しており、第１の画像および第２に画像も、相互に視差を有している。ここで、２つの画像が視差を有するとは、２つの画像中の同一の被写体の位置が、２つの画像の視点（例えば、カメラ位置）の差に対応する変位量だけ相互にずれていることを意味する。例えば、２つの異なる視点から同一の被写体を撮影した２つの画像は、視差を有することになる。画像対作成手段１３０によって作成された画像対では、フレーム中の被写体の位置と、作成された画像中の同一の被写体の位置とは、人の両眼間の距離に対応する変位量だけ相互にずれており、あるいは、作成された第１の画像中の被写体の位置と、作成された第２の画像中の同一の被写体の位置とは、人の両眼間の距離に対応する変位量だけ相互にずれている。画像対作成手段１３０は、例えば、近くにある被写体である（深度が小さい）ほど、２つの画像中の位置のずれが大きくなり、遠くにある被写体である（深度が大きい）ほど、２つの画像中の位置のずれが小さくなるような画像対を作成することができる。

画像対作成手段１３０は、２次元動画のそれぞれのフレームに対して、深度情報に基づいて、フレームの少なくとも１つの画素の変位量を決定することと、フレームの少なくとも１つの画素を決定された変位量だけずらすことによって、フレームに対して視差がつけられた視差付画像を作成することとによって、フレームと視差付画像とから構成される画像対を作成することができる。このとき、画像対作成手段１３０は、深度が小さいほど変位量が大きくなるように変位量を決定することができる。深度と変位量とは、例えば、線形の関係を有し得る。例えば、フレーム中の第１の画素が、第１の深度を有し、第２の画素が、第１の深度の２倍の深度を有する場合、第１の画素の変位量は、第２の画素の変位量の２倍となり得る。

このように深度に応じた変位量で画素をずらすことにより、作成された画像対は、より自然な見え方で３次元的に表示されることになる。深度が小さい（近い）被写体をより大きくずらし、深度が大きい（遠い）被写体を小さくずらすことは、人間の生理的な両眼視認識に沿ったものであるからである。

図３Ａは、画像対作成手段１３０による処理の一例を概略的に示す。図３Ａ（ａ）が動画のフレームを表し、図３Ａ（ｂ）が作成された視差付画像を表す。説明の簡単のために、各画像は、６×７ピクセルを有するものとして説明する。薄い灰色で表された画素が０．５の深度を有し、濃い灰色で表された画素が１．０の深度を有し、白色で表された画素が１０の深度を有するものとする。深度が小さいほど画像の視点（例えば、カメラ位置）に近いことを表す。

画像対作成手段１３０に図３Ａ（ａ）に示される動画のフレームが入力されると、画像対作成手段１３０は、例えば、薄い灰色で表された画素の変位量を２画素と決定し、濃い灰色で表された画素の変位量を１画素と決定し、白色で表された画素の変位量を０画素と決定する。そして、画像対作成手段１３０は、各画素を決定された変位量だけずらすことによって、図３Ａ（ｂ）に示される視差付画像を作成する。例えば、図３Ａ（ａ）の（３，１）の薄い灰色の画素を紙面右方向に２画素ずらすことで、対応する画素は、図３（ｂ）の（３，３）の画素となる。例えば、図３Ａ（ａ）の（２，２）の濃い灰色の画素を紙面右方向に１画素ずらすことで、対応する画素は、図３（ｂ）の（２，３）の画素となる。このようにして、図３Ａ（ａ）に示される動画のフレームと、図３Ａ（ｂ）に示される視差付画像とから構成される画像対が作成されることになる。

一実施形態において、画像対作成手段１３０は、深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定し、処理されるべき画素に対してのみ処理を行い（具体的には、変位量を決定して変位量だけずらす処理を行い）、処理されるべきではない画素に対しては何もしないようにしてもよい。これは、処理のために必要なリソースを削減することができるため、コンピュータの負荷を軽減することができるとともに、処理の高速化につながるという利点を有している。この実施形態は、略リアルタイムの画像対表示のために好ましい。

画像対作成手段１３０は、例えば、深度が所定の閾値未満である画素を処理されるべき画素であると決定し、深度が所定の閾値以上である画素を処理されるべきではない画素であると決定することができる。所定の閾値は、固定値であってもよいし変動値であってもよい。所定の閾値が変動値である場合、所定の閾値は、例えば、画素全体の深度の平均値、中央値、第１四分位数、または、第３四分位数であってもよいし、例えば、深度の最大値の９０％値、８０％値、７０％値、６０％値、４０％値、または３０％値等であってもよい。

例えば、図３Ａを参照して上述した例では、画像対作成手段１３０は、深度情報に基づいて、白色で表された画素および濃い灰色で表された画素を処理されるべきではない画素として決定し、白色で表された画素および濃い灰色で表された画素に対しては何も処理をしない。他方で、画像対作成手段１３０は、深度情報に基づいて、薄い灰色で表された画素を処理されるべき画素として決定し、薄い灰色で表された画素の変位量を決定し、薄い灰色で表された画素をその変位量だけずらす。これにより、白色で表された画素および濃い灰色で表された画素に対する処理を行わなくてよいため、処理のために必要なリソースを削減することができるとともに、処理の高速化を達成することができる。

上述した変位量を決定する処理に加えて、画像対作成手段１３０は、２次元動画のそれぞれのフレームに対して、深度情報に基づいて、フレームの少なくとも１つの領域の拡大率または縮小率を決定することと、フレームの少なくとも１つの領域および視差付画像の対応する少なくとも１つの領域を決定された拡大率または縮小率で拡大／縮小することとを行うようにしてもよい。少なくとも１つの領域は、例えば、同一または類似する深度を有する画素を含む領域であり得る。本明細書において、類似する深度とは、±１０％の深度のことをいう。画像対作成手段１３０は、深度が小さい領域ほど拡大率が大きくなるように、かつ／または、深度が大きい領域ほど縮小率が大きくなるように、拡大率および／または縮小率を決定することができる。深度と拡大率および縮小率とは、例えば、線形の関係を有し得る。例えば、フレーム中の第１の領域が、第１の深度を有し、第２の領域が、第１の深度の２倍の深度を有する場合、第１の領域の拡大率は、第２の領域の２倍となり得る。

このように深度に応じた拡大率／縮小率で拡大／縮小することにより、作成された画像対は、より自然な見え方で３次元的に表示されることになる。深度が小さい（近い）被写体をより大きくし、深度が大きい（遠い）被写体をより小さくすることは、人間の生理的な両眼視認識に沿ったものであり、感覚的立体視の効果を高めることができるからである。さらに、このような拡大／縮小により、見る人の画像中の焦点が変化するため、被写体のエッジが強調されるように見えることになる。これにより、例えば、近い被写体は、鮮明になり、輪郭が連続し、かつ／または解像度がよく見える一方で、遠い被写体は、ぼやけて、輪郭が非連続であり、かつ／または解像度が乏しく見えるようになる。これも、感覚的立体視の効果を高めることができる。

図３Ｂは、図３Ａに示される画像対に対して、深度に応じた拡大率／縮小率での拡大／縮小処理を行った結果の一例を示す。図３Ｂ（ａ）が動画のフレームを表し、図３Ｂ（ｂ）が作成された視差付画像を表す。図３Ａを参照して上述したように、薄い灰色で表された画素が０．５の深度を有し、濃い灰色で表された画素が１．０の深度を有し、白色で表された画素が１０の深度を有するものとする。

画像対作成手段１３０は、図３Ａに示される画像対に対して、例えば、薄い灰色で表された領域の拡大率を１６０％と決定し、濃い灰色で表された領域および白色で表された領域の拡大率を１００％（すなわち、拡大／縮小しない）と決定する。そして、画像対作成手段１３０は、各領域を決定された拡大率で拡大することによって、図３Ｂに示される画像対を作成する。すなわち、図３Ｂ（ａ）に示される動画のフレームの少なくとも１つの領域が拡大された画像と、図３Ｂ（ｂ）に示される、対応する少なくとも１つの領域が拡大された視差付画像とから構成される画像対が作成される。

本例においても、画像対作成手段１３０は、深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定し、処理されるべき画素に対してのみ処理を行い（具体的には、拡大率／縮小率を決定して拡大／縮小する処理を行い）、処理されるべきではない画素に対しては何もしないようにしてもよい。これにより、感覚的立体視の効果が高い画像対を、コンピュータの負荷を軽減しかつ高速に作成することができるという利点を有している。

作成された画像対は、表示手段１４０に渡される。

表示手段１４０は、２次元動画のそれぞれのフレームに対して作成された画像対を表示するように構成されている。表示手段１４０は、任意の３次元表示方式で画像対を表示することができる。表示手段１４０は、例えば、見る人が３Ｄ表示用の装着器具（例えば、３Ｄ眼鏡等）を装着することで画像対による３次元動画を見ることができるように、画像対を表示するようにしてもよいし、見る人が専用の装着器具を装着する必要なく画像対による３次元動画を見ることができるように、画像対を表示するようにしてもよい。好ましくは、表示手段１４０は、見る人が専用器具を装着する必要なく画像対による３次元動画を見ることができるように画像対を表示し得る。これにより、見る人は、いわゆる３Ｄ酔いになりづらく、さらに、３次元動画を複数の人で共有して見ることもできる。さらには、専用の装着器具は付け外し等のために接触が必要であるが、専用の装着器具を必要としないことで、本発明のシステム１００は、非接触ツールとなり、ポストコロナにおいても有用となる。

表示手段１４０は、具体的には、レンチキュラーディスプレイであり得る。レンチキュラーディスプレイは、表示面上にレンチキュラーレンズが配列されたディスプレイであり、３Ｄ表示用の装着器具を装着することなく３次元画像を見ることを可能にする。

このように、本発明のシステム１００は、入力された動画の各フレームから画像対を作成し、画像対を表示することで、動画が３次元的に見えるようにしている。本発明のシステム１００は、画像対を合成して３次元動画を生成する等の処理が不要であるため、負荷を低減させることができ、かつ、処理を高速化することができる。これは、略リアルタイムの表示につながり得る。さらに、大きな変位量でずらすべき画素を取捨選択して処理すること、大きな拡大率／縮小率で拡大／縮小すべき領域を取捨選択して処理すること、および／または、処理すべき画素／領域を取捨選択して処理することも、略リアルタイムの表示につながり得る。

上述したシステム１００は、例えば、コンピュータ装置として実装されることができる。

コンピュータ装置は、入力部と、メモリ部と、プロセッサ部と、表示部とを備える。

入力部は、コンピュータ装置の外部からの入力を可能にするように構成されている。入力部には、２次元動画を入力することができる。入力部に２次元動画を入力する態様は問わない。例えば、２次元動画は、撮像装置から直接入力されるようにしてもよいし、撮像装置からネットワーク（例えば、ＬＡＮ、インターネット）を介して入力されるようにしてもよいし、記憶媒体を介して入力されるようにしてもよい。好ましくは、２次元動画は、撮像装置から直接入力され得る。これにより、撮像装置による撮像とコンピュータ装置による動画の表示とを略同時に行うことができるからである。
例えば、本発明のシステム１００の受信手段１１０は、入力部によって実装されることができる、
メモリ部には、コンピュータ装置の処理の実行に必要とされるプログラムやそのプログラムの実行に必要とされるデータ等が記憶されている。例えば、２次元動画を３次元的に表示するための処理をコンピュータ装置に行わせるためのプログラム（例えば、後述する図４Ａおよび図４Ｂに示される処理を実現するプログラム）の一部または全部が記憶されている。ここで、プログラムをどのようにしてメモリ部に記憶するかは問わない。例えば、プログラムは、メモリ部にプリインストールされていてもよい。あるいは、プログラムは、ネットワークを経由してダウンロードされることによってメモリ部にインストールされるようにしてもよい。プログラムは、コンピュータ読み取り可能な有形記憶媒体上に記憶されてもよい。メモリ部は、任意の記憶手段によって実装され得る。

プロセッサ部は、コンピュータ装置全体の動作を制御する。プロセッサ部は、メモリ部に記憶されているプログラムを読み出し、そのプログラムを実行する。これにより、コンピュータ装置を所望のステップを実行する装置として機能させることが可能である。プロセッサ部は、単一のプロセッサによって実装されてもよいし、複数のプロセッサによって実装されてもよい。

例えば、本発明のシステム１００の受信手段１１０、深度情報取得手段１２０、画像対作成手段１３０、表示手段１４０の少なくとも一部は、プロセッサ部によって実装され得る。

表示部は、画像を表示するように構成されている。表示部は、作成された画像対を表示することができる。表示部は、任意の表示装置であり得、好ましくは、レンチキュラーディスプレイであり得る。

例えば、本発明のシステム１００の表示手段１４０は、表示部によって実装され得る。

コンピュータ装置の各構成要素は、コンピュータ装置内に設けられてもよいし、コンピュータ装置外に設けられてもよい。例えば、入力部、メモリ部、プロセッサ部、表示部のそれぞれが別々のハードウェア部品で構成されている場合には、各ハードウェア部品が任意のネットワークを介して接続されてもよい。このとき、ネットワークの種類は問わない。各ハードウェア部品は、例えば、ＬＡＮを介して接続されてもよいし、無線接続されてもよいし、有線接続されてもよい。コンピュータ装置は、特定のハードウェア構成には限定されない。例えば、プロセッサ部をデジタル回路ではなくアナログ回路によって構成することも本発明の範囲内である。コンピュータ装置の構成は、その機能を実現できる限りにおいて上述したものに限定されない。

コンピュータ装置は、例えば、手術支援装置として利用され得る。この場合、入力部には、手術用撮像装置（例えば、単眼式内視鏡）によって撮影された手術部位の２次元動画が入力される。表示部からは、手術部位の２次元動画が３次元的に表示されることになる。

コンピュータ装置は、例えば、動画再生装置として利用され得る。この場合、入力部には、既存の２次元動画（例えば、アニメーション、映画、ＴＶ番組、ドラマ）が入力される。表示部からは、既存の２次元動画が３次元的に表示されることになる。

（３．２次元動画を３次元的に表示するためのシステムにおける処理）
図４Ａは、２次元動画を３次元的に表示するためのシステム１００における処理の一例（処理４００）のフローチャートを示す。本例では、システム１００がコンピュータ装置によって実装されることを例に説明する。処理４００は、コンピュータ装置のプロセッサ部において実行されることになる。

ステップＳ４０１では、プロセッサ部が、入力部に入力された２次元動画を、入力部から受信する。２次元動画は、任意の２次元動画であり得る。２次元動画は、好ましくは、単眼撮像装置（例えば、単眼式内視鏡）によって撮影された動画であり得る。２次元動画は、例えば、既存のアニメーションであってもよい。

ステップＳ４０２では、プロセッサ部が、ステップＳ４０１で受信された２次元動画のそれぞれのフレームからの深度情報を取得する。

プロセッサ部は、例えば、機械学習モデルを用いて、各フレームの深度情報を取得することができる。機械学習モデルは、画像と、その画像の深度情報との関係を学習したモデルである。そのような機械学習モデルにステップＳ４０１で受信された２次元動画のそれぞれのフレームを入力すると、それぞれのフレームの深度情報が出力される。

ステップＳ４０３では、プロセッサ部が、ステップＳ４０１で受信された２次元動画のそれぞれのフレームに対してステップＳ４０２で取得された深度情報を利用して、ステップＳ４０１で受信された２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成する。画像対は、フレームと、画像対作成手段１３０によって作成された画像との対であってもよいし、画像対作成手段１３０によって作成された第１の画像と第２の画像との対であってもよい。画像対作成手段１３０は、例えば、近くにある被写体である（深度が小さい）ほど、２つの画像中の位置のずれが大きくなり、遠くにある被写体である（深度が大きい）ほど、２つの画像中の位置のずれが小さくなるような画像対を作成することができる。

プロセッサ部は、ステップＳ４０３において、２次元動画のそれぞれのフレームに対して、深度情報に基づいて、フレームの少なくとも１つの画素の変位量を決定することと、フレームの少なくとも１つの画素を決定された変位量だけずらすことによって、フレームに対して視差がつけられた視差付画像を作成することとによって、フレームと視差付画像とから構成される画像対を作成することができる。このとき、プロセッサ部は、深度が小さいほど変位量が大きくなるように変位量を決定することができる。深度と変位量とは、例えば、線形の関係を有し得る。例えば、フレーム中の第１の画素が、第１の深度を有し、第２の画素が、第１の深度の２倍の深度を有する場合、第１の画素の変位量は、第２の画素の変位量の２倍となり得る。

このように深度に応じた変位量で画素をずらすことにより、作成された画像対は、より自然な見え方で３次元的に表示されることになる。深度が小さい（近い）被写体をより大きくずらし、深度が大きい（遠い）被写体を小さくずらすことは、人間の生理的な両眼視認識に沿ったものであるからである。

プロセッサ部は、ステップＳ４０３において、深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定し、処理されるべき画素に対してのみ処理を行い（具体的には、変位量を決定して変位量だけずらす処理を行い）、処理されるべきではない画素に対しては何もしないようにしてもよい。これは、処理のために必要なリソースを削減することができるため、コンピュータの負荷を軽減することができるとともに、処理の高速化につながるという利点を有している。

プロセッサ部は、ステップＳ４０３において、上述した処理に加えて、２次元動画のそれぞれのフレームに対して、深度情報に基づいて、フレームの少なくとも１つの領域の拡大率または縮小率を決定することと、フレームの少なくとも１つの領域および視差付画像の対応する少なくとも１つの領域を決定された拡大率または縮小率で拡大／縮小することとを行うようにしてもよい。このとき、プロセッサ部は、深度が小さい領域ほど拡大率が大きくなるように、かつ／または、深度が大きい領域ほど縮小率が大きくなるように、拡大率および／または縮小率を決定することができる。少なくとも１つの領域は、例えば、同一または類似する深度を有する画素を含む領域であり得る。

このように深度に応じた拡大率／縮小率で拡大／縮小することにより、作成された画像対は、より自然な見え方で３次元的に表示されることになる。深度が小さい（近い）被写体をより大きくし、深度が大きい（遠い）被写体をより小さくすることは、人間の生理的な両眼視認識に沿ったものであり、感覚的立体視の効果を高めることができるからである。さらに、このような拡大／縮小により、見る人の画像中の焦点が変化するため、被写体のエッジが強調されるように見えることになる。これにより、例えば、近い被写体は、鮮明になり、輪郭が連続し、かつ／または解像度がよく見える一方で、遠い被写体は、ぼやけて、輪郭が非連続であり、かつ／または解像度が乏しく見えるようになる。これも、感覚的立体視の効果を高めることができる。

ステップＳ４０４では、プロセッサ部が、２次元動画のそれぞれのフレームに対してステップＳ４０３で作成された画像対を表示部に表示する。プロセッサ部は、任意の３次元表示方式で画像対を表示部に表示することができる。プロセッサ部は、例えば、見る人が３Ｄ表示用の装着器具（例えば、３Ｄ眼鏡等）を装着することで画像対による３次元動画を見ることができるように、画像対を表示部に表示するようにしてもよいし、見る人が専用の装着器具を装着する必要なく画像対による３次元動画を見ることができるように、画像対を表示部に表示するようにしてもよい。好ましくは、プロセッサ部は、見る人が専用器具を装着する必要なく画像対による３次元動画を見ることができるように画像対を表示部に表示し得る。これにより、見る人は、いわゆる３Ｄ酔いになりづらく、さらに、３次元動画を複数の人で共有して見ることもできる。

図４Ｂは、ステップＳ４０３でプロセッサ部が行う処理の一例を示すフローチャートである。ステップＳ４０３は、２次元動画のそれぞれのフレームに対して同様に行われる。ここでは、２次元動画の１つのフレームに対して行われることを例に説明する。

ステップＳ４０３１では、プロセッサ部が、深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定する。プロセッサ部は、例えば、深度が所定の閾値未満である画素を処理されるべき画素であると決定し、深度が所定の閾値以上である画素を処理されるべきではない画素として決定することができる。所定の閾値は、固定値であってもよいし変動値であってもよい。所定の閾値が変動値である場合、所定の閾値は、例えば、画素全体の深度の平均値、中央値、第１四分位数、または、第３四分位数であってもよいし、例えば、最大値の９０％値、８０％値、７０％値、６０％値、４０％値、または３０％値等であってもよい。

ステップＳ４０３２では、ｉ＝１が定義される。

ステップＳ４０３３～ステップＳ４０３４では、ステップＳ４０３１で処理されるべき画素として決定された画素が順に処理される。処理されるべきではない画素として決定された画素は何ら処理されない。これにより、処理のために必要なリソースを削減することができるため、コンピュータの負荷を軽減することができるとともに、処理の高速化につながる。

ステップＳ４０３３～ステップＳ４０３４で処理される画素の順序は、好ましくは、深度が大きい画素から深度が小さい画素の順であり得る。これにより、作成される視差付画像において、より遠くにある被写体がより近くにある被写体の上に重なる等のエラーが発生しにくいからである。

ステップＳ４０３３では、プロセッサ部が、処理されるべき画素として決定された画素のうちの第ｉの画素について、深度情報に基づいて変位量を決定する。プロセッサ部は、例えば、事前に決定された深度情報と変位量との関係に従って、第ｉの画素の変位量を決定することができる。事前に決定された深度情報と変位量との関係は、例えば、線形の関係であり得、（変位量）＝α×（深度）＋β等の関係で表され得る（α、βは定数）。

ステップＳ４０３４では、プロセッサ部が、ステップＳ４０３３で決定された変位量だけ、フレーム中の第ｉの画素が右方向または左方向にずらされる。ずらされる方向は、作成される視差付画像が左眼用の画像となるか、右眼用の画像となるかに応じて決定される。

ステップＳ４０３５では、ｉがインクリメントされる（すなわち、ｉ＝ｉ＋１とされる）。

ステップＳ４０３６では、ステップＳ４０３１で処理されるべき画素として決定された画素のすべてが処理されたか否かが判定される。すべての画素が処理されたと判定されるとステップＳ４０３７に進み、まだすべての画素が処理されていないと判定されるとステップＳ４０３３に戻り、すべての画素が処理されたと判定されるまで、ステップＳ４０３３～ステップＳ４０３６が繰り返される。

ステップＳ４０３７では、深度情報に基づいて画素がずらされた視差付画像が作成され、フレームと作成された視差付画像とから構成される画像対が作成される。

なお、ステップＳ４０３７の前に、深度情報に基づいて、フレームの少なくとも１つの領域の拡大率または縮小率を決定することと、フレームの少なくとも１つの領域および視差付画像の対応する少なくとも１つの領域を決定された拡大率または縮小率で拡大／縮小することとを行うようにしてもよい。深度に応じた拡大率／縮小率で拡大／縮小することにより、ステップＳ４０３７で作成された画像対は、より自然な見え方で３次元的に表示されることができるものとなる。深度が小さい（近い）被写体をより大きくし、深度が大きい（遠い）被写体をより小さくすることは、人間の生理的な両眼視認識に沿ったものであり、感覚的立体視の効果を高めることができるからである。さらに、このような拡大／縮小により、見る人の画像中の焦点が変化するため、被写体のエッジが強調されるように見えることになる。これにより、例えば、近い被写体は、鮮明になり、輪郭が連続し、かつ／または解像度がよく見える一方で、遠い被写体は、ぼやけて、輪郭が非連続であり、かつ／または解像度が乏しく見えるようになる。これも、感覚的立体視の効果を高めることができる。

このように、処理４００により、入力された２次元動画から画像対を作成し、画像対を表示することで、２次元動画が３次元的に見えるようにしている。処理４００では、画像対を合成して３次元動画を生成する等の処理を行う必要ななく、負荷を低減させることができ、かつ、処理を高速化することができる。これは、略リアルタイムの表示につながり得る。さらに、大きな変位量でずらすべき画素を取捨選択して処理すること、大きな拡大率／縮小率で拡大／縮小すべき領域を取捨選択して処理すること、および／または、処理すべき画素／領域を取捨選択して処理することも、略リアルタイムの表示につながり得る。

上述した例では、特定の順序で各ステップの処理が行われることを説明したが、各ステップの処理の順序は説明されるものに限定されない。論理的に可能な任意の順序で、各ステップの処理を行うことができる。例えば、ステップＳ４０３３の後にステップＳ４０３４を行わず、ステップ４０３６で処理されるべきすべての画素が処理されたと判定された後に、ステップＳ４０３４において、決定された変位量だけ対象の画素を一括してずらすようにしてもよい。

上述した例では、図４Ａおよび図４Ｂに示される各ステップの処理は、プロセッサ部とメモリ部に格納されたプログラムとによって実現することが説明されたが、本発明はこれに限定されない。図４Ａおよび図４Ｂに示される各ステップの処理のうちの少なくとも１つは、制御回路などのハードウェア構成によって実現されてもよい。

本発明は、上述した実施形態に限定されるものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。

手術中に撮影された２次元動画を用いて、本発明のシステムにより、画像対を作成した。

手術に用いた顕微鏡には、下記のカメラが搭載されていた。
・ＮＩＲカメラ×１（ＩＣＧ用）
・白色光カメラ×２（左眼用、右眼用）
（センターサイズ：１／１．２ インチＣＭＯＳ）

解像度は、１０８０ｐ（Ｆｕｌｌ ＨＤ）であった。

搭載されていたカメラのうち、右眼用の白色光カメラを用いて、撮影を行った。左眼用の白色色カメラ、ＮＩＲカメラは用いなかった。

右眼用の白色光カメラによって撮影された２次元動画を本発明のシステムにより処理した。本発明のシステムを、ＮＶＩＤＩＡ（ＧＰＵ）のコンピュータを用いて、Ｐｙｔｈｏｎのプログラム言語により実装した。

図５Ａ～図５Ｄは、本実施例で作成された画像対を示す。

図５Ａ～図５Ｄでは、左側の（ａ）が白色光カメラによって撮影された２次元動画のフレームであり、右側の（ｂ）が本発明のシステムによって作成されたフレームである。

図５Ａ～図５Ｄにおいて、右眼で左側の（ａ）のフレーム（実際の映像）を見て、左眼で右側の（ｂ）のフレーム（本発明のシステムによって作成された映像）を見て、これらのフレームを重ね合わせて見ることで画像が立体的に見えることがわかる。なお、本例では、実際の映像を左側に置き、本発明のシステムによって作成された映像を右側に置いたが、置き方はこれに限定されない。例えば、実際の映像を右側に置き、本発明のシステムによって作成された映像を左側に置いてもよく、この場合も、重ね合わせられた画像は立体的に見える。

このように、本発明のシステムによれば、２次元動画のフレームから、立体視を可能にするように画像対を作成することができた。

また、本発明のシステムでは、３０ＦＰＳ（３０フレーム／秒）で２次元動画の各フレームを処理して画像対を作成することができた。このように、本発明のシステムは、略リアルタイムで画像対を出力することができた。また、作成された画像対を表示装置に表示
したところ、遅延を感じさせることなく動画が表示された。

本発明は、深度情報を有しない２次元画像であっても、３次元的に表示することが可能なシステム等を提供するものとして有用である。

１０ 単眼式内視鏡
２０ 動画
１００ システム
１１０ 受信手段
１２０ 深度情報取得手段
１３０ 画像対作成手段
１４０ 表示手段

Claims (10)

1. ２次元動画を３次元的に表示するためのシステムであって、
   ２次元動画を受信する受信手段と、
   前記２次元動画のそれぞれのフレームから深度情報を取得する深度情報取得手段と、
   前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成する画像対作成手段と、
   前記２次元動画のそれぞれのフレームの前記画像対を表示する表示手段と
   を備えるシステム。
2. 前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、
   前記深度情報に基づいて、前記フレームの少なくとも１つの画素の変位量を決定することと、
   前記フレームの前記少なくとも１つの画素を前記決定された変位量だけずらすことによって、前記フレームに対して視差が付けられた視差付画像を作成することと
   によって、前記フレームと前記視差付画像とから構成される画像対を作成する、請求項１に記載のシステム。
3. 前記画像対作成手段は、深度が小さいほど前記変位量が大きくなるように、前記変位量を決定する、請求項２に記載のシステム。
4. 前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、前記深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定し、
   前記少なくとも１つの画素は、前記処理されるべき画素のうちの少なくとも１つの画素である、請求項２に記載のシステム。
5. 前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、前記深度情報に基づいて、処理されるべき画素と処理されるべきではない画素とを決定し、
   前記少なくとも１つの画素は、前記処理されるべき画素のうちの少なくとも１つの画素である、請求項３に記載のシステム。
6. 前記画像対作成手段は、前記２次元動画のそれぞれのフレームに対して、
   前記深度情報に基づいて、前記フレームの少なくとも１つの領域の拡大率または縮小率を決定することと、
   前記フレームの前記少なくとも１つの領域および前記視差付画像の対応する少なくとも１つの領域を前記決定された拡大率または縮小率で拡大／縮小することと
   を行う、請求項２～５のいずれか一項に記載のシステム。
7. 前記画像対作成手段は、深度が小さい領域ほど前記拡大率が大きくなるように、かつ／または、深度が大きい領域ほど前記縮小率が大きくなるように、前記拡大率および／または前記縮小率を決定する、請求項６に記載のシステム。
8. 前記表示手段は、レンチキュラーディスプレイを含む、請求項１に記載のシステム。
9. ２次元動画を３次元的に表示するための方法であって、
   ２次元動画を受信することと、
   前記２次元動画のそれぞれのフレームから深度情報を取得することと、
   前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成することと、
   前記２次元動画のそれぞれのフレームの前記画像対を表示することと
   を含む方法。
10. ２次元動画を３次元的に表示するためのプログラムであって、前記プログラムは、プロセッサ部および表示部を備えるコンピュータにおいて実行され、前記プログラムは、
    ２次元動画を受信することと、
    前記２次元動画のそれぞれのフレームから深度情報を取得することと、
    前記２次元動画のそれぞれのフレームの前記深度情報を利用して、前記２次元動画のそれぞれのフレームに対して、視差を有する画像対を作成することと、
    前記２次元動画のそれぞれのフレームの前記画像対を前記表示部に表示することと
    を含む処理を前記プロセッサ部に行わせる、プログラム。